Stromsparende Bildsensoren für moderne Bildverarbeitungssysteme

Autor: Ganesh Narayanaswamy, onsemi

Schnellere Datenverbindungen, mehr Automatisierung und intelligentere Systeme haben im Zeitalter der Industrie 4.0 die Einführung von Bildverarbeitungssystemen in der Fertigung beschleunigt und Intelligenz in die zuvor einfachen Datenerfassungssysteme gebracht. Bildverarbeitungssysteme früherer Generationen erfassten die Bilder, bereiteten sie für die Übertragung auf und stellten die Bilddaten für die nachgelagerte Verarbeitung durch FPGAs, ASICs oder System-on-Chip-/SoC-Bausteine bereit. Heute wird dies weiterentwickelt, indem künstliche Intelligenz und maschinelles Lernen in den gesamten Datenpfad integriert und eine Serienanpassung ermöglicht werden. Kameras sind intelligent geworden, verarbeiten Bilddaten auf Anwendungsebene und geben nur die Metadaten für die Entscheidungsfindung aus. 

Eine wichtige Entwicklung zwischen diesen Generationen war der Fokus auf das, was am Netzwerkrand/Edge passiert. Unsere Welt ist überwiegend analog und viele elektronische und elektromechanische (EEM) Systeme, die uns im Alltag helfen, werden durch Sinneseindrücke gesteuert. Elektronische Sensoren für Sicht (Licht), Temperatur (Wärme), Audio (Ton), Nähe und Position sowie Druck (Berührung) in Edge-Anwendungen erfassen diese physischen Eingaben und übersetzen sie in verarbeitete Daten, um Intelligenz hinzuzufügen und eine einfache Entscheidungsfindung zu ermöglichen. Industrie 4.0 führte dazu, dass diese Sensoren intelligent und effizient werden mussten. Viele Sensoren in nicht-industriellen und kommerziellen Anwendungen wurden nun weiterentwickelt, um verbesserte Lösungen zu erstellen, die die Prozesse und Standards übernehmen, die sich in der industriellen Automatisierungstechnik finden.

Diese breite Einführung von Sensoren erfolgt zu einer Zeit, in der überall intelligente Geräte mit geringerem Stromverbrauch und längerem Batteriebetrieb eingesetzt werden sollen. Der Stromverbrauch stellt Bildverarbeitungssysteme vor verschiedene Herausforderungen, und die Art und Weise, wie Bildsensoren diese mit innovativen Methoden angehen und gleichzeitig eine hohe Leistungsfähigkeit liefern, kann ein Unterscheidungsmerkmal für das Bildverarbeitungssystem sein.

Bildsensoren – Eingabemechanismus für die Bildverarbeitung
Bildsensorik hat sich zu einer wichtigen Methode für die Datenerfassung in Edge-Anwendungen entwickelt. Die gesammelten Bilddaten können verwendet werden, um schnell und effizient Entscheidungen zu treffen. Ohne Vision-Sensor benötigen die Objekte einer Szene z. B. unzählige spezifische Sensoren, um zu vermitteln, woraus die Szene besteht. Das führt zu einer Menge Daten und einem enormen Verarbeitungsaufwand – und vielleicht mit viel Glück zu einer wahrheitsgetreuen Darstellung der Szene. Ein Bild hingegen vermittelt alles, was die Szene ausmacht in einem einzigen Datenrahmen, was zu einem sehr effizienten System führt. 

Diese einfache Datendarstellung half den Bildsensoren, sich rasant weiterzuentwickeln, um Consumer-Produkte wie Smartphones mit Auflösungen von mehr als 100 MP zu unterstützen und mit Hilfe von Hard- und Software scharfe Details und Eigenschaften für Standbilder als auch Videostreaming zu liefern. Die Ziele sind hier in Bezug auf die Entscheidungsfindung etwas anders, da diese Consumer-Produkte überwiegend der Unterhaltung und persönlichen Werten dienen. Bildverarbeitungssysteme für Fahrzeug-, Industrie- und kommerzielle Anwendungen dienen jedoch rein zweckorientierten Zielen, von denen viele die (Sensor-)Ausgabe für maschinengestützte Entscheidungen nutzen und ein feines Gleichgewicht zwischen Auflösung, Bildrate und Stromverbrauch erfordern.

Da die Bedeutung der Intelligenz im Edge-Bereich zunimmt, müssen sich diese Anwendungen an die Anforderungen der verschiedenen Anwendungsfälle anpassen. Viele fordern jetzt eine höhere Auflösung und eine bessere Gesamtleistung, um Computer/Machine Vision und Automatisierungsentscheidungssysteme zu unterstützen. Meist ist die größere Detailgenauigkeit erwünscht, da sie die nötigen Nuancen liefert, um Fehlentscheidungen zu minimieren. Mit zunehmender Auflösung steigt die Zahl der Pixel in einem Bildsensor und entsprechend die vom Sensor an den Bildsignalprozessor (ISP) oder den SoC gelieferten Bilddaten. Riesige Bilddaten vom Sensor und deren Verarbeitung durch den ISP/SoC führen zu einem hohen Stromverbrauch und stellen somit eine Herausforderung beim Design des Bildverarbeitungssystems dar. 
 

Entwickler müssen sich daher mit der hohen Leistungsabgabe, dem Stromverbrauch und den Stücklistenkosten des Systems auseinandersetzen, das nicht gerade stromsparende Bauelemente enthält. Obwohl es einen allgemeinen Trend gibt, den Stromverbrauch zu senken, stellt das Wärmemanagement eine Herausforderung dar. Denn die meisten Bildverarbeitungssysteme sind auf einen konvektiven Luftstrom angewiesen, um die im System erzeugte Wärme abzuführen. Bildsensoren reagieren sehr empfindlich auf Wärme, und jedes Defizit bei der Wahl des richtigen Designs könnte zu einem unzuverlässigen Bildverarbeitungssystem führen.

Quanteneffizienz als Basis
Die Quanteneffizienz (QE) eines Bildsensors definiert die Fähigkeit seiner Fotodiode, die Umwandlung der einfallenden Photonen in Elektronen zu maximieren. Je höher die QE, desto besser die Bildhelligkeit. Ein höherer QE-Wert ist bei schlechten Lichtverhältnissen von Vorteil und wird durch größere Pixel oder durch die Ergänzung der Szene mit sichtbarer oder unsichtbarer Beleuchtung erreicht. In beiden Fällen entstehen zusätzliche Kosten, mehr Leistungsfähigkeit und mehr Platzbedarf im Bildverarbeitungssystem, was je nach den Fähigkeiten des Bildsensors und den Bedingungen der Szene exponentiell ansteigen kann.

Besonders gravierend ist dies bei unsichtbarer Beleuchtung, wenn Infrarot-Leuchtdioden (IR-LEDs) zum Einsatz kommen, die Licht bei 850 und 940 nm erzeugen. Die Wellenlängen werden von Bildsensoren, nicht aber vom menschlichen Auge wahrgenommen. In der Branche wird dies als „aktive Beleuchtung“ bezeichnet. IR-LEDs verbrauchen ebenfalls Strom und benötigen daher eine Stromzufuhr, Platz und erhöhen die Stücklistenkosten. Ein Bildsensor mit hoher QE im NIR-Spektrum minimiert deren Anzahl, Intensität und die Gesamtkosten, ohne die Bildqualität zu beeinträchtigen. 

Höhere Bildqualität, geringere Gesamtbetriebskosten
Es muss sichergestellt sein, dass die hohe QE des Bildsensorpixels nicht durch Rauschen im restlichen Datenpfad beeinträchtigt wird, da dies die Gesamtbildqualität beeinträchtigt. Verfügt die Pixelarchitektur nicht über eine ausreichende Pixel-zu-Pixel-Isolation, kann das Übersprechen zwischen den Pixeln die modulare Übertragungsfunktion (MTF) und den Kontrast/die Schärfe der Bildobjekte verringern, was letztlich die Bildqualität beeinträchtigt. Eine weitere Beeinträchtigung kann sich durch eine schlechte Ausleseschaltung ergeben, die ein hohes Ausleserauschen verursacht.

Eine schlechte Bildqualität belastet den ISP/SoC übermäßig, so dass die Gesamtbildrate des Bildverarbeitungssystems sinkt, oder eine viel höhere Taktrate erforderlich ist, um die gleiche Endzeit zu erhalten. Im ersten Fall ist das Bildverarbeitungssystem wesentlich ineffizienter, und in beiden Fällen verbraucht das System mehr Strom. Um die Verarbeitungslast zu bewältigen, kann ein ISP/SoC mit erweiterten Ressourcen erforderlich sein, was die Gesamtkosten der Stückliste erhöht.

Eine bessere Bildqualität beseitigt die genannten Unzulänglichkeiten und verringert die Gesamtkosten des Bildverarbeitungssystems.

Unterabtastmodi
Bildsensoren wie die von onsemi (z. B. Hyperlux LP) berücksichtigen solche betrieblichen Anforderungen und bieten eine Reihe von Unterabtastmodi (Subsampling). Diese Modi wie Binning, Cropping und Skipping reduzieren die erzeugte und übertragene Bandbreite erheblich. 
 

Diese Funktionen machen das Bildverarbeitungssystem äußerst intelligent und ermöglichen es, je nach Anwendung das optimale Leistungsprofil zu wählen. Im Falle eines biometrischen Scanners kann ein einziges System mit einem 5MP-Sensorarray nun in verschiedenen Stufen des Scanprozesses eingesetzt werden, angefangen bei einem einzelnen Fingerabdruck in einem unterabgetasteten Modus bis hin zu einem Gesichtsscan in voller Auflösung. Vor allem aber muss der ISP/SoC weniger Daten verarbeiten, was seinen Stromverbrauch und den des gesamten Bildverarbeitungssystems senkt.

Weniger ist mehr
Bildsensoren mit hoher Auflösung erzeugen eine erhebliche Bandbreite. So überträgt ein 20MP-Sensor mit 60 Bildern pro Sekunde 12 GBit/s an Bilddaten, die über die Hochgeschwindigkeitsschnittstellen im Sensor und vom ISP/SoC, der sie empfängt, verarbeitet werden müssen. Die Verarbeitung solch großer Datenmengen erfordert teure, spezielle Ressourcen in diesen Verarbeitungs-Engines und entsprechend viel Strom, was zu Problemen beim Stromverbrauch und Wärmemanagement führen kann. Darüber hinaus erhöhen eingeschränkte Schnittstellengeschwindigkeiten diese Herausforderung. 

Bei den meisten Anwendungen ist es wahrscheinlich, dass die volle Auflösung bei voller Betriebsgeschwindigkeit nur für einen Bruchteil der Betriebszeit benötigt wird, während für den Rest der Zeit eine niedrigere Auflösung ausreicht. Die Subsampling-Modi können zwar die Bandbreite verringern und haben ihre eigenen Vorzüge, unterliegen aber bestimmten Einschränkungen bei der Wahl der Auflösung oder der Vollständigkeit der Szene.

Um diese Einschränkungen zu überwinden und den Anforderungen des Betriebs mit niedrigerer Auflösung gerecht zu werden, bieten sich Skalierer im Sensor an. Über sie lässt sich die Bandbreite direkt an der Quelle steuern, anstatt vom ISP/SoC verwaltet zu werden. Sie bieten auch die Möglichkeit, die Granularität bis zum kleinsten Grad zu steuern und dennoch das gesamte Sichtfeld (FOV) beizubehalten. Die Skalierungsalgorithmen können hochentwickelt sein, wie bei den Bildsensoren AR2020 von onsemi (20 MP Hyperlux LP), so dass selbst bei deutlich skalierten Auflösungen eine wesentlich bessere Bildqualität erzielt wird. Ein Beispiel: 20 MP werden zwar benötigt, um Details eines entfernten Objekts zu erfassen, aber möglicherweise nur in einem bestimmten Bereich des Bildes und nicht im Gesamtbild. Durch Zuschneiden oder Skalieren auf nur diesen dynamisch definierten Bereich ergeben sich die Vorteile eines 20MP-Sensors, ohne dass durchgängig Daten im Wert von 20 MP verarbeitet werden müssen.
 

Sleep-Modus so oft wie möglich, Wake-Up bei Bedarf
Der Sensor kann sich die meiste Zeit in einem sehr niedrigen Betriebszustand befinden (geringe Auflösung, niedrigste Bildrate). Er wechselt in eine vorher festgelegte Konfiguration, sobald eine Bewegung erkannt wird – Wake on Motion (WOM). Der Bildsensor verfügt über die systemeigene Fähigkeit, diese Änderungen zu erkennen und sich vom ISP/SoC in den gewünschten Modus/die gewünschte Konfiguration schalten zu lassen. Darüber hinaus lassen sich Bereiche ausblenden, in denen die Bewegung für die Anwendung nicht relevant ist, was den Sensor und das Bildverarbeitungssystem zielgerichteter und effizienter macht. Bisher wurde diese Funktion im Prozessor ausgeführt, aber durch die Ausführung auf dem Sensor lassen sich Systemressourcen und Stromverbrauch reduzieren.