Jede Komponente eines Bildverarbeitungssystems, wie Bildsensoren, Objektive, optische Filter, Lichtquellen, hat ganz spezifische Eigenschaften, die die Gesamtbildqualität und damit auch die erforderliche ISP-Konfiguration beeinflussen. Um eine optimale Bild- und Farbqualität zu erreichen und gleichzeitig unerwünschte Nebeneffekte zu vermeiden, muss der ISP kalibriert und abgestimmt werden. Der ISP-Block auf den Nvidia-Jetson-Plattformen spielt ­dabei eine Schlüsselrolle, da hier Korrekturen und Verbesserungen an den Bilddaten vorgenommen werden können ohne CPU  und GPU zu belasten. Auf diese Weise lässt sich die Effizienz des Gesamtsystems er­höhen.

Die Kalibrierung des ISP und seine sukzessive Abstimmung unter Berücksichtigung vieler Betriebsbedingungen ist eine komplexe, zeitaufwändige Aufgabe. Sie erfordert spezielle Messgeräte, fachspezifisches Know-how und ein tiefes Verständnis der jeweiligen Plattformen. Framos hat ein eigenes Labor für das Tuning eingerichtet, das mit allen notwendigen Tools ausgestattet ist. Mit dem entsprechenden Fachwissen zur Kalibrierung und zum ISP-Tuning kann das dortige Team auch für spezielle Anwendungen die jeweils optimale Bildqualität erzielen.

Jedes Bildverarbeitungssystem wird individuell konfiguriert

Zur Kalibrierung einer bestimmten Konfiguration, bestehend aus Sensormodul, Objektiv und optischen Filtern, stellen die Experten das Setup des Kunden im Labor nach, um die erforderlichen Messungen durchzuführen und in nachgelagerten Schritten die optimalen ISP-Konfigurationswerte zu ermitteln. Hierbei wird eine Vielzahl von Parametern überprüft und korrigiert, zum Beispiel die Werte der Farbkorrekturmatrix, die Einstellungen für die Schwarzwertkompensation, die Bereiche für den automatischen Weiß-/Farbabgleich, die Parameter für Shading/Randlichtabfall, die Einstellungen für die Rauschunterdrückung und die Werte für den Schärfealgorithmus, um nur einige zu nennen.
 

Jeder CMOS-Sensor ist einzigartig und wird zunächst analysiert

Die meisten Farbbildsensoren verwenden einen Bayer-Filter, der auf einer Rot-Grün-Grün-Blau (R-G-G-B)-Farbfilteranordnung basiert. Über jedem Pixel befindet sich ein Farbfilter. Der Sensor nimmt ein modifiziertes monochromes (RAW-) Bild auf, das die gefilterten Pixeldaten mit den Farbinformationen enthält. Das daraus resultierende Farbbild wird mittels verschiedener Farbinterpolationsalgorithmen erzeugt, die im ISP implementiert sind. Dies wird als Demosaicing des Bildes bezeichnet und ist ein digitaler Prozess zur Rekonstruktion eines vollständigen Farbbildes aus den RAW-Daten des Farbfilter-Arrays.

Die Gesamtdurchlässigkeit und das Übertragungsspektrum dieser Farbkanäle sind bei jedem CMOS-Sensor unterschiedlich. Das nach dem Demosaicing-Prozess ­erzeugte Farbbild ist bei weitem nicht optimal und stimmt nicht mit dem überein, was das menschliche Auge unter den gleichen Bedingungen wahrnimmt. Um diese Unstimmigkeit zu korrigieren, wird für das Erstellen nachfolgender Bilder eine Farb­korrekturmatrix (Color Correction Matrix, CCM) berechnet und angewendet. Auf diese Weise erhält der Benutzer bei seiner Anwendung eine wahrheitsgetreuere Farbinformation.

Farbbilder werden durch äußere Bedingungen beeinflusst, insbesondere durch die Beleuchtung, die die Helligkeit und den Farbton eines Bildes verändert. Jede Änderung der Beleuchtungsstärke wirkt sich auf die Helligkeit der aufgenommenen Bilder aus. Das kann zu schlechten Ergebnissen führen, wenn dies vor der weiteren Bildanalyse in der Kundenanwendung nicht berücksichtigt wird.

Außerdem hat die Farbtemperatur der Beleuchtung einen großen Einfluss auf die Farbwiedergabe. Daher ist es notwendig, Auto-Exposure- beziehungsweise Auto-Gain-Funktionen anzuwenden, um die notwendige Bildhelligkeit zu erreichen, sowie einen automatischen Weißabgleich durchzuführen, um die Farbtemperatur der Beleuchtung auszugleichen und optimale Ergebnisse zu erzielen.

Ein gut abgestimmter ISP kann durch automatischen Weißabgleich unterschiedliche Beleuchtungsbedingungen (z.B. Glühbirne, Nachmittagssonne, Leuchtstoffröhre) ausgleichen. Die Abstimmung der ISP-Blöcke für das Demosaicing, die Farbkorrektur (CCM) und den Weißabgleich führt zu einer deutlich besseren Farbwiedergabe der aufgenommenen Bilder.

ISP-Tuning betrifft nicht nur die Beleuchtung und Farbwiedergabe

Der ISP-Tuningprozess umfasst mehrere Schritte, beginnend mit der Validierung des Modultreibers. Danach geht es darum, Sensorsteuerungen und Registereinstellungen zu analysieren. In dieser Phase legt das Framos Team die Schwarzwert-Einstellung, die Lens-Shading-Korrektur (Vignettierung), die Farbwiedergabe, den Weißabgleich, das Rauschverhalten und die Bildschärfe fest. Anschließend werden kundenspezifische Anforderungen an die Abbildung genauer untersucht, um die Feinabstimmung der ISP-Konfiguration für die Serienproduktion abzuschließen.

Den passenden Sensor schnell finden

Bei der Entwicklung einer Bildverarbeitungsanwendung ist es notwendig, die relevanten Eigenschaften der Bildsensoren zu erproben und zu validieren. Zu diesen gehören

• Auflösung,
• Bildrate, 
• optisches Format, 
• Shutter-Technologie, 
• Low-Light- oder HDR-Leistung. 

Das Framos Sensor Module Ecoystem (FSM) ermöglicht es Anwendern, Sensoren zu testen und geeignete Komponenten für die Anwendung auszuwählen. Der Bildsensor ist dafür zuständig, das verfügbare Licht zu erfassen und zu digitalisieren, bevor das Bild – beginnend mit dem ISP – die digitale Signalkette durchläuft. Somit ist es wichtig, einen Sensor zu wählen, der optimale Bilder liefert und die Anforderungen der Anwendung am besten erfüllt.

Vision-Ingenieure und -Entwickler können anhand des Produktportfolios, das im FSM Ecosystem unterstützt wird, viele und auch neueste Bildsensoren evaluieren und effizient einen Proof-of-Concept erstellen, um ihre Ideen und Konzepte zu validieren. In Zusammenarbeit mit Trägerplatinen-Partnern und entsprechenden Schaltplänen für Begleitplatinen kann eine kundenspezifische Lösung für die Produktion von Prototypen, für Betatests und schließlich für die Serienproduktion mit eben diesen Framos Sensormodulen entwickelt und hergestellt werden.

Das FSM Ecosystem umfasst eine große Auswahl an Modulen mit Rolling- oder Global-Shutter-Sensoren von Herstellern wie Sony und Pyxalis mit Auflösungen von 0,4 bis 24 MP. Jedes FSM kann direkt mit den Nvidia-Jetson-SOM-Entwicklungsboards über den Pixelmate-Anschluss von Framos oder mit den entsprechenden Sensor- (FSA) und Prozessor-Adaptern (FPA) verbunden werden.
Die Entwicklungskits enthalten alle notwendigen Hardware- und Software-Komponenten für die schnelle und einfache Bildaufnahme sowie Nutzung der Bilddaten. Mit dieser Lösung können Entwickler, auch ohne Expertenwissen zur Kameraentwicklung, die beste Performance erzielen und sich voll auf ihre Kernkompetenzen konzentrieren, um innovative Vision-Anwendungen schneller auf den Markt zu bringen.

Fazit

In immer mehr Vision-Anwendungen steht der ISP im Mittelpunkt, um die Bildqualität zu verbessern und Analysen "on the Edge" durchzuführen. Entsprechende Geräte sind in der Lage, einen Großteil der Bildvorverarbeitung in diskreten und hocheffizienten Signalprozessoren durchzuführen, CPU und GPU zu entlasten und somit das Gesamtsystem deutlich effizienter und performanter zu machen. Dabei die ISPs effektiv zu nutzen und das Optimum aus einem Vision-System herauszuholen, hilft das Kalibrieren des Signalprozessors.

Autor
Prashant Metha, Senior Field Application Engineer bei Framos