Obwohl in vielen Machine-Vision-Anwendungen mit Licht im NIR-Spektrum gearbeitet wird, kommen typischerweise Sensoren zum Einsatz, die als Nebenprodukt zu klassischen Machine-Vision-Sensoren und -Kameras nicht auf das NIR-Spektrum optimiert sind und somit nur eine geringe Quanteneffizienz in diesem Bereich aufweisen. CMOS-basierte Sensoren sind für einen Teil des NIR-Spektrums (ca. 750 nm bis 1.000 nm) zwar empfindlich, können aber (im Vergleich zur Spitzenempfindlichkeit) nur etwa 10 Prozent bis 30 Prozent des Lichts detektieren (bei längeren Wellenlängen ist dieses Detektionsvermögen stark abfallend). Zudem haben sie einen auf etwa 400 nm bis 1.000 nm begrenzten Spektralbereich, der nicht alle NIR-Wellenlängen abdeckt.
Um den NIR- und Swir-Wellenlängen­bereich besser abzudecken, kann ein InGaAs-Sensor verwendet werden. Dieser besteht aus einer Indiumarsenid- (InAs) und Galliumarsenid-Legierung (GaAs). Typischerweise haben diese Sensoren eine Spektralempfindlichkeit, die zwischen 900–1.700 nm und 1.100–2.600 nm variieren kann. Der jeweilige Wellenlängenbereich des Sensors wird bereits in seinem Herstellungsprozess durch ein bestimmtes InAs-und GaAs-Verhältnis vorgegeben.
Für Anwendungen, in denen Daten aus dem sichtbaren sowie dem NIR- und Swir-Bereich benötigt werden, müssen mehrere Kameras mit unterschiedlichem Strahlengang und verschiedenen Optiken eingesetzt werden. Die Überlagerung der Datensätze ist kompliziert und die gesamte Lösung letztlich teuer. Hinzu kommt, dass die Pixelgrößen einer CMOS-basierten Kamera kleiner sind (typischerweise 1 μm bis 5 μm) als bei Kameras mit InGaAs-Sensoren (typischerweise 10 μm bis 20 μm). Das erschwert die Zusammenführung der Daten der erfassten Bilder auf Pixelebene zusätzlich.

Kostenintensive Multispektralsysteme

In Anwendungen, die ein größeres Wellenlängenspektrum erfordern, müssen oft mehrere Kameras eingesetzt werden, damit alle Bilddaten des jeweiligen Bereichs erfasst werden können. Meistens werden für jedes Spektralband spezielle Kameras mit unterschiedlichen Sichtfeldern, Optiken und Pixelgrößen verwendet. Die von diesen Kameras erzeugten Momentaufnahmen müssen kalibriert und aufeinander abgestimmt werden, bevor die Datenanalyse beginnen kann. Nachteilig ist hier, dass diese Systeme sehr anfällig für Vibrationen und Fehlausrichtungen sind. Um die werkseitige Kalibrierung unverändert nutzen zu können, muss die Befestigung der Kameras robust sein, damit sie während des Transports, der Installation und der Anwendung nicht dejustiert und eine erneute Kalibrierung erforderlich wird. Bei einer Neukalibrierung ist das gesamte Bildverarbeitungssystem offline, das heißt die Prüfanlage ist nicht in Betrieb und die Effizienz bzw. die Leistung der Produktionsanlage verringert sich. Kamerahersteller, die Swir-Sensoren in ihre Geräte einbauen, müssen sich auch mit den Herausforderungen, die die Implementierung mit sich bringt, beschäftigen, zum Beispiel mit der Bewertung von Dunkelstrompegeln, starken Abschattungen, Fixed-Pattern-Rauschen und großen Pixelfehlern. Das alles verringert die Qualität des Ausgangssignals und muss bei der Entwicklung der Hardware und Software der Kamera berücksichtigt werden. Zudem arbeiten viele dieser Kameras mit analogen Sensoren, die für sich allein schon recht teuer sind und die noch zusätzliche Hardware-Komponenten zur Steuerung und zum Auslesen der Daten erfordern. Alles in allem erhöht das die Gesamtkosten dieser Kameras, weshalb ihr Einsatz in einigen Fällen Anwendungsfällen unrentabel ist.

Die Swir-Sensortechnologie von Sony

Sony ist ein relativ neuer Anbieter auf dem Markt für industrielle Swir-Sensoren. Die neueste Swir-basierte Technologie nutzt viele der früheren Technologien, die für CCDs und CMOS-Sensoren entwickelt wurden. Es handelt sich um den weltweit ersten nichtmilitärischen CMOS-ähnlichen Sensor, der sowohl den sichtbaren als auch den Swir-Wellenlängenbereich abdeckt – ein InGaAs-basierter Sensor, bei dem sich der lichtsensitive Teil auf einem Silizium-Backend (Si) mit Auslese- und Steuerelektronik sowie Speicher befindet. Eine Kupfer-Kupfer-Kontaktierung (Cu-Cu) verbindet den InGaAs- und Si-Layer. Dieser Bildsensor deckt sowohl den sichtbaren als auch den NIR- und Swir-Wellenlängenbereich mit einer Spektralempfindlichkeit von 0,4 μm bis 1,7 μm ab.
Das bedeutet, dass sich alle Anwendungen, in denen Daten aus diesen Wellenlängenbereichen erforderlich sind, mit nur einem Sensor bzw. einer Kamera realisieren lassen und dass die Bilddaten des sichtbaren Lichts mit den NIR- und Swir-Daten exakt übereinstimmen – und zwar auf Pixelebene, ohne zusätzliche Kalibrierung. Dieser Vorteil vereinfacht das Design eines Vision-Systems und die Bildanalyse erheblich, da die Bilder nicht erst miteinander verglichen und dann entsprechend angepasst werden müssen.
Sony hat anfänglich mit dem IMX990 und dem IMX991 zwei Swir-basierte Sensoren mit ähnlichen Eigenschaften und Merkmalen entwickelt. Beide basieren auf den Pregius digital Sensoren und bieten dementsprechend auch die CMOS-ähnliche Bedienbarkeit, Funktionalität und Einheitlichkeit: Alle Modelle befinden sich in einem keramischen PGA-Gehäuse und haben die gleiche Pin-Konfiguration. Somit sind für die Sensoren keine unterschiedlichen Board-Designs notwendig. Jedes Modell kann für die thermoelektrische Kühlung (TEC) optional mit einstufigen Peltier-Elementen ausgestattet werden, um die Rauschakkumulation durch Dunkelstrom (aufgrund der Wärmeentwicklung bei der Aufnahme von Bildern mit längerer Belichtung) zu reduzieren. Mittels TEC lässt sich eine Temperaturdifferenz von etwa 30 °C erzielen (bei einer Temperatur Ta von 45 °C).
Beide Sensoren nutzen die neue Senswir-Technologie von Sony: Durch eine dünnere Indiumphosphid-Oberflächenschicht (In-P) ermöglicht diese eine bessere Erkennung der sichtbaren Wellenlänge in einem größeren Bereich. In Kombination mit der Cu-Cu-Verbindung können mit dieser Technologie die Pixel stark verkleinert werden. Mit 5 μm haben die Sensoren laut Hersteller die kleinsten ­InGaAs-basierten Pixel in der Branche. Die Quanteneffizienz (QE) im sichtbaren Bereich ist gleichmäßig; im NIR-Bereich ist sie sehr hoch – sie erreicht hier einen Spitzenwert von über 75 Prozent bei 1.300 nm. Der Sensor IMX990 (1/2-Typ) bietet bei 130 fps eine SXGA-Auflösung (1.280 x 1.024), der IMX991 (1/4-Typ) bei 250 fps eine VGA-Auflösung (640 x 512). Beide Global-Shutter-Sensoren geben die Bilddaten über einen 2- beziehungsweise 4-Kanal-SLVS-Transceiver aus. Durch ihre kleineren Gehäuse und die digitale Signalübertragung können sie einfacher und schneller in jedes beliebige neue Kameradesign implementiert werden.

Anwendungsbereiche

In Machine-Vision-Anwendungen kommen seit langem verschiedene Sensoren zum Einsatz, um Bilder bei unterschiedlichen Wellenlängen aufzunehmen. Im Markt gibt es theoretisch viele multispektrale Anwendungen, in der Praxis jedoch hemmen die hohen Kosten den standardmäßigen Einsatz der Kameras zum Erfassen nicht sichtbarer Wellenlängen. Aus diesem Grund werden die neuen Sony-Sensoren von der Machine-Vision-Industrie bereits erwartet. Von einer Kamera, die das sichtbare Licht einschließlich des Swir-Spektrums erfasst, können bestimmte Branchen unmittelbar profitieren:

Anwendung 1: Lebensmittelverarbeitung und -überwachung

Bei den hier aufgenommenen Bildern kommt es vor allem auf den Kontrast an, durch den man Mängel und Schmutz gut erkennen kann, da diese das Licht anders reflektieren als ein unbeanstandetes Produkt. Normalerweise wird ein hoher Kontrast zum Hervorheben der mangelhaften Stellen durch verschiedenfarbiges Licht und/oder Farbfilter erzielt. Wenn das Fremdmaterial aber ein ähnliches Reflexionsspektrum hat wie die Lebensmittel, beispielsweise bei der Sortierung von Bohnen, steht der Anwender vor besonderen Herausforderungen. In einem solchen Fall sind Metall, Steine und Plastik im sichtbaren Spektrum nur schwer zu erkennen. Sobald man sie aber im Swir-Bereich analysiert, stechen sie optisch hervor und sie lassen sich leicht aus dem Gemenge herausfiltern.

Anwendung 2: Unterscheidung von Salz, Zucker und Mehl

Eine weitere Anwendung ist die Unterscheidung von Salz, Zucker und Mehl. Alle diese Lebensmittel sehen im RGB-Spektrum sehr ähnlich aus, haben aber ein unterschiedliches Reflexionsvermögen bei Swir-Licht. Werden die pulverförmigen Lebensmittel SWIR-Licht ausgesetzt und mit einer Swir-Kamera abgebildet, lassen sie sich leicht eindeutig erkennen und sortieren.

Anwendung 3: Mängel und Druckstellen an Obst erkennen

Obst kann Mängel und Druckstellen haben, ohne dass diese gleich bemerkt werden. Oft bemerkt man diese erst, wenn es in den Supermarktregalen liegt. Doch dann kaufen es die Kunden nicht mehr; es verkommt und belegt Platz, der für makelloses Obst genutzt werden könnte. Mit Swir-basierten Inspektionssystemen kann man hinter die Obstschale blicken, um Mängel zu erkennen und das Obst für die Weiterverarbeitung auszusortieren. Somit kann dafür gesorgt werden, dass nur bestes Obst in die Regale kommt und aufgrund der besseren Qualität bei anspruchsvollen Kunden auch höhere Preise erzielt.

Fazit: Breites Wellenlängenspektrum für zusätzliche Informationen

In vielen Anwendungen ist die Abdeckung eines großen Wellenlängenspektrums von Vorteil, da damit zusätzliche Informationen zur Beurteilung der Qualität und Performance eines Produkts gewonnen werden können. Bislang haben die hohen Kosten für Swir-basierte Kameras ihren Einsatz in verschiedenen Branchen eingeschränkt. Mit der SenSWIR-Technologie und den Bildsensoren von Sony hat sich das verändert, da damit eine kostengünstige Lösung für ein großes Wellenlängenspektrum verfügbar ist. Die Lösung minimiert die Komplexität des Designs eines Bildverarbeitungssystems und ermöglicht in vielen Märkten die hyper- und multispektrale Bildverarbeitung. Wenn Entwickler von Kameras diese Sensoren nutzen und evaluieren, um ihre Anforderungen und die bestehenden Herausforderungen zu lösen, lassen sich noch viele weitere Anwendungsfälle realisieren.

Autor
Darren Bessette, Category Manager Devices