Hyperspektrale Kameras sind in der Lage, das Reflexionsverhalten von Objekten bei verschiedenen Wellenlängen detailliert zu erfassen. Damit lassen sich viele Aufgaben in der industriellen Fertigung, Lebensmittelinspektion und Landwirtschaft lösen – oft auch in mobilen Geräten. Warum liegt „Hyperspectral Imaging“ gerade jetzt im Trend? Welche neuen Möglichkeiten und Anwendungsfelder eröffnen sich dadurch?
Was heißt eigentlich „hyperspektral“? Anders als gewöhnliche RGB-Farbkameras können hyperspektrale Kameras die Lichtintensität bei vielen verschiedenen Wellenlängen erfassen. Hierzu werden z.B. 16 bis 150 unterschiedliche Bandpassfilter auf monochromatische Bildsensoren aufgebracht. Die Filter lassen nur sehr enge Bänder passieren, die bei den unten näher beschriebenen Kameras die sichtbaren Wellenlängen bis ins nahe Infrarot umfassen. Durch ihre chemische Zusammensetzung absorbieren bzw. reflektieren Materialien Licht unterschiedlicher Wellenlängen sehr charakteristisch. Für das menschliche Auge und RGB-Kameras können beispielsweise ein reifer und ein unreifer Apfel in der gleichen Farbe erscheinen. Eine Hyperspektralkamera erfasst hingegen die spektrale Signatur des reflektierten Lichts. Intelligente Algorithmen zur Mustererkennung können anhand von Trainingsdaten den reifen vom unreifen Apfel an seiner spektralen Signatur unterscheiden.

Warum erst jetzt?
Dieses Prinzip der hyperspektralen Bildverarbeitung (engl. Hyperspectral Imaging, kurz: HSI) wird bereits seit vier Jahrzehnten erfolgreich angewandt. Die zunehmende Miniaturisierung und die Verfügbarkeit von Technologien, die vollständige HSI-Abbilder einer Szene mit nur einer einzigen Aufnahme ermöglichen, erschließen neue Einsatzfelder; mobile Echtzeitanwendungen werden möglich. Dafür sind primär die Fortschritte in der Sensor- und Kameratechnologie verantwortlich. Speziell industrielle CMOS-Sensoren mit großen Pixeln und Global Shutter sind nun kostengünstig und mit der notwendigen Auflösung und Empfindlichkeit erhältlich. Neue Verfahren erlauben zudem das Aufbringen vieler unterschiedlicher Farbbänder auf der Sensoroberfläche. Die Farbfilter können entweder in einer Mosaik-Struktur oder auch in einem Streifenmuster angeordnet werden (siehe Kasten).
Da die Monochrom- und Farb-Varianten der Sensoren bereits in äußerst kompakte Industriekameras mit einfach benutzbaren Daten- und Steuerungsschnittstellen integriert sind, können Kunden die HSI-Sensoren nun in den gleichen Kameras verwenden und von den genannten Vorteilen profitieren.

Typische Anwendungen für HSI
Hyperspektrale Kameras und Bildverarbeitung sind bereits Teil professioneller Lösungen. Zudem untersuchen aktuell zahlreiche Forschungsprojekte aus verschiedensten Bereichen das Innovationspotential. Hier einige Beispiele:

Sauerstoffgehalt von Gewebe
Untersuchungen haben gezeigt, dass sich Tumorgewebe und gesundes Gewebe oft in ihrem Sauerstoffgehalt unterscheiden. Dadurch erscheint das Tumorgewebe in den Bildern von HSI-Kameras mit einer anderen spektralen Signatur. Somit können Chirurgen einerseits sicherstellen, dass sie das Tumorgewebe vollständig entfernt haben, andererseits können Sie das umliegende gesunde Gewebe weitgehend verschonen. Gleiches gilt für Amputationen: Auch hier lässt sich infiziertes oder abgestorbenes Gewebe aufgrund des Sauerstoffgehalts genau identifizieren und der operierende Arzt kann den Eingriff so klein und kurz wie möglich halten. Durch die Messung der Netzhaut im Auge können Erkrankungen, die zur Erblindung führen sowie auch Alzheimer, frühzeitig erkannt werden.

Abfalltrennung
Speziell beim Abfall-Recycling ist es entscheidend, den Müll möglichst sortenrein zu trennen. Neben der Dichte und Wasserabsorption ist die optische Analyse ein wichtiger Indikator für die Material-Sorte. Hyperspektrale Kameras spielen hier ihre Stärken aus. Wie das obenstehende Diagramm zeigt, lässt sich mittels HSI weißes Plastik von weißem Papier deutlich unterscheiden. Ähnlich verhält es sich bei zahlreichen weiteren Materialien.

Lebensmittelproduktion und -sortierung
Die Qualität und Sicherheit von Lebensmitteln hängt insbesondere von den Zutaten ab. Hyperspektrale Kameras haben hier gegenüber klassischen RGB-Farbkameras den Vorteil, dass sie Kartoffeln von Steinen, Reiskörner von Maden und Hähnchenfleisch von Knochenstücken noch zuverlässiger unterscheiden können.  Die frühzeitige Analyse der einzelnen Bestandteile vermeidet so die Beschädigung von Maschinen und die unnötige Verunreinigung weiterer Zutaten.

Präzisionslandwirtschaft
Kosten- und Ertragsdruck bestimmen die industrielle Landwirtschaft. Mit HSI-Kameras ausgestattete Ernteroboter können bei vielen Obstsorten reife von unreifen Früchten anhand der spektralen Signatur der Schale unterscheiden. Von Ackerflächen liefern HSI-Kameras zudem detaillierte Informationen über den Reifegrad, Wassergehalt, Ungezieferbefall und Gesundheitszustand der Pflanzen. So lassen sich Bewässerungsmengen, Dünger-, Pestizid-Einsatz und der Erntezeitpunkt optimieren.

Normierung auf das Beleuchtungsspektrum
Wie bereits erläutert basiert bei HSI die Analyse auf der Erkennung der spektralen Signatur. Diese ist jedoch insbesondere auch von dem Umgebungslicht abhängig, was gerade bei Anwendungen im Außenbereich problematisch ist. Sonnenstand, Staub- und Feuchtigkeitsgehalt der Atmosphäre, Bewölkung – all diese Faktoren verändern das Spektrum des einfallenden Lichts und damit auch das Spektrum, welches die zu untersuchenden Objekte reflektieren. Somit ist es notwendig, jede HSI-Aufnahme mit dem aktuell einfallenden Lichtspektrum zu normieren (Reflektanzberechnung). Dies gilt auch dort, wo man die Beleuchtungsverhältnisse kontrollieren kann. Hier reicht jedoch meist eine einmalige Kalibrierung aus.

Bandbreite und Rechenleistung
HSI-Bilder werden in sogenannten „Datacubes“, also als dreidimensionale Daten abgespeichert. Jedes Pixel des zweidimensionalen Bildes wird hierbei jeweils durch eine individuelle spektrale Signatur repräsentiert. Diese Signatur besteht aus einem Vektor aus den aufgenommenen Bändern (hier: 16 bis 150). Neben den klassischen Aufgaben der Bildverarbeitung müssen beim Hyperspectral Imaging noch die Spektralverläufe korrigiert und die Signaturen jedes Bildpunkts ausgewertet werden. Dafür benötigt man umso mehr leistungsfähige Prozessoren bzw. hochparallele Datenverarbeitung auf Grafikkarten.
Je nach Anwendung handelt es sich bei der HSI-Bildanalyse meist um ein Mustererkennungsproblem, das maschinelle Lern- und Klassifikationsverfahren erfordert. Hierbei erstellen entsprechende Algorithmen auf Basis von Trainingsbildern ein statistisches Modell der spektralen Signatur z.B. von reifen Äpfeln. Bei der Untersuchung eines unbekannten Apfels überprüft das Verfahren, ob dessen Signatur zu dem statistischen Modell passt.

Leichte und stromsparende Komponenten
Bei Einsatz auf mobilen Plattformen, wie beispielsweise Drohnen in der Landwirtschaft müssen System-Entwickler zudem auf geringes Gewicht und eine niedrige Leistungsaufnahme der Kameras und der zugehörigen Recheneinheit achten. Daher lag es für den Kamerahersteller Ximea nahe, eine der kleinsten, leichtesten und stromsparendsten USB3-Kameraserien weltweit, um hyperspektrale Sensoren zu erweitern. Die industrielle xiSpec-Kameraserie erfüllt somit bereits alle Anforderungen industrieller und mobiler Systeme. Sie nutzt Sensoren des belgischen HSI-Experten Imec, der sich darauf spezialisiert hat, HSI-Bandpassfilter auf Global Shutter CMOS-Sensoren von AMS/Cmosis mit einer Auflösung von 2,2 Megapixeln aufzubringen.

Rapid-Prototyping von Embedded-HSI Systemen
Systementwickler z.B. von Abfallsortieranlagen, ebenso wie Piloten von Drohnen, die Getreidefelder überfliegen, benötigen äußerst kurze Reaktionszeiten der HSI-Bildverarbeitungssysteme. Eine der neuesten Innovationen von Nvidia, die Jetson TX1 GPU-Plattform, ist lediglich so groß wie eine Scheckkarte und bietet eine 10 bis 15-mal höhere Rechenleistung als viele moderne Desktop-CPUs. Ximea hat hierfür eine eigene Plattform mit verschiedenen Schnittstellen entwickelt. Auf dem sogenannten xEC-Board läfut eine Embedded Linux-Installation. Programmierer können damit auf die 256 Cuda-Kerne des Jetson TX1 zugreifen, Algorithmen zur Bildverarbeitung und Kompression implementieren und performant ausführen. So sind Entwickler von mobilen HSI-Systemen in der Lage mit dem Nvidia Jetson TX1, dem xEC-Board sowie einer oder mehrerer xiSpec USB 3.0-Kameras und/oder anderen xiQ USB 3.0 Kameras einen Prototyp zu entwickeln, der bereits viele Anforderungen des mobilen Einsatzes erfüllt. Je nach Anwendung taugt diese Plattform aber bereits auch als finale Systemkomponente.

Fazit
Verschiedene Materialien reflektieren Licht aufgrund ihrer chemischen Zusammensetzung jeweils mit einer bestimmten spektralen Signatur. Moderne hyperspektrale Bildverarbeitungssysteme sind in der Lage, markante Signaturen zu erkennen. Dies eröffnet neue Einsatz-Möglichkeiten optischer Analyseverfahren in der Industrie, Landwirtschaft und Forschung. HSI-Kameras sollten dabei ebenso zuverlässig, klein, leicht und stromsparend sein, wie übliche Industriekameras. Die Verarbeitungseinheiten müssen aufgrund der vielfach größeren Datenmenge jedoch deutlich mehr Rechenleistung und Bandbreite bereitstellen als bei Verwendung von Grauwertbildern. Im mobilen Einsatz muss jedoch auch die Datenverarbeitung auf kleinen, leichten und stromsparenden Plattformen stattfinden. Um HSI erfolgreich nutzen zu können sind detaillierte Kenntnisse u.a. über die Kalibrierung und Normierung der Lichtverhältnisse sowie über das Training und die Evaluierung von Mustererkennungssystemen notwendig. Ximea bietet hierzu umfassende Erfahrung und stellt mit seiner xiSpec-Kameraserie und dem xEC-Board zudem eine kompakte, leichte, stromsparende und leistungsstarke Plattform für die Entwicklung von mobilen Prototypen und Systemen für die hyperspektrale Bildverarbeitung bereit.