Die Spektroskopie liefert dem Nutzer spektrale Eigenschaften, die gewöhnliche Kameras oder das menschliche Auge nicht erkennen. Das ermöglicht die Materialunterscheidung, qualitative Aussagen und die Bestimmung der räumlichen Verteilung.

Mithilfe der Spektroskopie kann ein Nutzer spektrale Eigenschaften ausmachen, die für gewöhnliche Kameras oder das menschliche Auge nicht sichtbar sind. Diese Eigenschaften stehen meist im direkten Bezug zu den optischen Merkmalen der analysierten Oberfläche. Da jedes Material eine unterschiedliche spektrale Signatur aufweist, können mithilfe dieser Daten nicht nur die jeweiligen Materialien unterschieden, sondern auch qualitative Aussagen über das analysierte Objekt getroffen werden. Zudem ermöglicht die spektrale Bildgebung, die räumliche Verteilung verschiedener Materialien sowie Qualitätsunterschiede zu untersuchen.

Neue Wege in der hyperspektralen Bildgebung

Mit seiner Gründung 2011 beschritt der Hersteller von Real-Time Spectral Imaging Lösungen Cubert neue Wege im Bereich der hyperspektralen Bildgebung. Man konnte hyperspektrale Bilder von diesem Zeitpunkt an innerhalb kürzester Zeit ohne umfangreiche Vorprozessierung vor der Arbeit mit den Daten erzeugen, wie dies bei Zeilenscannern wie beispielsweise Push-Broom-Sensoren der Fall ist. Der Nutzer hat dabei den Vorteil, dass er mit hyperspektralen Live-Bilddaten arbeiten und somit Vorgänge verfolgen kann, wenn Veränderungen in den spektralen Eigenschaften versteckt sind.
Eines der wichtigsten Produkte des Unternehmens ist die hyperspektrale Snapshot Kamera FireflEYE S185, die einen vollständigen Datenwürfel innerhalb 1 ms erfasst. Die 125 Spektralbänder der Kamera decken den Wellenlängenbereich zwischen 450 und 950 nm ab, das heißt vom sichtbaren Blau bis zum nahen Infrarotbereich.

Vielfältige Anwendungsmöglichkeiten

Es gibt eine Vielzahl von Anwendungsmöglichkeiten, für die Hyperspektralkameras eingesetzt werden. Die Präzisionslandwirtschaft (Precision Farming), die rechtzeitige Erkennung von Krankheiten sowie die Ressourcenkartierung werden in der Land- und Forstwirtschaft immer wichtiger. Wird die Hyperspektralkamera an einer Drohne befestigt, liefert sie schnelle Daten, die ohne Vorverarbeitung leicht analysiert werden können.
Die Beobachtung der Wasserqualität, Dokumentation der Bodenkontaminierung, Stadtplanung sowie die Bodenzusammensetzung haben für das Nachhaltigkeitsmanagement einen hohen Wert. In den letzten Jahren lässt sich zudem ein wachsendes Interesse an Industrieanwendungen wie zum Beispiel Materialerkennung und Oberflächenanalysen feststellen. Bei der Frage nach der Gemeinsamkeit all dieser verschiedenen Anwendungen lässt sich sagen, dass letztlich alle mit der Ableitung von Informationen aus optischen Daten zu tun haben.

Quantifizierung, Qualifizierung und Klassifizierung

Ein Fokus liegt daher auf der Unterscheidung verschiedener Materialien und Oberflächen, dort, wo es für das menschliche Auge oder klassische Kameratechnik nicht möglich ist. Unterschiede in spektralen Eigenschaften sind oftmals zu gering, um sie zu erkennen, ferner kann die für eine Qualitätsaussage relevante Information im nahen Infrarotbereich versteckt sein. Bildklassifizierungsverfahren helfen, solche Unterschiede zu identifizieren und das Ergebnis zu quantifizieren. Neben der Quantifizierung besteht außerdem ein hohes Interesse an einer angemessenen Qualifizierung des Produktes. Ein Beispiel ist die automatische Bestimmung des Reifegrades in der Lebensmittelindustrie, die sehr wertvolle Informationen liefert, so dass der Industriewert solcher Produkte im direkten Bezug zu einem hohen Qualitätsstandard steht. Der Einsatz hyperspektraler Bildgebung für die Überwachung und Bewertung von Industriewerten kann tatsächlich Entscheidungen unterstützen und sogar automatisieren, Prozesse beschleunigen und letztendlich Geld einsparen.
Dennoch ist es ein ziemlich großer Schritt, eine Kamera dem Kunden bereitzustellen und eine individuelle Lösung für den jeweiligen Kunden zu finden. Die Erstellung einer geeigneten Softwareanwendung für die Informationsgewinnung aus den Spektraldaten umfasst meist sehr viel Entwicklung, Tests, Evaluation etc. Dies ist in den meisten Fällen sehr zeitaufwändig und die Entwicklungen werden durch einen Mangel an Fachwissen beeinträchtigt. Dies liegt an anspruchsvollen Anforderungen in Bereichen wie Mathematik, Statistik, Fernerkundung, Optik, Programmierung und weiteren.

Eine Lösung anbieten

Um diese Anforderungen zu bewältigen, kann Cubert seinen Kunden nun entgegenkommen. Durch die Zusammenarbeit mit perClass BV, einer niederländischen Softwarefirma, welche Werkzeuge für die Interpretation von Spektralbildern sowie Lösungen im Bereich Machine Learning entwickelt, kann der Nutzer (1) Spektraldaten aufnehmen, (2) diese Daten zur Einrichtung eines statistischen Klassifikators für bestimmte Materialien nutzen und (3) diesen Klassifikator auf den Live-Datenstrom als Plugin in der Cubert Utils Software anwenden – das alles innerhalb weniger Minuten. perClass ist ein Klassifizierungswerkzeug, das auf Machine Learning basiert und modernste Klassifikatoren wie Support Vector Machine oder Random Forest einsetzt.

Echtzeit-Klassifizierung durch Machine Vision

„Um das Potenzial der Hyperspektralkamera im Bereich Machine Vision zu zeigen, haben wir in unserem Labor einige Proben verschiedener Kräuter (Kamille, Oregano, Basilikum) auf einen Drehteller gelegt. Die Hyperspektralkamera S185 wurde über den Proben angebracht. Das nachfolgende Bild zeigt die Proben, wie sie durch die Kamera gesehen werden (Bild 1). Wenn man die Spektren der drei verschiedenen Kräuter näher betrachtet (Bild 2), die den in Bild 1 von den jeweiligen Rechtecken umrandeten Pixeln entsprechen, wird deutlich, dass sich die spektralen Signaturen sehr ähneln, was eine automatische Unterscheidung zweifellos erschwert“ erklärt Cuberts Sales Director Dr. Matthias Locherer.

Nach dem Export einiger Bilder zum perClass Mira Interface ist der erste Schritt das Training, indem drei Klassen für die Kräuter (sowie eine für den Hintergrund) bestimmt und einfach bekannte Pixel als entsprechende Label innerhalb des Bildes gezeichnet werden. Mit dieser Referenzinformation wird das Modell anschließend trainiert und direkt auf die Daten angewandt. Das Ergebnis zeigt, dass die Klassifizierung in diesem ersten Versuch bereits recht gut funktioniert hat, obwohl noch einige Artefakte als falsch klassifizierte Pixel erscheinen.

Ein einfacher Schritt, um das Modell zu verbessern, ist, einige der Bänder sowohl am Anfang als auch am Ende des Wellenlängenbereichs für die Modellsuche auszuklammern. Dies wird durch die Neueinstellung des Bandstarts und -endes erreicht (Bild 5). Der Grund dafür ist, dass die Bänder im vorderen wie hinteren Wellenlängenbereich der Kamera aufgrund der natürlichen Eigenschaften und der Empfindlichkeit siliziumbasierter Kameras rauschanfälliger sind. Durch das Entfernen dieser Bänder kann das Modell weniger fehleranfällig arbeiten.
Wenn der Klassifikator zufriedenstellende Ergebnisse liefert, kann er vom perClass Interface leicht exportiert und in die Cubert Utils Software integriert werden, wo er direkt auf den Live-Datenstrom angewandt wird.

„Die Leistung des erstellten Klassifikators ist schließlich als sehr gut zu bezeichnen, besonders vor dem Hintergrund, dass seine Konstruktion nur ein paar Minuten dauerte. Die meisten Pixel im Live-Bild werden korrekt klassifiziert (Kamille in Lila, Basilikum in Blau, Oregano in Grün und der Hintergrund in dunklem Rot). Falsch klassifizierte Pixel befinden sich meist an den Kanten der Kräuterschalen, was zu erwarten war, da wir keine Klasse für solche spektral gemischten Pixel definiert hatten. Bei Aktivieren des Drehtellers bleibt der Klassifikator äußerst stabil und liefert korrekte Ergebnisse. Dies ist vor allem deswegen bemerkenswert, da sich die Lichtverhältnisse wie der Beleuchtungswinkel oder die Lichtintensität aufgrund des veränderten Abstands zur Laborlampe für jedes Pixel laufend ändern“ führt Locherer aus.

Dieses Beispiel zeigt das immense Potenzial von hyperspektralen Snapshot-Kameras und wie intelligente Softwarelösungen, wie beispielsweise im Bereich Machine Vision, wertvolle Unterstützung für verschiedene Anwendungen bieten können, insbesondere bei der Arbeit mit Live-Daten.