In den 60er und 70er Jahren gaben Monochromkameras den Startschuss für die industrielle Bildverarbeitung. Kurz darauf stiegen die Anforderungen der Kunden hinsichtlich Farbsensitivität und Farberkennung. In den vergangenen Jahren durften wir uns über zahlreiche Innovationen in der 3D-Messtechnik freuen. Aktuell wird jedoch ein neuer Trend von den Anwendern gesetzt: Die Erkennung, Bewertung und Verarbeitung chemischer Materialeigenschaften im industriellen Prozess und in Echtzeit.

Die Basistechnologien hierfür, Spektroskopie bzw. hyperspektrale Kameras und die entsprechenden chemometrischen und spektroskopischen Verarbeitungsdisziplinen, sind seit über 20 Jahren bekannt. Diese waren bisher für den industriellen Einsatz jedoch hauptsächlich Spezialisten-Teams vorbehalten, da zur Beherrschung dieser Disziplinen Erfahrungen aus der Signalverarbeitung, Optik, Spektroskopie, Chemometrie und multivariaten Datenverarbeitung erforderlich waren. Darüber hinaus gab bisher keine Standard-Tools zum Einsatz hyperspektraler Kameras und standardisierte Industrieschnittstellen wurden ebenso nicht angeboten.

Die Nadel im Heuhaufen

Im einfachsten Fall weisen hyperspektrale Aufnahmen zwei Ortsdimensionen sowie gleichzeitig eine Spektraldimension auf. Ein Objektpixel wird daher nicht ausschließlich durch einen Grauwert oder einen Farbwert, sondern durch eine multiple Zahl von Spektralwerten beschrieben. Diese Information wird häufig als „eindeutiger Fingerabdruck“ beschrieben. Tatsächlich beschreibt ein Spektrum nicht ausschließlich die chemischen Eigenschaften eines Materials, sondern enthält, in Abhängigkeit des Messaufbaus, auch Informationen über z.B. Reflektionen oder morphologische Eigenschaften eines Materials. Auch elektrische und optische Einflüsse aus dem Kamerasystem selbst können sich im Spektrum zeigen. Zusätzlich kommt es vor, dass wechselnde Umgebungsbedingungen, wie zum Beispiel die Luftfeuchtigkeit, sich im Spektrum widerspiegeln und so die interessierende Information maskieren.

Wie man leicht erkennen kann, gleicht die Suche nach der interessierenden chemischen Information der Suche nach der viel besagten Nadel im Heuhaufen. Mathematisch stellt die Suche nach Informationen in spektralen Daten eine multivariate Problemstellung dar – jede Spektralinformation kann dabei als Variable angesehen werden. N Spektralpunkte führen dabei zu Problemstellungen mit N Variablen welche durch Anwendung multivariater Datenverarbeitung ermittelt werden.Um den Bau von Serienmaschinen zu ermöglichen, muss eine Hyperspektral-Anwendung auch Anforderungen an die Wiederholbarkeit erfüllen und Fertigungstoleranzen der komplexen hyperspektralen Kamerasysteme berücksichtigen. Man sieht hier deutlich, dass die Hyperspektraltechnologie nicht nur zahlreiche Möglichkeiten in der Bewertung von chemischen Materialeigenschaften bietet, sondern auch zahlreiche Möglichkeiten in kleine und größere Fallen zu tappen. Für den breiten Einsatz benötigt es also eine sogenannte Enabling-Technologie, welche es erlaubt mit bekannten Bildverarbeitungstools und Methoden hyperspektrale Kamerasysteme handzuhaben und in Industrieprozesse zu integrieren. Eine solche Technologie ist die Chemical Colour Imaging Technologie.

Chemical Colour Imaging

Chemical Colour Imaging (CCI) führt spektroskopische Informationen in den Farbbereich über. Der Anwender löst auf diesem Weg komplexe spektroskopische Problemstellungen durch die Interpretation von chemischen Farbbildern. Diese sind gleichzeitig das Kernelement von CCI: Zweidimensionale Feature-Bilder (Chemical Colour Images) werden aus komplexen, multidimensionalen Hyperspektraldaten extrahiert. In diesen Feature-Bildern werden dem Anwender die gesammelten, ortsaufgelösten, spektroskopischen Informationen in Farbe codiert dargestellt. Durch den Einsatz von CCI erscheint die hyperspektrale Kamera im System des Anwenders wie eine Farbkamera. Die Chemical Colours spiegeln molekulare Eigenschaften der untersuchten Objekte wider. CCI basiert auf etablierten wissenschaftlichen Methoden, abstrahiert diese jedoch nach außen hin vollständig und macht sie dem Anwender in einem grafisch geführten Prozess auf einfache Art und Weise zugänglich. Durch diese Kapselung müssen Anwendungen nicht mehr aufwändig von Grund auf neu entwickelt und programmiert werden, sondern werden schnell und intuitiv konfiguriert. Nach einer nur zweitägigen Schulung ist der Anwender in der Lage hyperspektrale Kameras vollständig zu beherrschen und Anwendungen zu entwickeln.

Die industrielle Anwendung

CCI wird in der Regel in industrielle Prozesse integriert. Meist erfordern diese Prozesse eine Echtzeit-Verarbeitung und stellen höchste Ansprüche an die Latenz dieser. Klassische Einsatzgebiete sind Sortiermaschinen, mittels welcher Störstoffe in Echtzeit aus einem Strom von Lebensmittel ausgeschleust werden müssen oder das Recycling bei der Trennung von Kunststoffen. Auch in der Holzindustrie und der pharmazeutischen Industrie hat CCI bereits Einzug gefunden. Um diesen Anforderungen an höchste Rechenleistung gerecht zu werden, werden starke Grafikkarten eingesetzt, welche eine parallele Datenverarbeitung erlauben. Des Weiteren bieten Grafikkarten große Flexibilität um neue Methoden und Algorithmen kurzfristig zu implementieren. Aufgrund des breiten Anwendungsspektrums von CCI ist dies besonders wichtig. Darüber hinaus unterliegen Grafikkarten besonders kurzen Weiterentwicklungszyklen, wodurch die Leistung ständig steigt. Diese Grafikkarten sind in der Regel in 19“ Industrie-PCs verbaut.

Was jedoch, wenn eine Anwendung nicht nur Anforderungen an höchste Performance sondern auch an Kompaktheit, Robustheit oder niedrige Leistungsaufnahme stellt? Sie werden zustimmen, dass ein Industrie PC im Drohneneinsatz nicht unbedingt praktisch ist. Hierfür bieten einige Hersteller ein System on Chip (SoC), welches parallele Datenverarbeitung im Kleinformat ermöglicht. Ein Beispiel ist das Unternehmen Nvidia, welches mit der Tegra-Serie eine hoch-performante SoC Technologie anbietet. Neben der geringen Größe und der minimalen Leistungsaufnahme ist dieses SoC hervorragend geeignet CCI für sehr kompakte Anwendungen wie den Drohneneinsatz zu ermöglichen. Nvidia selbst adressiert mit der Tegra-Serie speziell den Automotivsektor und den Consumer-Markt. So setzen neben führenden Automobilkonzernen auch Google mit dem Pixel C Tablet und Nintendo mit seiner Konsole Switch auf diese Technologie. Auch Perception Park, Pionier für CCI, präsentierte bereits auf der internationalen Konferenz für Industrielles Hyperspectral Imaging Chii2017 in Graz die Erweiterung seines Produktportfolios für Tegra X1 und X2.

Neue Märkte durch Embedded CCI

Dadurch, dass CCI nun auch für SoC zur Verfügung steht, wird das Anwendungsfeld der CCI Technologie dramatisch erweitert. Nicht nur industrielle Maschinen werden nun erheblich kompakter, auch der boomende Drohnenmarkt erfährt durch CCI zahllose neue Möglichkeiten, zum Beispiel im Agrarsektor oder in der Forstwirtschaft. Im Hinblick darauf, dass Smart-Kameras einen sehr großen Stellenwert in der industriellen Bildverarbeitung einnehmen, ermöglicht es Embedded CCI die Datenverarbeitung direkt in das Gehäuse einer Hyperspektralkamera zu integrieren. So können neben konfigurierbaren Systemen auch Smart-Kameras, die auf einen speziellen Nutzen zugeschnittenen sind, angeboten werden. Ähnlich einer Wärmebildkamera sind nun „Feuchtigkeits-Kameras“ oder „Zucker-Kameras“ denkbar. Hyperspektral-Kameras wurden in den letzten Jahren erheblich kleiner und leichter. Dadurch sind nun mobile Anwendungen, z.B. in der geologischen Feldforschung, im Markscheidewesen, in Agronomie, Umweltschutz und Lebensmittelüberwachung, möglich. Wenn die Miniaturisierung von Hyperspektral-Kameras in diesem Tempo anhält, können diese in naher Zukunft auch direkt in mobilen Geräten verbaut werden. Durch CCI wird hier der breite Consumer-Markt angesprochen. Man stelle sich nur vor, dass man im Supermarkt seine Lebensmittel direkt auf unsichtbare Schadstellen überprüfen kann. Viel wichtiger wird jedoch der Einfluss von CCI auf Tele-Anwendungen sein, um z.B. in der Telemedizin den Verlauf einer Wundheilung oder Hautkrankheiten zu verfolgen.

Zusammengefasst kann man sagen, dass die Entwicklung auf Hyperspektraltechnologie basierender Anwendungen bisher extrem zeit- und kostenintensiv war. Hatte man diese Aufwände dennoch auf sich genommen, stand man vor dem Problem, dass industrielle Prozesse häufig Echtzeit-Erfordernisse zeigen. Hyperspektraldaten sind oft um ein Hundertfaches größer als herkömmliche Farbbilddaten was eine hocheffiziente und parallele Datenverarbeitung erfordert, insbesondere wenn man auch noch diverse Störgrößen korrigieren möchte. Es gibt also zwei Kernherausforderungen beim Einsatz hyperspektraler Kameras: 1. Das Finden der applikationsrelevanten Information. 2. Der Einsatz der Applikation im industriellen Umfeld. Um diesen Herausforderungen gerecht zu werden, hat Perception Park eine Zweikomponentenlösung bestehend aus dem Perception Studio zur Applikationsentwicklung und dem Perception Core zum Einsatz einer Applikation in industrieller Echtzeit vorgestellt.