Echtzeit-Analyse mit KI-gesteuerten Hyperspektralkameras
Intelligente Kombination aus Bildanalyse und Spektroskopie ermöglicht neue industrielle Anwendungen
Hyperspektrale Bildgebung gilt als Schlüsseltechnologie in Einsatzgebieten, in denen neben der visuellen Erscheinung auch die Materialzusammensetzung von Objekten eine Rolle spielt. Doch hohe Systemkosten, komplexe Hardware und große Datenmengen begrenzen ihren breiten Einsatz. Im Forschungsverbund Oasys entsteht nun ein Ansatz, der diese Hürden überwinden soll: eine kompakte, KIgestützte Hyperspektralkamera, die nur relevante Messpunkte analysiert. Dies reduziert Aufwand und Kosten – und eröffnet so neue Einsatzfelder.
Anwendungen der Spektroskopie reichen von der industriellen Qualitätskontrolle über Sortieraufgaben in Produktions- und Recyclingprozessen bis zu mobilen Anwendungen im Feldeinsatz. Die Informationen zur Materialzusammensetzung werden in der Regel mittels Nahinfrarot- (NIR) Spektroskopie gewonnen. Diese Technologie ermöglicht zuverlässige und zerstörungsfreie Analysen. Ihr Einsatz ist jedoch mit vergleichsweise hohen Systemkosten verbunden. Der Grund liegt vor allem in den Nahinfrarot-Sensoren. Im Vergleich zu Silizium-basierten Bauelementen sind sie teurer und ermöglichen geringere Pixelauflösungen. Für viele Anwendungen, insbesondere in kostenkritischen industriellen Prozessen, stellt dies eine Hürde dar. Klassische Analysen erfassen zudem das gesamte Bildfeld spektral, auch wenn viele der gewonnenen Informationen redundant oder für die eigentliche Entscheidung gar nicht notwendig sind.
Hier setzt ein neuer Ansatz an, welcher im Forschungsverbund Oasys (optoelektronische Sensoren für anwendungsnahe Systeme) entwickelt wird. Unter der Beteiligung des Fraunhofer IPMS wird das Ziel verfolgt, eine kompakte, energieeffiziente und kostengünstige Hyperspektralkamera zu realisieren, die mithilfe künstlicher Intelligenz nur relevante Messpunkte analysiert und somit eine komplexe Material- und Qualitätsanalyse in Echtzeit ermöglicht.
Chemische Zusammensetzung des Materials an relevanten Messpunkten
Das System kombiniert eine konventionelle Farbkamera mit einem am Fraunhofer IPMS entwickelten NIR-Spektrometer. Zunächst erfasst eine hochauflösende Kamera ein detailliertes Bild des zu untersuchenden Objekts. Anschließend analysieren KI-basierte Bildauswertungsalgorithmen dieses Bild in Echtzeit und identifizieren automatisch die für eine spektrale Analyse relevanten Bereiche, die sogenannten Regions of Interest (ROI).
Nur diese ausgewählten Positionen werden anschließend spektroskopisch untersucht. Die gezielte Messung erfolgt über eine Ablenkeinheit aus zwei MEMS-Scannerspiegeln, die das Licht auf das integrierte Scanning Mirror Micro Spectrometer (SMMS) lenken. Dadurch lassen sich die für das menschliche Auge verborgene spektrale Informationen über die chemischen Eigenschaften erfassen.
Die gewonnenen Spektraldaten bestehen aus rund 1.000 Intensitätswerten im NIR-Bereich von 950 nm bis 1.900 nm bei einer spektralen Auflösung von 10 nm. Optional kann auch ein SMMS-Spektrometer mit erweitertem Messbereich von 1.100 nm bis 2.200 nm eingesetzt werden. Aus diesen Daten lässt sich die chemische Zusammensetzung des Materials zuverlässig bestimmen.
Grundlage für neue Sensorsysteme
Gegenüber dem heutigen Stand der Technik wird der Aufwand für hyperspektrale Messsysteme mithilfe des intelligenten Ansatzes reduziert und die Datenerfassung effizienter. Während klassische hyperspektrale Kameras das gesamte Bild spektral abtasten, konzentriert sich das neue System ausschließlich auf die tatsächlich relevanten Messpunkte. Gerade in Anwendungen, in denen das Material eines Objekts weitgehend homogen ist, etwa bei Textilien oder Kunststoffen, lassen sich so große Mengen redundanter Informationen vermeiden. Das reduziert nicht nur die zu verarbeitenden Datenmengen, sondern auch den Energiebedarf und die erforderliche Rechenzeit. Damit wird hyperspektrale Analytik erstmals auch für Anwendungen attraktiv, bei denen bisher Kosten oder Systemkomplexität eine breite Nutzung verhindert haben, beispielsweise bei der Erkennung von Mängeln von Lebensmitteln oder der Erfassung der Zusammensetzung von Textilien oder Kunststoffen im Recyclingprozess.
Heinrich Engelke, Projektverantwortlicher am Fraunhofer IPMS erklärt: „Die Kombination aus KI-gestützter Bildanalyse, selektiver Spektralmessung und MEMS-basierter Mikrooptik ermöglicht eine leistungsfähige Analytik bei reduziertem Systemaufwand. Gleichzeitig trägt die Technologie dazu bei, Prozesse effizienter zu gestalten, Ressourcen zu schonen und datenbasierte Entscheidungen in Echtzeit zu ermöglichen.“
Anwendungen entlang industrieller Wertschöpfungsketten
Die neue Hyperspektralkamera bringt die analytischen Verfahren dorthin, wo sie gebraucht werden: direkt in Produktionslinien, Sortieranlagen oder in den Feldeinsatz. Die gewonnenen Informationen unterstützen beispielsweise in der Kreislaufwirtschaft die zuverlässige Sortierung von Textilien. Hier können aus dem erfassten Bild zunächst Eigenschaften wie die Art, Größe, Farbe, Zustand und eventuelle Verunreinigungen erkannt werden. Die anschließende NIR-Spektralanalyse identifiziert den Materialtyp oder ermittelt quantitativ die Zusammensetzung von Mischgeweben. Gut erhaltene Textilien können gezielt für die Weiterverwendung aussortiert werden. Andere Materialien lassen sich sortenrein trennen und damit werterhaltend recyceln.
Auch in der Lebensmittelindustrie verbessert die neue Technologie die Qualitätskontrolle entlang der Verarbeitungskette, indem sie Druckstellen und Mängel aufspürt. In der Landwirtschaft lassen sich beispielsweise der Zustand von Pflanzenbeständen oder Nährstoffbedarf präziser bestimmen.
Die Technologie eignet sich für die automatisierte Qualitäts- und Lieferkontrolle, bei der Materialien oder Produkte direkt in der Produktionslinie geprüft werden. Auch Schnelltests von Inhaltsstoffen lassen sich durchführen, sodass chemische Eigenschaften von Materialien unmittelbar analysiert werden können. Darüber hinaus ermöglicht die Technologie die Kontrolle der Füllmenge von Verpackungen sowie weitere chemische Analysen direkt im Produktionsprozess.
Durch ihre geringe Baugröße und den reduzierten Energiebedarf eignen sich die Systeme nicht nur für stationäre Anwendungen in Produktions- und Sortieranlagen. Auch mobile Einsatzszenarien werden möglich, beispielsweise der Einsatz auf unbemannten Fluggeräten (UAVs).
