Bildverarbeitungssysteme, die bis Losgröße 1 inline in Produktions-Echtzeit anwendbar sind – das wäre die Idealvorstellung, wenn es um die Produktion im Sinne von Industrie 4.0 geht. Die Realität sieht oft anders aus: Meist werden die Systemen noch individuell an die Produkt- und Produktionseigenschaften angepasst, was mit erheblichem Aufwand bei der Konzeption, Inbetriebnahme und Anpassung verbunden ist. Das Projekt Mosyko3 befasst sich daher mit einem neuen Ansatz zur Bereitstellung von 3D-Bilddaten.

Das Projekt Mosyko3D (Modulares Sensorsystem zur kontextbezogenen optischen Erfassung und Verarbeitung von 3D-Daten) der Hochschulen Karlsruhe und Pforzheim und dem Karlsruher Institut für Technologie beschäftigt sich mit 3D-Sensorsystemen. Das Projekt wird von der Baden-Württemberg Stiftung im Rahmen der Ausschreibung „Photonik, Mikroelektronik, Informationstechnik“ – „Intelligente Optische Sensorik“ finanziert. Der Grundgedanke des Projekts besteht darin, die Auswertung der Sensordaten durch eine modulare serviceorientierte Systemarchitektur zu erledigen. Diese Architektur ist an die Anforderungen der Sensordatenauswertung für das jeweilige 3D-Sensorsystem angepasst und kapselt gleichzeitig die Komplexität der Auswertung in einem ganzheitlichen Hard- und Software-Ansatz. Für den Anwender steht so eine semantische Prozessschnittstelle zur Verfügung, über die er – abstrahiert vom konkreten Sensorsystem – die Datenerfassung kontrollieren kann und die 3D-Messdaten zurückerhält. Die Kopplung der Komponenten und die Vernetzung mit übergeordneten Systemen erfolgt über etablierte Standards. Ziel ist, das 3D-Sensorsystem im Sinne einer Plug&Play-Komponente in übergeordnete Automatisierungs- und Qualitätssicherungssysteme zu integrieren.

FPGAs zur sensordatennahen Verarbeitung

Da die Auswertung der Rohdaten von 3D-Sensorsystemen oft aufwendige Signal- und Bildverarbeitungsschritte erfordert, spielt die Auswahl einer geeigneten Hardware, deren Rechenleistung und die Anpassung der Verarbeitungsschritte an die Systemarchitektur eine wesentliche Rolle zur Erzielung der Echtzeitfähigkeit. Als Hardware-Plattform werden im Projekt erstmals FPGAs zur sensordatennahen Verarbeitung eingesetzt. Diese sind integrierter Bestandteil des Sensorsystems und ermöglichen in Verbindung mit einer auf die 3D-Bildverarbeitung abgestimmten modularen Architektur mittels Pipelining und Parallelverarbeitung eine schnelle Verarbeitung der Bilddaten, deren Geschwindigkeit übliche PC-basierte Auswertesysteme erreicht oder übertrifft.

Kontext wird einbezogen

Ein weiterer zentraler Aspekt des Projekts besteht darin, dass bei der Modellierung und Umsetzung der 3D-Sensorsysteme der Kontext der Bilderfassungsaufgabe – das heißt Anforderungen aus der Szene selbst, aus den Umgebungseinflüssen oder zeitliche Anforderungen – und die Interaktion zwischen Sensorsystem und zu erfassender Szene berücksichtigt werden. Das Sensorsystem wird dadurch in die Lage versetzt, aus dem Kontext der Bilderfassungsaufgabe und den aufgenommenen Sensordaten Rückschlüsse über die Eignung der verwendeten Sensorkonfiguration, der Kalibrierung und der Parametrierung zu ziehen. Das Sensorsystem wird so zu einem cyber-physischen System, das selbständig auf geänderte Aufgabenstellungen oder Umgebungseigenschaften reagieren und seine Eigenschaften optimieren kann. Eine solche Fähigkeit der Kontextsensitivität ist essenziell, um Sensorsysteme als universell einsetzbare Komponenten zu etablieren.

Deflektometrie und plenoptischer Bilderfassung als Basis

Um diese Konzepte für 3D-Sensorsysteme zu demonstrieren, werden im Projekt Mosyko3D zwei Sensorsysteme auf Grundlage der Deflektometrie und plenoptischer Bilderfassung exemplarisch umgesetzt. Charakteristisch für beide Sensorprinzipien ist die hohe Komplexität der Bildverarbeitung und auswertung, so dass beide Prinzipien bislang nur mit hohem Aufwand in industriellen Anwendungen einsetzbar sind. Der Aufwand bei der Anwendung der Deflektometrie liegt vor allem darin, solche Systeme individuell an die Aufgabenstellung anzupassen. Dies betrifft etwa die Anordnung der Komponenten Schirm und Kamera an die Bauteilgeometrie oder die Oberflächenbeschaffenheit. Weitere praktische Herausforderungen entstehen durch den Rechenaufwand bei der geometrischen Oberflächenrekonstruktion. Die Berücksichtigung des Kontexts und die damit verbundene automatische Einstellung von Designparametern des deflektometrischen Messsystems helfen hier, diesen Aufwand zu reduzieren. Durch den Einsatz von FPGAs lassen sich parallelisierbare Rechenschritte beschleunigen. Bei der plenoptischen Bilderfassung liegen Herausforderungen unter anderem darin, dass die damit erhaltenen Tiefeninformationen im Fernbereich (ab etwa 3 m) für viele Anwendungen noch nicht ausreichend genau erhalten werden können. Abhilfe kann darin bestehen, Structure-from-Motion-Verfahren (SFM) mit plenoptischer Bilderfassung zu kombinieren, was die Genauigkeit der Tiefeninformation erheblich steigern kann. Die Sensormodellierung und die Kontextsensitivität verfolgen dabei das Ziel, die Dichte der gelieferten 3D-Punktwolke gegen die Genauigkeit der Tiefeninformation zu priorisieren. Damit lässt sich das 3D-Sensorsystem flexibel an sich ändernde Einsatzbedingungen anpassen. Mit den Ergebnissen des Projekts Mosyko3D entsteht das Konzept für modulare 3D-Sensorsysteme, die mit wenig Aufwand in einen Produktions- oder Qualitätssicherungsprozess integriert werden können und universell für eine Vielzahl von Anwendungen einsetzbar sind. Das Projekt ebnet damit den Weg für 3D-Sensorsysteme zum Einsatz in Industrie-4.0-Umgebungen.