Die Komplexität moderner 3D-­Anwendungen erschwert die Hand­habung von Kamerahardware und -daten. Fortschrittliche Lösungen ­vereinfachen den Umgang mit beiden und unterstützen damit noch ­leistungsfähigere ­Applikationen.

Die Umweltwahrnehmung mit 3D-Kameradaten ermöglicht heute viele neuartige Anwendungen, die bisher nur aufwändig von Menschenhand ausgeführt werden konnten. Die Robotik wird damit in die Lage versetzt, Objekte menschenähnlich zu erkennen und selbständig auf unterschiedliche Gegebenheiten zu reagieren. Neben räumlichen Abmessungen und der Lage innerhalb der Fertigungsumgebung sind dadurch auch genaue Rückschlüsse auf Abweichungen oder Fehlstellen beim Vergleich mit Referenzobjekten möglich. Der Umgang mit 3D-Kameras und ihren Daten ist aber sehr komplex und erfordert viel Vorbereitungs- und Einrichtungszeit bei der Erarbeitung einer Anwendung. Gerade in Mehrkameraanwendungen oder in Verbindung mit der Robotik sind aufwändige Kalibrierungen von mehreren Koordinatensystemen notwendig, bevor die Daten effektiv verwendbar sind. Durch die starke Systemabhängigkeit müssen diese Tätigkeiten oft direkt am Zielsystem erarbeitet werden. Die eigentliche Anwendung (Bildverarbeitung oder Software-Algorithmen) muss noch oft direkt am System entwickelt werden, um brauchbare Daten zu generieren. Für Anwendungen mit größeren Arbeitsräumen sind zudem das Sichtfeld und die Auflösung vieler 3D-Kameras nicht ausreichend. Diese Heraus- und Anforderungen sind in die Entwicklung des neuen IDS Ensenso SDK 2.2 und der neuen 5 MP-Variante der Ensenso-X-Serie eingeflossen. Dadurch ließen sich viele Detailverbesserungen erzielen, welche die Integration deutlich erleichtern.

Optimiert für Geschwindigkeit und Qualität
Ensenso-3D-Kameras sind sowohl für statische als auch für bewegte Anwendungen gleichermaßen gut geeignet. Für den Griff in die Kiste (Bin Picking) oder für hochgenaue Objekt-Vergleiche optimiert ihre FlexView-Technologie in Verbindung mit den SC-Algorithmen (Sequenz-Korrelation) die Ergebnisgenauigkeit der Kameramodelle N35, X36 1,3 MP, X36 5 MP. Dazu projiziert ein beweglich gelagerter Hochleistungsprojektor ein Zufallsmuster auf das Prüfobjekt, wodurch Bildmaterial mit unterschiedlicher Oberflächenstruktur des Prüfobjekts erzeugt wird. Die SC-Algorithmen berechnen daraus die 3D-Objektdaten, die von jedem weiteren Bildpaar (bis zu 16) profitieren, um die Genauigkeit zu erhöhen. Für Anwendungen mit bewegten Objekten, wie auf fortlaufenden Transportbändern, oder in Fällen, in denen sich die Kamera selbst bewegt, eignen sich die Modelle N30, X30 1,3 MP, X30 5 MP. Optimierte SGM-Algorithmen (Semi-Global-Matching) können auch aus einem einzigen aufgenommenen Bildpaar bereits eine beachtliche Genauigkeit der Tiefeninformationen erzielen. Der Ensenso-Kameraselektor hilft dabei, die richtige Kamera für jede Anwendung zu finden.

Größere Augen mit weiterem Sichtfeld
Mit der Integration zweier Sony-IMX264-5MP-Bildsensoren steigt die 3D-Bildauflösung der 3D-Kamerafamilie gegenüber der bisherigen 1,3MP-Variante um etwa 35 % bei gleichzeitigem Gewinn an Sichtfeld von etwa 20 %. Um eine bepackte Euro-Palette mit einem Volumen von 120 x 80 x 100 cm komplett zu erfassen, kann der Abstand zwischen Kamera und Prüfobjektsind damit von 1,5 m auf nur noch 1,25 m verringert werden. Ein Vorteil, durch den auch die native Sensorauflösung weit effektiver ausgenutzt wird. In Verbindung mit dem geringeren Pixelrauschen der Sony-Sensoren ergibt sich damit eine Verbesserung der errechneten Tiefeninformation (Z-Genauigkeit) von vorher 0,43 mm auf 0,2 mm.

Fit für Embedded-Anwendungen
Leistungsstärkere Sensoren verursachen größere Datenmengen und dadurch poten­ziell längere Verarbeitungszeiten, bis Ergebnisse vorliegen. Referenzuntersuchungen mit einem 5 MP-Modell bestätigten die etwa viermal längeren Bearbeitungszeiten für das Matching der Bilder eines Bildpaares bzw. der Zeit bis zu einem vollständigen 3D-Bild. Dennoch liegen die Zeiten für die vollständige 3D-Bildberechnung einer Sequenz-Korrelation mit 16 hochauflösenden 5 MP-Bildpaaren bei nur etwa 2,5 Sekunden. Für die meisten Anwendungen sind diese Zeiten vollkommen ausreichend. Für Anwendungen mit höheren Geschwindigkeitsanforderungen liefert ein Semi-Global-Matching mit einem 5 MP-Bildpaar ausreichende Genauigkeit bei lediglich 1,1 Sekunden Berechnungszeit. Um den größeren Datenmengen und den damit verbundenen Zeiteinbußen trotzdem entgegenzuwirken, wurden wichtige Berechnungen für CUDA optimiert. Die zusätzliche Rechenkapazität von NVIDIA Grafikprozessoren beschleunigt die Verarbeitungsprozesse je nach eingesetzter GPU und der Parametrierung der entsprechenden Algorithmen um etwa das Fünffache. Mit der CUDA-Unterstützung werden 3D-Anwendungen somit auch für das Embedded-Umfeld interessant. Eine geeignete Plattform ist zum Beispiel das NVIDIA Jetson TX2 Board. Während die Stereo-Berechnungen hier auf 256 CUDA Cores zurückgreifen können, läuft eine nachgelagerte Bildverarbeitung wie Halcon for Embedded Devices auf den verfügbaren ARM-CPUs.

Multikamerafähigkeit
Die Ensenso-Software-Bibliotheken bieten eine Reihe nützlicher Funktionen zur Verwendung mehrerer Kameras in einer Anwendung. Durch verschiedene Ansichten und Positionen müssen die Koordinatensysteme mehrerer Kameras aufeinander bzw. mit Festpunkten in der realen Welt abgeglichen und auf ein einheitliches Objekt-Koordinatensystem kalibriert werden. Wenn Kameras mit einem Roboter zusammenarbeiten sollen und dessen Bewegungen mit den Kameradaten koordiniert werden müssen, kann ebenfalls eine Hand-Augen-Kalibrierung durchgeführt werden. Ein integrierter Kalibrierungs-Wizard unterstützt den Anwender bei der Durchführung. Neben zusätzlichen Ensenso Stereokameras erlaubt das SDK auch eine einfache Integration und Kalibrierung von monokularen 2D-uEye-Kameras in einer Anwendung. Die Qualität von Prüf- und Messergebnissen in 3D-Anwendungen lässt sich durch Fähigkeiten der 2D-Kameras signifikant verbessern. Wo Stereo-Kameras in Grenzbereichen bei der Identifizierung von Objekten Schwierigkeiten aufweisen, unterstützen 2D-Kameras idealerweise durch Kantendetektion oder Farberkennung. Des Weiteren erlauben 2D-Kameras auch die Erfassung zusätzlicher Informationen wie zum Beispiel Inhalte von Barcodes. Die Software unterstützt deshalb die Integration beider Technologien. Speziell entwickelte Kalibriermuster erleichtern den Aufbau und Abgleich in Mehrkamerasystemen zusätzlich. Durch mehrere Kalibrierplatten, die von den Kameras zum Teil überdeckend aufgenommen werden, erkennt die NxLib-Bibliothek beliebig große Objekt-Koordinatensysteme sowie die Positionen der Kameras zueinander und kann diese dann miteinander abgleichen.

Virtualisierung für leichtere Entwicklung und Fehlersuche
Anwendungsentwickler dürften vor allem von den Erweiterungen „File Cameras“ und „Virtual Cameras“ profitieren. Zur Verbesserung von Algorithmen und Abläufen ist es unabdingbar, identische Daten mehrfach verwenden zu können. Eine File-Kamera verhält sich am System wie eine reale Kamera, mit dem Unterschied, dass ihr Bildmaterial aus einem lokalen Ordner mit gespeicherten Datensätzen stammt. So können Anwendungssequenzen immer wieder mit diesen Daten simuliert werden, ohne auf das reale System zugreifen bzw. Situationen nachstellen zu müssen. Das ist ebenso ein ideales Hilfsmittel zur Fehlerermittlung: Anwender können problematische Datensätze speichern, um sie Bildverarbeitungsspezialisten zur Verfügung zu stellen. Fehlerfälle werden dadurch auf einfache Weise reproduzierbar. Mit „virtuellen Kameras“ lassen sich Simulationen in einer Offline-Umgebung durchführen, um zum Beispiel Datenqualität, Vollständigkeit, Auflösung und Rauschen einer Szene mit verschiedenen Kameramodellen zu bewerten. Dazu können Objekte im STL- oder PLY-Format (gebräuchliche Dateiformate zur Speicherung dreidimensionaler Daten) importiert, gerendert und beliebig positioniert werden. So können beispielsweise Leistungsbewertungen über verschiedene Varianten eines Prüfprozesses durchgeführt werden, ohne ein reales System aufbauen zu müssen. Ein Szeneneditor als Alternative zur manuellen Modellerstellung ist ebenfalls bereits integriert. Bin-Picking-Anwendungen mit unterschiedlichen Teilen und deren Orientierung in Boxen lassen sich damit einfach simulieren. Mit einer Zufallsfunktion stehen unbegrenzt viele Varianten für Tests zur Verfügung, so wie es in der Realität bei unsortierter Teilezufuhr der Fall ist. Jedes Ensenso Modell kann als „virtuelle Kamera“ angelegt werden. So kann jedes in Frage kommende Modell über den Online-Kamera-Selektor ausgewählt und vor Aufbau des Systems simuliert werden. Mit diesen beiden Werkzeugen sind Voruntersuchungen und Optimierungen auch für 3D-Anwendungen einfach realisierbar.
Mit der „Optimierung“ von 3D-Anwendungen steigt unweigerlich die Komplexität im Umgang mit Kamerahardware und -daten. IDS bietet mit dem Ensenso SDK 2.2 und den neuen 5MP-Kameramodellen einige Lösungen, die den Umgang mit 3D-Daten für Systemintegratoren und Entwickler vereinfachen. Mit weiter verbesserter Hardware und Software unterstützt das Unternehmen damit die Entwicklung leistungsfähigerer 3D-Anwendungen. Auch bei schwierig zu lösenden Aufgaben wie dem „Griff in die Kiste“ lassen sich die Ansprüche an Qualität, Taktrate und Wirtschaftlichkeit sowie eine schnelle Verfügbarkeit von Robot Vision-Applikationen unter den sprichwörtlichen Hut bringen.