Systeme mit berührungslosen Messverfahren werden meist in kontrollierter Umgebung bei bekannten Messobjekten eingesetzt. Bei der Vermessung von schwer zugänglichen und unbekannten Umgebungen, wie z.B. bei Triebwerken, können dort Situationen auftreten, bei denen die Messaufgabe zusätzlich erschwert wird. In diesem Beitrag wird exemplarisch eine echtzeitfähige bildbasierte Stereo-Videoverarbeitungskette für die 3D-Endoskopie vorgestellt, mit dem diese Herausforderungen gelöst werden können.

Berührungslose optische Messverfahren werden bereits in vielen industriellen Bereichen wie bei der Produktionsüberwachung von Bauteilen oder der Generierung von hochpräzisen 3D-Modellen eingesetzt. Diese Systeme werden jedoch in kontrollierten Umgebungen eingesetzt und das zu vermessende Objekt ist meist bekannt. Die Verfahren arbeiten dabei mit aktiven Verfahren wie „Structured Light“ oder passiven photogrammetrischen Referenzmarkern sogenannten Fiducials. Dies ist insbesondere für den Bereich „Remote Visual Inspection“ (RVI) bei Inspektions- und Wartungsarbeiten nicht praktikabel, da die visuelle Kontrolle in unkontrollierten, schwer zugänglichen und unbekannten Umgebungen erfolgt wie bspw. Triebwerken, Rohrleitungssystemen oder technischen Hohlräumen. Im Gegensatz zu optischen In-Line-Messsystemen können dort jederzeit Situationen auftreten, in denen eine komplizierte Geräteführung sowie schlechte Beleuchtungsverhältnisse die Messaufgabe zusätzlich erschweren. Daraus ergeben sich besondere Anforderungen an das berührungslose Messsystem. Exemplarisch wird hier eine echtzeitfähige bildbasierte Stereo-Videoverarbeitungskette für die 3D-Endoskopie vorgestellt, die hochgenaue 3D-Messungen ermöglicht. Weiterhin wird ein erster Kalibrier- und Messaufbau skizziert, der in Zukunft eine objektive Bewertung von rein bildbasierten Messsystemen ermöglichen soll.

Stereoprinzip

Die Aufnahme der Bilder erfolgt durch ein 3D-Endoskop (Abb. 1). Die Stereodaten werden synchron über zwei horizontal versetzte optische Strahlengänge aufgenommen. Der Horizontalversatz, bestimmt die Stereobasis und die Größe der sog. Stereoparallaxe, die für den 3D-Eindruck sowie die theoretisch erreichbare Messgenauigkeit entscheidend ist. Das Design von 3D-Endoskopen unterliegt daher unterschiedlichen Anforderungen. Die entscheidenden Parameter sind die Brennweite, Stereobasis und Sensorgröße. Für Stereosysteme ergeben sich daraus drei praxisrelevante Konfigurationen: (1) zur 3D-Visualisierung (2) präzise messende 3D-Systeme sowie (3) hybride Systeme, die für Vermessungsaufgaben und zur 3D-Visualiserung gleichermaßen ausgelegt sind. 3D-Laparoskope aus der Medizintechnik sind ein gutes Beispiel für ein solches Hybridsystem und können sowohl zur Visualisierung als für Vermessungsaufgaben eingesetzt werden. Abb. 2 zeigt die schematische Anordnung eines achsparallelen Stereosystems und benennt die Parameter für die Bestimmung von Tiefeninformationen aus Stereoansichten mittels Triangulation. Der Weltpunkt (Pw) wird von beiden Kameras erfasst und auf den jeweiligen Bildebenen I1, I,2 als p1, p2 in Pixelkoordinaten abgebildet. Aus der Differenz der Bildpunkte (p1, p2) lässt sich die Disparität (Stereoparallaxe in Pixeln) berechnen. Die Tiefe (Z) für einen Weltpunkt berechnet sich aus Brennweite(f), Stereobasis(b) und Disparität (d=p1-p2) mit Z=(b * f)/d. Insbesondere für die praktische Beurteilung der Messgenauigkeit von Stereosystemen gilt es, drei relevante Parameter genau aufeinander abzustimmen. (1) Die Stereobasis (b), (2) den Arbeitsabstand zum Messobjekt in Z-Richtung und die Genauigkeit der Disparität aus den berechneten Punktkorrespondenzen. Als generelle Richtlinie gilt je größer die Stereobasis (b) desto höher die theoretisch mögliche Messgenauigkeit. Weiterhin ist der Einfluss auf die Messgenauigkeit abhängig davon, ob das 3D-Endoskop orthogonal oder beliebig zum Messobjekt ausgerichtet ist. Für RVI ist insbesondere die Entwicklung der Messgenauigkeit in der Tiefe (Z) von Bedeutung. Mit sub-pixel genauen Punktkorrespondenzen lassen sich dementsprechend höhere Messgenauigkeiten erzielen.

Mess- und Kalibrieraufbau

Für jedes bildbasierte Messverfahren ist eine Kalibrierung des Messsystems unabdingbar. Dies beinhaltet die Bestimmung der Verzeichnungsparameter, der intrinsischen Optikparameter wie Brennweite und Hauptpunkt als auch die Schätzung der extrinsischen Parameter, sprich die Orientierung der beiden Stereokameras zueinander (Abb. 2). Ein Überblick über gängige Kalibrierverfahren wird in [3] gegeben. Der Messaufbau zur Validierung der Genauigkeit besteht zurzeit aus drei motorisierten Lineareinheiten mit einem max. Messvolumen von 20cm*20cm*20cm. Der Prüfkörper wird über eine programmierbare Trajektorie in Relation zum 3D-Endoskop auf 600nm genau verfahren. Eine Erweiterung des Systems um zwei Goniometer ist geplant, um den Einfluss von Winkelabhängigkeiten auf die Stereomessung zu untersuchen.

Stereoverarbeitung

Für eine robuste und echtzeitfähige Tiefenschätzung müssen die Stereoansichten vorverarbeitet werden. Diese Vorverarbeitung nennt man Rektifizierung und sorgt für eine bildzeilengenaue Ausrichtung der beiden Stereoansichten zueinander, sodass Vertikalversätze, Trapezverzerrungen, Kippwinkelfehler, Brennweitenunterschiede und Rollwinkelfehler korrigiert werden, die aufgrund von konstruktionsbedingten Unterschieden zwischen den Stereokanälen vorhanden sein können. Die Rektifizierung wird dabei an Hand von korrespondierenden Merkmalspunkten und der daraus abgeleiteten Stereogeometrie durch die Schätzung einer linearisierten F-Matrix ermittelt [1]. Aus dieser Information lässt sich eine 3x3 Korrekturmatrix zur Berechnung einer Homographie zwischen den beiden Stereoansichten ableiten. Auf den korrigierten Ansichten erfolgt dann die subpixelgenaue Disparitätsschätzung (1/5 Pixel) [2] und liefert den Input für die Triangulierungsberechnung.

Ergebnisse

Abb. 4 zeigt die Ergebnisse für die 3D-Rekonstruktion des Bohrlochprüfkörpers und die kontinuierliche Bestimmung der 3D-Trajektorie entlang der optischen Achse des Endoskops. Die Messauswertung wurde mit dem am Fraunhofer HHI entwickelten Stereoscopic Analyzer [4] durchgeführt. Der Messbereich wurde im Livebild mit einer Echtzeitdarstellung der Tiefe interaktiv ausgewählt (Abb. 3). Die Messspanne geht von 30 mm bis 80 mm. Die 3D-Rekonstruktionsergebnisse in Abbildung 4 wurden alle 10 mm berechnet. Die 5 mm Bohrung wurde annähernd zur optischen Achse ausgerichtet. Abbildung 5 zeigt die Ergebnisse für die 3D-Trajektorie. Tabelle 1 zeigt eine „Soll/Ist“ Auswertung für ausgewählte Entfernungen. Dabei gilt zu beachten, dass mit größer werdendem Abstand die Messgenauigkeit abnimmt und die Messunsicherheit aufgrund der verringerten Tiefenauflösung steigt.

Fazit

Mit dem hier beschriebenen Ansatz ist es möglich, stereoskopische Messsysteme in Bezug auf Messgenauigkeiten und Messtoleranzen systematisch zu bewerten. Es wurden maßstabsgetreue 3D-Modelle aus stereoskopischen „Single-Shot“-Aufnahmen für sechs Arbeitsabstände rekonstruiert sowie eine hochpräzise 3D-Trajektorie entlang der optischen Achse berechnet. Daraus ergeben sich neue Möglichkeiten für Inspektions- und Wartungsaufgaben in nicht kontrollierbaren Umgebungen (RVI), bei denen metrische Informationen eine wichtige Rolle spielen. Weiterhin ist es das Ziel, diese Verfahren auf die minimal-invasive Chirurgie zu übertragen, um bspw. intraoperativ die Größe von Tumoren zu bestimmen.
Ein entwickelter Live-Demonstrator besteht aus folgenden Komponenten: 1 x 3D-HD-Endoskop, 1 x PC, Intel Xeon Prozessor E5-2620, 2 GHz, 1 x HD-SDI Capture Karte, NVIDIA GPU mit 2880 CUDA-Kernen. Aktuell werden erste Portierungsarbeiten auf OpenCL durchgeführt. Die messtechnischen Untersuchungen und Verfahren werden im Rahmen des BMBF Projekts „COMPASS“ (Comprehensive Surgical Landscape Guidance System for Immersive Assistance in Minimally-invasive and Microscopic Interventions) [5] gefördert. Weiterhin danken wir der Firma Schölly Fiberoptic GmbH für die Leihgabe des 3D-Endoskops. Die 3D-Messdaten zu Abbildung 4 und 5 können unter [6] heruntergeladen werden.

Referenzen:

[1] Frederik Zilly, Marcus Müller, Peter Eisert, Peter Kauff. Joint Estimation of Epipolar Geometry and Rectification Parameters using Point Correspondences for Stereoscopic TV Sequences, Proceedings of 3DPVT, 2010.

[2] Wolfgang Waizenegger, Ingo Feldmann, Oliver Schreer, Peter Kauff, Peter Eisert. Real-time 3D Body Reconstruction for Immersive TV, Proceedings of the 23rd International Conference on Image Processing (ICIP 2016), Phoenix, Arizona, USA, September 25-28, 2016.

[3] J.-C. Rosenthal, Niklas Gard, Peter Eisert. Kalibrierung stereoskopischer Systeme für medizinische Messaufgaben, 16.Tagungsband: Deutsche Gesellschaft für Computer und roboter-assistierte Chirurgie (CURAC), pp. 159-161, 2017.

[4] F. Zilly, M. Müller, P. Eisert, P. Kauff. The Stereoscopic Analyzer: An Image-Based Assistance Tool for Stereo Shooting and 3D Production, Proc. IEEE International Conference on Image Processing (ICIP), Hong Kong, pp. 4029-4032, Sep. 2010.

[5] https://www.hhi.fraunhofer.de/en/departments/vit/projects/compass.html

[6] https://datacloud.hhi.fraunhofer.de/nextcloud/s/L4cJErAX4iw8BrE