Hohe Qualitätsstandards in der modernen Großserienproduktion und immer komplexer werdende Fertigungs­prozesse verlangen nach einer leistungsfähigen Qualitätskontrolle direkt in der Produktionslinie. In vielen Bereichen wie der Elektronikfertigung oder im Verpackungs- und Sicherheitsdruck ist eine zerstörungsfreie optische Inline-Qualitätsinspektion mit gleichzeitig hochauflösender 2D- und 3D-Bildgebung unerlässlich. Ein österreichisches Forschungsinstitut hat für solche Anwendungen eine Technologie entwickelt, die photometrisches Stereo und Lichtfeld-Bildgebung vereint.

In den letzten Jahren haben neue Inline-Verfahren für die mikroskopische 3D-Bildgebung das Interesse von Wissenschaft und Industrie geweckt. Dennoch gibt es bisher nur wenige inlinefähige Lösungen. Gängige Methoden wie die Fokusvariation, konfokale Mikroskopie und Weißlichtinterferometrie sind scannende Verfahren, für die die Abtastrichtung mit der natürlichen Transportrichtung des Objekts in der Produktionslinie nicht übereinstimmt. Daher sind diese Technologien in der Regel ungeeignet für schnelle Inline-3D-Prüfungen. Das AIT Austrian Institute of Technology (AIT) setzt genau hier an und stellt mit ICI Microscopy eine hochauflösende Variante der – ebenfalls am AIT entwickelten – Inline-Computational-Imaging-Technologie (ICI) vor.

Simultane 2D- und 3D-Aufnahme mit Inline Computational Imaging

Inline Computational Imaging (ICI) ist eine Single-Sensor-Technologie, die photometrisches Stereo (PS) und Lichtfeld-Bildgebung (LF) vereint. Der Sensorkopf besteht dabei aus einer Flächenkamera, einem Objektiv und typischerweise vier oder sechs Beleuchtungen. ICI nutzt die natürliche Transportbewegung des Objekts für das simultane Erfassen aus verschiedenen Betrachtungs- und Beleuchtungsrichtungen. Während sich das Objekt unter der Kamera vorbeibewegt, nimmt das System eine Bildsequenz auf. Die Algorithmen kombinieren für jeden Bildpunkt die Tiefen­schätzung aus dem Lichtfeld mit der Oberflächenrekonstruktion aus der photometrischen Stereoanalyse und erreichen damit eine hohe Rekonstruktionsgenauigkeit. Die 3D-Rekonstruktion wird dann als Punktwolke und Tiefenmap jeweils mit und ohne Konfidenzwerten bereitgestellt. Die ICI-Algorithmen berechnen daneben High-Dynamic-Rage-, All-in-focus-, Hellfeld-, Dunkelfeld-, und Oberflächengradienten-Bilder. ICI liefert somit nicht nur 3D-Daten, sondern auch pixelrektifizierte, hochwertige Farbbilder.

Seine Stärke kann das System dort am besten zeigen, wo hohe Genauigkeits- und Geschwindigkeitsanforderungen mit der Prüfung von komplexen Geometrien und schwierigen Oberflächeneigenschaften zusammentreffen, etwa in der Elektronikfertigung oder bei metallischen Oberflächen sowie im Verpackungs- und Sicherheitsdruck.

Inline-3D-Mikroskopie mit Inline Computational Imaging

Bis vor kurzem war ICI auf die Prüfung von makroskopischen Merkmalen größer 15 µm pro Pixel beschränkt. Die Weiterentwicklung dieser Technologie ermöglicht nun auch ihren Einsatz für die Inline-3D-Mikroskopie. ICI Microscopy erreicht bei einem lateralen Sampling von 700 nm/Pixel (x/y) ein Tiefenrauschen von 1 µm (z).

Das System basiert auf der Kombination von photometrischem Stereo und Lichtfeld, wie im Patent EP3647851A1 [1] beschrieben, sowie auf der Annahme einer konstanten Transportgeschwindigkeit des Objekts. So kann die üblicherweise rechenintensive Posenschätzung aus Structure-from-Motion-Algorithmen entfallen [6]. Dies ermöglicht eine ebenso schnelle Tiefenschätzung wie die eigentliche Bildaufnahme und schafft ein vollständig inline-fähiges Hochgeschwindigkeits-Prüfsystem mit Scangeschwindigkeiten von 12 mm/s, was etwa 17.000 3D-Zeilenprofilen pro Sekunde entspricht.

Parallaxeneffekte für eine schnelle und präzise Inline-3D-Rekonstruktion

Während herkömmliche mikroskopische In­spektionssysteme telezentrische Projektionsoptiken verwenden, um Parallaxeneffekte zu vermeiden, nutzen die 3D-Algorithmen von ICI diese Parallaxeneffekte für die schnelle und präzise Inline-3D-Rekonstruktion. Das Sensor-Setup verwendet daher ein um eine zusätzliche Blende erweitertes telezentrisches Standardobjektiv. Die dadurch ermöglichte hyperzentrische Projektion führt zu einem Parallaxeneffekt, der von der Tiefenposition der beobachteten Struktur abhängt. Öffnung und Position der zusätzlichen Blende bestimmen die erzielbare laterale und Tiefenauflösung. Dies erlaubt eine schnelle anwendungsspezifische Anpassung, ohne optische Komponenten tauschen zu müssen. 
Mit bis zu 60 Millionen 3D-Punkten pro Sekunde (2D-Bildinformation und 3D-Tiefeninformation simultan) ist dieses System wesentlich schneller als andere 3D-Mikroskopie­verfahren mit vergleichbarem Punkt-zu-Punkt-Abstand. Daher ist es möglich, hoch­auflösende 3D-Oberflächenmodelle von Objekten zu generieren, wobei die 2D- und 3D-Informationen während einer kontinuierlichen Bewegung aufgenommen werden.

Das AIT-3D-Mikroskop eignet sich für die Qualitäts- und Prozesskontrolle in Bereichen mit hohen Durchsatzraten. Durch den schnellen Scanvorgang können trotz der hohen optischen Auflösung niedrige Taktzeiten eingehalten werden. 

Inspektion von Ball Grid Arrays

Bei der Fertigung von Ball Grid Arrays ist (BGA) die exakte Position und die Höhe der Balls (Lötkugeln) qualitätsrelevant. Dabei muss sichergestellt werden, dass alle im richtigen Raster angeordnet sind und exakt die gleiche Höhe haben. Eventuelle Schmutzpartikel sollen zusätzlich erkannt werden. ICI Microsopy kann diese mit einer lateralen Sampling-Rate von 700 nm und einer Inspektionsgeschwindigkeit von 12 mm pro Sekunde aufnehmen. Die Kugelstruktur der BGAs lässt sich dabei gut rekonstruieren und der Abstand und und Höhe exakt ermitteln.

Inspektion von Druckplatten

Metallisch glänzende Oberflächen sind für die automatisierte optische Inspektion typischerweise eine große Herausforderung. Dies trifft auch auf die Inspektion von hochglanzpolierten und laserstrukturierten Druckplatten für die Banknotenproduktion zu. Die 3D-Rekonstruktion einer von der Oesterreichischen Banknoten- und Sicherheitsdruck GmbH (OeBS) zur Verfügung gestellten Platte enthält Laserschnitte zwischen 25 und 350 μm Tiefe. Trotz der sehr geringen Textur wird die Tiefenstruktur der Laserschnitte gut rekonstruiert und ist exakt messbar. [4]

Inspektion von 3D-Strukturen auf Banknoten

Sicherheitsdokumente wie Banknoten oder Reisepässe werden mit sehr hohen Qualitätsstandards produziert. Die darin enthaltenen Sicherheitsfeatures sollen das Fälschen erschweren oder sogar unmöglich machen. Zu den Sicherheitsmerkmalen gehören Tiefdruckelemente. Sie werden mit hohem Druck aufgebracht und erzeugen einen dreidimensionalen, haptisch spürbaren Effekt, ähnlich einer Prägung. ICI Microscopy ermöglicht die Inline-Prüfung der 3D-Strukturen dieser Tiefdruckelemente. Eine ebenfalls von der OeBS zur Verfügung gestellte Klimt-Test-Banknote weist unterschiedliche Sicherheitsmerkmale auf. Der Tiefdruck um das Klimt-Auge wurde in einer Fläche von circa 8 x 6 mm aufgenommen. Die Höhe des Tiefdrucks im Augapfel konnte mit 57 µm gemessen werden. 

Patente
[1] EP3647851A1, L. Traxler, S. Ŝtolc; Microscopy device for producing three-dimensional images, European Patent Office 2019
[2] EP3985608A1, L. Traxler, S. Breuss, S. Ŝtolc, B. Blaschitz; Computer-implemented method for creating multidimensional object data structures, European Patent Office 2021
Literatur
[3] B. Blaschitz, S. Breuss, L. Traxler, L. Ginner, S. Ŝtolc, „High-speed Inline Computational Imaging for Area Scan Cameras“, in Electronic Imaging 33, pp 301/1-301/6,  https://doi.org/10.2352/ISSN.2470-1173.2021.6.IRIACV-301
[4] L. Ginner, S. Breuss and L. Traxler, „Fast Inline Microscopic Computational Imaging,“ in Sensors 22, 7038, 2022,  https://doi.org/10.3390/s22187038
[5] L. Traxler, L. Ginner, S. Breuss and B. Blaschitz, „Experimental Comparison of Optical Inline 3D Measurement and Inspection Systems,“ in IEEE Access, vol. 9, pp. 53952-53963, 2021, DOI: 10.1109/ACCESS.2021.3070381
[6] L. Traxler and S. Štolc, „3D microscopic imaging using Structure-from-Motion,“ in Electronic Imaging 31, pp. 1-6, 2019, DOI: 10.2352/ISSN.2470-1173.2019.16.3DMP-003