Was können wir vom menschlichen Auge lernen?
27.06.2023 - Bildverarbeitungssysteme mit großem Fokusbereich und Sichtfeld sowie hoher Auflösung
Die Leistung unseres Sehsystems ist außergewöhnlich, vor allem wenn man seine einfache Konstruktion mit nur einer Linse und die eher geringe Auflösung von etwa einem Megapixel pro Auge bedenkt. Im Folgenden werden drei aktive optische Komponenten erklärt, die das menschliche Auge nachahmen und Sehsysteme ermöglichen, die einen großen Fokusbereich, ein großes Sichtfeld und eine hohe Auflösung bieten.
Wir möchten, dass unsere Bildverarbeitungssysteme viele Details liefern. Dies erfordert hohe Vergrößerungen, kleine Pixel und niedrige Blendenzahlen, wenn das Licht knapp ist. All diese Aspekte wirken sich nachteilig auf die Schärfentiefe aus. Wenn Objekte in der Höhe variieren oder der Abstand zur Kamera uneinheitlich ist, ist eine Fokussierungslösung erforderlich. Wie beim menschlichen Auge sind Flüssiglinsen eine Technologie, um den Fokus schnell und zuverlässig über große Arbeitsabstände einzustellen. Die Flüssiglinsen von Optotune bestehen aus einer Polymermembran, hinter der sich eine optische Flüssigkeit verbirgt. Angetrieben durch Strom pumpt ein Schwingspulenaktuator Flüssigkeit in die Linse hinein oder aus ihr heraus, um ihre Form von konvex zu konkav zu verändern. Solche Fokussierungsschritte können innerhalb von 3 ms für eine 3 mm und 20 ms für eine 16 mm Linse mit klarer Apertur erfolgen, was eine mehr als 50-malige Refokussierung pro Sekunde ermöglicht. Das Prinzip der Flüssiglinse ermöglicht einen präzisen, zuverlässigen und dauerhaften Betrieb über Milliarden von Zyklen, bei dem die typischen mechanischen Dejustierungen und Abnutzungserscheinungen vermieden werden.
Flüssiglinsen ermöglichen eine schnelle Fokussierung
Einige Flüssiglinsen können zwar mit handelsüblichen Optiken kombiniert werden, die beste Leistung wird jedoch erreicht, wenn die Flüssiglinse in den Objektivstapel integriert und hinter der Blende positioniert wird, um niedrige Blendenzahlen und einen großen Bildkreis zu erzielen. Derzeit sind bei Optotune etwa 15 endozentrische und 40 telezentrische Objektivmodule für Sensorformate von 1/2 Zoll bis 35 mm erhältlich, die Brennweiten von 5 bis 300 mm beziehungsweise Vergrößerungen von 0,15- bis 6-fach abdecken.
Die Steuerung von Flüssiglinsen kann so einfach sein wie die Bereitstellung eines Stroms in der Größenordnung von 100 mA mit billigen VCM-Treiber-ICs, typischerweise mit einer I2C-Schnittstelle. Es sind aber auch industrielle und eingebettete Controller mit Ethernet-, USB- oder Analogschnittstellen erhältlich. Autofokus-Routinen im geschlossenen Regelkreis konvergieren in der Regel nach etwa 20 Bildern und benötigen einige 100 ms. Sensoren mit Phasendetektions-Autofokus (PDAF) oder einer Messung der Objektentfernung ermöglichen die Fokussierung in einem einzigen Schritt. Damit dies mit guter Wiederholbarkeit über einen großen Temperaturbereich funktioniert, kommen integrierte Temperatursensoren und Kalibrierungsdaten zum Einsatz. Um Endanwendern einen einfachen Zugang zu all diesen Funktionen zu ermöglichen, arbeitet die Arbeitsgruppe Open Optics Camera Interface (OOCI) der EMVA an Standards, die über GenICam zugänglich sind.
Flüssiglinsen sind zum Standard in industriellen Codelesern geworden und haben sogar ihren Weg in Mobiltelefone und Smartwatches gefunden. Auch in der Mikroskopie, wo die Schärfentiefe besonders gering ist, und in vielen maschinellen Bildverarbeitungssystemen halten sie Einzug.
Schnell schwenkbare Spiegel erweitern das Sichtfeld
Es gibt mehrere Möglichkeiten für bildgebende Systeme, ein großes Sichtfeld abzudecken. Kurze Brennweiten bieten oft keine ausreichende Auflösung, große Bildsensorsysteme sind teuer und die mechanische Bewegung der Kamera zum Scannen ist eher langsam und unzuverlässig. Optische Zoomsysteme können zwar das Sichtfeld variieren, sind aber recht sperrig, langsam und erfordern Kompromisse bei der optischen Qualität. Außerdem bieten sie keine Lösung, wenn der zu untersuchende Bereich nicht in der Achse liegt. Inspiriert vom Funktionsprinzip des menschlichen Auges hat Optotune einen 2D-Spiegel entwickelt, der es ermöglicht, innerhalb von Millisekunden einen kleinen, hochauflösenden Bereich über ein sehr großes Sichtfeld zu scannen.
Optotune schnell lenkende Spiegel kippen
Mechanisch um +/- 25° entlang zweier Achsen, was ein Sichtfeld von bis zu 100° ergibt. Mit einer Apertur von 15 mm sind sie viel größer als MEMS-basierte Scanner und aufgrund des einzigen Drehpunkts kompakter als ein Paar Galvospiegel. Der Drehpunkt kann entweder auf der Spiegeloberfläche platziert werden, was eine Bildverschiebung verhindert, oder im Masseschwerpunkt, was das Gerät unempfindlich gegenüber Stößen oder Vibrationen macht. Der Spiegel ist stromgesteuert und verfügt über eine optische Rückkopplung, um eine hohe Wiederholgenauigkeit von 40 Mikroradiant zu erreichen. Ein Schritt von 0,1° dauert 3 ms und ein Schritt von 20° wird in 13 ms eingestellt.
Der Spiegel wird normalerweise am Eingang eines Objektivs angebracht. Im gezeigten Beispiel wird eine 3-Megapixel-Kamera im Format 1/1,8 Zoll mit einem 75-mm-Objektiv verwendet, wodurch sich ein Sichtfeld von etwa 4x5° ergibt. Der Spiegel kann dieses Feld um das 350-fache erweitern, um insgesamt 70x100° bei einer Auflösung von über einem Gigapixel abzudecken. Bei einer Bildüberlappung von 20 Prozent, einer Bildwechselfrequenz von 50 Bildern pro Sekunde und leistungsfähiger Hardware liegt die Zeit für die Aufnahme eines solchen Bildstapels in der Größenordnung von 10 Sekunden.
Die Anwendungen für diese Technologie lassen sich in zwei Kategorien einteilen: Auswahl des interessierenden Bereichs (Area of Interest, AOI) und Zusammenfügen von Bildern (Image Stitching). Im ersten Fall ist eine hohe Auflösung erforderlich, um bestimmte Details in einer großen Szene zu erkennen, aber es besteht keine Notwendigkeit, die Szene vollständig zu erfassen. Beispiele hierfür sind das Lesen von Codes auf großen Flächen wie Regalen oder Paletten oder die Erkennung von Verkehrsschildern. Das Stitching von Gigapixel-Bildern erfordert zwar mehr Zeit, liefert aber unglaublich detaillierte Bilder, die in der Kartografie, im Tourismus und in der Wissenschaft verwendet werden können.
Pixel-Shifter erhöhen die Auflösung
Ein weiterer interessanter Aspekt, den man vom menschlichen Auge lernen kann, ist, dass sehr kleine Bewegungen, sogenannte Mikrosakkaden, eine Überabtastung eines Objekts ermöglichen, um die Auflösung mit der Zeit zu erhöhen. In ähnlicher Weise lässt sich die Auflösung von Kameras systematisch erhöhen, indem mehrere Bilder mit kleinen Pixelverschiebungen verarbeitet werden. Da die Bildwiederholraten weiter steigen, wird diese Option immer attraktiver, vergleichbar mit der HDR-Bildgebung (High Dynamic Range), bei der mehrere Bilder mit unterschiedlichen Belichtungsstufen kombiniert werden.
Pixel-Shifting wird schon seit vielen Jahren in Projektoren eingesetzt, zum Beispiel um ein 4K-Bild mit einem Digital Mirror Device (DMD) mit einer nativen Auflösung von 1080p zu erzeugen. Ein DMD-Pixel besteht aus einem winzigen MEMS-Spiegel, der sich kaum unter 5 µm verkleinern lässt. Das Erreichen einer hohen nativen Auflösung wird also teuer, im Hinblick auf den Imager und die größeren Beleuchtungs- und Projektionsoptiken. Durch die hohen Schaltgeschwindigkeit ist es jedoch kein Problem, vier Subframes mit 240 Hz zu projizieren, um eine vierfach höhere Auflösung bei 60 Hz zu erreichen.
Der größte Nachteil der Pixelverschiebung ist natürlich die Verringerung der Bildrate, die Notwendigkeit, die Verschiebung mit der Kamera zu synchronisieren, und ein gewisser erhöhter Rechenaufwand, um das hochauflösende Bild wieder zusammenzusetzen. Daher eignet sich diese Technik am besten für Anwendungen mit sich langsam bewegenden Objekten, bei denen die Auflösung der begrenzende Faktor ist, beispielsweise bei der Display-Inspektion, Mikroskopie oder Überwachung.
Autor
Mark Ventura, Vice President Sales & Marketing bei Optotune
Kontakt
Optotune Switzerland AG
Bernstr. 388
8953 Dietikon
Schweiz
0041/58/8563000
0041/58/8563001