ToF-Sensoren fügen Bildern Tiefeninformationen hinzu. Zusammen mit SWIR- und GS-CMOS-Sensoren sowie On-Chip-Polarisationssensoren tragen sie dazu bei, dass sich Kameramodule von reinen Bildaufnahmegeräten zu Systemen entwickeln, die wichtige Daten für verschiedene Detektions- und Erkennungsanwendungen liefern. Dies ist für die Entwicklung industrieller IoT-Systeme entscheidend, da die Nachfrage nach einem höheren Automatisierungsgrad rapide wächst.

In den letzten Jahren haben sich ToF-Sensoren kontinuierlich weiterentwickelt, wobei die Genauigkeit und Reichweite erheblich gewachsen sind. Auf diese Weise können viele neue Branchen und Anwendungen von den zusätzlichen Informationen profitieren, die sie liefern. In der Tat werden diese Sensoren bald in vielen industriellen Umgebungen fast allgegenwärtig.

Time-of-Flight im Detail

ToF-Sensoren berechnen die Tiefe, indem sie Licht außerhalb des sichtbaren Spektrums senden – meist von einem Laser oder einer LED – und die Zeit messen, die es braucht, um von einem Objekt reflektiert zu werden. Auf diese Weise lassen sich Tiefeninformationen für jedes Pixel hinzufügen, was Tiefenkarten mit voller Auflösung zu einem Bruchteil der Kosten eines Lidar-Systems ermöglicht.

Daher füllt diese Technologie eine Nische: Im Gegensatz zu kostengünstigen Tiefenerfassungstechniken wie dem passiven stereoskopischen Sehen ist ToF viel genauer und es wird nicht beeinträchtigt, wenn sich ein Objekt schwach von einem Hintergrund abhebt, zum Beispiel weiß auf weiß.

Es gibt zwei Hauptarten: direkte ToF (dToF) und indirekte ToF (iToF). Obwohl sie vom Ansatz her ähnlich sind, unterscheiden sie sich in der Art und Weise, wie die Entfernung gemessen wird: dToF verwendet eine einfachere, direktere Messung der Zeit zwischen Licht-Aussendung und Reflexionserfassung. iToF misst die Entfernung, in dem reflektiertes Licht erfasst wird, um die Phasenverschiebung zwischen gesendetem und reflektiertem Licht zu erkennen. iToF-Sensoren eignen sich besonders für die schnelle und hochauflösende 3D-Bildgebung von Objekten in kurzer und großer Entfernung.

Die Genauigkeit von ToF-Sensoren erhöhen

Es gibt immer noch viele Anwendungen, die das Messen größerer Entfernungen (z.B. im Bauwesen) oder kürzerer Entfernungen (z.B. in der Fertigung) erfordern, als dies ToF unterstützen kann. Daher konzentrierten sich jüngste Forschungen auf einen erweiterten Einsatzbereich.

Die Genauigkeit und damit die Reichweite eines ToF-Systems wird durch zwei Faktoren bestimmt:

• wie effizient reflektiertes Licht erfasst wird (Verdichtungseffizienz)
• und die Geschwindigkeit, mit der Entfernungsmessdaten verarbeitet werden (schnelle Entfernungsverarbeitung).

Betrachten wir zunächst die Verdichtungseffizienz: Einer der wichtigsten Fortschritte bei ToF-Sensoren liegt in der verwendeten Architektur. Moderne ToF-Sensoren basieren auf einer Architektur, die eine schnelle Modulation ermöglicht. Dies erhöht die Genauigkeit bei der Entfernungsmessung in jedem einzelnen Pixel. Einige Sensoren gehen derzeit von vorderseitig beleuchteten Versionen, bei denen das Licht durch die Linse und Metallverdrahtung eintritt, bevor es die lichtempfindliche Schicht erreicht, auf eine rückseitig beleuchtete Version über, bei der die Metallverdrahtung und die lichtempfindliche Schicht vertauscht wurden, um die Auslesegenauigkeit des Signals (reflektiertes Licht) zu erhöhen.

Diese Architekturen mit einer Sensor-Ansteuerung ermöglichen es auch, den Betriebsbereich zu erweitern, um hochpräzise Tiefenkarten in VGA-Auflösung mittels Kurzstrecken- (bis zu einigen Dutzend Zentimetern) und Langstreckenfunktionen (bis zu zweistelligen Meterwerten) zu erstellen.

Betrachten wir die schnelle Entfernungsverarbeitung, hat dieser Ansatz auch einen zweiten entscheidenden Vorteil, da für jedes erfasste Bild eine Tiefenkarte aufgenommen wird. Damit sind höhere Bildraten (bis zu 60 fps bei VGA-Auflösung) möglich als bei der laserbasierten Entfernungsmessung, die für bewegte Objekte wie Roboter und Drohnen unerlässlich ist.

Durch das Aufzeichnen von Tiefeninformationen auf Pixelebene verringert sich der Datenverarbeitungsaufwand am Sensorausgang erheblich (im Vergleich zu stereoskopischen 3D-Systemen), was einen schnelleren Betrieb begünstigt, wie er beispielsweise in Robotikanwendungen notwendig ist, die eine schnellere Reaktionszeit erfordern.

Es bleibt jedoch beim Problem des Rauschens. Ein Hauptaugenmerk der jüngsten Forschung an ToF-Sensoren liegt auf störungsarmen Techniken. Denn damit lassen sich Entfernungsinformationen mit viel höherer Genauigkeit als mit bestehenden ToF-Sensoren gewinnen, was den Einsatz in Anwendungen ermöglicht, in denen es bisher schwierig war, die erforderliche Genauigkeit zu erreichen.

Anwendungsbereiche für ToF-Sensoren

Es wurde viel über sinkende Kosten von ToF-Sensoren und deren Integration in Consumer-Anwendungen wie Smartphones berichtet. Daher kann deren Rolle, die sie in verbesserten Industrie- und Fertigungsprozessen oder sogar im Bauwesen und in der Landwirtschaft spielen, leicht übersehen werden. Deshalb sollen speziell diese Anwendungen hier näher beschrieben werden, unter anderem wie sich die höhere Genauigkeit vor allem der Nah- und Fernmessung sinnvoll nutzen lässt.

Industrielles IoT: ToF-Sensoren finden sich zunehmend in IoT-Anwendungen. In der Fertigung lassen sich damit Intrusionserkennungssysteme für gefährliche Bereiche sowie die Objektortung/-erkennung bei der Kommissionierung durch Roboter umsetzen.

Logistik: ToF-Sensoren kommen bereits in der Logistik zum Einsatz, damit sich Roboter halbautonom durch kontrollierte Umgebungen bewegen können. Durch die höhere Genauigkeit, die iToF hier mit sich bringt, lässt sich das Einsatzfeld erweitern. Der längerfristige Einsatz (der mehr Aufmerksamkeit erzielt) ist die verbesserte Kollisionserkennung und die Erkennung der äußeren Umgebung, damit Last-Mile-Roboter/Lieferdrohnen häufiger eingesetzt werden können.
Vorerst aber ermöglichen die Tiefeninformationen der ToF-Kameras es den Logistikunternehmen, den Materialtransport zu optimieren, indem sie Position, Größe und Laderate messen und die Beladung von Paletten/Fahrzeugen optimal auslegen können, um einen effizienteren Warentransport zu ermöglichen.

B2B Augmented-Reality-Systeme: Augmented Reality (AR; erweiterte Realität) kommt in vielen Branchen zum Einsatz, um Entwicklungs- und Fertigungsprozesse zu beschleunigen. Ein Beispiel ist die Umsetzung von Designänderungen bei Ford, wobei Entwickler untersuchen können, wie geringfügige Änderungen an Fahrzeugen aussehen würden, ohne dafür jeweils Tonmodelle anzufertigen. Die Tiefe und Präzision, die ein ToF-System bietet, machen dies noch genauer. Darüber hinaus lassen sich die Informationen nutzen, um die beim Einsatz von VR/AR-Headsets auftretende Bewegungskrankheit zu verringern. Außerdem können Personen, die VR-Headsets tragen, daran gehindert werden, gegen Objekte zu laufen.

Bauingenieurwesen: Es wurde bereits viel über autonome Fahrzeuge und den Bedarf an zusätzlichen Sensoren gesprochen, die Autos dabei unterstützen, die Welt um sie herum zu verstehen: insbesondere (bei ToF-Sensoren) zur Erkennung/Kollisionsvermeidung von Fußgängern und Radfahrern. Dieselben Prinzipien lassen sich auf schwere Maschinen anwenden, wobei ToF-Sensoren intelligente Techniken zur Erkennung von Umgebungsmerkmalen und Objekten ermöglichen: Fahrerassistenz und Fahrzeugautomatisierung. Es wird auch erwartet, dass sich mit ToF-Sensoren der Baufortschritt und der Zustand der vorhandenen Infrastruktur besser überwachen lässt.

Landwirtschaft: ToF-Sensoren werden bereits in der Qualitätskontrolle und Produktivitätssteigerung in der Landwirtschaft eingesetzt. In der Tierhaltung ermöglicht ToF (mit den darin enthaltenen 3D-Informationen) automatisiertes Melken, die Bewertung des Gesundheitszustands von Tieren und die Futtermittelüberwachung – und iToF mit seiner höheren Genauigkeit wird die Möglichkeiten weiter verbessern. Darüber hinaus unterstützen die 3D-Daten der ToF-Sensoren auch Anwendungen wie die automatische Obsternte, indem die Position von Zielobjekten erfasst und landwirtschaftliches Gerät entsprechend gesteuert wird, um die Effizienz zu verbessern.

Fazit

ToF-Sensoren haben eine leise Revolution durchlaufen, und ihre Genauigkeit und Reichweite hat sich in den letzten Jahren deutlich verbessert. Dies macht sie zum idealen Sensor für Tiefeninformationen in Industrie- und Consumer-Anwendungen. Die Technik ist mittlerweile sogar in Smartphones integriert. Da die Preise fallen und mehr iToF-Sensoren (wie der IMX556/IMX570 von Sony Semiconductor) auf den Markt kommen, wird dieser Sektor wahrscheinlich ein deutliches Wachstum und umfangreicheren Wettbewerb verzeichnen.

Autor

Piotr Papaj, Sony Europe