Der Effizienzdruck in der Intralogistik ist hoch. Oft befinden sich in Lagerhallen zahlreiche Flurförderzeuge und Gabelstapler, die sich zwischen Arbeitern und Paletten schnell hin und her bewegen. Solche hochdynamischen Abläufe sind mit Gefahren und Risiken verbunden. Die Fahrer sind oft unerfahren und müssen unter großem Zeitdruck arbeiten. Laut Xesol Innovation, einem spanischen Unternehmen für Lösungen, die auf neuronalen Netzen und künstlicher Intelligenz basieren, gibt es jährlich 110.000 Unfälle mit Gabelstaplern. Sie verursachen neben Betriebsunterbrechungen auch Personenschäden. Einige davon enden tödlich.

In erster Linie handelt es sich um Anfahrunfälle. Dies sind Unfälle, bei denen Beteiligte vom Stapler angefahren, gestreift oder eingequetscht werden. Obwohl gesetzlich nicht vorgeschrieben, ließen sich viele Unfälle durch akustische Warnsignale beim Rückwärtsfahren vermeiden. Im Rahmen einer Gefährdungsbeurteilung lässt sich ermitteln, inwieweit ein Nachrüsten der Stapler notwendig und sinnvoll ist. Es sind verschiedene Maßnahmen zur Erkennung von Personen und Objekten denkbar, die zu einem akustischen Warnsignal führen können: vom Ultraschall-basierten System über Infrarottechnik und Sicherheits-Laserscannern bis hin zu kamerabasierten Lösungen.

Xesol Innovation hat sich mit dieser Problematik intensiv auseinandergesetzt und sich für ein 3D-Vision-System entschieden, da Ultra­schall-Systeme eine schlechtere Auflösung bieten und Menschen und Maschinen kaum unterscheiden können. Laser-basierte Systeme wiederum sind anfällig für Interferenzen durch Reflektion und Tageslicht. Systeme, die auf 3D-Stereo basieren, hingegen gelten als robusteste Technologie für Innen- und Außenbereiche. Sie können neben dem eigentlichen Tiefenbild auch RGB-Bilder für eine noch bessere Erkennungsleistung ausgeben.
 

Warnung per Display und Warnton

Die aktuelle Lösung Drivox Security von Xesol Innovation besteht im Wesentlichen aus drei Komponenten: D435e-Kameras von Framos, die für die dreidimensionale Wahrnehmung vorne und hinten am Fahrzeug angebracht sind; ein Mikroprozessor für die KI-basierte Bildauswertung sowie ein Display, das als Monitor für den Fahrer dient und die Berechnungsergebnisse visualisiert. Falls ein potenzielles Kollisionsrisiko besteht, warnt das System den Fahrer mit einem visuellen und akustischen Signal. Ein Hauptziel des Projekts bestand darin, die Zahl der Unfälle in Arbeitsumgebungen zu begrenzen, um Betriebsunterbrechungen aufgrund von Kollisionen zu vermeiden und vor allem das Leben der Arbeitnehmer zu schützen.

Framos liefert bei diesem Projekt die Augen des Drivox Securitys. Der Anbieter von Bildverarbeitungsprodukten, Embedded-­Vision-Technologien, kundenspezifischen ­Lösungen und OEM-Dienstleistungen hat – basierend auf der Intel-Realsense-Technologie – eine industrietaugliche GigE-Tiefenkamera entwickelt, die dem Fahrer den Blick in Bereiche eröffnet, die er ohne sie nicht immer hundertprozentig einsehen könnte. Das Unternehmen gab auch Hilfestellung beim Einbinden der Kameras in die Sicherheitslösung. Die Tiefentechnologie und 3D-Bildgebung ist bei dieser Anwendung ganz entscheidend, denn Personen und Objekte müssen in verschiedenen Abständen, Ausrichtungen und Umgebungssituationen zuverlässig erkannt und hinsichtlich einer Gefährdung beurteilt werden.

Xesol war einer der ersten Kunden, der die neue Kamera bereits im Beta-Stadium eingesetzt hat. Im Wesentlichen kam es dem Unternehmen auf die Gigabit-Ethernet-Schnittstelle und ein industrietaugliches Kameragehäuse an. Dies sind genau die beiden Hauptmerkmale, die die Framos- Lösung von der Standardausführung der Intel-Realsense-Kamera unterscheidet. Intel schlug Xesol Innovation daher vor, mit dem Bildverarbeitungsunternehmen in Kontakt zu treten, um die Kamera zu implementieren.

Industrietaugliche Tiefenkamera

Framos entwickelte eine industrietaugliche 3D-Kameraversion, die die Vorteile der Intel-Technologie für industrielle Vision-Systeme in rauen Umgebungen nutzbar macht. Dabei arbeitet die Kamera mit einer propiretären Version des Intel Realsense SDK2.0. Mit weiterführenden Bildanalyse- oder KI-Funktionen lässt sich im Tiefenbild der Hintergrund ausblenden, es können zum Beispiel weit entfernte Objekte verborgen oder Objekte mit einer Abstandsanzeige eingeblendet werden. Die Tiefengenauigkeit hängt vom Abstand der Kamera zum Objekt, von der jeweiligen Szene und von den Lichtverhältnissen ab.

Die verwendeten Realsense-Tiefenmodule sind ein sofort einsatzbereites 3D-System, das auf Stereoskopie basiert. Diese ermittelt den Abstand zu einem Objekt durch Berechnung der Disparitäten im Stereobild. Diese Technologie erfordert erheblich Rechenleistung, da für jedes Pixel der beiden Bilder die Disparität berechnet werden muss. Für diese Anwendung ist es ganz entscheidend, dass die Positionen der beiden Kameras und ihr Fokus stabil sind. Die Kameras sind deshalb vorkalibriert und exakt ausgerichtet. Der Intel-Realsense-Vision-Prozessor D4 in der Kamera übernimmt die Berechnungen, das heißt, er kümmert sich sozusagen um die Verschmelzung der beiden Bilder. Hierfür berechnet er in Echtzeit die Disparität und somit für jeden Pixel im Bild die zugehörige Tiefe, um Objekte und Personen zuverlässig zu erkennen.
Ein IR-Projektor in der Kamera ermöglicht es, dass sie auch dann gute Bildergebnisse erzielt, wenn eine Szene kaum Struktur enthält, um die Disparität zu berechnen, beispielsweise bei einer ebenen, einfarbigen Wand. Die zusätzliche Textur vom IR-Projektor (Texturgenerator) verbessert die Berechnungsergebnisse und sorgt dafür, dass eine Tiefenkarte auch bei homogenen Strukturen ohne Texturen erstellt werden kann.

Das Gehäuse der Kamera ist mit Schutzart IP 66 zum Schutz vor Wasser und Staub sowie mit vier M3-Bohrungen für die flexible Montage ausgestattet und verfügt über verriegelbare Anschlüsse für Gigabit-Ethernet (M12), Stromversorgung und GPIO (M8). Framos hat für die Kamera ein eigenes Prozessor-Board entwickelt, um den industriellen Anforderungen an die Schnittstellen gerecht zu werden. Die Kamera unterstützt auch den PoE-Betrieb (Power over Ethernet), was die Verkabelung verringert. Der Betriebstemperaturbereich liegt zwischen 0 und 55°C.

Die wichtigsten Vorteile der Kamera im Überblick:

• Einfache und schnelle Installation,
• kompatibel mit Intel Realsense SDK2.0,
• Schutz gegen Staub und starkes Strahlwasser gemäß Schutzart IP66,
• Gehäuse mit M12-Anschluss für ­Ethernet und PoE-Betrieb,
• große Kabellängen bis 100 m möglich,
• Netzwerk-Technologie erlaubt ­Mehrkamerabetrieb.

KI erkennt Personen in jeder Lage

Die Kamera ermöglicht in der Drivox-Security-Lösung von Xesol die vollständige Sicht auf Fußgänger und Objekte, die vom Gabelstapler 1 bis 8 m weit entfernt sind. Dabei überträgt sie die Bilder der Umgebung im Livestream mit 30 fps bei einer Auflösung von 1.280 x 720 Pixeln an das Display im Gabelstapler. Das in der Fahrerkabine installierte Display zeigt permanent die Bilder an, die von der im hinteren und vorderen Teil des Fahrzeugs installierten Kameras aufgenommen wurden. Die KI-basierte Auswertung des Video-Streams übernimmt ein separater Mikro­prozessor.

Das System kann Fußgänger und Hindernisse in drei verschiedenen Detektionszonen erkennen und weist jeweils auf die einzelnen Kollisionsrisiken hin, die mittels neuronaler Netze zur Erkennung und Identifizierung von Elementen und entsprechender Entscheidungsalgorithmen ermittelt werden. Die Software wird individuell gemäß dem jeweiligen Fahrzeug konfiguriert.

Im Falle einer Identifizierung von Fußgängern oder Hindernissen in den verschiedenen Detektionsbereichen gibt das System einen visuellen und/oder akustischen Alarm aus. Außerdem erkennt das System Fußgänger in allen nur denkbaren Körperpositionen und lässt sich deshalb selbst durch eine versteckte Annäherung nicht überlisten.

KI-gestütztes Assistenzsystem für raue Industrieumgebungen

Das visuelle, KI-gestützte Assistenzsystem ist resistent gegen Umwelteinflüsse und auch für raue Industrieumgebungen hervorragend geeignet. Der Einsatz von neuronalen Netzen ermöglicht die robuste Detektion und zuverlässige Warnung. Der Anwender ist in der Lage, die gesamte Umgebung des Fahrzeugs in Echtzeit zu überprüfen. Dies führt zu erhöhter Produktivität, Kosteneinsparungen, verbesserter Qualität und erhöhter Sicherheit der Mitarbeiter.

Autor
Ferdinand Reitze, Product Manager 3D