Roboter, die chaotisch gelagertes Schüttgut vereinzeln, benötigen eine leistungsstarke Bildverarbeitung. Maschinelles Lernen bringt diese auf ein neues Niveau und macht Griff-in-die-Kiste-Systeme in Produktionen performanter.

Auch wenn der Automatisierungsgrad in Produktionen bereits sehr hoch ist, werden ungeordnet vorliegende Bauteile oder Schüttgut in Kisten oder Gitterboxen meist noch von Hand vereinzelt. Das ist zum einen zeit- und kostenintensiv, zum anderen eine eintönige, nicht ergonomische Aufgabe. An sich gute Voraussetzungen, um diese Tätigkeit zu automatisieren – zum Beispiel mit Rütteltöpfen. Doch diese benötigen viel Platz, können Bauteile beschädigen und müssen obendrein für jedes Werkstück neu konfiguriert werden. Eine weitere Möglichkeit wäre ein Handhabungsroboter, der das Vereinzeln übernimmt. Diese sind vor allem dann besonders stark, wenn die Einsatzumgebung sehr strukturiert und eine immer gleiche Aufgabe auszuführen ist. Schüttgut jedoch liegt per Definition immer anders vor, sodass eine Griff-in-die-Kiste-Lösung trotz der bisher noch expliziten Programmierung effizienter Suchalgorithmen bedarf.
Hinzu kommt, dass existierende Lösungen mitunter noch nicht schnell und zuverlässig genug für eine gute Performanz sind. Das kann an den Bauteilen liegen: Zum Beispiel bei dünnen, glänzenden Blechteilen gab es noch große Schwierigkeiten bei der Bildverarbeitung und nicht einmal in zehn Prozent der Fälle konnte der Roboter einen erfolgreichen Griff ausführen. Diese Schwierigkeiten adressieren die Forscher des Fraunhofer-Instituts für Produktionstechnik und Automatisierung IPA mit ihrer Arbeit.

Bildverarbeitungs-Software bp3

Möglich macht den roboterbasierten Griff-in-die-Kiste unter anderem die IPA-Bildverarbeitungs-Software bp3. Über ein CAD-Modell werden die zu greifenden Werkstücke automatisch eingelernt. 3D-Sensoren über der Roboterzelle oder gegebenenfalls auch am Greifer erzeugen eine Punktewolke der Werkstücke im Ladungsträger. Damit berechnet die Software innerhalb von üblicherweise ein bis zwei Sekunden die Lage der Werkstücke. Die Software ermittelt zudem die besten Greifpunkte und generiert die Bahn für die Entnahme. Damit diese prozesssicher durchgeführt werden kann, wird die Entnahme zunächst simuliert. Diese Simulation berücksichtigt neben dem Greifer mit eventuellen Zusatzachsen auch die Kinematik des Roboters selbst. Dementsprechend sind auch mögliche Hindernisse wie Schutzzäune im Arbeitsraum des Roboters unproblematisch, da das System sie ebenfalls bei der Bahnplanung berücksichtigt. Um das Werkstück definiert abzulegen, kann die Software auch die Bewegungsbahn zur Ablage des Werkstücks generieren.
bp3 ist mit beliebiger Roboter- und Sensor-Hardware einsetzbar und somit herstellerneutral. Je nach Anwendungsfall wählt der Kunde den geeigneten Sensor aus, da es bisher noch nicht den idealen Sensor für den Griff-in-die-Kiste gibt. Die Auswahl hängt von Faktoren ab wie beispielsweise dem nötigen Messvolumen oder der Messauflösung, der geforderten Taktzeit oder auch davon, ob das Robotersystem mobil sein muss. Auch Greifer und Robotersystem sind flexibel wählbar. Eine grafische Benutzeroberfläche macht es einfach, bp3 zu bedienen und bei Bedarf umzukonfigurieren. Damit lässt sich die Software in eine wandlungsfähige Produktion integrieren, in der Kleinserien mit der gleichen Effizienz gefertigt werden wie Massenware.

DeepGrasping – unbekannte Dinge erkennen

Für dieses Ziel, nämlich wandlungsfähige Produktionen mit einem zugleich höheren Automatisierungsgrad, sind zunehmend Technologien des Maschinellen Lernens im Einsatz. Grundsätzlich geht es beim Maschinellen Lernen darum, Zusammenhänge in großen Datenmengen zu erkennen, zu verallgemeinern und daraus selbstständig Handlungen abzuleiten. Das größte Teilgebiet von Maschinellem Lernen ist Deep Learning, also tiefe neuronale Netze. Dies sind Algorithmen und mathematische Strukturen, die über vielschichtige Rechenverfahren aus einer großen Datenmenge eigenständig Werte ermitteln, die bestimmten Klassen zugeordnet werden können.
Das typischste Anwendungsbeispiel ist aktuell die Bildverarbeitung. Anhand von einzelnen Pixeln kann ein neuronales Netz nach diversen Rechenschritten ausgeben, um welches Objekt, also Klasse, es sich handelt. Voraussetzung hierfür ist, dass das neuronale Netz anhand großer Datenmengen darauf trainiert wurde und die Daten einmal einer Klasse zugeordnet wurden. Für den Griff-in-die-Kiste bedeutet das, dass sich die Art der Datenverarbeitung grundlegend ändert. Wo bisher noch die Algorithmen des Roboterarms für jede Aufgabe und jedes Bauteil neu programmiert werden mussten, soll schon bald Maschinelles Lernen zum Einsatz kommen.
Hieran arbeitet das Fraunhofer IPA zusammen mit dem Institut für Parallele und Verteilte Systeme der Universität Stuttgart im Projekt DeepGrasping. So sollen Roboter Objekte erkennen können, die sie vorher noch nie gesehen haben, und Strategien entwickeln, wie sie diese am besten handhaben. Ebenso sollen auch verrauschte oder unvollständige Sensordaten zu verlässlichen Greifhypothesen führen und auch Greifstrategien bei Teilen zum Beispiel mit Verhakungsgefahr erlernt werden. Die hierfür nötige Lernerfahrung findet größtenteils in Simulationsumgebungen statt. Objektkonstellationen und Sensordaten werden erzeugt und in zahlreichen, oft mehreren hunderttausend Beispielgriffen variiert, die in der Realität nicht mit angemessenem Aufwand zu leisten wären. Mit dem Greiferfolg in der Simulationsumgebung wird ein tiefes neuronales Netz trainiert, das dann die Erkennungs- und Greifleistung der Software perfektioniert.

EU-Projekt Robott-Net: Auch das letzte Blechteil wird erkannt

Bereits eingangs wurde erwähnt, dass klassische Griff-in-die-Kiste-Lösungen Schwierigkeiten haben, dünne, reflektierende Blechteile zu erkennen. Genau dieses Problem adressieren IPA-Forscher im Rahmen des EU-Projekts Robott-Net zusammen mit den Partnern Danish Technological Institute, Trumpf, Arnold und dem Startup für flexible Greiftechnik Formhand. In dem SoSta genannten Pilotprojekt geht es darum zu untersuchen, inwieweit eine roboterbasierte Griff-in-die-Kiste-Lösung bei komplexen Blechteilen möglich ist, auch wenn diese in anspruchsvollen Bereitstellungssituationen vorliegen und je nach Folgeprozess getrennt gestapelt werden müssen.
Herausfordernd hier: Die Teile sind glänzend und dünn und besonders die letzten Teile am Kistenboden sind schlecht zu erkennen, weil sie in der 3D-Punktewolke mit dem Kistenboden verschmelzen und nur schwer für Bildverarbeitungsalgorithmen wahrnehmbar sind. Das vollständige Entleeren von Kisten, das heißt auch das Entnehmen dieser letzten Teile vom Kistenboden, ist jedoch für den Griff-in-die-Kiste ein praxisrelevantes Qualitätsmerkmal. Deshalb kommt an dieser Stelle erstmals unterstützend Deep Learning zum Einsatz, um die Punktewolke zu segmentieren. Anschaulich gesprochen, schneidet das neuronale Netz die Bereiche der Punktewolke mit Werkstücken aus und übergibt diese an die weitere Bildverarbeitung. In Kombination mit dem flexiblen Sauggreifer von Formhand ergibt sich so für den Griff-in-die-Kiste eine entscheidende Verbesserung bei der Vereinzelung von Blechteilen.
Das Fraunhofer IPA erprobt Maschinelles Lernen auch in zahlreichen weiteren Projekten. Neben den vorgestellten Einsatzmöglichkeiten für den Griff-in-die-Kiste dient es in der Robotik auch dazu, Roboter intuitiver zu instruieren und ihre Leistungsfähigkeit zu verbessern. Weitere Einsatzgebiete in Produktionen sind die Qualitätssicherung, die Optimierung von Produktionsprozessen und die Umgebungserfassung.