Mithilfe von Kameras in Verbindung mit KI-basierter Bildverarbeitung können Industrieroboter Situationen digital erfassen, analysieren und adaptiv reagieren, anstatt nur vorprogrammierte Abläufe auszuführen. Eine Studie beleuchtet Herausforderungen und Erkenntnisse der interdisziplinären Aufgabenkombination von Robotik und intelligenter Bildverarbeitung.

Eine Gruppe von Studierenden der Hochschule Kempten hat sich im Rahmen ihres Masterstudiums dem Thema Bildverarbeitung mit KI gestellt – allesamt angehende Ingenieure und keine Software-Entwickler oder Programmierer. Aufgabe war die Entwicklung Mühle-spielender Roboter, die ortsunabhängig gegeneinander antreten können. 

Eine zentrale Rolle spielte dabei das Erkennen von Veränderungen auf dem Spielbrett, was durch ein Bildverarbeitungssystem mit menschähnlicher Wahrnehmung gelöst werden sollte, um möglichst viele Erkenntnisse über den Einsatz KI-basierter Bildverarbeitung zu gewinnen. Damit entstand während des Projektes auch ein digitaler Zwilling des realen Roboters, der an dessen Stelle spielen konnte – eine reale Technologie verschmolz mit einer Simulation.

Eine weitere wichtige Anforderung bestand darin, eine hohe Benutzerfreundlichkeit sicherzustellen, um das Kamerasystem einfach inte­grieren zu können. Nach umfangreichen Tests verschiedener Ansätze fiel die Wahl schließlich auf IDS NXT – ein Komplettsystem für den Einsatz intelligenter Kameras.

Bildauswertung mit KI

Marco Ullrich, wissenschaftlicher Mitarbeiter der Hochschule Kempten, erläutert die Gründe: „Das IDS-NXT-System war ideal für unser Projekt. IDS konzentriert sich darauf, die Hürde für den Einsatz von KI in realen Anwendungen zu senken. Die größte Herausforderung sahen wir in der Integration der Kamera in das Robotersystem. Dies erwies sich als Trugschluss. Denn IDS NXT benötigt keinen zusätzlichen PC zur Ausführung der Bildanalyse. Bei sogenannten Embedded-Vision-Systemen erfolgt die Verarbeitung der gesehenen Daten sowie die daraus resultierende Steuerung „on device“, also auf der Kamera. Die abgeleiteten Befehle werden unmittelbar an den verknüpften Roboter weitergegeben. Die Übertragung von Daten und Ergebnissen an einen externen PC zur Auswertung wird dadurch überflüssig. Entsprechende Systeme lassen sich platzsparend in die Fertigungslinie integrieren. Dies machte es widererwartend einfach, das System in unseren bestehenden Aufbau zu integrieren.“

Das KI-Kamerakomplettsystem ist ebenfalls ein gutes Beispiel dafür, wie einfach Bildanalysen für die Ausführung auf einem kleinen PC-unabhängig arbeitenden System entstehen können. Allein die Tatsache, dass ein Großteil des Entwicklungs- und Evaluierungsprozesses in einem intuitiv bedienbaren Cloud-Service erledigt werden kann, ohne dass dazu spezielle Erfahrung in KI, Anwendungsprogrammierung oder Bildverarbeitung notwendig sind, macht Embedded Vision für neue Zielgruppen interessant, ist der Hersteller überzeugt.

Einfach bedienbare Werkzeuge, wie das AI-Vision-Studio IDS Lighthouse decken den gesamten Entwicklungs-Workflow vom Bild bis zur fertigen Anwendung ab. Ein eigenes künstliches neuronales Netz lässt sich damit innerhalb weniger Minuten erzeugen. Dazu sind drei wesentliche Schritte notwendig: Trainingsbilder hochladen, Trainingsbilder labeln und anschließend das gewünschte Netz vollautomatisch trainieren lassen. Mit einem blockbasierten Editor lassen sich individuelle Bildverarbeitungsabläufe mit Machine-Learning-Methoden, wie der Detektion oder Klassifikation von Objekten, auch ohne Programmierkenntnisse erstellen. Als Vision Apps lassen sich diese Abläufe dann direkt auf NXT-Kameras ausführen.

Vision-App-Ansatz: Funktionen auf die Kamera laden

Vision-Aufgaben werden im IDS NXT-System durch Apps bestimmt, die so einfach wie bei einem Smartphone auf die Kamera geladen und ausgeführt werden können. Der Anwender kann die Funktionalität beziehungsweise die Bildanalyse damit zu jeder Zeit schnell ändern. Diese kurzen Umrüstzeiten begünstigen insbesondere Kleinserien. Neben der Möglichkeit, Vision Apps mit einem intuitiv bedienbaren blockbasierten Editor zusammenzuklicken, bietet IDS außerdem schlüsselfertige Vision Apps an. Mit individuell trainierten neuronalen Netzen lassen sich so Bildanalysen schnell zusammensetzen und ausführen. Im Falle der Mühle-Roboter wurde die vorinstallierte App „Classifier“ eingesetzt. Sie nutzt Machine-Learning-Methoden zur Klassifikation von Bildinhalten. „Der App-Ansatz ist sehr intuitiv, besonders, wenn man kein Programmierer ist und sich mit KI-Algorithmen oder der Anwendungsprogrammierung nicht auskennt“, so Ullrich.

Die Kommunikation mit dem Projekt­umfeld wurde mit dem Industrieprotokoll OPC-UA realisiert. So konnte die Kamera nach jedem Spielzug zuverlässig die Position aller Steine bestimmen und sich direkt mit der SPS-Steuerung austauschen. Möglich machte das die OPC-UA Vision App, die ebenfalls auf der Kamera vorinstalliert war. Die notwendigen Rezepte und Systemkonfigurationen konnten damit einfach vorbereitet und über das Industrieprotokoll zur Verfügung gestellt werden.

Mühle-spielende Roboter mit Praxisnutzen

Roboter, die Mühle spielen, mögen anfangs wie eine Spielerei erscheinen. Aber die Erkenntnisse daraus können etwa auf Produktionsanlagen übertragen werden. Und genau das war ein Ziel dieser Studie, die im Rahmen des Projekts KI-Net auch durch die Struktur- und Investitionspolitik der europäischen Union gefördert wird. Dabei sollen die breit gefächerten Möglichkeiten im Themenbereich künstliche Intelligenz untersucht und voll ausgeschöpft werden, um das daraus entstehende Fachwissen mittelständischen Unternehmen bei Forschung und Entwicklung von KI-Technologien zur Verfügung zu stellen.

Die Studie hat zusätzlich gezeigt, dass KI nicht Experten vorbehalten ist. Mit einfachen Werkzeugen, die keine Kenntnisse in Hochsprachenprogrammierung erfordern, können auch Bildverarbeitungs-Laien damit arbeiten. Dies bekräftigt auch IDS-Geschäftsführer Jan Hartmann: „Das Verständnis wächst, dass KI heute weder allmächtig, noch zu komplex für den Einstieg ist. Die Technik ist beherrschbar und löst mit wenig Aufwand erstaunlich gut Aufgaben, die zuvor aufwendig programmiert werden mussten.“

Autor
Heiko Seitz, Technischer Autor bei IDS