Trainieren an Bildern und Beispielen, Beurteilungsverfahren entwickeln, die Erfahrung des Menschen in den Sensor bringen – mit den Technologien und Verfahren des Deep Learning kann industrielle Sensorik applikationsspezifisch spezialisiert werden. Dies beweisen kürzlich gelöste Anwendungen bilderfassender Sensoren in intralogistischen Sortieranlagen, der Lebensmittel­industrie und der Holzverarbeitung.

Sick nutzt Deep Learning, um die Funktionen von Sensoren applikationsbezogen zu spezialisieren. Intelligente Kameras können durch mit großen Datenmengen trainierten, künstlichen neuronalen Netzen im industriellen Umfeld immer anspruchsvollere Anwendungen lösen. Die Integration von Deep-Learning-Algorithmen in Software zur Bildanalyse und -verarbeitung ermöglicht es, trainierte Objekte oder Merkmale automatisch zu erkennen, zu prüfen oder zu klassifizieren. Durch die intelligente funktionale Spezialisierung von Sensoren gelingt es unter anderem in der Lebensmittel- oder der Holzverarbeitung, die Materialausnutzung zu erhöhen, weniger Ressourcen zu verbrauchen und die Qualität von Produkten und Prozessen zu verbessern. In der Logistikautomation können Deep-Learning-Kameras unter Auswertung der eingelernten Bildbasis Sorterschalen auf das Vorhandensein flacher Versandtaschen und ihre tatsächliche Belegung prüfen oder auf einem Band neben- oder übereinanderliegende Objekte als einzelne Einheiten erkennen. Durch Deep Learning erbringen Sensoren dabei Intelligenzleistungen, die bislang dem Menschen vorbehalten waren – beispielsweise die Erkennung und Evaluierung von Strukturen oder Merkmalen, die vom Sensor im laufenden Betrieb in dieser Form zum ersten Mal erfasst werden.

Strukturierter Deep-Learning-Workflow bündelt Expertenwissen

Die meisten Deep-Learning-Projekte, mit denen sich das Unternehmen derzeit beschäftigt, kommen aus Fertigungsanwendungen oder der optischen Qualitätsinspektion. Um die verschiedenen Anwendungen effizient beurteilen zu können, hat das Unternehmen im Rahmen einer internen Deep-Learning-Initiative einen mehrstufigen Ablaufstandard entwickelt, in den sowohl die Deep-Learning-Experten von Sick als auch die Prozess- und Qualitätsexperten des Kunden maßgeblich involviert sind. Auch wenn moderne 2D- und 3D-Kameras immer schneller und leistungsfähiger werden, bilden doch klassische Bildverarbeitungsalgorithmen ihre heutigen Grenzen. Danach stellt sich aus Sicht des maschinellen Lernens nur die Frage der Eindeutigkeit von Kriterien: Können diese über eine große Anzahl von Bildern, Gut- und Schlechtbeispielen ausreichend eindeutig erkannt und interpretiert werden? Was ist aus Sicht der Kundenexperten gut oder schlecht, mit ja oder nein zu beurteilen, tolerabel oder nicht oder hinsichtlich bestimmter Kriterien i. O. oder n. i. O.? Kann die erfahrungs- oder wissensbasierte Beurteilungsfähigkeit eines Menschen überhaupt als Intelligenzleistung durch den Sensor erbracht werden? Werden diese Fragen durch den jeweiligen Anwendungstechniker grundsätzlich positiv beurteilt, schafft die Erfassung und Annotation von vielen Bildern durch eine erfahrene Person die Trainingsdatenbasis für die späteren Deep-Learning-Algorithmen in den Sensoren.
Neuronale Netze bestehen aus Schichten. Dabei nimmt der Abstraktionsgrad von konkreten Bilddetails bis hin zu gröberen Konzepten in der Schichtabfolge zu. Dadurch wird auch erreicht, dass das Netzwerk bisher nie gesehene Daten mit hoher Wahrscheinlichkeit richtig verarbeiten kann. Ein neuronales Netzwerk lernt mit geeigneten Trainingsdaten eine vorgegebene Aufgabe zu lösen.
Generell stehen für die Deep-Learning-Entwicklung offene Frameworks zur Verfügung, um neuronale Netze zu definieren und zu trainieren. Diese Frameworks wurden ohne konkreten Bezug auf Sensorik oder Bildverarbeitung entwickelt. Hier genau beginnt das Know-how von Sick, die Grenzen der Sensorik mit Deep Learning neu auszuloten. Im Ergebnis entstehen Sensoren, die Aufgaben übernehmen, die bisher nur von Menschen gelöst wurden.

Transfer von Deep-Learning-Funktionen in den Sensor

Im Gegensatz zum Prozess der klassischen Algorithmen-Entwicklung, der hauptsächlich durch das händische Designen einer geeigneten Feature-Repräsentation geprägt ist, lernt ein neuronales Netz optimale Features für seine Aufgabe von allein. Es kann mit geeigneten Daten immer wieder nachtrainiert werden, um sich an neue Gegebenheiten anzupassen. Sowohl für den Aufbau des Trainingsdatensatzes durch das Erfassen von tausenden von Bildern und Beispielen als auch für das Training der neuronalen Netzwerke nutzt Sick als ausführende Einheit eine unabhängige, leistungsfähige Rechner- und IT-Basis. Das umfangreiche Rechnen der komplexen Operationen der Deep-Learning-Lösung für das Training erfolgt auf speziell dafür ausgestatteten, hausinternen Rechnern mit hoher GPU-Performance (Graphics Processing Unit). Die daraus generierten neuen Deep-Learning-Algorithmen werden lokal auf dem Sensor bereitgestellt und sind so unmittelbar und ausfallsicher beispielsweise auf einer intelligenten Kamera verfügbar.
Beispielhaft umgesetzt wurde eine Deep-Learning-Anwendung zuletzt in der Holzverarbeitung. Hierbei wurden in großer Anzahl Bilder von roh geschnittenen Brettern mit Baumkanten die Lage der Jahresringe trainiert. Das Ziel war es, durch eine programmierbare Kamera der Produktfamilie Inspector P65x über den Verlauf der Jahresringe die Drehlage zu erkennen. Aus diesem Training heraus kann die Kamera neue, ihr nicht bekannte Bilder bewerten und einem Ergebnis zuordnen. Ihr wurde mittels Deep Learning beigebracht, wie das Holz am besten genutzt werden kann – eine Aufgabe, die sonst von erfahrenen Menschen erledigt wird. Auf diese Weise wird jetzt das Holz in der Maschine so positioniert, dass eine optimale Bearbeitung und Materialausnutzung erreicht wird.

Ausbau des Deep-Learning-Portfolios

Mit der Umsetzung von Deep Learning in ausgewählten Sensoren und Sensorsystemen startet Sick nach dem Eco-System Sick-AppSpace ein neues Sensor-Software-Konzept, das anpassungsfähige und zukunftssichere Lösungen für Automatisierungsanwendungen schafft. Zu den kommenden Deep-Learning-Produkten, deren Kundenanpassung für den Anwender echte Mehrwerte generiert, gehören weitere bildverarbeitende Sensoren und Kameras.
Das Konzept des spezialisierten Sensors mit künstlicher Intelligenz ist prinzipiell auch auf einfache Sensoren, wie induktive Näherungsschalter, Reflexions-Lichtschranken, Ultraschallsensoren und andere anwendbar. Zudem bieten Systemlösung wie die immer anspruchsvoller werdende Fahrzeugklassifizierung an Mautstationen Potenzial für eine Deep Learning gestützte Klassifikation und Einteilung von Fahrzeugen in Mautklassen. Die Nutzung neuronaler Netzwerke und die Möglichkeit, selbstständig Wissen aus Erfahrungen zu generieren, wird neue kognitive Bereiche erschließen und bisher undenkbare Applikationen ermöglichen, die Prozesse effizienter und produktiver machen.