Deep Learning als Methode der industriellen Bildverarbeitung kann die Automatisierung, etwa in der Qualitäts­sicherung, deutlich verbessern. Davon profitiert auch die Firma Bosch Car Multimédia in Portugal. Mithilfe einer ­industriellen Bildverarbeitungs-Software eines deutschen Herstellers und ihrer Deep-Learning-Methoden wird die Inspektion von Elektronikkomponenten in mehrfacher Hinsicht optimiert.

Als das Auge der Produktion wird die industrielle Bildverarbeitung (Machine Vision) häufig beschrieben. Denn die Technologie automatisiert beispielsweise manuelle Tätigkeiten, bringt Robotern das Sehen bei und übernimmt mit einer hohen Genauigkeit Qualitäts- und Inspektionsaufgaben. Die Künstliche Intelligenz und insbesondere Deep-Learning-Methoden verleihen der Technologie zusätzlichen Schwung. Immer mehr Anwendungen profitieren von Machine Vision, die bislang nicht automatisiert werden konnten. Darüber hinaus kann die Leistung bestehender Applikationen erheblich steigen. So gut wie alle Indus­triebranchen, wie Elektronik- und Halb­leiterfertigung, oder sogar die Landwirtschaft profitieren von den Vorteilen.

Auch Bosch setzt auf die Vorteile von Machine Vision in Verbindung mit Deep Learning. Im konkreten Fall nutzt die Mobilitätssparte des Technologie- und Dienstleistungsunternehmens Bildverarbeitung, um die Qualität von elektrischen Verbindungen zwischen Platinen und Sensoren zu prüfen. Das weltweit tätige Unternehmen unterhält auch Standorte in Portugal. Dort werden unter anderem Systeme und Funktionen in den Bereichen Fahrzeugsicherheit und -dynamik, Fahrerassistenz, automatisiertes Fahren und Car Multimedia entwickelt und hergestellt.

Bei der Fertigung seiner Elektronik­komponenten für Kunden aus der Automobilbranche hat Bosch nun die Qualitätsinspektion umgestellt. „Wir hatten bereits zuvor einen automatisierten Prüfprozess. Um diesen weiter zu optimieren, haben wir uns für eine Machine-Vision-Software mit Deep-Learning-Methoden entschieden. Dadurch wollen wir unsere Produktivität steigern und die Arbeiten an der Bildverarbeitungsapplikation verringern“, erklärt João Paulo Silva, Prüfexperte aus der Abteilung „Center of Competence Optics and Mechanics“ bei Bosch Automotive Electronics in Portugal.

Durch Deep Learning mit wenig Aufwand Defekte sicher erkennen 

Bei der Anwendung geht es darum, Metallfedern auf Defekte zu prüfen. Diese Metallfedern bilden die elektronische Verbindung zwischen der Hauptplatine und einer Kupferdurchführung auf der Abdeckung eines Sensors. Da die Bearbeitung manuell durchgeführt wird, können bei der Produktion unterschiedliche Defekte an der Metallfeder auftreten. Diese müssen zuverlässig erkannt werden, um den hohen Qualitätsstandard eines Automobilsensors zu erreichen. Bislang wurde der Inspektionsprozess unter Verwendung regelbasierter Methoden der industriellen Bildverarbeitung durchgeführt. João Paulo Silva und sein Team entschieden sich, den Prozess mit neuen Methoden und Komponenten zu optimieren und dabei auf moderne Deep-Learning-Technologien zu setzen. „Mit der Umrüstung verfolgten wir drei Ziele: Erstens soll die Qualität der Inspektion insgesamt verbessert werden. Zweitens soll die neue Lösung auch kostengünstiger sein und drittens die Wartungsarbeiten für die Anwendung reduzieren.“ 

Bei der Suche nach einer neuen Software wurde Bosch bei der Machine-Vision-Software Merlic von MVTec Software fündig. Das Unternehmen ist ein Software-Hersteller für die industrielle Bildverarbeitung. „Wir arbeiten bereits seit langem mit MVTec zusammen. Merlic hat den Vorteil, dass es besonders nutzerfreundlich ist, über eine hohe Flexibilität und gleichzeitig über die modernsten Funktionalitäten verfügt. Außerdem können wir uns in die Roadmap einbringen. Dadurch wird unser Input für die Weiterentwicklung der Software, etwa zu Funktionalitäten, die wir benötigen, berücksichtigt“, erklärt Silva.

Die Technologie von Merlic, die Bosch für die neugestaltete Machine-Vision-Applikation benötigte, heißt Global Context Anomaly Detection. Die Deep-Learning-basierte Technologie ist eine Weiterentwicklung der klassischen Anomaly Detection. Der Vorteil: Sie kann unbekannte Varianten von Anomalien erkennen, beispielsweise fehlende oder falsch angeordnete Bauteile. Damit ist die Fehlererkennung nicht mehr auf lokale Defekte beschränkt, sondern ermöglicht eine kontextabhängige und logische Inspektion. Dies eröffnet ganz neue Anwendungsmöglichkeiten. So lassen sich fehlende oder falsch installierte Bauteile oder fehlende Beschriftungen identifizieren oder Vollständigkeitsprüfungen durchführen. 

Neuronale Netze prüfen auf Beschädigungen und logische Fehler

In dieser Applikation sieht die Bildverarbeitung wie folgt aus: Eine Fünf-Megapixel-Kamera nimmt für jedes Bauteil ein Bild von oben auf. Als Lichtquelle kommt eine polarisierte Flachkuppelbeleuchtung zum Einsatz. Auf den aufgenommen Bildern mit den Metallfedern erfolgt mit Global Context Anomaly Detection die Inspektion. Die Deep-Learning-Technologie verfügt über zwei neuronale Netze. Das „lokale“ Netz prüft, ob kleinflächige Defekte wie Kratzer, Risse oder Verschmutzungen vorliegen. Das „globale“ Netz geht einen Schritt weiter und prüft, ob logische Fehler vorliegen. Beispielsweise ob die Metallfedern verbogen sind, sie komplett fehlen oder andere Komponenten rund um die Metallfedern fehlen. Aus der Interferenz der beiden Netze ermittelt Global Context Anomaly Detection einen Anomaly Score. Dieser Wert wird anschließend mit dem im Vorfeld festgelegten Anomaly-Schwellenwert verglichen. Liegt der Anomaly Score darüber, handelt es sich per Definition um ein fehlerhaftes Bauteil, das dann als Nicht-OK (NOK) ausgesondert wird.

Den Anomaly-Schwellenwert stellt der Anwender in der Merlic Software manuell ein. Das heißt, der Bildverarbeitungsspezialist kann individuell bestimmen, wie stark die Anomalien sein dürfen, bevor ein Bauteil als NOK eingestuft wird. Das ist etwa für die Bearbeitung von unterschiedlichen Materialien nützlich.

Heatmap zeigt Fehlerbereich

Zurück zur Anlage bei Bosch. Im Frontend von Merlic kann sich der Anwender nach der Inspektion jede Aufnahme nochmal ansehen. Besonders hilfreich: Anhand einer Heatmap kann er transparent nachvollziehen, welche Stellen des Bildes ursächlich für die Anomaly-Bestimmung sind. Die Bilder können auch einfach aus Merlic herausgespeichert werden. 

Ein wichtiger Punkt bei Deep Learning ist das Training der neuronalen Netze. Bosch profitiert von der Technologie auch dadurch, dass für das Training der Deep-Learning-Anwendung nur Gut-Bilder benötigt werden. Diese sind in der Praxis leicht zu beschaffen. Natürlich profitiert das Global-Context-Anomaly-Detection-Modell auch von schlechten Bildern, wenn diese vorhanden sind. Bei klassischen Methoden hingegen müssen alle möglichen Arten von Defekten anhand von Schlecht-Bildern einzeln extrahiert werden. Dadurch ist die Anwendung weniger flexibel, der Wartungsaufwand deutlich höher und unbekannte Defekte werden nicht erkannt. Das Training der neuronalen Netze geschieht mit dem Deep Learning Tool von MVTec. Mit dem Tool lassen sich Daten einfach trainieren, auch ohne Programmierkenntnisse. Nach dem Training werden die Netze einfach in Merlic geladen und der Betrieb kann beginnen.  
 

Einbinden von Machine-Vision-Software in bestehendes Produktionssystem

Wie aber ist die Einbindung einer Machine-­Vision-Software in einen bereits bestehenden Produktionsprozess möglich? Diese Frage war bei Bosch besonders spannend, da der Produktionsprozess und die darin integrierte Qualitätsinspektion nicht geändert werden sollten. Die Metallfedern werden nach wie vor von einer oberen und einer unteren Abdeckung in einer Maschine eingehaust. Die untere Baugruppe wird händisch in die Maschine eingelegt. Auch wenn die Gefahr gering ist, können hierbei Schäden an den Metallfedern entstehen. Daher muss genau an dieser Stelle die Inspektion erfolgen, nämlich bevor das obere Bauteil montiert wird. Der Bildeinzug, also die Aufnahme der Bilder, erfolgt weiterhin von oben. 

Da der Produktionsprozess unverändert blieb, lag das Hauptaugenmerk bei der Integration der Bildverarbeitungs-Software in die Maschinensteuerung. Die Anbindung der Software musste direkt an die Maschinen erfolgen, da die Anlage über keine Speicherprogrammierbare Steuerung (SPS) verfügt. Für die so notwendige Machine-to-Machine-Kommunikation sorgt das in Merlic integrierte Protokoll MQTT. Damit lässt sich die Bildverarbeitungs-Software über Standard-IoT-Kommunikationsprotokolle einfach in den Prozess integrieren. Die Entwicklung des Kalibrierungsprogramms des Bildverarbeitungssystems kann über die Software beschleunigt werden.

Weitere Projekte mit industrieller Bildverarbeitung geplant

„Wir haben den Proof-of-Concept Ende 2022 erfolgreich abgeschlossen. Dabei wurden alle unsere Ziele hinsichtlich Erkennungsraten, Wartungsaufwand der Anlage sowie der Kosten erreicht. Daher erfolgte Mitte des Jahres 2023 die Inbetriebnahme einer neuen Produktionslinie. Darauf folgte der Rollout auf andere bestehende Linien“, erklärt Joao Paulo Silva. Aufgrund des Potenzials plant Bosch für die Zukunft weitere Automotive Electronics Werke mit von Deep Learning zu automatisieren.

Autor
Maximilian Lückenhaus, Director Marketing + Business Development bei MVTec Software