Immer häufiger erscheinen Berichte über den erfolgreichen Einsatz von neuronalen Netzen in optischen Mess- und Prüfsystemen. Ist die Hard- und Software für das maschinelle Lernen nach einem ersten Hype in den ­frühen 90er Jahren also nun soweit, reale Aufgaben zuverlässig zu lösen? Wenn ja, lösen die neuronalen Netze die klassische regelbasierte industrielle Bildverarbeitung ab? Können damit brauchbare Inspektionssysteme ohne Kenntnis der zu prüfenden Produkte und der möglichen Fehler­typen hergestellt werden? Oder ist der Aufwand beim Sammeln der Lern­bilder so groß, dass die Nutzung der Verfahren nicht praktikabel ist? ­Anhand einer frei erfundenen, aber realitätsnahen Aufgabe, geben wir Antworten auf diese Fragen.

Nehmen wir an, unsere Aufgabe wäre es, Fehler auf einer flächigen orangefarbige OLED zu finden, die durch ein Muster strukturiert ist. Dabei soll sichergestellt werden, dass alle Bereiche, die hell sein sollen, hell sind, und alle, die dunkel bleiben sollen, auch dunkel sind. Die visuelle Prüfung soll während der elektrischen Prüfung, bei der sich die OLED in einer definierten Position befindet, durchgeführt werden. Zur Veranschaulichung der Aufgabe möge ein Smiley dienen. Es stammt aus keiner realen Aufgabenstellung, sondern ist ein vergrößertes Sonderzeichen.

Die Flächenprüfung

Der einfachste Ansatz, die orange leuchtende Fläche des Smileys zu überprüfen, ist ein Flächen- oder Pixelzähler. Bei einem fehlerfreien Produkt wird ermittelt, wie viele Pixel im Kamerabild hell sind. Wenn dann bei der Prüfung deutlich mehr oder weniger Pixel hell sind, liegt definitiv ein Defekt auf dem Produkt vor.
Der Vorteil an diesem Vorgehen ist – abgesehen von seiner Einfachheit –, dass es unempfindlich gegenüber Verschiebungen oder Verdrehungen des Prüflings ist. Zudem ist der Aufwand sehr gering, die Prüfung von anderen Strukturen zu konfigurieren.
Der Schwellwert, was eine deutliche Änderung der nominellen Anzahl heller Pixel ist, ist mit Bedacht zu wählen. Ist dieser zu groß, erkennt das System kleinere Fehler nicht. Ist dieser zu klein, kann es passieren, dass Fehler ausgelöst werden, auch wenn das Produkt einwandfrei ist. Das liegt an den Pixeln an den Kanten, also im Übergangsbereich zwischen hell und dunkel. Diese Pixel können durch kleinste Positionier- und Fertigungstoleranzen von Messung zu Messung unterschiedlich hell erscheinen und daher einmal dem hellen und ein anders Mal dem dunklen Bereich zugewiesen werden. Daher ist die Anzahl der Pixel, die bei einem Gutteil hell sein müssen, kein fester Wert und die Fehlerschwelle muss einen deutlichen Abstand von der typischen Anzahl heller Punkte haben. Das heißt aber, dass dieses Verfahren kleine Fehler nicht zuverlässig detektiert. Ferner kann dieses Verfahren keine Angaben zur Fehlerposition machen.

Die Bereichsprüfung

Unsere Flächenprüfung wird – wenn die genannten Einschränkungen akzeptabel sind – in sehr vielen Fällen sehr gut funktionieren. Sie führt aber definitiv zu falschen Ergebnissen, wenn auf einem Produkt zum Beispiel eine helle Fläche zu klein und eine dunkle Fläche gleichzeitig nicht überall dunkel ist. Wenn dadurch in der Summe die Anzahl der hellen Punkte wieder stimmt, wird das offensichtliche Schlechtteil als Gutteil durchgelassen.
Etwas spezifischer wird die Prüfung, wenn man durch Kreise, Ringsegmente, Rechtecke und Polygone die Bereiche im Kamerabild konfiguriert, die hell sein sollen, und die, die dunkel sein sollen: In einem weiteren Smiley haben Bereiche, die hell sein sollen, grün hinterlegte Prüffelder und Bereiche die dunkel sein sollen, rot hinterlegte. Bei nicht rechteckigen Prüfflächen ist es schwierig, Einzelflächen lückenlos nebeneinander zu setzen. Wenn es nicht dramatisch ist, dass einzelne Fehler doppelt detektiert werden, können sich die Prüfbereiche überlappen. Die Prüfflächen sollten möglichst dicht an die Kanten gesetzt werden, damit das Produkt möglichst vollständig inspiziert wird, doch müssen die Kanten selbst aus den schon bei der Flächeninspektion diskutierten Gründen ausgespart bleiben.
Bei dieser Methode kann der Bereich, der einen Fehler ausgelöst hat, ausgegeben werden. Je nach System ist es auch möglich, die Pixel, die nicht die erwartete Helligkeit hatten, anzuzeigen und zur Archivierung abzuspeichern. Das hier vorgestellte Konzept reagiert empfindlich auf etwaige Lageverschiebungen des Produkts. Wenn diese bei der Inspektion auftreten können, muss es Referenzkanten im Bild geben, damit das Prüfsystem die Lageverschiebung ausgleichen kann.

Da ist ein Farbschatten…

In vielen Anwendungsfällen reicht eine einfache Hell-Dunkelprüfung nicht aus. Während ein kleiner Bereich, der etwas dunkler ist, nicht störend und kein Qualitätsproblem sein muss, kann eine größere Fläche, die geringfügig dunkler als die Nachbarbereiche ist, störend wirken. Neben zu dunklen Bereichen können auf der leuchtenden Fläche auch zu helle Bereiche auftreten. Und in der Praxis könnte sich herausstellen, dass Farb­änderungen eher als störend empfunden werden, als Helligkeitsänderungen. All diese Zusatzregeln lassen sich beschreiben, konfigurieren und parametrieren. Es kann anstelle der üblichen Monochromkamera eine Farbkamera, notfalls auch eine farbmetrisch kalibrierte, eingesetzt werden. Wenn man es auf die Spitze treibt, führt man eine Homogenitätsprüfung der hellen Flächen nach VDI/VDE 5595 Blatt 1 durch. Jedoch erzeugen alle diese Spezialregeln mindestens zusätzlichen Parametrieraufwand, wenn sie nicht individuell programmiert werden müssen. Der Vorteil dieser Herangehensweise ist, dass sich die Ursache für ein Prüfergebnis problemlos nachvollziehen lässt: „Insgesamt waren fünf dunklere Pixel auf der hellen Fläche. Erlaubt sind aber nur vier.“ (Merken Sie sich dieses Beispiel, wir kommen darauf noch einmal zurück.)
Schon die bis jetzt diskutierten Lösungskonzepte sind bei der Realisierung mit einem erheblich unterschiedlichen Aufwand verbunden. Während Anwender Flächen- und Bereichsprüfungen mit fertigen Produkt­lösungen schnell konfigurieren können, würden für die zuletzt beschriebenen Varianten eher PCs, gegebenenfalls mit projektspezifisch programmierter Software zum Einsatz kommen. Vielen Anwendern fällt es zudem schwer, den Aufwand beim Umsetzen ihrer Anforderungen abzuschätzen. Möglicherweise haben sie nicht alle Einflussgrößen im Blick, die bei der Auslegung eines Bildverarbeitungssystems relevant sind. Die Richtlinie VDI/VDE/VDMA 2632 Blatt 2 gibt wichtige Hilfestellungen beim Erstellen von Lasten- und Pflichtenheften für Bildverarbeitungssysteme. Sie unterstützt die Projektpartner, wichtige Anforderungen für die System­auslegung zu erfassen und diese rechtzeitig zu kommunizieren.

Produktvielfalt begrenzt Einlernzeit

Wenn ein einzelnes Produkt monatelang in Serie gefertigt wird, ist es meistens vertretbar, wenn das Einlernen und Testen der spezifischen Parameter für dieses Produkt beispielsweise einen Vormittag dauert. Wenn häufige Produktwechsel anstehen, kann es sinnvoll sein, zum Beispiel die Flächen für die Bereichsprüfung anhand der Bilder von Gutteilen oder aus CAD-Daten automatisiert zu erzeugen. Auch das sind typische Anforderungen, die im Lastenheft zu spezifizieren sind.

Der Übergang zur künstlichen Intelligenz (KI)

Mit steigenden Qualitätsanforderungen an die zu prüfenden Bauteile und wachsender Produktvielfalt werden die in den vorausgehenden Abschnitten diskutierten klassischen Bildverarbeitungssysteme immer komplizierter und in der Regel teurer. Es werden Experten zur optimalen Konfiguration der Systeme benötigt. Womöglich reicht es nicht, sich grundsätzlich mit der industriellen Bildverarbeitung auszukennen, um ein spezialisiertes System ohne Hinzunahme der Dokumentation und ohne Hintergrundwissen über das zu inspizierende Produkt optimal zu konfigurieren.
Bildverarbeitungssysteme, die mit maschinellem Lernen (ML) auf Basis neuronaler Netze (NN) arbeiten, lassen sich dort sinnvoll einsetzen, wo die Regel zur Unterscheidung von Gut- und Schlechteilen schwer mathematisch/algorithmisch zu beschreiben sind. Wir haben in unseren Beispielen zur klassischen Bildverarbeitung immer den Übergangsbereich zwischen den leuchtenden und nichtleuchtenden Flächen bei der Inspektion ausgespart. Ein einzelnes Pixel an einer Kante kann durch Positioniertoleranzen durchaus ganz hell oder ganz dunkel erscheinen. Allein daraus lässt sich keine Aussage zur Bauteilqualität ableiten. Die Gesamtheit der Pixel an einer Kante weist jedoch durchaus typische Eigenschaften auf, sodass ein menschlicher Betrachter Fehler an der Kante sofort erkennt. Die typischen Eigenschaften einer Kante und durch Fehler hervorgerufene Abweichungen davon lassen sich sicherlich auch mit Regeln beschreiben. Der damit verbundene Aufwand ist aber deutlich höher als bei der Bewertung von gleichförmigen Flächen. Hier ist die Anforderung an ML-Systeme, ähnliches zu leisten, wie der menschliche Betrachter. Sie spielen ihre Stärken aus, wenn es verborgene oder mathematisch/algorithmisch schwer zu fassende Regeln gibt, die den Unterschied zwischen gut und schlecht ausmachen.
Systeme mit neuronalen Netzen lernen, indem man ihnen beim Teach-in jeweils geeignete Beispielbilder von Gut- und Schlechteilen zeigt. Das System lernt anhand dieser Bilder, wodurch sich Gut- und Schlechtteile unterscheiden. Jedoch sind die Möglichkeiten für den Menschen begrenzt, in Erfahrung zu bringen, welche Unterscheidungsmerkmale das System gefunden hat. So kann es passieren, dass es Merkmale findet, die nur zufällig mit den Gut- und Schlechtteilen der Lernbildersammlung korrelieren, aber nicht qualitätsrelevant sind.

Neuronale Netze in der Praxis

Auch bei der Konzeptionierung eines ML-Systems müssen Eckpunkte des Funktionsumfangs festgelegt werden, damit die Art des NN und die Teach-in-Daten geeignet zusammengestellt werden können. Denn unter anderem die folgenden Fragen kann kein ML-System allein beantworten:

• Soll nur unser Smiley ein Gutteil sein, und alle anderen Geometrien sind schlecht? Oder: Sollen mehrere Geo­metrien gut sein?
• Soll nur eine bestimmte Farbe des ­Smileys gut sein, oder gibt es das Produkt in vielen unterschiedlichen Farbvarianten?
• Sollen Fehler auf der leuchtenden Fläche nur erkannt oder sollen auch unterschiedliche Fehlertypen (zu hell, zu dunkel…) unterschieden werden? Und ist die Position dieser Fehler wichtig?

Je nachdem, wie die Antworten auf diese Fragen ausfallen, werden entsprechend gekennzeichnete („annotierte“) Bilddaten mit Beispielen von Gut- und Schlechteilen in unterschiedlichen Ausprägungen benötigt. Dass Sammeln, Sortieren und Aufbereiten dieser Bilder kann mit einem erheblichen Aufwand verbunden sein:

• Wenn mehrere Geometrien in unterschiedlichen Farben inspiziert werden sollen, sind schon sehr viele Bilder erforderlich, um nur die Variantenvielfalt der Gutteile mit Bildbeispielen darzustellen.
• Wenn einzelne, kleine Unregelmäßigkeiten auf hellen Fläche noch gut sind, diese aber, wenn sie haufenweise auftreten, zum Fehler werden, dann sind viele Beispielbilder der unterschiedlichen guten und schlechten Varianten notwendig.
• Wenn verschiedene Fehlerklassen unterschieden werden sollen, sind zum Einlernen Beispielbilder aller Fehler­ausprägungen erforderlich.
• Wenn unser System OLEDs unterschiedlicher Farbe inspizieren soll,
• sollte die Fehlerbildsammlung nicht nur von OLEDs einer bestimmten Farbe stammen. Sonst könnte es sein, dass unsere künstliche Intelligenz lernt,
• dass Produkte mit dieser Farbe ohnehin immer schlecht sind.

Diese Beispiele zeigen, dass die Auswahl und die Qualität der Bildbeispiele für das Einlernen eine zentrale Rolle beim maschinellen Lernen spielen, damit ein NN das gewünschte Verhalten zeigt. Während es bei klassischen Bildverarbeitungssystemen die Kunst ist, geeignete Regeln für die Inspektion zu entwickeln (und in Software zu implementieren), nimmt das Zusammenstellen der Lerndaten beim maschinellen Lernen eine zentrale Rolle ein. Das kann zu einer großen Herausforderung werden, wenn es beispielsweise seltene, aber schwerwiegende Fehlertypen auf Produkten gibt. Nötigenfalls können Simulationen helfen, um an die erforderlichen Bilddaten zu kommen. Auch lassen sich digital bearbeitete Varianten von real aufgenommenen Bildern erstellen.

Neuronale Netze sind unberechenbar

Wenn sich die Anforderungen an die Produkte ändern, können in klassischen, parametrierbaren Bildverarbeitungssystemen einfach einige Schwellen geändert und so relevante Flächen vergrößert oder verkleinert werden. Wenn im Beispiel weiter oben nun statt vier dunkleren Einzelpixeln auf der hellen Fläche nun sieben erlaubt sind, wird die Zahl einfach hochgesetzt. Und es kann davon ausgegangen werden, dass fortan das Produkt immer aussortiert wird, wenn acht oder mehr dunkel Flecken ab einer Größe von einem Pixel gefunden werden. Dieses vorhersehbare Verhalten gibt es bei den meisten neuronalen Netzen nicht. Abgesehen davon, dass die Einlernbilder mit dem neuen Fehlerkriterium gegebenenfalls neu annotiert und komplett neu eingelernt werden müssen, wird es in der Praxis kaum echte kleine Flecken, die nur ein Pixel groß sind, geben. Wenn das System mit realen Produktbildern eingelernt wird, kann niemand garantieren, dass die Entscheidungen im Grenzbereich zwischen gut und schlecht immer richtig sind, auch wenn das Unterscheidungskriterium mathematisch eindeutig ist. Es kann nicht einmal angegeben werden, wie viele Flecken mindestens vorhanden sein müssen, damit das System ein Schlechtteil keinesfalls als Gutteil durchgehen lässt. Für Anwendungen, in denen eine Entscheidung rational nachvollziehbar sein muss oder bei denen Gut/Schlecht-Entscheidungen anhand von Längen, Flächen oder Mengen spezifiziert werden können, sind viele NN weniger geeignet. Gegebenenfalls können Hybridsysteme mit NN und klassischer Bildverarbeitung hier eine Lösung sein.

Zusammenfassung

Die Anforderungen an ein Bildverarbeitungssystem haben erheblichen Einfluss auf die Art der Realisierung. Das gilt gleichermaßen für klassischen Bildverarbeitungssysteme als auch für solche mit KI. Der Aufwand zur Lösung von auf den ersten Blick ähnlichen Aufgaben kann sehr unterschiedlich groß sein.
Systeme der klassischen Bildverarbeitung können numerische Vorgaben (Kantenlänge, Durchmesser, Fläche, Anzahl) im Rahmen ihrer spezifizierbaren Messunsicherheit sehr gut überprüfen. Durch Parametrierungen können die Systeme an neue Anforderungen angepasst werden. Systeme mit neuronalen Netzen zeigen ihre Stärken, wenn sich die Grenze zwischen gut und schlecht nicht durch eine einfache Regel oder einen Schwellwert angeben lässt. Diese Systeme ermöglichen es auch, vorhandene Wirkzusammenhänge zwischen unterschiedlichen Einflussgrößen herzustellen, die nicht sofort offensichtlich sind.