Mit überschaubarem Aufwand metallographische Bilder zu analysieren, gelingt mit dem Einsatz von künstlicher Intelligenz, insbesondere, wenn es um die Unterscheidung beispielsweise von Korngrenzen und Schleifspuren geht. Ein Mikroskophersteller erläutert, wie der Aufbau und Einsatz eines solchen neuronalen Netzwerkes abläuft.

Standardmäßig kommen konventionelle schwellenwertbasierte Analysen zum Einsatz. Diese Analysen gehören zudem häufig zu den Anforderungen in Normen für die Mikrostrukturanalyse von Metallen, Legierungen, Keramiken, Verbundwerkstoffen und anderen Materialien. Auch wenn sich die schwellenwertbasierte Methode bewährt hat, weist sie einige Einschränkungen auf: Beispielsweise lassen sich damit keine spezifischen Strukturen in den Bildern erkennen, weil mehrere Objekte gleichzeitig erfasst und analysiert werden, ohne zwischen ihnen zu unterscheiden.

Analytische Algorithmen wie das Schwellenwertverfahren können durch zusätzliche Ansätze wie Filter zur Kantenverstärkung, Shading-Korrektur und morphologische Analysen ergänzt werden, um bestimmte Strukturen zu erkennen. Diese Ansätze sind für automatisierte Analysen sinnvoll. die jedoch häufig Programmierkenntnisse und Aufwand erfordern. Außerdem lassen sich wegen der potenziell großen Anzahl von Sonderfällen und Ausnahmen einige Probleme mit diesen Ansätzen möglicherweise nicht lösen.[1] Im Gegensatz dazu werden beim maschinellen Lernen Regeln für die Objekterkennung auf Grundlage mehrerer Objekte aufgestellt, die als Beispiele genutzt werden.

Anwendung der KI-gestützten Bildanalyse in der Metallographie

Die durch künstliche Intelligenz (KI) unterstützte Bildanalyse verspricht viele der mit analytischen Ansätzen verbundenen Probleme zu lösen. Die automatisierte Auswertung wird durch tiefe künstliche neuronale Netzwerke unterstützt, die gelernt haben, Bildbereiche unabhängig von zuvor festgelegten Schwellenwerten im Bild zu klassifizieren. Das ermöglicht es, Bilder einfacher und genauer zu analysieren. In metallographischen und materialographischen Labors kann die ­KI-gestützte Bildanalyse den Arbeitsalltag revolutionieren.

Die Unterschiede zwischen dem Schwellenwertverfahren und einer automatisierten Auswertung mit KI zeigt das Beispiel eines metallographischen Anschliffs mit Korngrenzen, auf dem sich zusätzlich Polierspuren und Staub befinden. Die Software soll die Korngrößen analysieren. Aufgrund der einfachen Schwellenwerteinstellung kann die Bildanalyse-Software die Korngrenzen nicht eindeutig von den Polierspuren und dem Staub unterscheiden. Dies führt zu einer falschen Korngrößenbestimmung, da es unmöglich ist, nur die Korngrenzen zu detektieren.

Mit künstlicher Intelligenz lassen sich Schleif- und Polierspuren, Staub und Rückstände von den zu untersuchenden Merkmalen wie Korngrenzen in Bildern polierter Anschliffe unterscheiden. Die KI-gestützte Bildanalyse kann Korngrenzen auch in Mikrostrukturen mit sehr inhomogenen Kornstrukturen zuverlässig und reproduzierbar erkennen. Darüber hinaus können strukturelle Komponenten mit Pixelgenauigkeit klassifiziert werden.

Standard-Arbeitsablauf für die KI-gestützte Analyse von Mikrostrukturen

Überwachtes Lernen ist ein Teilgebiet des maschinellen Lernens und bezeichnet Methoden zur Vorhersage oder Klassifizierung eines bestimmten Ergebnisses. Bei diesen Methoden wird mit Markierungen eindeutig festgelegt, welche Merkmale das Lernmodell erkennen soll.[2, 3 Der resultierende Algorithmus basiert auf den markierten Daten. Dabei muss darauf geachtet werden, dass der Algorithmus nicht zu sehr an die Trainingsdaten angepasst wird. Andernfalls kann es passieren, dass der Algorithmus zwar Objekte in den Trainingsdaten korrekt erkennt, aber bei neuen Daten nicht mit derselben Qualität arbeitet.

Bei der Deep-Learning-basierten Bildanalyse erfordert die Markierung von Daten das Erstellen von Bildern mit einer sogenannten „Ground Truth“ („Grundwahrheit), also den Informationen, mit denen das neuronale Netzwerk trainiert und bewertet wird.[4] Diese Informationen müssen in den Bildern durch Bildverarbeitung oder manuell markiert ­werden.
Außerdem ist das Überprüfen der Trainingsdaten durch Spezialisten unerlässlich. Es ist wichtig, dass diese festlegen, welche Daten für das Training verwendet werden sollen, da sie die Grundlage bilden, die das trainierte neuronale Netz für die Analyse verwendet. Diese Spezialisten müssen in der Materialanalyse bewandert sein, damit sie entscheiden können, welche Details im Bild erkannt werden sollen.

Am Beispiel eines metallographischen Bildes könnte der Spezialist fragen: Wann ist das Merkmal eine Korngrenze? Wie bewerten wir Anomalien? Wichtig ist, dass die Daten repräsentativ für alle erwarteten Objekte und Zuordnungen innerhalb der einzelnen Klassen sind.

Nach dieser ersten Phase wird im zweiten Schritt die optimale Trainingskonfiguration für die Aufgabe ausgewählt. Dies geschieht mithilfe von Anweisungen zur Erweiterung der Trainingsdaten [5] und zur Auswahl des Trainingsmodells. Die Erweiterung der Trainingsdaten unterstützt das Training, da das neuronale Netzwerk deutlich mehr Möglichkeiten zum Lernen erhält und damit seine Zuverlässigkeit steigert. Zudem werden die Trainingsdaten durch Drehen, Spiegeln und andere Bildoperationen vervielfacht. Unbedingt zu beachten ist, welche Erweiterungsmethode für die jeweilige Anwendung sinnvoll ist. Die Drehung ist zum Beispiel für Strukturen ohne bevorzugte Richtung nützlich, aber nicht für elongierte Materialien, zum Beispiel gewalzte Materialien.

Entscheidungsprozess des neuronalen Netzwerkes nicht transparent

Beim Deep Learning wird ein künstliches neuronales Netzwerk mit einer bestimmten Struktur erstellt. Aller­dings ist der Entscheidungsprozess, den das Netzwerk in der späteren Bildanalyse anwendet, nicht transparent, weil es keine analytischen Begründungen liefert, warum es eine Entscheidung getroffen hat.

Ein Spezialist kann jedoch den Trainingserfolg überprüfen und untersuchen, ob die Ergebnisse einer Analyse den Erwartungen entsprechen. Mithilfe von Validierungsdatensätzen lässt sich vergleichen, wie gut das trainierte künstliche neuronale Netzwerk die angegebenen Bildbereiche erkennen kann. Das Netzwerk lässt sich zum Erstellen einer Wahrscheinlichkeitskarte verwenden, die während des Trainings auf markierten Validierungsbildern als Overlay angezeigt werden kann. Diese Validierungsdaten sind nicht Teil des Datensatzes, der zum Training des Netzwerkes verwendet wurde.

Um den Trainingszustand realistisch einzuschätzen, kann die Ähnlichkeit zwischen den Qualitätskriterien, die auf den Trainingsbildern und den Validierungsbildern bewertet wurden, numerisch und als Graph ausgegeben werden.
Nach dem Training mit anschließender Validierung wird ein neuer Datensatz verwendet, um zu prüfen, ob der Algorithmus bei repräsentativen neuen Daten, dem Testdatensatz, ebenfalls funktioniert. Dieser ­abschließende Test muss von einem oder idealerweise mehreren Spezialisten überprüft werden, um das Risiko von Fehlinterpretationen der KI-Ergebnisse aufgrund menschlicher Voreingenommenheit zu ­verringern.[6]

Das trainierte neuronale Netzwerk steht nun als Segmentierungsmethode zur Verfügung, die sich auch für vergleichbare Bilder eignet, zum Beispiel für Bilder mit ähnlichen Licht- und Belichtungsbedingungen. Ein gut trainiertes neuronales Netzwerk lässt sich einfach und effizient anwenden. Mit einem einzigen Klick segmentiert das Netzwerk automatisch das Bild und liefert reproduzierbare Ergebnisse.

Zusammenfassung

Mit überschaubarem Aufwand von seiten eines Spezialisten kann überwachtes ­Lernen für die Analyse von metallographischen und materialographischen Bildern für klar definierte Aufgaben wie Bildklassifikation, Objekterkennung und Bildsegmentierung eingesetzt werden. Die Validierung der Trainingsbilder, des Testdatensatzes und das Überprüfen des abschließenden Evaluierungstests muss ein Spezialist durchführen. Aber wenn das künstliche neuronale Netz gut trainiert ist, ermöglicht die KI eine leistungsstarke, reproduzierbare Bildanalyse von vergleichbaren Bildern.

Weitere Informationen über die Vorteile der KI in der Mikrostrukturanalyse finden Sie unter olympus-ims.com/landing/truai-technology.

Literatur

[1] M. A. Nielsen. „Neural Networks and Deep Learning.“ Determination Press, 2015.
[2] M. Iqbal, Z. Yan. „Supervised Machine Learn­ing ­Approaches: A Survey.“ International Journal of Soft Computing, 2015, 5, 946–952.
[3] T. Jiang, J. L. Gradus, A. J. Rosellini. „Supervised Machine Learning: A Brief Primer.“ Behav Ther., 2020, 51, 675–687.
[4] A. A. Taha, A. Hanbury. „Metrics for Evaluating 3D ­Medical Image Segmentation: Analysis, Selection, and Tool.“ BMC Med Imaging, 2015, 15, 29.
[5] C. Shorten, T. M. Khoshgoftaar. „A Survey on Image Data Augmentation for Deep Learning.“ J Big Data, 2019, 6, 60.
[6] T. Kliegr, Š. Bahník, J. Fürnkranz. „A Review of Possible Effects of Cognitive Biases on Interpretation of Rule-Based Machine Learning Models.“ Artificial Intelligence, Bd. 295, Juni 2021, 103458.

Autorinnen
Dr. Annegret Janovsky, Product Marketing Manager for Industrial Microscopy EMEA bei Evident
Dr. Christina Hesseling, Product Manager for Materials Science and Industrial Equipment Global bei Evident