Ein Software-Framework soll Unternehmen die Abnahme beziehungsweise Auditierung von Anwendungen erleichtern, die auf künstlicher Intelligenz (KI) basieren. Das Framework erarbeiten das Fraunhofer IPA und das Institut für Industrielle Fertigung und Fabrikbetrieb IFF der Universität Stuttgart gemeinsam in einem Forschungsprojekt.

KI-basierte Anwendungen sind auf dem Vormarsch und das insbesondere in der industriellen Bildverarbeitung und Qualitätskontrolle. Sie können den monotonen und zeitaufwendigen manuellen Prozess mittlerweile sehr zuverlässig automatisiert ausführen und bieten insbesondere mittelständischen Unternehmen einen Wettbewerbsvorteil. Das gilt vor allem dann, wenn die Prüfteile oder auch mögliche Defekte variabel sind und somit klassische regel­basierte Systeme an ihre Grenzen stoßen.

Was jedoch beim KI-Einsatz für Unsicherheit sorgt, sind die mangelnde Transparenz und Nachvollziehbarkeit dieser Anwendungen. Sie nutzen meist Verfahren des Maschinellen Lernens (ML). Die hierbei eingesetzten künstlichen neuronalen Netze lernen eigenständig aus großen Datenmengen. Wie genau aber ein Ergebnis und im schlechten Fall auch ein fehlerhaftes Ergebnis basierend auf diesem Lernprozess zustande gekommen ist, können selbst KI-Fachleute nur selten erklären. Und genau das sorgt für Zurückhaltung gegenüber der Technologie auf Unternehmensseite. Zudem kann es zu rechtlichen Problemen führen, wenn sie künftig im Rahmen des EU AI Acts mehr Regularien beim Einsatz von KI-Technologien einhalten müssen.

KI-Audits vereinfachen und unterstützen

Um hier Abhilfe zu schaffen und insbesondere Unternehmen mit wenig Erfahrung im KI-Einsatz mehr Sicherheit zu geben, sind geeignete Standards und Entwicklungsmethoden notwendig. Mit ihnen soll es einfacher werden, die Eignung beziehungsweise Qualifizierung einer ML-basierten KI-Anwendung auch ohne das bisher nötige Fachwissen nachzuweisen.

Genau dieses Ziel verfolgt das Forschungsprojekt AI Qualify, das das Fraunhofer IPA und das Institut für Industrielle Fertigung und Fabrikbetrieb IFF der Universität Stuttgart gemeinsam durchführen. Dabei soll ein Software-Framework entstehen, das als Assistenzsystem Anwender dabei unterstützt, Prüf- und Bewertungskriterien zu ermitteln und zu formulieren. Diese werden in einer sogenannten Argumentationsstruktur zentral gebündelt und anschließend dafür genutzt, die KI-Anwendung entlang dieser Kriterien abzunehmen. Grundlage hierfür ist eine Auditierungsplattform, die für jede Entwicklungsphase von ML-Komponenten der KI-Anwendung spezifische Auditierungsmodule bereitstellt. Die Plattform soll modular gestaltet sein, sodass sich Prüfmodule einfach integrieren oder erweitern lassen.

Neben der isolierten Qualifizierung kann das Framework auch iterativ als ein Element für den Entwicklungsprozess eines KI-Systems eingebunden werden.

Gesamten Entwicklungsprozess einbeziehen

Prof. Dr. Marco Huber, Leiter des Projekts, betont den Neuigkeitswert des entstehenden Ansatzes: „Wir berücksichtigen nicht nur die fertige Anwendung, sondern setzen viel früher an. Jede Entwicklungsphase einer KI-Anwendung erfordert Entscheidungen und sie alle können das Ergebnis beeinflussen. Deshalb betrachten wir unter anderem auch Aspekte wie die Datenauswahl, Vorverarbeitung, Gütekriterien und die Modellauswahl.“

Das Software-Framework ermöglicht somit drei Arten der Qualifizierung: 

• durch das Unternehmen selbst, 
• durch einen Kunden, Lieferanten oder Partner und schließlich
• durch unabhängige Institutionen. 

Daraus ergeben sich drei Zielgruppen: Dienstleister für ML-basierte Qualitätsprüfung und -management, produzierende Unternehmen sowie schließlich Dienstleister für Konformitätsprüfungen und Auditierungen. Insbesondere kleine und mittlere Unternehmen (KMU) sollen dazu befähigt werden, fremdbezogene KI-Systeme zu qualifizieren, um so auch ohne eigene KI-Fachkräfte die Leistungsfähigkeit eines KI-Systems bewerten zu können.

Framework anhand von Beispielanwendungen evaluieren

Zwei Anwendungsfälle dienen dazu, das Software-Framework praktisch zu testen. Aus dem Forschungskontext der Projektpartner kommt die kamerabasierte Defekterkennung von Lochscheiben mithilfe von künstlicher Intelligenz. Das Besondere dabei ist, dass neben echten Kamerabildern auch synthetische Bilder mit Defekten erzeugt und genutzt werden können. Dies ermöglicht es, unterschiedliche Schweregrade der Prüfaufgabe zu betrachten, um die Eignung der ML-Komponente zu bewerten. Der zweite Anwendungsfall kommt direkt aus der industriellen Praxis. Ein Projektausschuss unter anderem bestehend aus produzierenden Unternehmen wird diesen Anwendungsfall zum Projekt beisteuern und darüber hinaus auch das gesamte Projekt begleiten.