Der Deep-Learning (DL)-basierte Computer-Vision (CV)-Markt unterliegt einem unaufhaltsamen Wandel mit kontinuierlichen technologischen Fortschritten. Infolgedessen entwickelte sich eine Vielzahl von Lösungen in diesem Feld, die jedoch wenig bis keinen Zuschnitt auf die industrielle Fertigung aufweisen. Doch gerade dieser Bereich hat komplexe Anforderungen, da sich Lösungen in die bestehende technologische Infrastruktur und spezifische organisatorische Abläufe des Unternehmens beziehungsweise auf dem Shopfloor integrieren müssen. Die mangelnden Integrationsmöglichkeiten sowie die fehlende Flexibilität und Skalierbarkeit der Standardlösungen auf dem Markt stellen ein enormes Hindernis in der Anwendung in der Industrie dar. Im Zuge der Digitalisierung sind jedoch viele Unternehmen daran interessiert, DL-basierte CV-Systeme in ihre bestehenden Produktionsstätten zu integrieren, um den aktuellen State-of-the-Art anzuwenden. Die Plattform Realtime Computer Vision (RCV) von Robotron trägt dazu bei, diese Lücke zu schließen.

Vorgefertigt und individuell zugleich

Mit dem Einzug von CV-Technologien in die automatisierte Produktion entstehen neue Anforderungen. Ein entscheidender Erfolgsfaktor ist die Integration der Lösung und der CV-Modelle in bestehende standardisierte Unternehmensprozesse und IT-Systeme. Die RCV-Plattform erfüllt diese Anforderungen durch einen modularen und skalierbaren Aufbau, der auf Containervirtualisierung und offenen Schnittstellen beruht. Somit wird ein Betrieb mit nahezu jedweder physischen oder virtualisierten Hardware ermöglicht. Weiterhin lassen sich Daten aus Umsystemen wie MES und ERP einbinden. Über standardisierte Schnittstellen (wie Modbus oder OPC-UA) können Maschinen der Fertigung konnektiert werden, um beispielsweise Fehlerteile auszusteuern. Die Administration des RCV-Toolkit erfolgt über eine zentrale GUI und bietet so einen umfassenden und konsistenten Überblick über den End-to-End-Prozess.

Flexible Datenerfassung und -verarbeitung

Verschiedene Prüfszenarien und -bedingungen erfordern teilweise unterschiedliche beziehungsweise spezialisierte Kameratechnik. Um die bestmögliche Technik mit geringem Aufwand nutzbar zu machen, stehen standardisierte Schnittstellen für die Anbindung bereit. Neben der freien Wahl der Hardware werden auch unterschiedliche Infrastruktur­szenarien unterstützt, um den jeweiligen Gegebenheiten auf dem Shopfloor gerecht zu werden. Damit ist insgesamt sowohl der vollständige Betrieb in der Cloud, on-premises oder auch hybrid möglich, um zum Beispiel mit eingeschränkter oder ohne Internetkonnektivität auszukommen. Diese Flexibilität ist vor allem hinsichtlich der verschiedenen Projektszenarien von der Inbetriebnahme bis zum standardisierten Prozess hilfreich.

Kollaborative Bildannotation

Zum Erstellen eines präzisen und robusten DL-Modells ist die Annotation von Bilddaten zur Generierung des Trainingsdatensatzes eine Grundvoraussetzung. Um die Fehlerklassen in den Bildern optimal zu identifizieren und zu markieren, bedarf es Domänenexperten wie Qualitätsingenieuren, Prozessingenieuren und Werkern. Diese arbeiten häufig geografisch verteilt an verschiedenen Standorten. Das RCV-Toolkit ermöglicht Nutzern parallelen Zugriff und zeitgleiche Annotation von Bilddaten an räumlich getrennten Orten. Durch diesen kollaborativen Prozess wird die Güte des Trainingsdatensatzes beziehungsweise des resultierenden Modells erhöht sowie dessen permanente Wartung erleichtert. Außerdem kann ein Supervisor mit Administratorenrechten den Workflow koordinieren und beispielsweise den Bilddatensatz partitionieren, um eine schnelle und geordnete Annotation der Bilder durch mehrere Nutzer zu gewährleisten.

Künstliche Vergrößerung der Datenbasis

Aufgrund bereits hoher Prozessqualität stehen anteilig wesentlich weniger Bilder von fehlerhaften Teilen zur Verfügung, was sich negativ auf die Qualität und Genauigkeit des Modells auswirken kann. Um dies auszugleichen, bietet das RCV-Toolkit eine künstliche Erweiterung des Datensatzes durch gängige Augmentationstechniken (zum Beispiel Rotation, Spiegelung, etc.) sowie die Möglichkeit, synthetische Bilder zu generieren an. Neben der Auswahl der vorgefertigten Methoden können auch individuelle Skripte eingebunden werden. Durch diese Funktionalitäten lassen sich die Datensatzgröße und Menge der einzelnen Fehlerklassen gezielt steuern beziehungsweise sogar vollautomatisch ausgleichen, um die Ergebnisse der Modelle zu optimieren.

Erstellung von CV-Modellen

Der Einsatz von DL hat in den letzten Jahren zu einem starken Forschungsfortschritt innerhalb der CV geführt. Es wurden verschiedene Frameworks (Tensorflow, Pytorch, Keras, usw.) entwickelt, die dem Nutzer das Erstellen von neuronalen Netzen erleichtern. Außerdem wurden verschiedene Architekturen von Convolutional Networks konzipiert, die abhängig vom Anwendungsfall und von den gegebenen Anforderungen (Genauigkeit, Zeit- und Ressourcenbedarf, usw.) Verwendung finden.

Die RCV-Plattform verfolgt einen No-Code-AI-Ansatz, um Modelle ohne jegliche Programmierkenntnisse erstellen zu können. Dabei besteht die Möglichkeit, mehrere Modelle zu erzeugen und anhand spezifischer Metriken zu vergleichen. Es werden verschiedene Frameworks und Architekturen unterstützt, um die für den Anwendungsfall ideale Lösung zu ermitteln. Die Bereitstellung der trainierten CV-Modelle erfolgt ebenfalls mittels Containervirtualisierung.

Unterstützung des Model Lifecycle

Auf dem Weg zur Produktivsetzung neuer Modelle stellt auch das Deployment über System- und Werksgrenzen sowie verschiedene Verantwortungsbereiche hinweg eine Herausforderung dar. Dabei gilt es, sowohl IT- als auch organisatorische Richtlinien und Prozesse einzuhalten. Die RCV-Toolchain bietet eine durchgängige Verwaltung und Freigabe von Modellen über ein einfach zu bedienendes Dashboard an. Mit diesem können Modellmetriken überwacht, ältere Modelle und Versionen archiviert bzw. entfernt oder die Freigabe neuer Versionen und Modelle gesteuert werden. Der modulare Aufbau der Plattform erleichtert die Einbindung weiterer Aufgaben wie die Überwachung auf Data Drift oder das Anstoßen einer Pipeline zum Retraining.

Skalierung und Abdeckung durch Partnerschaften

RCV als modulare Plattform ermöglicht die professionelle skalierbare Erstellung, Verteilung und Pflege von DL-basierten Qualitäts- und Konformitätsprüfungen im gesamten Unternehmen. Die Informationen innerhalb der Bilddaten können nahezu in Echtzeit auf diverse komplexe Fragestellungen hin analysiert und verarbeitet werden, um Prüfungen umfassender, stabiler und effizienter durchzuführen und damit die Grundlage für zukünftige Prozessoptimierungen zu schaffen. Auf diese Weise trägt der Einsatz von RCV wesentlich zur Steigerung des betrieblichen Erfolgs bei.

Durch starke Partnerschaften im Software- und Hardware-Bereich ergeben sich zukünftig weitere innovative und interessante Einsatzgebiete. Als langjähriger Microsoft-Partner im Cloud-Bereich ist Robotron mit den umfangreichen Services von Azure vertraut, sodass eine nahtlose Integration der RCV-Toolchain gewährleistet ist. Um weitere Potenziale hinsichtlich Integration in verschiedene Hardware-Komponenten zu erhöhen, arbeitet Robotron mit Unternehmen wie Intel zusammen. Der Einsatz in Branchen mit extremen Produktionsbedingungen wie Railway, Mining oder Oil & Gas ist dank der Partnerschaft mit Moxa Europe, dem Hersteller von robusten Edge-Devices, möglich.

Autoren

Tom Marvin Ihme,
Systems Analyst, Realtime Computer Vision

Dr. Deepa Kasinathan,
Group Leader & Product Owner, Realtime Computer Vision