Um smarte Embedded-Systeme mit KI-basierter Situational Awareness zu entwickeln, brauchen OEMs unterschiedlicher Branchen einen vorintegrierten Funktionsbaukasten, Denn so müssen sie sich nicht mit dem Zusammenspiel der einzelnen Basis-Komponenten auseinandersetzen.

Da smarte Vision-Technologien in immer mehr Applikationen integriert werden, wächst auch der Bedarf, Kamera- und KI-Technologien auf Embedded-Level zu integrieren. Der Aufwand hierfür ist nichts Außergewöhnliches, da er mit dem Aufwand der Integration sonstiger Peripheriekomponenten vergleichbar ist. Im Grunde also keine große Herausforderung – wäre da nicht auch der Bedarf, zusätzlich KI-Technologien kombiniert mit dem Time Synchronzied Networking (TSN) zu integrieren, um beispielweise gleichzeitig die Echtzeitfähigkeit verteilter Robotik-Steuerung zu erhalten. Auch ist es immer mit Aufwand verbunden, auf Basis von ARM-Technologien applikationsfertige Plattformen zu erhalten, da diese auf den applikationsspezifischen Bedarf angepasst werden müssen. Ganz unabhängig von der zum Einsatz kommenden Prozessortechnologie ergibt sich folglich immer der Bedarf für OEMs, die Summe der Einzelteile möglichst reibungslos zur Serienreife zu bringen. Idealerweise finden sie hierfür schon beim Lieferanten ihre spezifischen Lösungsplattformen, die mehr bieten, als die Summe der einzelnen Komponenten, denn dann können sie sich auf die Entwicklung ihrer Applikationen konzentrieren.

Heterogene Lösungsangebote der Prozessorhersteller

Die Herausforderungen beginnen bereits beim Integrationsaufwand für beispielsweise MIPI-CSI basierte Kameratechnologien. Während sie bei ARM-basierten Technologien bereits zum Standard gehören, ist hierfür bei x86-Plattformen ein spezifischer Integrationsaufwand erforderlich. Beim Einsatz von KI-Technologien gibt es zudem zwischen AMD und Intel durchaus unterschiedliche Strategien, was den Softwaresupport betrifft. So setzt AMD – so wie bei OpenCX/CV auch – auf Open-Source-Lösungen wie ROCm und TensorFlow, um den heterogenen Einsatz der Embedded-Computing-Ressourcen zu unterstützen, den man für die Deep-Learning-Inferenz-Algorithmen benötigt. Intel hingegen bietet seinen Kunden eine Distribution des OpenVINO-Toolkits an, das sowohl Optimierungen für Deep-Learning-Interferenzen bietet als auch viele Aufrufe traditioneller Computer-Vision-Algorithmen, die in OpenCV implementiert sind, unterstützt – insgesamt also ein integriertes Gesamtpaket bietet. Letztlich zielt Intel mit dem Support von FPGAs sowie den Intel-Movidius-Neural-Compute-Stick auch darauf ab, nicht nur die teuren GPUs der Anbieter AMD oder Nvidia einzusetzen, sondern auch weitere Alternativen aus eigenem Hause für die Inferenzsysteme aufzuzeigen.  Auch NXP bietet mit dem eIQ Machine Learning Software Development Environment Antworten auf den Einsatz von KI. Dies nicht nur im Automotive-Segment, sondern auch im industriellen Umfeld. Es umfasst Inferenz-Maschinen, Neuronal Network Compiler, Visions- und Sensorlösungen sowie Hardware-Abstraktionsschichten und stellt damit alle erforderlichen Schlüsselkomponenten für die Bereitstellung einer breiten Palette von Machine-Learning-Algorithmen dar.  Auch eIQ basiert auf gängigen Open-Source-Frameworks, die in den NXP-Entwicklungsumgebungen für MCUXpresso und Yocto integriert sind, und ist im Early-Access-Release verfügbar für i.MX RT und i.MX.

Zur Lösung passende Embedded-Computing-Plattformen

Bei diesen drei unterschiedlichen KI-Ansätzen der Halbleiterhersteller ist bereits zu erkennen, dass sich für OEMs je nach Lösungspfad unterschiedliche Anforderungen ergeben, was die Umsetzung der eigenen Applikationen betrifft. In jedem Fall aber muss die Embedded-Computing-Hardware auf den Einsatz der jeweiligen Softwarelösung vorbereitet sein, was auch eine gewisse Sorgfalt bei der Auswahl der einzelnen Hardwarekomponenten erfordert, weshalb auch die Zusammenarbeit zwischen den Halbleiterherstellern und den Embedded-Computing-Anbietern so entscheidend ist. Arbeiten OEMs mit Unternehmen wie Congatec zusammen und haben diese bereits applikationsfertige Bundles auf Basis dieser Lösungen vorgestellt, die in Zusammenarbeit mit den Halbleiterherstellern entstanden sind, können sich OEMs sicher sein, dass die wesentlichen Hausaufgaben bereits gemacht sind.

Kooperation mit Basler

KI-Implementierungen sind jedoch nur so viel wert, wie sie auch das Zusammenspiel mit den dazu passenden Embedded-Vision-Technologien unterstützen. Aus diesem Grund ist Congatec auch mit Basler eine Kooperation eingegangen, die darauf abzielt, Kunden perfekt aufeinander abgestimmte Komponenten für Embedded-Vision-Applikationen zu bieten. Zwei recht nah beieinander liegende Applikationsplattformen sind aus dieser Kooperation bereits entstanden. Eine mit NXP-Technologie und die andere auf Basis von Intel-Prozessoren.
Die smarte Embedded-Bilderkennungsplattform auf Basis von Intel-Technologie erkennt Gesichter und kann sie nach Alter und Stimmung analysieren. Sie basiert auf Baslers Dart-Kamera-Modul mit USB 3.0 und conga-PA5 Pico-ITX Boards mit Intel-Atom-, Celeron- und Pentium-Prozessoren der 5ten Generation. Die Pylon-Camera-Software-Suite wird Congatec zudem als Standardsoftware in passende Kits integrieren.
Die NXP-Lösungsplattform – die ab Sommer 2019 bei Basler erhältlich sein wird – zielt auf Retail-Deep-Learning-Applikation, um den Checkout-Prozess im Einzelhandel vollständig zu automatisieren. Sie erkennt Verpackungen über ein KI-Inferenzsystem und basiert auf einem Basler-Embedded-Vision-Kit mit NXP i.MX 8QuadMax SoC auf dem Smarc-2.0-Computer-on-Module conga-SMX8 von Congatec, einem Smarc-2.0-Carrierboard und Baslers Kameramodul dart BCON für MIPI 13 MP.
Beide Applikationen liegen nicht wirklich weit auseinander, setzen aber insgesamt höchst heterogene Komponenten ein, deren Zusammenspiel validiert sein muss, um eine OEM-Lösung möglichst einfach zur Serienreife zu führen. Gleiches gilt auch für die zusätzliche Integration von Echtzeitsteuerungen, wie sie bei Robotiksystemen und autonomen Logistikfahrzeugen erforderlich sind. Auch hierfür hat Congatec zusammen mit Intel und Real-Time Systems eine Lösungsplattform entwickelt. Sie basiert auf COM-Express-Type-6-Modulen mit Intel-Xeon-E2-Prozessoren und integriert vier applikationsfertig vorkonfigurierte virtuelle Maschinen auf Basis des RTS-Hypervisors.
Zwei unabhängigen Echtzeit-Partitionen betreiben Echtzeit-Linux, auf denen eine Applikation installiert ist, mit der jeweils ein inverses Pendel in Echtzeit in Balance gehalten werden kann. Diese Installation ist Platzhalter für jedwede Steuerung eines verteilten Fertigungsroboters. Eine weitere Linux-Partition dient dazu, ein Secure-Gateway onboard zu betreiben. Die Vorteile dieser Secure-Gateway-Integration sind zum einen die Einsparung der hohen Kosten und des Platzes für das externe Gateway. Zum anderen schützt sie den Anwender auch vor gefährliche Backdoors eines so manchen externe Gateways, sodass man die Steuerung mit Vision-App bedenkenloser direkt als Edge-Device konzipieren kann.
Um die Unabhängigkeit der Anwendungen und ihr Echtzeitverhalten auf einer einzigen Serverplattform mit mehreren virtuellen Maschinen zu demonstrieren, konnte die Linux-Partition, auf der das Vision-System in der Demo betrieben wurde, neu gebootet werden, was keine Auswirkungen auf das virtualisierten Echtzeitsystem zeigte. Grundsätzlich lassen sich auch alle weiteren Betriebssysteme auf ihren jeweiligen virtuellen Maschinen unabhängig voneinander neu booten und per Watchdog auf korrekte Arbeit überprüfen.