Die Vision-Branche befindet sich inmitten einer technologischen Revolution, bei der die Verbrauchertechnologien Motivationsfaktor für die industriellen Vision-Anwendungen sind. Die Datenverarbeitungskapazitäten, die zum Teil durch tragbare Verbraucherelektronik wie Smartphones und Tablets vorangetrieben werden, sind vielfältig, effizient und erschwinglich. Dies macht intelligente Vision-Systeme möglich und wirtschaftlich.

Integrierte Systeme spielen eine große Rolle bei gegenwärtig stattfindenden technologischen Revolution: Hardware, Software und Schnittstellen für die Datenverarbeitung werden in einem kompakten Paket zusammengefasst.

Ein Großteil der Vision-Systeme, die integriertes Computing nutzen, wird von den ARM-Prozessoren profitieren. Sie verwenden eine „RISC“-Architektur, was für Reduced Instruction Set Computing steht, und bedeutet, dass der Code in kleinen atomaren Anweisungen kompiliert und anschließend äußerst effizient ausgeführt wird. Dies erfordert mehr Arbeit durch den Compiler im Vorfeld, jedoch werden die Vorteile an den Prozessor weitergegeben. Der reduzierte Befehlssatz wird optimiert, damit er vom Prozessor bewältigt werden kann. So sind während der Ausführung weniger Ressourcen erforderlich. Dies führt wiederum dazu, dass der Prozessor weniger Energie benötigt.

ARM-Prozessoren wurden zusätzlich zur Verwendung der „big.Little“-Technologie konzipiert, bei der die Anzahl und Größe der Kerne variieren kann, um den Prozessor weiter zu optimieren. Ein Beispiel hierfür ist ein Prozessor mit vier A7-Kernen und vier A15-Kernen. Die A7-Kerne übernehmen kleinere Aufgaben mit hoher Effizienz, wobei die A15-Kerne verstärkt prozessorintensive Aufgaben mit mehr Leistung durchführen. Diese Architektur ermöglicht, dass die Aufgabenverteilung im Prozessor in Abhängigkeit ihrer Komplexität ausgeglichen werden kann.

Mobile Computing forciert die Entwicklung

Da ARM Holdings, ein britisches Unternehmen, das vor Kurzem von Japans Softbank übernommen wurde, nur die Architektur entwickelt und diese an Chip-Hersteller lizenziert, gibt es eine Reihe von Prozessoren und Ein-Chip-Systemen (SoC) mit ARM, die von Samsung, Qualcomm, Texas Instruments und Nvidia hergestellt wurden. Da das mobile Computing den SoC-Markt bestimmt, sind ARM-Prozessoren eine ideale Wahl für leistungsstarke Geräte mit niedrigem Energiebedarf. Zu den typischen SoCs zählen Kombinationen von CPU, GPU, RAM und verschiedenen Schnittstellentechnologien, wie WiFi, USB und Bluetooth.

Integrierte Systeme können von den Vorteilen der Fortschritte profitieren, die bei SoCs dank der mobilen Branche realisiert wurden. Beliebte Geräte, die unter der Bezeichnung Single Board Computers (SBC) bekannt sind, stellen ein gutes Beispiel für Systeme dar, die ARM-kompatible SoCs verwenden. Diese Geräte umfassen den SoC sowie Speichersteckplätze, E/A-Ports wie USB und Gig-E-Ports, Universal-E/A-Ports und eine DC-Leistungsaufnahme. Zu den beliebten Geräten zählen Raspberry Pi, der ODroid XU4 und NVidia Jetson TX1. Zwar sind diese Geräte beliebt, zugänglich und günstig, jedoch eignen sie sich nicht besonders für die industrielle Bereitstellung im großen Umfang. Sie eignen sich am besten für Entwicklung und Prototypfertigung (Abb. 1). Da es sich hierbei um Produkte auf Verbraucherebene handelt, neigt die Branche dazu, jedes Jahr neue Modelle auf den Markt zu bringen und ältere Varianten schnell einzustellen.

Eine Strategie für die Industrie

Für industrielle Anwendungen wäre die Verwendung von CoMs (Computer-on-Module) ein besserer Ansatz. Ähnlich wie Single Board Computer nutzen auch CoMs eine ARM-fähige Ein-Chip-System-Technologie zusammen mit Arbeitsspeicher und Speicher. Jedoch sind sie nicht mit physischen E/A-Ports ausgestattet. Stattdessen wird das CoM auf eine angepasste Trägerplatine gesetzt, die nur die erforderlichen Ports für die entsprechende Anwendung umfasst. Da CoMs für die industrielle Verwendung vorgesehen sind, ist der Lebenszyklus des Produktes länger, sodass es sich für die OEM-Produktion eignet.

ARM hat sich aufgrund seiner langfristigen Unterstützung von Linux bei ausgewählten Vision-Anwendungen behaupten können. Es gibt eine Reihe von ARM-basierten Vision-Bibliotheken für Linux wie OpenVC, die vor mehr als 15 Jahren entwickelt wurde, SimpleVC, OpenMV und viele andere. Es gibt zudem fortschrittlichere und proprietärere Bibliotheken, die von MVTech Halcon Embedded, MATLAB und FastCV verfügbar sind und erworben werden können. Zusätzlich zu diesen Bibliotheken besitzen zahlreiche Kamerahersteller, wie Lumenera, speziell entwickelte Software Development Kits (SDK), die speziell zur Verwendung mit ARM-basierten Systemen konzipiert wurden.

Zwei beispielhafte Anwendungsfelder

Zwei Branchen, die von ARM-basierten integrierten Vision-Systemen profitieren können, sind die ITS- und UAV-Märkte. Im Falle von ITS-Systemen, die vor allem zur Erkennung von Rotlicht, Geschwindigkeiten und Parkverstößen sowie für Gebührensysteme eingesetzt werden, sind die Systeme häufig vom Stromnetz getrennt und sind von Solarmodulen oder ausschließlich von Batterien zur Stromversorgung abhängig. Die Verarbeitungsanforderungen sind nicht strikt, da sie dazu tendieren, nicht mehr als fünf Bilder pro Sekunde zu erfassen. Die Aufgaben zur Bildverarbeitung wie Automated Number Plate Recognition (ANPR), Rohbildkonvertierung und Komprimierung können in Hintergrund-Threads durchgeführt werden, wenn sich das System im Leerlauf befindet. Die verarbeiteten Bilder können dann über ein mobiles Datennetzwerk an eine Verarbeitungsstation zur Überwachung oder Erhebung der Maut gesendet werden.

Spezielle ITS-Anwendungen können zusätzliche Anforderungen erfüllen, wie mehrere Kameras für die Rotlichtüberwachung und für durch Radar ausgelöste Systeme zur Geschwindigkeitsüberwachung. ARM-basierte integrierte Systeme sind gut ausgestattet, um all diese Konstruktionsanforderungen zu erfüllen und kosteneffektive Alternativen anzubieten, die in ITS-Lösungen eingesetzt werden können. Sie bieten auch die Möglichkeit, die Funktionen des ITS-Systems zu erweitern. Dies ermöglicht Lösungen wie Verkehrsflussregelung und die Identifikation und das Melden von auffälligen Fahrzeugen in Echtzeit.

In Bezug auf den UAV-Markt, in dem Größe, Gewicht und Leistung umfassend untersucht werden, sind integrierte Vision-Systeme eine ideale Wahl für die UAV-Nutzlast. In derartigen Anwendungen, wiegt die Nutzlast der Bildgebung in der Regel ein bis zwei Kilogramm und erfordert eine minimale Verarbeitung durch das Computing-System. Die für die Bildgebung verwendeten UAVs neigen dazu, Bilder mit ungefähr ein bis vier Bildern pro Sekunde zu erfassen und der Großteil der Bildverarbeitung, wie Rohbildkonvertierung und Bildzusammenführung, erfolgt in einem nachgelagerten Prozess durch Systeme mit einer höheren Computing-Leistung. Zu den geeigneten Anwendungen für UAV-basierte und ARM-kompatible integrierte Vision-Systeme zählt die Photogrammetrie – eine genaue Kartierung, die günstiger ist als ein bemanntes Flugzeug, Präzisionslandwirtschaft – Überwachung der Pflanzengesundheit unter Verwendung des NVDI (Normalized Differential Vegetative Index) (Abb. 2) oder anderen Multi-Spektralverfahren und -inspektionen – bei der große Strukturen wie Turbinen, Dämme und Hochspannungsleitungen visuell bewertet werden.

Mit dem Aufkommen leistungsstärkerer Prozessoren können integrierte und mit Bildgebung ausgestattete UAVs ihre Möglichkeiten erweitern, indem sie Vision-Daten zur Navigation nutzen. Anpassbare Flugwege können basierend auf den aufgezeichneten Daten aus einer Szene am Boden übernommen werden, sodass unauffällige Bereiche gemieden werden, was beim Plotten und Vorprogrammieren eines Flugwegs über einen unbekannten Bereich der Fall sein kann. Die Vermeidung einer Kollision in Echtzeit kann ebenfalls erreicht werden – selbst beim (nicht einsehbaren) Betrieb in der Luft.

Fazit

Der geringe Energiebedarf, die hohe Leistung und die Kosteneffektivität der ARM-basierten integrierten Systeme machen sie bei der Implementierung in verschiedenen Vision-Lösungen zur optimalen Wahl. Die schrittweise Verbesserung der Technologie ermöglicht die Entwicklung und Einführung von neuen und intelligenteren Anwendungen, ohne dass es zu finanziellen Engpässen kommt oder zu viel Energie beansprucht wird. Die Linux- und ARM-basierten integrierten Systeme werden weiterhin den Markt dominieren und in den kommenden Jahren in Vision-Anwendungen auf der ganzen Welt zu finden sein.