Smartphones mit ihren Touchscreens haben die Mensch-Maschine-Interaktion revolutioniert, stoßen jedoch bei bestimmten Anwendungen an ihre Grenzen, insbesondere wenn Hygiene, volle Hände oder sicherheitskritische Ablenkungsfreiheit erforderlich sind. Mit modernen Embedded-Modulen und Fortschritten in künstlicher Intelligenz eröffnen sich nun kostengünstige Alternativen.

Smartphones haben mit ihren Touchscreens das Bild einer modernen Mensch-Maschine-Schnittstelle (HMI) geprägt. Diese Benutzerschnittstelle ist zwar universell einsetzbar, stößt aber bei einigen Anwendungen an Grenzen: Ist Hygiene gefordert, dann ist eine von mehreren Personen genutzte Bedienfläche bereits ein Ausschlusskriterium. Hat man im wahrsten Sinne des Wortes alle Hände voll, ist Touch nicht die optimale Lösung. Und auch aus Sicherheitsgründen ist der Blick auf das Bedienelement nicht immer möglich – wie bei Aufgaben, die eine konzentrierte Beobachtung des jeweiligen Vorgangs verlangen, z.B. bei der Positionierung einer Last mittels Kran.

In den letzten Jahren wurden zwar innovative, optische und akustische Konzepte zur besseren Gerätebedienung entwickelt, die sich aber aus Kostengründen nur in Einzelfällen durchsetzen konnten. Moderne Embedded-Module erlauben dank ihrer Leistungsfähigkeit jetzt eine kostengünstige Umsetzung dieser Konzepte, die mittlerweile auch von den Fortschritten im Bereich der künstlichen Intelligenz (KI) und der Konnektivität profitieren.

Im Blick behalten

War die Bildverarbeitung bislang auf die Beobachtung von Prozessen zur Steuerung und Reglung in der Automation fokussiert, kommen nun zunehmend HMI-Aufgaben hinzu. Hier punktet die Kontaktlosigkeit der Bedienung, um Verschmutzungen von Schaltflächen und Kontakten zu vermeiden. Beispiele finden sich in zahlreichen Bereichen – von der Medizintechnik bis hin zur Lebensmittelverarbeitung.

Auch die Personenerkennung eröffnet neue Möglichkeiten: Beleuchtungen folgen dem Blick des Menschen. Alters- und Geschlechtserkennung optimieren Verkaufsautomaten und Kundenleitsysteme. Das In-Seat-Entertainment-System erkennt, dass ein Kind vor ihm sitzt und passt die Filmauswahl an. Oder Kaffeeautomaten erkennen Stammkunden und optimieren die Getränkeauswahl mit den persönlichen Favoriten.

Über Bildanalyse können proaktive Anpassungen initiiert werden, wie längere Türöffnungszeiten bei Aufzügen, wenn Rollstuhlfahrer oder Kinderwägen anwesend sind. Damit lässt sich ein aktives Eingreifen durch den Benutzer komplett vermeiden, was oft als gesteigert Komfort interpretiert wird.

Doppelt geprüft ist sicherer

Nicht jeder Mensch soll jede Maschine bedienen bzw. den Zugang dazu haben. Hier punktet die biometrische Authentifizierung per Gesicht. Sie funktioniert auch mit vollen Händen und kann im Unterschied zu Schlüsseln und NFC-Karten nicht verlegt werden. Die Gesichtserkennung eignet sich ebenfalls zur Zwei-Token-Authentifizierung. Auch hier ist KI gefragt, gekoppelt mit zusätzlichen Security-Funktionen, die möglichst tief in der Hardware integriert sind.

Auf‘s Wort hören

KI dient nicht nur zur Bildverarbeitung, sondern kommt auch in der Sprach- oder Geräuscherkennung zum Einsatz. Die akustische Bedienung punktet besonders, wenn alle Hände im Einsatz sind und zusätzlich die Augen nicht abgewendet werden können – beispielsweise in der Chirurgie unter einem Makroskop. Sprachkommandos des Chirurgen galten bislang den Kollegen und könnten jetzt Geräte schalten. 

Von Mensch zu Mensch

In einigen Situationen, speziell bei Bezahlstationen stößt auch eine noch so gute Programmierung manchmal an ihre Grenzen, und die Hilfe durch Menschen ist notwendig – was mittels Audio- (VoIP) oder Video-Call machbar ist. Hier gewinnt eine Audioverarbeitung, die mehrere Mikrofone gleichzeitig auswertet und so Störgeräusche besser minimiert. Darüber hinaus muss eine zuverlässige Kommunikation bereitstellt werden, die über Redundanz bzw. alternative Netztechnologie verfügt, um Störungen zu kompensieren.

Klassiker beherrschen

Auch wenn bei der Einführung von neuen Bedienkonzepten oft an einen kompletten Umstieg von der einen auf die andere Technologie, gedacht wird, ist es ratsam, dass die verbaute Embedded-Technik weiterhin die gewohnten Bedienkonzepte unterstützen kann. Manche Fortschritte werden einfach nicht so schnell von den Kunden akzeptiert und es bräuchte eigentlich „nur“ die clevere Optimierung eines bestehenden HMIs. So könnten Beschleunigungssensoren aus der Lageposition erkennen, in welchem Zustand das Gerät ist und welche Bedienschritte sinnvoll sind. Oder es lässt sich mit Lidar-Sensoren die automatische Positioniergenauigkeit erhöhen und mögliche Stellzeiten reduzieren - hier punktet die HMI durch eine schnellere Bedienung. 

Einfacher Zugang zur Technologie

Multitouch ist nicht das Ende der Entwicklung für eine intuitivere, zuverlässigere und sicherere Gerätebedienung. Entsprechend greifen die aktuellen CPU-Designs die Trends auf und integrieren die notwendige Funktionalität. So verfügt der i.MX 95 von NXP über einen KI-Beschleuniger mit einer Spitzenleistung von 2 TOPS. Diese CPU ist die Grundlage für die TQ-Embedded-Module TQMa95xxSA (SMARC-Steckmodul) und TQMa95xxLA (auflötbar).
Um sich dem Leistungsbedarf der Anwendung und der HMI optimal anzupassen, skalieren die Module mit zwei, vier oder sechs Arm Cortex-A55-Cores. Zwei unabhängige Echtzeit-Domänen (Cortex-M7 und Cortex-M33) stehen für Sicherheits- und Echtzeitanwendungen zusätzlich zur Verfügung. Mit bis zu 16 GB LPDDR5, bis zu 256 MB Quad-SPI NOR-Flash und bis zu 256 GB eMMC bieten die Module genügend Speicher. Sie ermöglichen Bildanalysen durch die integrierte NXP eIQ Neutron NPU (KI-Beschleuniger) als Teil einer Machine-Vision-Pipeline für den Einsatz mit netzwerkfähigen Smart-Kameras oder mehreren Kamerasensoren. Letztere unterstützt der NXP ISP (Image Signal Processor) und ermöglicht so die Nutzung unterschiedlichster Bildsensoren. Anschluss finden sie über 2 x MIPI-CSI2 und über einen 10-Gbit-Ethernet- oder bis zu zwei Gbit-Ethernet-Ports (1x TSN-fähig). Diese ausgefeilte Bildverarbeitungspipeline ermöglicht vielfältige Analysen wie Gesten- oder Personenerkennung.

Allerdings ist Bildanalyse für viele Entwickler Neuland, deshalb gewinnt der Software-Support besonders an Bedeutung. NXPs eIQ Neutron NPU und die Entwicklung von Anwendungen für Maschinelles Lernen (ML) unterstützt das preisgekrönte eIQ ML Software Development Environment, eine Sammlung von Bibliotheken und Entwicklungs-Tools. Das eIQ-Kit nutzt Open-Source-Technologien und ist in die Yocto-Entwicklungsumgebung integriert, was die Anwendungsentwicklung auf Systemebene erleichtert.

Grafiken mit Auflösungen bis zu 3840 x 1440p60 ermöglicht die im i.MX95 integrierte Arm Mali GPU. Sie unterstützt die Programmierung mit OpenGL ES 3.2, Vulkan 1.2 und OpenCL 3.0. Zudem ist die 2D-Einheit Teil der Echtzeit-Domäne und kann Grafik-Overlays in Echtzeit für Anwendungen erstellen, die eine visuelle Integration verlangen – z.B. ein „Spiegel“, der Bekleidungsstücke mit den alternativen Farben und Mustern darstellen soll.

Anspruchsvolle Audioverarbeitung

Das Modul ist auch gerüstet für anspruchsvolle Audioverarbeitung und verfügt über bis zu 5 x I2S, bis zu 4 x PDM Mikrofone-Interfaces und bis zu 1 x SP/DIF. Der optionale Gyroscope-Sensor wertet Lageänderungen aus, um Sicherheitsfunktion zu aktivieren oder Menüs automatisch bereitzustellen. Weitere Sensoren lassen sich über bis zu acht I2C-Busse einbinden.

Security ist für viele Edge-Anwendungen und HMIs entscheidend. Die i.MX-95-Familie bietet eine sichere Enklave, um Sicherheitsfunktionen einfacher zu implementieren. Zudem verfügt sie über eine dedizierte Krypto-Engine. Optional kann ein Secure-Element die Hardware-Security der Module weiter erhöhen. In Kombination mit den EdgeLock 2GO Key Management Services von NXP eignen sich die Module für die sichere Fernverwaltung im Feld, einschließlich OTA-Updates (Over-the-Air).

Flexibilität ist auch bei der Integration auf dem Carrierboard geboten: Entweder einsteckbar als SMARC- (TQMa95xxSA) oder einlötbar als LGA-Modul (TQMa95xxLA). Eine typische Leistungsaufnahme der Module von nur 6 W trägt zur einfacheren Integration dank reduziertem Kühlaufwand bei. Damit ist die TQMa95xxSA/LA-Familie bestens geeignet für die unterschiedlichsten HMIs auch bei herausfordernden Umgebungsbedienungen.