Ein wichtige Präsentation: Wie angenehm wäre es, das Notebook berührungslos zu bedienen, einfach über bestimmte Gesten. Was wie eine Zukunftsvision klingt, ist heute bereits möglich. 3D-Bildsensoren detektieren nicht nur die Hände des Benutzers, sie erfassen bei Bedarf auch Ganzkörper-Posen. Diese Fähigkeit ermöglicht völlig neue Schnittstellen.

Die 3D-Bildsensoren des Unternehmens PMDTechnologies liefern neben den 2D-Bildinformationen 3D-Tiefenkarten. Mit Frame-Raten von bis zu 100 Hz können die Time-of-Flight (TOF) Sensoren Ganzkörper-Posen detektieren. Die neueste Generation dieser sog. Full-Body-Tracking-Systeme wurden auf dem PMD Vision-Day am 18. November 2010 in München gemeinsam mit dem Applikationsanbieter Omek Interactive aus Israel vorgestellt. Diese neue Generation ermöglicht Spielern, sich völlig frei vor einer PMD-Kamera zu bewegen, ohne Controller und periphere Geräte. Dabei wird über die PMD-Kamera eine Tiefenkarte des Spielers erstellt, d. h. jedes Kamera-Pixel repräsentiert einen Distanzwert. Die Tracking Software von Omek Interactive nutzt diese Kameradaten dann, um verschiedene Körperteile und Bewegungen in Echtzeit zu identifizieren. Die Bewegungen der Spieler werden reibungslos auf den virtuellen Charakter übertragen - was der Anwender macht, macht auch sein Avatar auf dem Bildschirm.

Interaktion mit den Händen
Dennoch ist das Erkennen von Ganzkörper-Posen nicht der einzige Ansatz, berührungslose Interaktion zu ermöglichen: Für ein weites Feld von Applikationen genügt die Interaktion mit den Händen. Solche Applikationen sind bspw. die Menünavigation bei Mobiltelefonen, die berührungslose Interaktion mit einem Notebook während einer Präsentation oder generell die Bedienung eines interaktiven Kontrolldisplays, z.B. wenn das Berühren eines Displays durch Verschmutzungs- oder Kontaminationsgefahr nicht möglich ist.
Der Machbarkeitsnachweis zur Integration der Technologie in kleine Geräte wie Laptops oder Handhelds ist exemplarisch durch das PMD[vision] CamBoard gegeben. Dieser Prototyp demonstriert, dass mit einem 2D/3D-System in der Größe einer Webcam solche Applikationen realisiert werden können. Der Prototyp wird dabei nur über USB spannungsversorgt.

Vorteile der Methode
Die Detektion von Hand-Gesten mittels der Grauwertbilder und Tiefenkarten, die vom CamBoard bereitgestellt werden, bietet viele robuste Eigenschaften gegenüber Ansätzen, die auf herkömmlichen 2D-Farbbildern beruhen. So ist die Tiefenkarte unabhängig von den Beleuchtungsbedingungen des Umfeldes. Das bedeutet gleichzeitig, dass die 3D-Daten auch im Dunkeln und unter Außenbedingungen verfügbar sind. Des Weiteren kann die Segmentierung der Hand basierend auf den Tiefendaten durchgeführt werden. Daher ist keine Textur-Information nötig, um die Hand zu detektieren. Hände können also auch dann als solche identifiziert werden, wenn sie durch Handschuhe bedeckt sind oder verschiedene Hautfarben aufweisen.

Erkennen, was nicht ist
Trotzdem ist das Detektieren einer Hand nur ein Teil der Lösung. Das sichere Erkennen, dass eine Hand, die eine bestimmte Geste ausführt nicht vorhanden ist, muss ebenfalls gewährleistet sein. Andernfalls kann es zu unbeabsichtigten Interaktionen kommen, da eine Hand-Geste erkannt wird, obwohl der Benutzer gar keine Interaktion beabsichtigt. Dass diese unbeabsichtigte Interaktion einen verheerenden Einfluss auf die Benutzerakzeptanz haben kann, sollte beim Design einer entsprechenden Mensch-Maschinen-Schnittstelle (MMS) unbedingt beachtet werden. Auch diese Anforderung kann durch PMD-basierte 2D/3D-Sensoren umgesetzt werden: Wenn ein Objekt als potentielle Hand detektiert wurde, die eine Interaktion auslösen soll, kann durch eine Analyse der metrischen Maße wie bspw. der Länge der Finger oder der Breite der Handfläche eine Gegenprüfung des Objektes dahingehend erfolgen, ob es tatsächlich eine Hand ist.

Umsetzung in drei Schritten
Eine beispielhafte MMS wurde wie folgt umgesetzt: Als Interaktions-Hand dient eine Hand mit einer der Kamera zugewandten Handfläche und vier ausgestreckten Fingern. Das bedeutet, dass bei Erkennung einer Hand-Geste Interaktionen (die später im Detail spezifiziert werden können) möglich sein sollen. Andernfalls soll keine Eingabe ausgelöst werden.
Die Umsetzung unterteilt sich in die folgenden Schritte:

• Segmentierung der Hand: Mittels zweier Distanz-Schwellwerte, die eine minimale und ein maximale Interaktionsdistanz definieren, und durch Ausnutzung gewisser anatomischer Eigenschaften einer Hand, wird diese detektiert.
• Überprüfung von Form-Eigenschaften: Durch Analyse der Form der detektierten Hand werden Fingerspitzen, die Kontur des Handtellers und das Zentrum des Handtellers detektiert. Wenn keine vier Fingerspitzen erkannt werden, ist die Hand nicht in der gültigen Interaktions-Pose.
• Überprüfung der metrischen Ausdehnung: Basierend auf den Informationen aus den vorangegangenen Schritten über die Position der Fingerspitzen und die Kontur des Handtellers, wird die Position der Wurzelgelenke jedes Fingers bestimmt. Da bei PMD-Sensoren die einzigartige Situation gegeben ist, dass für jedes Pixel 3D-Koordinaten vorhanden sind, kann die dreidimensionale Länge von jedem detektierten Finger berechnet werden (d.h. die Länge vom Fingerwurzelgelenk bis zur Fingerspitze). Diese Länge kann nun dahingehend überprüft werden, ob sie im üblichen Rahmen der Länge eines menschlichen Fingers liegt.

Zusammengefasst: Die ersten beiden Schritte überprüfen ob die Form des detektierten Objektes mit der Form einer Interaktions-Hand übereinstimmt. Der dritte Schritt überprüft ob die detaillierten metrischen Abmessungen des detektierten Objektes zu denen einer Interaktions-Hand passen.

Gesten festlegen
Basierend auf dieser Fähigkeit zuverlässig das (Nicht-)Vorhandensein einer Interaktions-Hand festzustellen kann eine MMS, die Maus-Cursor-Bewegungen, Mausklick und Drag-and-Drop-Funktionalitäten bereitstellt, einfach umgesetzt werden:

• Maus-Cursor-Bewegung: Das Sichtfeld des PMD[vision] CamBoards wird in 3 x 3 Segmente unterteilt. Je nachdem, in welchem Segment die Interaktions-Hand detektiert wurde, wird eine bestimmte Bewegung des Mauscursors ausgelöst. Das mittlere Segment löst keine Bewegung aus.
• Umschalten zwischen Interaktionsmodi: Die MMS unterscheidet zwei Interaktionsmodi: Einen Mausklick-Modus und einen Drag-and-Drop-Modus. Hält man die Hand still im mittleren Segment des Sichtfeldes wird zwischen den beiden Modi hin- und hergewechselt.
• Mausklick: Wenn sich die MMS im Mausklick-Modus befindet und eine Interaktions-Hand detektiert wird, löst das Schließen und Öffnen der Hand einen Mausklick der linken Maustaste aus.
• Drag-and-Drop: Ist die MMS im Drag-and-Drop-Modus löst das erste Schließen und Öffnen der Hand das Drücken der linken Maustaste aus; das zweite Schließen und Öffnen löst das loslassen der Maustaste aus. Dies emuliert effektiv eine Drag-and-Drop-Interaktion.

Ein 2D/3D-System in der Größe einer Webcam ermöglicht es, diese Gesten mit PMD-Sensoren zu erkennen. Diese geringe Baugröße und die Spannungsversorgung über USB ohne zusätzliches Kabel sorgen dafür, dass diese Technologie nun auch von der Consumer-Industrie eingesetzt werden kann. Und während vor gut einem Jahr eine ähnliche Funktionalität bereits möglich war (siehe Minority Report - Futuristische Interface- Technologien durch 3D-Bildverarbeitung, INSPECT 6-7/2009), war der dafür notwendige PMD[vision] CamCube noch um ein Vielfaches größer und unhandlicher. Da gerade die Consumer-Industrie eine treibende Kraft für schnellere und kostengünstigere Lösungen ist, darf man gespannt sein, wie sich das auf die Industrie und damit auf die Kooperation zwischen Mensch und Roboter auswirken wird.