Was für den Menschen selbstverständlich ist, stellt einen Serviceroboter vor Herausforderungen. Erkennen, was ein Mensch tun möchte und welche Hilfe er benötigen könnte, sowie das Anbieten und Ausführen entsprechender Assistenzfunk­tionen in direkter Interaktion mit dem Nutzer: Um dies zu leisten, muss ein Serviceroboter ein Verständnis für seine Umgebung entwickeln, beispielsweise Personen und Objekte erkennen, und sich sicher in dieser bewegen sowie geeignete Handgriffe in der Nähe des Menschen ausführen können.

Diese grundlegenden Fähigkeiten weiterzuentwickeln war das Ziel der Forschungsprojekte Asarob und Ropha, die das Bundesministerium für Bildung und Forschung (BMBF) durch die Fördermaßnahme „Autonome Roboter für Assistenzfunktionen: Interaktive Grundfertigkeiten (ARA1)“ unterstützte. Im Oktober 2020 stellten die Projektpartner, darunter das Fraunhofer IPA, online im Rahmen einer Abschlussveranstaltung der Fördermaßnahme ihre Ergebnisse vor.

Die Projekte nutzten den Serviceroboter Care-O-bot 4 des Fraunhofer IPA, der mittlerweile von einem Spinoff des Instituts vertrieben wird, um die entwickelten Technologien in praxisnahen Anwendungsszenarien zu testen. Letztere erarbeiteten die Beteiligten in beiden Projekten in enger Abstimmung mit Experten aus der stationären Pflege und auf Basis umfangreicher Analysen vor Ort. Dies sollte sicherstellen, dass die robotische Unterstützung tatsächlich einem konkreten Praxisbedarf entsprach.

Neben der Bereitstellung des Roboters war das Fraunhofer IPA in beiden Projekten für verschiedene Softwareentwicklungen zuständig, um Umgebungsinformationen zu erfassen. Diese sind eine essenzielle Grundlage dafür, dass der Roboter seine Aufgaben autonom ausführen kann. Hinzu kamen die Integration aller nötigen Technologien auf dem Demonstrator sowie die Umsetzung der Anwendungsszenarien.

Semantik ergänzt Algorithmen

Im Projekt „Aufmerksamkeitssensitiver Assistenzroboter“ (Asarob) ging es darum, die Aufmerksamkeitszustände des menschlichen Gegenübers mithilfe von Perzeptionsalgorithmen zu erfassen und auszuwerten. Ziel war es, die Interaktion durch Roboterfunktionen für die Aufmerksamkeitsgenerierung, -lenkung und -wiederherstellung zu verbessern. Hierfür sind im Projekt Software-Lösungen zur Umgebungs- und Personen- beziehungsweise Posenerkennung entstanden.
Menschen interpretieren eine Szene anhand von zahlreichen Informationen wie Sprache, Geräuschen, Texten, räumlichen und visuellen Eindrücken und erfassen damit intuitiv, was das Gegenüber tut oder plant. „Unser Beitrag, damit ein Roboter dieses Verständnis erhält, war die Erweiterung unseres Umgebungsmodells um Semantiken. Diese Semantiken ergänzen die Bedeutung der Umgebungsinformation, die zunächst nur als dreidimensionale Punktwolke vorliegt. Die Semantiken identifizieren einzelne Objekte wie beispielsweise Stühle, Tische oder Pflanzen und liefern so mögliche Aufmerksamkeitsziele“, erklärt Florenz Graf, der im Projekt die Arbeiten des Fraunhofer IPA koordinierte.

Softwaremodule für das Erkennen und Klassifizieren geometrischer Formen und für die Ableitung entsprechender Raumstrukturen ermöglichen dieses Verständnis. „Die genannten Technologien ergänzen unsere bereits vorhandenen Algorithmen zur Personen- und Aktivitätenerkennung bestens. Gemeinsam ermöglichen sie einem Roboter, eine Szene ganzheitlich zu verstehen“, so Graf. Praktisch getestet wurden die Technologien in einem Anwendungsszenario, in dem der Care-O-bot 4 eine Person durch ein Gebäude sicher und aufmerksam zu ihrem gewünschten Ziel begleitet.

Mit maschinellem Lernen Gerichte erkennen

Ziel des Projekts „Robuste Perzeption für die interaktive Unterstützung älterer Nutzer im häuslichen Umfeld“ (Ropha) war die Entwicklung von Perzeptions- und Handhabungsfunktionen. Sie ermöglichen einem Roboter, beim mundgerechten Bereitstellen von Nahrung zu unterstützen. Die entwickelten Assistenzfunktionen sollten dabei in unterschiedlichen Anwendungen erprobt werden. Insbesondere sollte der Roboter die Speisen nach Wahl des Nutzers anreichen oder beim Schneiden und Würzen unterstützen. Damit der Roboter derart assistieren kann, hat das Fraunhofer IPA bildverarbeitende Algorithmen für die Segmentierung und Klassifizierung der Speisen auf Basis von Methoden des maschinellen Lernens entwickelt. „Mithilfe dieser kann der Roboter sowohl den Nutzer als auch ausgewählte Speisen auf Tellern erkennen und genau lokalisieren“, erläutert Florian Jordan, der im Projekt die Software-Entwicklungen koordinierte. „So kann der Roboter Essen handhaben und damit bei einer typischen Alltagsaufgabe beispielsweise Menschen mit Querschnittslähmung unterstützen.“

Mit Mitarbeitenden aus der stationären Pflege führten die Projektpartner zwei Testreihen durch. Diese zeigten, dass die Szenarien zuverlässig umsetzbar sind. Die Testpersonen empfanden die Interaktion mit dem Roboter größtenteils als angenehm. Lediglich bezüglich der Ausführungsgeschwindigkeit gab es noch Verbesserungsbedarf.

„Ein weiteres Anwendungsfeld der entwickelten Software sehen wir im Einsatz für Großküchen, wo Roboter beispielsweise bei Routineaufgaben unterstützen könnten, oder auch für autonome und somit hygienischere Büffets“, ergänzt Jordan.

Vielfältige Einsatzmöglichkeiten

Auch abseits der beschriebenen Anwendungsszenarien stehen die in beiden Projekten entwickelten Bildverarbeitungslösungen – insbesondere für die Umgebungsmodellierung sowie für die Speisen-, Personen- und Objekterkennung – für vielfältige Einsatzmöglichkeiten bereit. Die Algorithmen können verschiedene Farb- und 3D-Sensormodalitäten nutzen, sind also nicht auf bestimmte Sensoren beschränkt. Durch die modulare Gestaltung sind sie einfach in neue Anwendungen übertragbar.

Weitere Informationen über Haushalts- und Assistenzroboter fasst das Fraunhofer IPA auf seine Webseite zusammen.