Eine intelligente Bildverarbeitungslösung für den Einzelhandel kombiniert Regalüberwachung und elektronische Regaletikettierung (ESL). Das kamera­basierte und KI-gesteuerte System überwacht die Frischwaren­auslage in Supermärkten, löst Warnmeldungen bei niedrigem Bestand aus und aktualisiert automatisch die Preisschilder. Dies ermöglicht es, den Auffüllprozess zu optimieren und die Profitabilität zu erhöhen. Das System ist bereits bei einer bekannten deutschen Supermarktkette im Einsatz.

Die intelligente Bildverarbeitungslösung für den Einzelhandel kombiniert Regalüberwachung und elektronische Regal­etikettierung (ESL). Sie überwacht permanent die Frischwarenauslage in Supermärkten und löst Warnmeldungen an das Personal aus, wenn die Menge unter einen vordefinierten Schwellenwert fällt. Das kamerabasierte und KI-gesteuerte System von Macnica und Asus IoT macht so den Auffüllprozess effizienter und automatisiert zudem die Regaletikettierung.

Das System wird bereits erfolgreich von einer großen Supermarktketten in Europa eingesetzt. Es erkennt die Produkte im Frischeregal mithilfe von Computer Vision, ermittelt ihren Lagerbestand und aktualisiert automatisch die Preisschilder unter den Produkten. Die Bestandsergebnisse werden auf einem Display angezeigt, auf dessen Basis das Filialmanagement datengestützte Entscheidungen treffen kann. So bleiben die Regale mit frischen Lebens­mitteln nie grundlos leer, und die erhobenen Daten geben Rückschlüsse zur Optimierung des Produktangebots.

Das System im Überblick

Das System ist eine gemeinsame Entwicklung von Macnica und Asus IoT und speziell auf die Bedürfnisse von Supermärkten zugeschnitten. Bei der Hardware handelt es sich in der aktuellen Version um einen Asus EBE-4U Edge Computer. Auch die API-Software und die KI stammen von Asus. Macnica steuert die Front-End-Schnittstelle zum Benutzer und wichtige Back-End-Funktionen für das Kennzeichnen und Erfassen von Aufnahmen bei und sorgt zudem für die Anonymisierung der generierten Daten. Alle von den Kameras aufgenommenen Bilder werden anonymisiert und verarbeitet, um das Erkennen der QR-Codes für jedes Produkt des elektronischen Regaletiketts zu ermöglichen. Danach werden die gesammelten Bilder an die Asus-API zum kontinuierlichen Erkennen der Artikel und des aktuellen Füllstands gesendet.

Selbstlernende KI

Der selbstlernende KI-Kern wurde mit dem Open-Source-Toolkit Intel Openvino entwickelt und benötigt nur wenigen Bilder fürs Training. Ein einfacher Anmeldeprozess ermöglicht es Supermarkt-Mitarbeitern zudem, dem System neue Frischobstprodukte hinzuzufügen. Dazu macht das Supermarktpersonal lediglich ein Foto der Frucht, gibt grundlegende Details wie deren Namen und den gewünschten Lagerbestand ein und speichert den Eintrag. Danach kann die KI die neuen Obst- oder Gemüsesorte sofort überwachen.

Ablauf des KI-Trainings

Das Training des KI-Kerns startete Asus mit dem Erfassen von Bildern zum Erkennen der Display-Boxen für Obst und Gemüse. Anschließend integrierte Macnica dieses Modell in das System. Hierauf wurden vor Ort im Testsupermarkt des Einzelhandelskunden Stammdaten der Zielprodukte unter verschiedenen Beleuchtungsbedingungen und mit Etiketten erfasst. Anhand dieser Daten entwickelte Asus das vortrainierte Modell und die Produktaufnahme-API, die in das Macnica-Modul integriert und in ihrer Genauigkeit weiter verbessert wurden.

Warnmeldungen in Echtzeit

Fällt der Lagerbestand eines beliebigen Produkttyps unter ein vorgegebenes Niveau, sendet das System in Echtzeit eine Warnung an das Supermarktpersonal. Das ermöglicht ein schnelles Wiederauffüllen der Bestände. Darüber hinaus ist es möglich zu definieren, welche spezifischen Füllstände Nachschubwarnungen auslösen sollen. Zum Beispiel kann der Schwellenwert für Wassermelonen ein ganz anderer sein als der für Bananen.

Anwendernutzen im Einzelhandel

Frische Lebensmittel sind für Supermärkte von besonderem Interesse, da sie verderben und zu Abfall werden, wenn sie nicht regelmäßig gekauft werden. Mit dem automatischen Erfassen der Umschlagshäufigkeit der einzelnen Obst- und Gemüsesorten mit Computer Vision und künstlicher Intelligenz werden wertvolle Daten generiert, um im Supermarkt die Bestellzyklen zu verbessern. Zudem ermöglichen die Daten Rückschlüsse darauf, zu welcher Jahreszeit, an welchem Wochentag und zu welcher Tageszeit ein Produkt verstärkt verkauft wird. Entscheidungen zur Produktauslage beruhen damit auf soliden Daten, und die manuelle Inspektion der Regale wird deutlich reduziert.

Effizienzpotenziale im Supermarktregal heben

Interview mit Josselin Vilpoux, Regional Sales Manager bei Macnica ATD Europe 

Macnica ATD Europe und ASUS IoT haben gemeinsam ein System entwickelt, das mittels KI und Bildverarbeitung die Effizienz an der Frischetheke in Supermärkten steigern soll. Josselin Vilpoux, Regional Sales Manager bei Macnica ATD Europe, erklärt die Beweggründe, technischen Herausforderungen und geht auch auf die Wirtschaftlichkeit dieser Lösung ein.

Inspect: Was gab den Anstoß für Macnica und Asus IoT, gemeinsam ein solches System für Supermärkte zu entwickeln?

Josselin Vilpoux: Als Asus-IoT-Vertriebs­partner kennen wir bei Macnica ATD Europe die Entwicklungs- und Produktkompetenzen von Asus natürlich sehr gut. Initiator für diese spezielle Anwendung war die Supermarktkette selbst. Dort wurde erkannt, was durch die Kombination von moderner KI und Bildverarbeitungstechnologie erreicht werden kann. Im wettbewerbsintensiven Lebensmitteleinzelhandel sind Laden­geschäfte und Supermärkte zunehmend auf der Suche nach Effizienz. Zeitaufwändiges manuelles Wechseln von Preisschildern und verpasste Kaufgelegenheiten durch zu langsames Auffüllen sind zwei Hauptbereiche für Verbesserungen an der Frischetheke von Obst und Gemüse. Das gesamte Projekt wurde in enger Zusammenarbeit mit dem Einzelhandelskunden in einer Live-Situation entwickelt. Im Fokus stand dabei das Personal zu entlasten, den Nachfüllprozess zu optimieren und die Preisschildaktualisierung zu automatisieren. Dies alles jedoch unter der Prämisse, eine möglichst schlanke und praktikable Lösung zu entwickeln.

Inspect: Welche technischen Hürden galt es, bei der Entwicklung und im Testlauf des Systems zu überwinden?

Vilpoux: Der gesamte Entwicklungs­prozess war geprägt von Herausforderungen. Beispielsweise wollten wir mit möglichst kosteneffizienten Kameras die ESLs (Electronic Shelf Labels) zuverlässig erkennen. Zudem wollte die Supermarktkette seine ESL so klein wie möglich auf dem Preisschild ausweisen. Daher mussten wir einige Feinabstimmungen vornehmen und eine „ESL-Größenschwelle“ festlegen, um sicherzustellen, dass wir keine ESL übersehen. Eine weitere Hürde, auf die wir stießen, war die Anonymisierungsfunktion. Unser Ziel war es, ein DSGVO-konformes System zu entwickeln. Dazu mussten wir eine Lösung finden, um Daten zu anonymisieren, zum Beispiel Gesichter von Personen, die von den Kameras erfasst werden. Alle Daten sollten zudem nicht in eine Cloud gesendet, sondern lokal verarbeitet werden.

Inspect: Ist es denn wirtschaftlich und praktisch überhaupt sinnvoll, dieses System in einer großen Anzahl von Supermarktstandorten zu installieren?

Vilpoux: Wie erwähnt, verwendet das System handelsübliche Kameras, die alle auf einem lokalen Server verarbeitet werden können. Dies ermöglicht ein Kostenmodell, das einen direkten Vorteil gegenüber manueller Arbeit bringt. Die kundenspezifische Konfiguration für Anforderungen in einer bestimmten Umgebung nimmt nur wenig Zeit in Anspruch.

Was die Vergütung betrifft: Abgerechnet wird über ein Abomodell, das sich an die Größe jedes einzelnen Geschäfts anpassen lässt.

Nützlich ist das System für Anwender unter anderem deshalb, weil die Analyse der gesammelten Daten auch dabei hilft, die Profitabilität des Geschäfts zu erhöhen. Denn sie offenbaren wertvolle Hinweise, um das Produktangebot zu optimieren.