Visual InStore Customer Analytics and Recommendations

Hintergrund

Der stationäre Einzelhandel sieht immer größeren Herausforderungen entgegen. Die Vorteile des Online-Handels liegen dabei auf der Hand. Die Nutzung digitaler Technologien erlaubt die genauen Einkaufsprozesse jedes einzelnen Kunden zu erfassen und auszuwerten. Die so gewonnene Datensammlung bietet eine Basis, die es erlaubt, mit analytischen Mitteln eine Optimierung und Effizienzsteigerung des Online-Handels zu erreichen.

Problemstellung

Im stationären Einzelhandel hingegen ist die Erfassung einer vergleichbaren Datenbasis bisher nicht möglich. Eine Messung individueller, auf einzelne Personen bezogener Kaufprozesse ist bisher allerdings nur sehr aufwendig, manuell und stichprobenartig möglich. Damit bleibt aber das große Potential von Informationen über einzelne Einkaufsprozesse, zum Beispiel für individuelle Kundenansprache, im Einzelhandel ungenutzt.

Der Einzelhandel hat bislang in diesem Bereich klare Nachteile gegenüber dem Online-Handel, wo die digitale „Spur“ eines Kunden einfach nachvollzogen werden kann. Ein weiterer Nachteil des stationären Handels gegenüber Online Stores ist das Problem des Ladendiebstahls. Laut einer Studie des EHI Retail Instituts entsteht dem stationären Handel dadurch ein Verlust von 1,0 % des Umsatzes mit steigender Tendenz. Daher ist es für Geschäfte von zentraler Bedeutung, Diebstähle rechtzeitig und dennoch kostengünstig zu entdecken und zu vermeiden. Auch hier können Kundenpfade helfen, indem typische Bewegungsmuster von Ladendieben erfasst werden und so das Personal rechtzeitig alarmiert werden kann. Auch könnten Anomalien von Bewegungspfaden im Vergleich zu denen normaler Einkäufer eine gezielte Beobachtung der jeweiligen Person nach sich ziehen, um darüber auch potenzielle Bedarfe abzuleiten, die an Mitarbeiter kommuniziert werden.

Zielsetzung

VICAR stellt dem Einzelhandel in Echtzeit exakte Informationen über die Kundenpfade in einem Kaufhaus zur Verfügung, welche analytisch vorverarbeitet sind und Handlungsempfehlungen generieren oder Aktionen auslösen.

Dem Einzelhandel sollen exakte Informationen über Besucherströme/Auslastung/etc. zur Verfügung gestellt werden; sowohl historischer Art als auch in Form einer aktuellen Momentaufnahme. Kunden auf der Suche nach bestimmten Produkten sollen identifiziert und freie Kaufhausmitarbeiter zur Beratung und persönlichen Hilfe zum Kunden gesendet werden. Basierend auf den Kundenwegen und der Warenverteilung, sollen personalisierte Werbung und individuelle Produktvorschläge an einzelne Kunden übermittelt werden. Bewegungsmuster potentieller Ladendiebe sollen erkannt und gegebenenfalls das Sicherheitspersonal informiert werden.

Lösungsansatz

Ausgangspunkt des Forschungsprojektes ist die anonymisierte aber durchgängige Erfassung der Kundenposition während des Einkaufsprozesses in einem Warenhaus. Dazu werden IP- Videokamerasysteme benutzt, bei denen einzelne Kameras die Videostreams per Netzwerk an eine zentrale Videomanagementsoftware übermitteln. Mit Hilfe automatisierter Analyseverfahren werden die Videostreams aller Kameras ausgewertet. Dabei ist der erste Schritt das Erkennen von (beweglichen) Personen im Videobild einer einzelnen Kamera.

Dazu werden spezielle Detektionsalgorithmen genutzt, bei denen ein Modell der Hintergrundpixel vom Videoframe subtrahiert wird und so Objekte im Vordergrund erkannt werden. Hierbei ist die dynamische Adaption der Hintergrundbilder essentiell, da es sich im Einzelhandel aufgrund der schnellen Umgebungsveränderung durch das Verkaufen von Produkten, um eine hochagile Umgebung handelt.

Mit Trackingalgorithmen werden dann die detektierten Personen in aufeinanderfolgenden Videoframes verknüpft. Als Trackingalgorithmen können beispielsweise Neuronale Netze oder K-Shortest Path Algorithmen dienen. In einem zweiten Schritt werden Personen mittels Zuordnung einer eindeutigen, anonymisierten ID über die Abdeckungsbereiche verschiedener Videokameras nachverfolgt. So kann der Bewegungspfad eines Kunden während des gesamten Einkaufs erfasst und als Pfad dargestellt werden.

Die so ermittelten Wegpfade werden in einer zentralen Datenbank gespeichert und mit weiteren Informationen wie der Bereichsstrukturierung und Produktverteilung im Warenhaus verknüpft. Anhand dieser Datenbasis werden, basierend auf Deep Learning Verfahren und selbstlernenden Algorithmen, Prognosemodelle erstellt, welche Bewegungsmuster der Kunden aufweisen, und diese gemäß verschiedener innovativer Verfahren gruppiert. Zusätzlich werden Methoden des unsupervised learning genutzt, um Korrelationen und Muster in den Daten zu ermitteln. So werden Algorithmen zur Erkennung von Anomalien in Prozessen trainiert, um auffällige Bewegungsmuster vorherzusagen. Die Algorithmen und Methoden werden so entwickelt, dass sich die Prognosemodelle auf permanent einlaufende, neue Daten und Veränderungen eigenständig anpassen. So kann eine automatisierte Verwertung der Daten ohne aufwendige (Neu-) Konfiguration gewährleistet werden.

Kernarbeiten des Projektes

Insgesamt sind hierbei drei Schwerpunktthemen voneinander zu unterscheiden:



Im ersten Bereich werden Verfahren und Algorithmen hinsichtlich der Bewegungserkennung von Personen, insbesondere Personengruppen, über einen Verbund von Kamerasystemen hinweg erforscht. Es werden Verfahren zur automatischen, videobasierten Detektion von Kunden und Tracking dieser Detektionen für öffentliche Räume, wie Kaufhäuser, entwickelt. Dabei wird ein Softwaremodul zur technischen Umsetzung der Trackingmethoden implementiert, welches in das Video Analytics System integriert wird.



Der zweite Block befasst sich mit der Auswertung der Bewegungsdaten. Es werden Mustererkennungsverfahren und Algorithmen entwickelt, die eine Klassifikation von Bewegungen in einer Kaufhausumgebung umfassen. Dabei werden sowohl Clusteringverfahren als auch Verfahren des unsupervised Learning hinsichtlich ihrer Anwendbarkeit evaluiert. Hierbei werden unterschiedliche Ansätze erforscht, welche Faktoren und Informationen bei den Klassifikationsalgorithmen betrachtet werden sollten, um insbesondere in dieser Domäne verwertbare und möglichst präzise Erkenntnisse zu gewinnen. Basierend auf den Klassifikationen der Bewegungsdaten werden Systeme implementiert, die eine Prognose der Folgeschritte ermöglichen, z.B. zur Ermittlung in welchen Bereich der Kunde vermutlich als nächstes geht oder wann er an Theken bzw. der Kasse erwartet wird. Zusätzlich werden Möglichkeiten erforscht und prototypisch umgesetzt, die eine Detektion von Anomalien ermöglicht, um potenzielle Diebstähle oder Einkaufsabbrüche zu erfassen und darauf adäquat reagieren zu können. Analog zu den Bewegungspfaden werden hierbei spezifische Kommunikationsstrukturen sowie anonymisierte Datenspeicherungen angestrebt, die dem Datenschutz entsprechen und eine Weiterverarbeitung durch weitere Systeme ermöglicht.



Im dritten Themenkomplex werden die Verarbeitungen der Klassifikationen und Prognosen betrachtet. Hierbei spielen beispielsweise Dashboards eine Rolle, die einem Marktleiter zur Verfügung gestellt werden, so dass dieser einfache, fundierte Entscheidungen treffen kann. Hierzu zählen sowohl Anzeigen der aktuellen Situation im Markt als auch verarbeitete Informationen, welche ihm ein Optimierungspotenzial aufzeigen. Es werden hierbei Methoden prototypisch entwickelt werden, die eine Adaption von Digital Signage Inhalten auf die aktuelle Kundschaft im Laden bis hin zu einer möglichst individuellen Kundenansprache auf Basis dessen Laufwegs und der ermittelten Prognose ermöglicht.