Comment Amazon Go fonctionne et ce que l’on sait du système  »Just Walk Out ».

La réponse serait le système JUST WALK OUT !! un brevet qui  »tag le client » , déposé en 2014 et publié en 2015 et qui comprendrait : 

– des caméras à reconnaissance ‘’faciale’’ scannant et analysant des ‘’détail’’ physiques du client et qui irait jusqu’à la couleur de la peau de sa main lors de la prise en main du produit …

– des micros qui analysent le son du déplacement du client dans le magasin et son approche des rayons … un son spécifique à chacun (notamment le bruit de ses pas … et les temps entre deux sons… Un  »tag sonore » en fait.

– des capteurs ‘’sensitifs’’ et caméras à reconnaissance d’objets en rayon qui détectent les mouvement de prise en main, remise en rayon…

– de l’infra rouge qui calcule les écarts de poids en rayons …

– des algorithmes qui analysent et fusionnent toutes ces données émises par ces capteurs.

Le tout étant traité par le service Cloud Computing et l’assistant numérique ALEXA… et Echo pour  »écouter » et qui confirme là aussi que le web  »ambiant » peut nous réserver encore bien des surprises. 

Il ne s’agit pas de la réponse définitive sur ce qui existe réellement dans le magasin de Seattle mais en tout cas comme le déclare USA Today, ce brevet donne un éclairage à ce qu’il pourrait s’y trouver.

Personnellement je ferai l’analogie de combinaisons de technos et d’un brassage de données comparable à celles embarquées pour les voitures autonomes. Mais là ce n’est pas un objet ou une voiture qui est autonome par rapport à son environnement et capable de l’analyser pour se déplacer seul. Ici c’est le magasin qui est autonome et capable d’analyser le client dans ses déplacements, gestes, réactions, sons etc… l’inverse quoi.

Regardons en image la vidéo captée sur ce brevet :

Chaque client qui rentre dans le magasin est virtuellement ‘’étiqueté’’ comme aime à le dire USA Today. Etiqueté grâce à son smartphone et l’appli Amazon GO. Le check smartphone / borne d’entrée sera le seul geste de ‘’connexion’’ a Amazon effectué par le client dans son parcours. Dès lors qu’il est checké, il est relié à son code client unique Amazon.

Dès lors les caméras de surveillance scannent le client et le suit dans tous ses déplacement in store et les temps d’arrêt en face des rayons via des caméras ‘’situationnelles’’ au plafond en allée, et la prise en main du produit (ou la repose en rayon) via des caméras ‘’on shelve’’ situées en haut des gondoles. Ces caméras étant reliées à des logiciels de reconnaissance d’image, à une BDD qui reconnait le produit et l’inventaire du stock.

Le brevet dit ‘’ lorsque la main de l’utilisateur est retirée de l’emplacement de l’inventaire (stock en rayon) une ou plusieurs images peuvent être capturées de la main et du produit. Ces images peuvent être comparées afin de déterminer si le produit a été retiré ou rajouter à l‘inventaire. 

Attention … la couleur et le grain de la peau peuvent servir de référence de comparaison afin de bien s’assurer que c’est le bon produit qui est dans la bonne main de la bonne personne … ce qui éviterait la confusion si deux personnes prennent le même produit au même moment sur des étagères adjacentes. L’analyse colorielle de la couleur de la peau à cet instant précis de la prise en main du produit semblant être le critère le plus fiable….

Enfin énorme…. Amazon GO utilise l’écholocation inversée … c’est-à-dire la localisation du client et l’analyse de son parcours par le son qu’il émet. Et c’est là que le système Alexa prend toute son importance. Il va détecter et reconnaître un son spécifique à la personne – par ex le son de ses pas ou d’un frottement spécifique de tissus – et le traduire en données numériques qui vont se cumuler aux autres déjà appropriées au code client dans le cloud computing.

Irréaliste, mais le réseau de microphones de ce dispositif ‘’Echo’’ disposé dans le magasin vont pouvoir  déterminer où est le client, le suivre et identifiant également le temps écoulé entre les signaux sonores reçus par chaque microphone… ce qu’Amazon appelle l’Echolocalisation inversée … une sorte de sonar qui suit un émetteur  »tagué ».

L’infrarouge est également de la fête. Lui est chargé de déterminer la pression des produits situés en rayon via des capteurs de charges situés directement sur les étagères… en gros calculer la différence de charge des tablettes avant et après la prise en main du produit par le client … chaque produit ayant en référence son propre poids dans la BDD Amazon GO. Une information de plus qui se croisent avec celles enregistrées par les caméras ‘’on shelves’’.

Un concept donc génial reste à savoir sa rentabilité… et s’il fonctionne dans la vraie vie, c’est ce que déterminera ce premier test à Seattle. Forrester Brendan Witcher déclarant à l’analyse de ce brevet ‘’qu’il ne reste plus à Amazon qu’à savoir s’il peut le rendre rentable et déployable’’.

Ce qui est étonnant ici c’est que l’on imaginait les évolutions retail plutôt du côté des fréquences et de minuscules RFID ou des tags numériques… envoyant un signal ‘’je suis ici’’ comme le détaille le journal USA Today, et ce que j’appellerai sa traçabilité dynamique. Ce qui permettrait de suivre le produit de sa prise en main au passage en caisse… Mais visiblement le cout unitaire de ces TAG RFID (environ 5 cents unitaires) mais surtout le coût de pose et de gestion de ces codes est rédhibitoire … et ce qui semble avoir motivé Amazon à privilégier la reconnaissance d’image et la détection de mouvement.

Au-delà de son ingéniosité ce système est riche de données collectées à un instant crucial dans le parcours celui de la prise en main des produits (First Moment of Truth comme l’aime à Dire Procter & Gamble) et donc une mine d’or… ‘’étiqueter’’ un client à l’entrée du magasin, puis suivre tous ces mouvement à l’intérieur du magasin au-delà de la constitution du panier est d’une richesse infinie… ‘’OK ça fait un peu Big Brother mais si cela est utile pour également ‘’aider le client’’ c’est gagnant gagnant’’ avoue David Hewitt, du cabinet conseil SapientRazorfish.

Avant de conclure : ‘’et même si la technologie est chère à mettre en œuvre effectivement, Amazon aurait créer ce qui se fait de mieux et pourra ainsi apprendre et ensuite appliquer ces enseignement et nouvelles connaissance à tout ce qu’il fait, afin de lui donner encore plus de sens.