Objectherkenning voor AI en robotica

Fraunhofer-IPA heeft nieuwe algoritmen voor objectherkenning en omgevingsdetectie ontwikkeld voor automatiseringsoplossingen in service en productie.

Met behulp van digitale oplossingen fysieke retail weer aantrekkelijker maken voor klanten - dat was het doel van de betrokkenen bij Knowledge4Retail (K4R), dat liep van januari 2020 tot december 2022. De kern van het project is een K4R open source-platform dat beschikbaar is op het versiebeheersysteem GitHub, waardoor de resultaten toegankelijk zijn voor retailers. Deze kunnen het platform gebruiken om analoge en digitale werelden met elkaar te verbinden en bijvoorbeeld processen eenvoudiger te analyseren en prognoses van koopgedrag te maken.

De projectpartners ontwikkelden oplossingen voor de toepassingscontexten logistiek, filiaalbouw, servicerobotica en een volautomatische kiosk.

3D-beeldverwerking

De onderzoekers van het Fraunhofer-Institut für Produktionstechnik und Automatisierung (IPA) in Stuttgart hadden verschillende ontwikkelingsprioriteiten in het project. Een belangrijk aspect was het creëren van zogenaamde semantische digitale tweelingen van de retailproducten. Hier wordt elk product, zelfs een nog nooit eerder gezien product, met behulp van sensoren vastgelegd, bijvoorbeeld in een scanstation. Vervolgens werd het product driedimensionaal gemodelleerd met een breed scala aan informatie zoals vorm, kleur of textuur.

Methoden van machine learning, een deelgebied van kunstmatige intelligentie (AI), worden ook gebruikt voor de modellering, waarbij Fraunhofer IPA samenwerkte met 3D-scanspecialist Kaptura in Bendorf (bij Koblenz).

Objectherkenning

Met behulp van de ontwikkelde technologieën is het mogelijk om een breed scala aan producten snel en met hoge resolutie in 3D te modelleren. Tijdens het modelleren wordt ook semantische informatie zoals logo's, voedingswaarde of hoeveelheidsinformatie op de producten herkend en digitaal vastgelegd. De gegenereerde modellen vormen de basis voor bijvoorbeeld digitale afbeeldingen van een filiaal, een webshop of geautomatiseerde productanalyses zoals die in laboratoria plaatsvinden.

Bovendien is er een schaalbare objectherkenningsoplossing ontwikkeld die is geoptimaliseerd voor de detailhandel en automatisering in productie en logistiek mogelijk maakt door nauwkeurige optische identificatie van producten. Voorbeelden van toepassingen zijn bin picking of bin packing me robots (uit een doos halen of in een doos leggen) van goederen in alle soorten en maten. Die laatste taken, ook bekend als Orderpicking of Pick & Pack, worden steeds belangrijker, vooral in tijden van bloeiende onlinehandel.

Ter ondersteuning van deze processen kan de ontwikkelde objectherkenningsoplossing voor elk nieuw product direct in minder dan een uur volledig automatisch worden ingeleerd met behulp van de digitale 3D-productmodellen.

Schappen en kiosken

Een ander resultaat van Fraunhofer IPA is een mobiele aanwijseenheid die 'helpt' bij het opslaan van goederen. De oplossing richt zich tot specialisten in logistiek of retail en maakt het voor hen gemakkelijker om schappen te bevoorraden. Hiervoor draagt de vakkenvuller een kleine barcodescanner aan zijn vinger (een zogenaamde ringscanner) en registreert hiermee een product of de bijbehorende doos die in het schap moet worden geplaatst. Op basis van een digitale filiaaltweeling verlicht vervolgens een bewegende spot de plek waar het product moet worden neergelegd. De applicatie ondersteunt het personeel vooral bij kleine en soortgelijke producten en bespaart tijd.

Met het slimme kiosksysteem' werd ook een verkoopoplossing ontwikkeld en getest, die door het concept van de micromarkt nieuwe verkoopkanalen creëert buiten supermarkten, in kantines of pauzeruimtes. Hiervoor worden gewichtssensoren en camera's in een koelkast geplaatst. Met behulp van objectherkenning maken ze geautomatiseerde herkenning van handen en producten mogelijk, evenals het verwijderen of plaatsen van producten. Dit wordt gecombineerd met persoonlijke identificatie via een gebruikersinterface en koppeling met een boekhoudsysteem, bijvoorbeeld SAP.

Hierdoor kunnen productuitnames automatisch in de virtuele winkelwagen worden geboekt en digitaal gefactureerd. Bovendien krijgen servicemedewerkers een bericht wanneer producten moeten worden bijgevuld. Het kiosksysteem werkt de digitale tweeling op het aangesloten K4R-cloudplatform voortdurend bij.

Open source-platform

Tenslotte adviseerden de IPA-experts hoe de in het project ontwikkelde oplossingen het beste konden worden gespecificeerd en geïntegreerd in het K4R open source platform. Het vrij uitbreidbare platform biedt functies en interfaces voor de verbinding met verschillende logistieke systemen, sensoren en robots. Ook is er een koppeling met uitgebreide softwaremodules uit de omgeving van het Robot Operating System ROS en met de infrastructuur voor genetwerkte digitale tweelingen van filialen en producten.

Foto: Rainer Bez, Fraunhofer IPA