06/07/2023
Door Ad Spijkers
De combinatie van grote taalmodellen en computer vision maakt het mogelijk robots in natuurlijke taal te instrueren.
AI- en robotspecialist Sereact in Stuttgart heeft de release aangekondigd van PickGPT, een 'robotics transformer' die Large Language Models (LLM's) combineert met computer vision. Dit opent de mogelijkheid om robots in natuurlijke taal te instrueren. Met deze technologie biedt Sereact een gemakkelijke manier om met robots te communiceren, waardoor robotica toegankelijk wordt voor iedereen zonder programmeerkennis. Vooral in de logistieke sector kan PickGPT problemen zoals de verwerking van retouren oplossen en nieuwe kansen creëren.
Mens-robot-samenwerking
LLM's bieden een groot potentieel in combinatie met andere technologieën. PickGPT combineert de kracht van LLM's – vergelijkbaar met de modellen die worden gebruikt in ChatGPT – met zijn eigen gepatenteerde computer vision modellen. Hierdoor kunnen robots natuurlijke taal en visuele informatie verwerken en multimodale gegevens correleren. Ze kunnen hun omgeving met intelligentie en nauwkeurigheid waarnemen en instructies in natuurlijke taal begrijpen en uitvoeren.
PickGPT is volgens de ontwikkelaar 's werelds eerste op software gebaseerde robotica-oplossing die geen programmering of training vereist. Vooral voor personeel in magazijnen biedt dit mogelijkheden. Werknemers kunnen op spraak gebaseerde instructies of intuïtieve gebruikersinterfaces gebruiken in plaats van complexe programmeervaardigheden te moeten beheersen om robots te besturen.
Enerzijds vermindert dit de tijd die nodig is om robots in te stellen en aan te passen en kunnen werknemers zich concentreren op andere essentiële taken. Aan de andere kant maakt de intuïtieve interface geavanceerde robottechnologie toegankelijk voor mensen zonder voorkennis of training, waardoor het aantal mensen dat robots in het magazijn bedient, groter wordt.
Flexibiliteit en kwaliteitscontrole
De communicatie tussen mens en robot via spraakopdrachten en intuïtieve interfaces vereenvoudigt de koppeling met andere magazijnsystemen. Medewerkers kunnen hierdoor robots op een eenvoudige manier instrueren, bijvoorbeeld door pickpunten te definiëren of bepaalde items op een zwarte lijst te zetten.
Met PickGPT kunnen robots snel en eenvoudig reageren op nieuwe taken of veranderende omgevingsomstandigheden. Dit is belangrijk in dynamische en snel veranderende werkomgevingen, die vooral in de logistieke sector gangbaar zijn. Door robots intuïtief te instrueren kunnen bedrijven hun werkprocessen flexibel inrichten en snel inspelen op veranderingen.
Het systeem kan objecten en producten in real-time herkennen en identificeren op basis van hun visuele kenmerken. PickGPT analyseert automatisch productafbeeldingen en koppelt ze aan items in elk scenario in de echte wereld. Bovendien begrijpt en interpreteert PickGPT producttitels, beschrijvingen en andere tekstuele informatie. Hiermee kan het overeenkomstige producten automatisch identificeren en toewijzen aan plaatsen in een afbeelding. Vooral voor kwaliteitscontrole biedt deze mogelijkheid potentieel. Hierdoor kunnen robots onjuiste of defecte producten en items op de zwarte lijst detecteren.
Retourverwerking
Het verwerken van retouren stelt veel e-commerce bedrijven voor uitdagingen. Door dit proces te automatiseren, helpt PickGPT tijd en middelen te besparen. Het kan in de eerste stap onderscheid maken tussen verpakkingsmaterialen en producten. Verder kunnen artikelen automatisch worden gesorteerd op basis van een omschrijving of productafbeelding. Het scannen van barcodes is niet nodig, wat het retourproces versnelt.
Foto: Sereact