05/06/2023
Door Ad Spijkers
Onderzoekers hebben een robotachtige 'kok' getraind om kookvideo's te bekijken en het gerecht zelf na te maken.
De onderzoekers van de University of Cambridge programmeerden hun robotkok met een 'kookboek' van acht eenvoudige saladerecepten. Na het bekijken van een video van een mens die een van de recepten demonstreerde, kon de robot identificeren welk recept werd bereid en het maken. Bovendien hielpen de video's de robot stapsgewijs zijn kookboek uit te breiden. Aan het einde van het experiment bedacht de robot zelf een negende recept.
De resultaten laten zien hoe video-inhoud een waardevolle en rijke bron van gegevens kan zijn voor geautomatiseerde voedselproductie en een eenvoudigere en goedkopere inzet van robotkoks mogelijk kan maken.
Robotkoks
Robotkoks komen al tientallen jaren voor in science fiction, maar in werkelijkheid is koken een uitdagend probleem voor een robot. Verschillende bedrijven hebben prototypes van robotkoks gebouwd, maar geen daarvan is momenteel commercieel verkrijgbaar. Ook lopen ze qua vaardigheden ver achter op hun menselijke tegenhangers. Menselijke koks kunnen nieuwe recepten leren door te observeren. Het programmeren van een robot om een scala aan gerechten te maken is echter kostbaar en tijdrovend.
De onderzoekers wilden zien of ze een robotkok konden trainen om op dezelfde incrementele manier te leren als mensen - door de ingrediënten te identificeren en hoe ze samengaan in het gerecht. Ze bedachten acht eenvoudige saladerecepten en filmden hoe ze die maakten. Vervolgens gebruikten ze een publilek beschikbaar neuraal netwerk om hun robotchef te trainen. Het neurale netwerk was al geprogrammeerd om een reeks verschillende objecten te identificeren, waaronder de groenten en fruit die in de acht saladerecepten werden gebruikt (broccoli, wortel, appel, banaan en sinaasappel).
Herkenning
Met behulp van computer vision technieken analyseerde de robot elk videoframe en kon hij de verschillende objecten en kenmerken identificeren. Hij onderscheidde een mes en de ingrediënten, maar ook de armen, handen en gezicht van de menselijke demonstrant. Zowel de recepten als de video's werden omgezet in vectoren. De robot voerde wiskundige bewerkingen uit op de vectoren om de overeenkomst tussen een demonstratie en een vector te bepalen.
Door de ingrediënten en de acties van de menselijke chef correct te identificeren, kon de robot bepalen welk van de recepten werd bereid. De robot zou kunnen concluderen dat, als de menselijke demonstrant een mes in de ene hand hield en een wortel in de andere, de wortel in stukken zou worden gesneden.
Van de zestien video's die hij bekeek, herkende de robot in 93% van de gevallen het juiste recept, ook al detecteerde hij slechts 83% van de acties van de menselijke chef. De robot kon ook detecteren dat kleine variaties in een recept, zoals het maken van een dubbele portie of een normale menselijke fout, variaties waren en geen nieuw recept. De robot herkende ook correct de demonstratie van een nieuwe, negende salade, voegde deze toe aan zijn kookboek en maakte hem.
Het is verbazingwekkend hoeveel nuance de robot kon detecteren. Deze recepten zijn niet ingewikkeld: in wezen gehakte groenten en fruit. Maar het was verrassend om bijvoorbeeld te herkennen dat twee in stukjes gesneden appels en twee in stukjes gesneden wortelen hetzelfde recept is als drie in stukjes gesneden appels en drie in stukjes gesneden wortelen.
Kookvideo's
De video's die worden gebruikt om de robotchef te trainen, zijn niet zoals de voedselvideo's die zijn gemaakt door sommige influencers op sociale media. Deze zitten vol met snelle cuts en visuele effecten en gaan snel heen en weer tussen de persoon die het eten klaarmaakt en het gerecht dat ze bereiden. De robot zou bijvoorbeeld moeite hebben om een wortel te identificeren als de menselijke demonstrant zijn hand eromheen had gewikkeld. Om de robot de wortel te laten identificeren, moest de mens de wortel omhoog houden zodat de robot de hele groente kon zien.
De robotkok in Cambridge is niet geïnteresseerd in het soort voedselvideo's dat viraal gaat op sociale media. Deze zijn gewoon te moeilijk om te volgen. Maar naarmate de robotchefs beter en sneller worden in het identificeren van ingrediënten in voedselvideo's, kunnen ze misschien sites zoals YouTube gebruiken om een hele reeks recepten te leren.
De wetenschappelijke publicatie vindt u hier.
Foto: University of Cambridge