24/02/2022
Door Ad Spijkers
Hybride structuur met moderne componenten biedt mogelijkheden voor andere typen sensoren.
Wetenschappers van het Max Planck Institut für Intelligente Systeme (MPI-IS) in Stuttgart hebben een robuuste, zachte en haptische sensor ontwikkeld. Met behulp van computer vision en een diep neuraal netwerk kan de Insight gedoopte sensor precies inschatten waar objecten ermee in aanraking komen en hoe groot de inwerkende krachten zijn. Het onderzoeksproject is een belangrijke stap op weg naar robots die hun omgeving kunnen voelen zoals mens en dier. Net als zijn natuurlijke tegenhanger is de sensor gevoelig, robuust en nauwkeurig.
Opbouw
De duimsensor bestaat uit een zachte schaal die een lichtgewicht, stijf skelet omsluit. Dit skelet behoudt zijn structuur zoals botten de zachte weefsels van een vinger stabiliseren. De behuizing is gemaakt van een elastomeer, gemengd met donkere maar reflecterende aluminiumvlokken. Hierdoor krijgt de schelp een grijzige kleur en is deze ondoorzichtig, zodat er geen licht van buiten kan binnendringen. In deze vingergrote capsule bevindt zich een kleine 160° fisheye-camera. Deze pikt kleurrijke lichtpatronen op die worden gegenereerd door een ring van LED's.
Wanneer een of meer objecten de sensorschaal raken, verandert het kleurpatroon in de sensor. De camera maakt meerdere keren per seconde foto's en stuurt deze gegevens door naar een diep neuraal netwerk. Het achterliggend algoritme herkent zelfs de kleinste verandering in het licht in elke pixel. Binnen een fractie van een seconde weet het getrainde model precies waar een object de 'vinger' raakt, hoe sterk de krachten zijn en in welke richting ze werken. Hieruit leidt het model een krachtenkaart af, een driedimensionaal beeld van de krachten die op de kunstduim werken.
Lerende sensor
Toen de onderzoekers de sensor testten, ontdekten ze dat deze gevoelig genoeg was om zijn eigen oriëntatie ten opzichte van de zwaartekracht te voelen. Vorige zachte haptische sensoren hadden slechts een klein gebied om dingen te voelen. Ze waren delicaat en moeilijk te vervaardigen, en konden vaak geen krachten voelen die parallel aan de huid liepen. Maar dat is essentieel voor een robot die een glas water vasthoudt of een munt op een tafel verplaatst."
De onderzoekers ontwierpen een experimentele opstelling om trainingsgegevens te verzamelen. Hieruit kan het machine learning-proces de correlatie tussen de verandering in de beeldpixels en de uitgeoefende krachten afleiden. Een staaf duwt de sensor over het hele oppervlak en de computer registreert de kracht samen met het camerabeeld in de sensor. Zo genereerden de onderzoekers zo'n 200.000 metingen. Het duurde bijna drie weken om de gegevens te verzamelen en nog een dag om het deep learning-algoritme te trainen. De duim overleefde dit lange experiment met veel verschillende krachten - een bewijs van de robuustheid van het mechanische ontwerp van Insight.
De duimvormige heeft een dunnere elastomeerlaag die is gemodelleerd op een vingernagel. Dit kuiltje is ontworpen om zelfs de kleinste krachten en verschillende objectvormen te detecteren. Voor deze zeer gevoelige zone kozen de wetenschappers een elastomeerdikte van 1,2 mm in plaats van de 4 mm die ze anders gebruikten voor de vingersensor.
Onderstaande video laat zien hoe de sensor werkt.
Foto: MPI-IS