Onderzoekers van het Fraunhofer-Institut für Graphische Datenverarbeitung (IGD) in Rostock hebben een techniek ontwikkeld (EarFieldSensing of EarFS) die gezichtsuitdrukkingen herkent via een speciaal oordopje.
Moderne mobiele apparaten worden meestal met behulp van een aanraakscherm bediend. In het dagelijks gebruik zijn er echter veel situaties waarin dit type bediening niet mogelijk is. Draagt men bijvoorbeeld handschoenen of zijn de handen vol met boodschappen, dan is het gebruik van smartphone en tablet moeilijk.
De wetenschappers zoeken daarom naar alternatieven. Omgevingslawaai en maatschappelijke acceptatie begrenzen de toepassing van spraakbesturing. De oplossing: bediening via gezichtsuitdrukkingen.
De onderzoekers in Rostock onderzochten verschillende technologieën om gezichtsbewegingen te herkennen. Daarbij werd speciaal gelet op dagelijks gebruik. Sensoren die direct nauwkeurig het gezicht aflezen kunnen een groot aantal uitdrukkingen herkennen, maar zijn erg opvallend en onaangenaam om te dragen.
EarFS is gebaseerd op een speciaal oordopje dat de spierstromen en vervormingen van het oorkanaal meet, die optreden bij bewegingen van het gezicht. De sensor registreert de geringste bewegingen door de manier waarop de vorm van het oorkanaal verandert en meet de spierstromen die bij de beweging van het gezicht of het hoofd ontstaan.
De uitdaging zat hierin dat deze stromen en bewegingen soms zeer klein zijn en moeten worden versterkt. Bovendien mogen de sensoren niet worden verstoord door andere bewegingen van het lichaam of door externe invloeden. Een extra referentie-elektrode op het oorlelletje registreert alle van buiten komende signalen.
De binnen in het oor gemeten signalen worden vergeleken met de van buiten komende signalen. Het verschil in signalen maakt een eenduidige identificatie van de gezichtsbeweging mogelijk, zelfs wanneer de drager beweegt.
EarFS maakt niet alleen micro-interacties met de smartphone zoals het aannemen of weigeren of de bediening van de MP3-speler mogelijk. De analyse van gezichtsbewegingen kan ook uitsluitsel geven over de vermoeidheid, inspanning en andere gemoedstoestanden van de gebruiker. Hierdoor zouden smartphones bijvoorbeeld automobilisten kunnen waarschuwen wanneer ze versterkte tekenen van vermoeidheid en uitputting waarnemen, of zichzelf geluidloos maken wanneer de eigenaar geconcentreerd aan het werk is.
Ook denkbaar is toepassing van de technologie in de medische techniek. De technologie zou bijvoorbeeld mensen met het Locked-in-syndroom kunnen helpen gemakkelijker te communiceren, omdat het hen mogelijk maakt computers met gezichtsbewegingen te bedienen. Maar daarmee is het potentieel van EarFS nog lang niet uitgeput.
Differential Amplification Sensing, het versterken van spierstromen en het meten van vervormingen van het oorkanaal bij het gelijktijdig uitfilteren van externe signalen vult een gat in het onderzoek. Met de technologie kann de wetenschap ook activiteiten op andere delen van het lichaam uitlezen en scheiden van externe signalen. Dit opent nieuwe mogelijkheden, waaronder aanvullende bseturing van machines in Industrie 4.0.