Camera geïnspireerd op het menselijk oog

De camera creëert scherpere, nauwkeurigere beelden voor robots, smartphones en andere apparaten.

Een team onder leiding van computerwetenschappers van de University of Maryland in College Park (net buiten Washington DC) heeft een nieuwe cameramechanisme uitgevonden. Het verbetert de manier waarop robots de wereld om hen heen zien en erop reageren. Het camerasysteem is geïnspireerd door de manier waarop het menselijk oog werkt. Het bootst de kleine onwillekeurige bewegingen na die door het oog worden gebruikt om in de loop van de tijd een helder en stabiel zicht te behouden. De camera is door het team de 'Artificial Microsaccade Enhanced Event Camera' (AMI-EV) genoemd.

Microsaccades

Camera's die een gebeurtenis vastleggen zijn een relatief nieuwe technologie die bewegende objecten beter kan volgen dan traditionele camera's. Maar de hedendaagse camera's voor gebeurtenissen hebben moeite om beelden vast te leggen als er veel beweging bij betrokken is. Dit is een groot probleem omdat robots en vele andere technologieën – zoals zelfrijdende auto’s – afhankelijk zijn van nauwkeurige en actuele beelden om correct te kunnen reageren op een veranderende omgeving. Daarom vroegen de onderzoekers zich af hoe mensen en dieren er voor zorgen dat hun blik gericht blijft op een bewegend object.

Het antwoord was microsaccades, kleine en snelle oogbewegingen die onwillekeurig optreden wanneer iemand zijn blik probeert te richten. Door deze minieme maar continue bewegingen kan het menselijk oog de focus op een object en de visuele structuren ervan, zoals kleur, diepte en schaduwen, nauwkeurig in de loop van de tijd vasthouden. De onderzoekers dachten dat een camera een soortgelijk principe zou kunnen gebruiken om heldere en nauwkeurige beelden vast te leggen zonder door beweging veroorzaakte onscherpte.

Roterend prisma

Het team heeft met succes microsaccades gerepliceerd door een roterend prisma in de AMI-EV te plaatsen om de door de lens opgevangen lichtstralen om te leiden. De continue roterende beweging van het prisma simuleert de bewegingen die van nature voorkomen in het menselijk oog. Hierdoor kan de camera de texturen van een opgenomen object stabiliseren, net zoals een mens dat zou doen. Het team ontwikkelde vervolgens software om de beweging van het prisma binnen de AMI-EV te compenseren om stabiele beelden van de veranderende lichten te consolideren.

Bij vroege tests was AMI-EV in staat bewegingen nauwkeurig vast te leggen en weer te geven in verschillende contexten, waaronder menselijke polsdetectie en snel bewegende vormidentificatie. De onderzoekers ontdekten ook dat AMI-EV beweging in tienduizenden frames per seconde kon vastleggen, wat beter presteert dan de meeste doorgaans verkrijgbare commerciële camera's, die gemiddeld dertig tot duizend frames per seconde vastleggen.

Robot vision

Volgens de onderzoekers is de uitvinding een grote stap voorwaarts op het gebied van robot vision. Ogen maken foto’s van de wereld om ons heen en die foto’s worden naar onze hersenen gestuurd, waar de beelden worden geanalyseerd. Waarneming gebeurt via dat proces en dat is hoe we de wereld begrijpen. Wie met robots werkt, vervangt de ogen door een camera en de hersenen door een computer. Betere camera’s betekenen betere perceptie en reacties voor robots.

Volgens de onderzoekers kan hun innovatie gevolgen hebben die verder gaan dan robotica en defensie. Wetenschappers die werkzaam zijn in industrieën die afhankelijk zijn van nauwkeurige beeldregistratie en vormdetectie, zijn voortdurend op zoek naar manieren om hun camera's te verbeteren. AMI-EV zou de sleuteloplossing kunnen zijn voor veel van de problemen waarmee zij worden geconfronteerd.

Toepassingen

Met hun kenmerken staan gebeurtenissensoren en AMI-EV klaar om centraal te staan op het gebied van slimme wearables. Ze hebben duidelijke voordelen ten opzichte van klassieke camera’s, zoals veel betere prestaties bij extreme lichtomstandigheden, lage latentie en een laag stroomverbruik. Zo zijn deze functies geschikt voor bijvoorbeeld virtual reality toepassingen, waarbij een naadloze ervaring en snelle berekeningen van hoofd- en lichaamsbewegingen noodzakelijk zijn.

Deze vloeiendere en realistischere weergave van beweging zou van cruciaal belang kunnen zijn voor alles, van het creëren van meer meeslepende augmented reality-ervaringen en betere beveiligingsmonitoring tot het verbeteren van de manier waarop astronomen beelden in de ruimte vastleggen.

Het nieuwe camerasysteem kan veel specifieke problemen oplossen. Zo kan het een zelfrijdende auto helpen erachter te komen wat op de weg een mens is en wat niet. Als gevolg hiervan heeft de camera veel toepassingen waarmee een groot deel van het grote publiek al interactie heeft, zoals autonome rijsystemen of zelfs camera’s in smartphone.

De wetenschappelijke publicatie vindt u hier.

Foto: Botao He, Yiannis Aloimonos, Cornelia Fermuller, Jinxi Chen en Chahat Deep Singh