13/09/2022
Door Ad Spijkers
Methode voor real-time 3D beeldvorming met één belichting kan robotnavigatie verbeteren.
Amerikaanse onderzoekers hebben een camera ontwikkeld die gebruik maakt van een dunne microlens-array en nieuwe beeldverwerkingsalgoritmen om 3D-informatie over objecten in een scène vast te leggen met één enkele belichting. De camera zou nuttig kunnen zijn voor verschillende toepassingen, zoals de inspectie van industriële onderdelen, gebarenherkenning en het verzamelen van gegevens voor 3D-displaysystemen.
Microlens-array
De onderzoekers aan de University of California, Davis (110 km noordoostelijk van San Fransisco) beschouwen hun camera als zonder lens. Het toestel vervangt de bulklenzen die in conventionele camera's worden gebruikt door een dunne, lichtgewicht microlens-array van flexibel polymeer. Omdat elke microlens objecten vanuit verschillende kijkhoeken kan waarnemen, kan het complexe beeldvormingstaken uitvoeren. Te denken valt aan het verkrijgen van 3D-informatie van objecten die gedeeltelijk worden verduisterd door objecten die dichter bij de camera staan.
Omdat de camera uit bestaande gegevens leert hoe hij een 3D-scène digitaal moet reconstrueren, kan hij in realtime 3D-beelden produceren. Hij kan onder meer worden gebruikt om robots 3D-zicht te geven, wat hen kan helpen bij het navigeren in de 3D-ruimte of complexe taken mogelijk kan maken, zoals het manipuleren van fijne objecten. Maar de camera zou ook kunnen worden gebruikt om rijke 3D-informatie te verwerven die inhoud kan leveren voor 3D-schermen die worden gebruikt bij games, entertainment of andere toepassingen.
Lerende camera
De nieuwe camera kwam voort uit eerder werk waarin de onderzoekers een compacte microscoop ontwikkelden die 3D-microscopische structuren kan afbeelden voor biomedische toepassingen. Ze bouwden de microscoop met behulp van een microlens-array en dachten dat een soortgelijk concept kon worden toegepast voor het afbeelden van macroscopische objecten.
De afzonderlijke lenzen in de nieuwe camera maken het mogelijk objecten vanuit verschillende hoeken of perspectieven te zien, wat diepte-informatie oplevert. Andere onderzoeksgroepen hebben camera's ontwikkeld op basis van enkellaags microlens-arrays, maar het was moeilijk om ze praktisch te maken vanwege de uitgebreide kalibratieprocessen en trage reconstructiesnelheden.
Om een meer praktische 3D-camera voor macroscopische objecten te maken, besloten de onderzoekers de microlens-array en het reconstructie-algoritme samen in plaats van elk afzonderlijk te benaderen. Zij ontwierpen en fabriceerden een microlens-array die 37 kleine lenzen bevat, verdeeld in een cirkelvormige laag polymeer met een diameter van slechts 12 mm.
Neuraal netwerk
Het reconstructie-algoritme dat ze ontwikkelden, is gebaseerd op een efficiënt kunstmatig neuraal netwerk dat leert hoe informatie uit het beeld terug te koppelen naar de objecten in een scène. Veel bestaande neurale netwerken kunnen aangewezen taken uitvoeren, maar het onderliggende mechanisme is moeilijk te verklaren en te begrijpen. Het in dit project gebruikte neuraal netwerk is gebaseerd op een natuurkundig model van beeldreconstructie. Dit maakt het leerproces eenvoudiger en resulteert in reconstructies van hoge kwaliteit.
Zodra het leerproces is voltooid, kan het algoritme met hoge snelheid beelden reconstrueren die objecten bevatten die zich op verschillende afstanden van de camera bevinden. De nieuwe camera hoeft niet te worden gekalibreerd en kan worden gebruikt om de 3D-locaties en ruimtelijke profielen of contouren van objecten in kaart te brengen.
Na het uitvoeren van numerieke simulaties om de prestaties van de camera te verifiëren, voerden de onderzoekers 2D-beeldvorming uit die perceptueel goede resultaten opleverde. Vervolgens testten ze of de camera 3D-beelden kon maken van objecten op verschillende diepten. De resulterende 3D-reconstructie kon opnieuw worden scherpgesteld op verschillende diepten of afstanden. De camera creëerde ook een dieptekaart die overeenkwam met de werkelijke objectopstelling.
In een laatste test lieten ze zien dat de camera objecten achter de ondoorzichtige obstakels in beeld kon brengen. Voor zover bekend is dit de eerste demonstratie van beeldvorming van objecten achter ondoorzichtige obstakels met een camera zonder lens.
Verdere ontwikkeling
De onderzoekers werken momenteel aan het verminderen van fouten die verschijnen in de 3D-reconstructies en aan het verbeteren van de algoritmen om een nog hogere kwaliteit en snelheid te bereiken. Ze willen ook de totale voetafdruk van het apparaat verkleinen, zodat het in een mobiele telefoon past, wat het apparaat draagbaarder zou maken en meer toepassingen mogelijk zou maken.
De 3D-camera zonder lens maakt gebruik van gecomputeriseerde beeldvorming, een opkomende benadering waarbij beeldvormingshardware en objectreconstructiealgoritmen gezamenlijk worden geoptimaliseerd om de gewenste beeldvormingstaken en -kwaliteit te bereiken. Met de ontwikkeling van goedkope, geavanceerde productietechnieken voor micro-optica en de vooruitgang op het gebied van machinaal leren en computermiddelen, zal dergelijke beeldvorming veel nieuwe beeldvormingssystemen met geavanceerde functionaliteit mogelijk maken.
De wetenschappelijke publicatie vindt u hier.
Foto: Savannah Luy, University of California Davis