Hadar ziet textuur en diepte in het donker

Door een innovatie op het gebied van thermische beeldvorming kan AI even goed in het pikdonker kijken als op klaarlichte dag.

Onderzoekers van Purdue University in West Lafayette (Indiana) hebben een technologie ontwikkeld die de traditionele machine vision en -perceptie verbetert. Ze hebben Hadar ontwikkeld, Heat Assisted Detection And Ranging. De onderzoekers zeggen dat naar verwachting één op de tien voertuigen geautomatiseerd zal zijn en dat er tegen 2030 twintig miljoen robothulpen zullen zijn die mensen dienen. Al deze systemen verzamelen informatie over de omgeving met behulp van geavanceerde sensoren om zonder menselijke tussenkomst beslissingen te nemen. Maar gelijktijdige perceptie van de omgeving door meerdere systemen is onbetaalbaar.

Traditionele waarneming

Traditionele actieve sensoren zoals Lidar, radar en sonar zenden signalen uit en ontvangen deze vervolgens om 3D-informatie over hun omgeving te verzamelen. Deze methoden hebben nadelen die toenemen naarmate ze worden opgeschaald, waaronder signaalinterferentie en risico's voor de veiligheid van de ogen van de mens. Videocamera's die werken op basis van zonlicht of andere lichtbronnen zijn voordelig, maar omstandigheden met weinig licht, zoals 's nachts, mist of regen, vormen een ernstige belemmering.

Traditionele thermische beeldvorming is een passieve detectiemethode die onzichtbare warmtestraling verzamelt die afkomstig is van alle objecten in de omgeving. Deze sensoren kunnen door duisternis, guur weer en schittering van de zon heen voelen. Maar fundamentele uitdagingen belemmeren het gebruik ervan. Objecten en hun omgeving zenden constant thermische straling uit en verspreiden deze, wat leidt tot beelden zonder textuur ('ghosting-effect'). Warmtebeelden van iemands gezicht tonen alleen contouren en enig temperatuurcontrast. Er zijn geen functies, waardoor het lijkt alsof de waarnemer een geest heeft gezien. Dit verlies van informatie, textuur en kenmerken vormt een obstakel voor de perceptie van machines met behulp van warmtestraling.

Hadar

Hadar combineert thermische fysica, infraroodbeeldvorming en machine learning om de weg vrij te maken voor volledig passieve en fysisch bewuste machineperceptie. Het onderzoek aan Purdue University bouwt informatie op op de theoretische basis van thermische perceptie en toont aan dat de omgeving in het pikdonker dezelfde hoeveelheid informatie bevat als op klaarlichte dag. De evolutie heeft ervoor gezorgd dat de mens meer geneigd is om overdag te leven. Machineperceptie van de toekomst kan met de nieuwe technologie de tweedeling tussen dag en nacht overwinnen.

Hadar herstelt op levendige wijze de textuur van het onoverzichtelijke warmtesignaal. Het ontwart nauwkeurig temperatuur, uitstraling en textuur van alle objecten in een omgeving. Het ziet textuur en diepte door de duisternis alsof het dag is. Het neemt ook fysieke attributen waar die verder gaan dan RGB, of rood, groen en blauw, zichtbare beeldvorming of conventionele thermische detectie. Het team testte Hadar TeX-visie met behulp van een off-road nachtscène. Hadar TeX vision herstelde texturen en overwon het ghosting-effect. Het herstelde fijne texturen zoals waterrimpels, schorsrimpels en duikers, maar ook details over het grasland.

Voortgang

Aanvullende verbeteringen aan Hadar zijn het verbeteren van de grootte van de hardware en de snelheid van gegevensverzameling. De huidige sensor is groot en zwaar omdat Hadar-algoritmen veel kleuren onzichtbare infraroodstraling vereisen. Om de technologie toe te passen op zelfrijdende auto's of robots moeten de grootte en prijs omlaag. Tegelijkertijd moeten de camera's sneller worden. De huidige sensor heeft ongeveer een seconde nodig om één beeld te maken; voor zelfrijdende auto’s zijn zo’n dertig tot zestig frames per seconde (30-60 Hz) nodig.

De eerste toepassingen van Hadar TeX vision zijn geautomatiseerde voertuigen en robots die interactie hebben met mensen in complexe omgevingen. De technologie kan verder worden ontwikkeld voor landbouw, defensie, geowetenschappen, gezondheidszorg en het volgen van wilde dieren.

De wetenschappelijke publicatie vindt u hier.

Foto: Purdue University