04/03/2022
Door Ad Spijkers
Een idee in het park leidde tot nieuwe fotografische mogelijkheden binnen, buiten en in de ruimte.
Masterstudent Hadi AlZayer aan Cornell University in Ithaca in de staat New York was aan het wandelen in een park en vroeg andere wandelaars om smartphonefoto's van hem te maken. Maar vaak resulteerde dat in foto's die slecht gecomponeerd waren. Het zette hem aan het denken.
Het maken van een goede foto is een incrementeel proces: door een ruimte navigeren, het onderwerp positioneren, de camera aanpassen, door de zoeker turen, aanpassen waar nodig en afdrukken. Dergelijke stapsgewijze processen kunnen worden geautomatiseerd met een algoritme. Het zou algoritmisch en robotisch kunnen worden gedaan met behulp van een machine learning-proces dat 'reinforcement learning' wordt genoemd.
Deze inspiratie leidde tot AutoPhoto, een robotsysteem ontwikkeld door een drietal onderzoekers van de universiteit. De robotfotograaf kan automatisch door een binnenruimte dwalen en esthetisch aangename foto's maken.
Machine learning
Er wordt aangenomen dat dit het eerste robot-fotograafsysteem is dat een 'aangeleerd esthetisch' machine learning model gebruikt . Het vertegenwoordigt volgens de onderzoekers een belangrijke ontwikkeling in het gebruik van autonome agenten om een ruimte visueel te documenteren. In de meest directe toepassing zou AutoPhoto kunnen worden gebruikt om interieurs van huizen en huurwoningen te fotograferen. Op de lange termijn zou het systeem op eigen kracht afgelegen of gevaarlijke locaties kunnen doorkruisen en documenteren, van verre planeten tot oorlogsgebieden.
Met het systeem betreden de onderzoekers nieuwe wegen op het gebied van computer vision en autonome fotografie. Het systeem bouwt voort op een bestaand algoritme, een aangeleerd esthetisch schattingsmodel genaamd, dat is getraind op meer dan 1 miljoen door mensen gerangschikte foto's van hoge kwaliteit. Dit esthetische model helpt de robot te bepalen of de foto's die hij maakt goed zijn of niet.
Training
Het meest uitdagende was dat er geen bestaande basis was dat de onderzoekers probeerden te verbeteren. Ze moesten het hele proces en het probleem definiëren. Om de robot te leiden, hebben ze een apart model getraind om in een omgeving te bewegen en een plek te vinden die er goed uitziet. Na succesvolle simulatieoefeningen, waarbij het algoritme tientallen 3D-foto's van interieurscènes scande en de beste compositiehoeken correct koos, monteerde het team het AutoPhoto systeem en een camera op een Clearpath Jackal robot en liet het los in een gemeenschappelijke ruimte.
Wat AutoPhoto vastlegt – zoals te zien is in onderstaande projectdemovideo – leest als een beeld-voor-beeld verslag van hoe de robot zijn omgeving verkent voor de optimale opname. De eerste opnamen zijn alledaagse close-ups van muren, een niet-gecentreerd trappenhuis en een vuilnisbak. Maar bij elke volgende aanpassing en bijbehorende foto corrigeert AutoPhoto zichzelf en manoeuvreert het in positie om de ruimte beter in te kaderen.
Het buitenleven zou het volgende onderzoeksgebied kunnen zijn voor de verdere ontwikkeling. Miljoenen video's van schilderachtige buitenlocaties die al online bestaan, kunnen een schat aan gegevens opleveren om het model te trainen op een goede compositie van buitenscènes in plaats van binnenruimtes.
Foto: screenshot video AlZayer