26/02/2017
Door Ad Spijkers
Wetenschappers van het Max-Planck-Institut für Informatik hebben software ontwikkeld waarmee informatie zodanig fotorealistisch kan worden aangepast, dat het verschil met echt opnamen niet herkenbaar is.
Pokémon Go heeft de technologie van Augmented Reality een flink eind op weg geholpen. Foto's of video's van de echte omgeving worden hierbij aangevuld met op de computer gegenereerde informatie, die over het beeld wordt gelegd of hierin ingebed.
De informatici in Saarbrücken hebben deze technologie naar een nieuw niveau getild. Ze leggen geen nieuwe laag met visuele informatie over het echte digitale beeld heen, maar veranderen het beeld realistisch. Ze noemen het 'extended reality'.
Real-time elke pixel
De kleurwaarde die een camera tijdens de opname aan afzonderlijke beeldpunten (pixels) toekent, is (vereenvoudigd gezegd) altijd het product van reflectie en belichting. Het probleem is echter, dat de beide componenten van deze berekening alleen indirect in het beeld worden opgenomen en niet meetbaar zijn.
Onderzoekers van het Max-Planck-Institut en de University of Bath hebben dit probleem op bijzondere wijze opgelost. De door hen ontwikkelde software lukt het zelfs in real-time om voor elk pixel van een beeld dat van een conventionele webcam komt.
Het demonstratiemodel is eenvoudig, maar het resultaat indrukwekkend. Een jonge vrouw staat in een ruimte voor een verrijdbaar whiteboard en een grote plant. Ze draagt een rood T-shirt met een brede witte bedrukking. Ze wordt gefilmd door een webcam, maar op het aangesloten beeldscherm is het T-shirt wit en dus in een volledig andere kleur te zien. Dit is het enige verschil dat tussen de scene in de ruimte en die op het beeldscherm te herkennen is.
Mathematische optimalisering
Doordat de wetenschappers bliksemsnel voor elk pixel de belichting en de mate van reflectie inschatten en alleen een van de beide factoren veranderen, blijft de realistische indruk behouden. Deze inschatting is gebaseerd op mathematische optimaliseringsmethoden. Omdat de software die parallel berekent, zijn de veranderingen zo snel om te zetten, dat het zelfs bij live-opnamen mogelijk is.
En de software beperkt zich niet tot kleuren. Als de onderzoekers de mate van reflectie veranderen, kunnen zelfs andere materialen worden geïmiteerd. Zo kan de software een katoenen overhemd tijdens de uitzending in een fluwelen hemd omzetten.
Geen enkele ander methode lukt dit momenteel zo snel en met behulp van een eenvoudige camera. De wetenschappers uit Saarbrücken zijn daarom benieuwd in welke toepassingen de software zal worden gebruikt. De game-industrie en mode liggen het meest voor de hand, maar wellicht kan ook de on-line handel er van profiteren. Stel u voor dat u een nieuw bankstel wilt hebben, maar in een andere kleur. Met dit programma kunt u bekijken of de gewenste kleur past in de woonkamer. U hoeft er zelfs niet voor van de bank af te komen. (foto: Max-Planck-Institut)