30/09/2016
Door Ad Spijkers
Wetenschappers van het Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut (HHI) hebben een methode ontwikkeld waarmee het realistische beeld van een mens naar een virtuele wereld kan worden overgebracht.
De onderzoekers hebben een camerasysteem ontwikkeld waarmee ze personen voor een perfecte driedimensionale indruk filmen. De ‘3D Human Body Reconstruction’ technologie neemt echt personen gelijktijdig met meerdere camera’s op en maakt daaruit zich natuurlijk bewegende dynamische 3D-modellen.
Kern van dit systeem is een stereocamera die, net als de mens met zijn twee ogen, de persoon met twee objectieven opneemt. Het stereoscopische kijken leidt er toe, dat afstanden goed kunnen worden ingeschat, omdat beide ogen uit een iets andere hoek naar het object kijken. Daardoor ontstaat de driedimensionale indruk.
Stereocamera's
Om een persoon uit alle richtingen tot in detail op te nemen, gebruikt Fraunhofer HHI meer dan twintig stereocamera’s. Elke camera neemt daarbij slechts een deel van de persoon voor zijn rekening. De uitdaging is de afzonderlijke camerabeeldern zo met elkaar te laten samenvloeien dat een realistisch totaalbeeld ontstaat.
Behalve de cameratechniek hebben de onderzoekers ook algoritmes ontwikkeld die uit de stereoscopische camerabeelden snel diepte-informatie kunnen extraheren. Deze zijn nodig om de 3D-gestelt van een opgenomen persoon te berekenen. Tot slot genereert de computer uit de camerabeelden een virtueel model van de mens, dat dan naar een scène kan worden overgezet.
De gegenereerde 3D-oppervlaktestructuur van de persoon geeft daarbij veel details. Zo kunnen bijvoorbeeld vouwen in de kleding of gezichtskenmerken worden waargenomen. Daardoor ziet dit model er in uiterlijk en beweging erg natuurlijk en realistisch uit.
Elke gestalte weergeven
Het laten samenkomen van de 3D-informatie uit de verschillende camerabeelden duurt enkele seconden. Niettemin is de illusie perfect. Het systeem zet het driedimensionale dynamische model van een persoon snel om in de virtuele realiteit.
Een mens kan zich bij de opname in een daarvoor beoogd gebied vrij bewegen. Het virtuele evenbeeld geeft elk gebaar en elke beweging realistisch weer. Het doel is dat een realistische weergave van een mens in de toekomst direct met de virtuele wereld interactie kan plegen – bijvoorbeeld wanneer deze een virtueel object grijpt.
Het nieuwe camerasysteem van Fraunhofer HHI moet in de toekomst ook voor andere toepassingsgebieden worden gebruikt. Zo werken de onderzoekers bijvoorbeeld ook aan virtuele videoconferenties. Het kan echter ook voor infotainment worden gebruikt. In plaats van een passieve frontale televisie-ervaring zou een televisiekijker met behulp van een VR-bril direct onderdeel van een scene in een speelfilm kunnen zijn. Hij zou niet alleen een driedimensionaal beeld van de televisiescene zien, maar er ook virtueel in kunnen rondlopen en bijvoorbeeld onderdeel van het avontuur van zijn science fiction held kunnen worden. Geen zorg, uw auteur laat zich niet digitaliseren – dat zou de illusie van de film slechts verstoren (foto: Fraunhofer-HHI).