31/07/2023
Door Ad Spijkers
Met behulp van Reinforcement Learning (RL) kunnen onderwaterrobots objecten lokaliseren en volgen.
Een internationaal team onderzoekers heeft bewezen dat autonome voertuigen en onderwaterrobots met behulp van Reinforcement Learning objecten en dieren in zee lokaliseren en volgen. Het team stond onder leiding van het Institut de Ciències del Mar (ICM-CSIC) in Barcelona en telde ook onderzoekers van Monterey Bay Aquarium Research Institute (MBARI) in Californië, de Universitat Politècnica de Catalunya (UPC) in Barcelona en de Universitat de Girona (UdG).
Reinforcement learning
Onderwaterrobotica is in opkomst als een belangrijk hulpmiddel om de kennis van de oceanen te verbeteren ondanks de vele moeilijkheden bij het verkennen ervan. Er zijn nu vaartuigen die kunnen afdalen tot een diepte van maximaal 4.000 m. De in-situ data die ze leveren, helpen om andere gegevens aan te vullen, zoals die van satellieten. Deze technologie maakt het mogelijk om kleinschalige fenomenen te bestuderen, zoals CO2-afvang door mariene organismen, wat helpt bij het reguleren van klimaatverandering.
Concreet onthult het nieuwe onderzoek dat onderwaterrobots door Reinforcement Learning kunnen leren welke acties ze op een bepaald moment moeten uitvoeren om een bepaald doel te bereiken. Dit actiebeleid komt overeen met, of verbetert onder bepaalde omstandigheden, de traditionele methoden die gebaseerd zijn op analytische ontwikkeling.
Technieken
Door dit soort leren kunnen onderzoekers een neuraal netwerk trainen om een specifieke taak te optimaliseren, wat anders heel moeilijk zou zijn. Ze hebben bijvoorbeeld kunnen aantonen dat het mogelijk is om de baan van een vaartuig te optimaliseren om te lokaliseren en objecten te volgen die onder water bewegen.
Onderzoekers kunnen nu ,met behulp van autonome robots de studie van ecologische fenomenen verdiepen zoals migratie of beweging op kleine en grote schaal van een groot aantal mariene soorten. Bovendien zullen ze andere oceanografische instrumenten real-time kunnen volgen via een netwerk van robots. Sommigen kunnen aan de oppervlakte de acties van robotplatforms op de zeebodem volgen en per satelliet doorsturen.
Om dit werk uit te voeren, gebruikten onderzoekers akoestische technieken, waarmee de positie van een object kan worden geschat, rekening houdend met afstandsmetingen die op verschillende punten zijn uitgevoerd. Dit feit maakt de nauwkeurigheid bij het lokaliseren van het object echter sterk afhankelijk van de plaats waar de metingen in het akoestische bereik worden uitgevoerd. Op dit punt biedt toepassing van kunstmatige intelligentie en in het bijzonder Reinforcement Learning uitkomst. Hiermee kunnen de beste punten worden geïdentificeerd en dus het optimale traject dat door de robot moet worden afgelegd.
Training
De neurale netwerken werden gedeeltelijk getraind met behulp van het computercluster in het Barcelona Supercomputing Center (BSC-CNS). Hier bevindt zich de krachtigste supercomputer van Spanje en een van de krachtigste van Europa. Dit maakte het mogelijk om de parameters van verschillende algoritmen veel sneller aan te passen dan met conventionele computers. De simulatieomgeving bevat de besturingsarchitectuur van echte vaartuigen, waardoor de onderzoekers de algoritmen efficiënt konden implementeren voordat ze naar zee gingen.
Eenmaal getraind, werden de algoritmen getest op verschillende autonome voertuigen, waaronder de AUV Sparus II ontwikkeld door Vicorob. Dit gebeurde in een reeks experimentele missies ontwikkeld in de haven van Sant Feliu de Guíxols, in de Baix Empordà en in Monterey Bay (Californië), in samenwerking met het Bioinspiration Lab bij MBARI.
Voor toekomstig onderzoek zal het team de mogelijkheid bestuderen om dezelfde algoritmen toe te passen om meer gecompliceerde missies op te lossen. Dit omvat bijvoorbeeld het gebruik van meerdere vaartuigen om objecten te lokaliseren en om fronten, temperatuurspronglagen of algengroei te detecteren met behulp van multi-platform RL-technieken.
De wetenschappelijke publicatie vindt u hier.
Foto: ICM