Versterkt leren voor ruimterobots

Quantumcomputers bieden ongekende mogelijkheden voor tal van toepassingsgebieden, waaronder robotica. Maar het onderzoek staat nog in de kinderschoenen.

In het Qinros-project zijn onderzoekers van het Deutsches Forschungszentrums für Künstliche Intelligenz (DFKI) en de Universität Bremen erin geslaagd om reinforcement learning methoden (versterkt leren) met kwantumalgoritmen te gebruiken voor robotnavigatie in de context van ruimteverkenning. Daarmee leggen ze een belangrijk fundament voor onderzoek naar toekomstige technologie voor robottoepassingen.

Uitdagingen

De grootste uitdaging op het gebied van autonome robotica is de enorme hoeveelheid data die in de kortst mogelijke tijd moet worden verwerkt. Robots kunnen hierdoor zelfstandig handelen en snel reageren op onvoorziene situaties. Kwantumcomputers kunnen een groot aantal oplossingen parallel berekenen. Daarom verwerken ze informatie veel sneller en kunnen ze veel complexere taken aan dan klassieke digitale computers.

Onderzoek naar op kwantum gebaseerde rekenmethoden in robotica staat echter nog in de kinderschoenen. De wetenschappers willen het onderzoek versnellen en hebben een onderzoeksagenda gedefinieerd om op kwantum gebaseerde concepten en oplossingen te ontwikkelen voor toepassingsgebieden in kunstmatige intelligentie (AI) en robotica.

Quantumtechnologie, in het bijzonder quantum machine learning, heeft de potentie om significante ontwikkelingen mogelijk te maken op het gebied van efficiënte berekening van zeer complexe processen. Vooral bij robotica is het probleem dat altijd aan de limieten van computers wordt gewerkt.

Qinros

Het Qinros-project richtte zich op de vraag of en in hoeverre rekenprocessen voor robotnavigatietaken al kunnen worden uitbesteed aan quantumcomputers (Qinros, Quantencomputing und quantenmaschinelles Lernen für intelligente und robotische Systeme, ging in september 2020 van start ). De verdeling van rekenprocessen is met name relevant omdat de rekencapaciteit van de huidige kwantumcomputers nog niet voldoende is voor volledig op kwantum gebaseerde verwerking

Daarnaast wilden de onderzoekers weten in hoeverre de kwantumondersteunde uitvoering van machine learning en optimalisatiemethoden voordelen heeft ten opzichte van klassieke methoden. Ze onderzochten dit aan de hand van het voorbeeld van een mobiel Turtlebot systeem dat de taak heeft om zelfstandig een onbekende omgeving te verkennen. De robot verzamelt zowel sensorwaarden van de omgeving als informatie over zijn interne status, die dient als databasis voor het reinforcement learning. Dit beloont gewenst robotgedrag, zoals het succesvol ontwijken van een obstakel. Zo leert het systeem gaandeweg zijn weg te vinden in de onbekende omgeving.

Evaluatie

Op basis van dit scenario is eerst theoretisch geëvalueerd welke onderdelen van reinforcement learning kunnen worden berekend met behulp van kwantumgebaseerde methoden. Ook werd geëvalueerd welke onderdelen op een verstandige maar ook noodzakelijke manier met klassieke methoden moeten worden voorbewerkt. De implementatie vond plaats in de gesimuleerde omgeving met toenemende complexiteit. Hiervoor ontwikkelden de onderzoekers algoritmen voor parametreerbare kwantumcircuits, die onder meer de berekening van nieuwe trajectdoelen met qubits mogelijk maken.

Er werd aangetoond dat met behulp van de kwantumcircuits gelijkwaardige resultaten kunnen worden bereikt als bij klassieke neurale netwerken. Bovendien geven de eerste resultaten aan dat problemen veel compacter kunnen worden gepresenteerd. Om bijvoorbeeld één en hetzelfde probleem op te lossen, hadden de wetenschappers slechts 200 parameters in het kwantumcircuit nodig in plaats van 2000 parameters in het neurale netwerk.

Met Qinros zijn de onderzoekers er in geslaagd om kwantummechanische leermethoden voor robotgedrag in een gesimuleerde omgeving te demonstreren. Aldus konden ze de prestaties van parametreerbare kwantumcircuits in een toepassing van ruimterobotica laten zien. De onderzoekers willen doorgaan met hun onderzoek, gedreven door de noodzaak en de grote belangstelling voor het onderwerp.

De foto toont de DFKI robot SherpaTT op verkenningsmissie tijdens veldtesten in Marokko 2018

Foto: DFKI, Florian Cordes