Geometrie ziet gevaar in AI-omgevingen

Een nieuwe methode voor AI veiligheidsanalyse zou de veiligheid van robots en autonome voertuigen kunnen vergroten.

Onderzoekers aan het Okinawa Institute of Science and Technology (OIST) hebben AI-systemen vanuit een geometrisch perspectief bestudeerd om hun eigenschappen nauwkeuriger weer te geven. Ze hebben vastgesteld dat het optreden van een 'geometrisch defect', een mislukking van wat Gromov’s Link Condition wordt genoemd, correleert met de kans op botsingen tussen bewegende AI-agenten.

Rasterwereld

Een rasterwereld (gridworld) bestaat uit vierkante cellen, gerangschikt in een raster, waar cellen al dan niet kunnen worden bezet door een enkele agent. Dat kan bijvoorbeeld een koala zijn, een strandbal of een robot. Agenten in een rasterwereld kunnen worden geprogrammeerd om puzzels op te lossen en beloningen na te streven. Ze kunnen zich tussen aangrenzende tegels in het raster verplaatsen. Onderzoekers bestuderen vaak hun bewegingen, planning en strategieën wanneer ze met specifieke taken worden belast, zoals het bereiken van een precieze locatie in de rasterwereld.

Rasterwerelden worden al lang gebruikt in AI-onderzoek, met name bij reinforcement learning. Ze worden gebruikt om wereldkampioenen te verslaan in videogames en bordspellen zoals schaken en Go. Ze bieden eenvoudige maar schaalbare modellen voor potentiële toepassingen in de echte wereld, bijvoorbeeld het veilig coördineren van de bewegingen van autonome auto's of magazijnrobots.

Toestandcomplex

Beginnend bij een gekozen status in de rasterwereld – een gespecificeerde rangschikking van de agent(en) en object(en) – zijn twee acties toegestaan:

• Verplaatsen: een agent naar een aangrenzende lege cel laten bewegen
• Push/Pull: een agent een voorwerp in een rechte lijn laten duwen of trekken.

Wanneer dit proces vaak genoeg wordt herhaald, kan een 'toestandscomplex' ontstaan. Een toestandscomplex is intuïtief te beschouwen als een fysieke Lego-set met aan elkaar geplakte kubussen, vierkanten en stokjes, die elk specifieke herconfiguraties van de rasterwereld vertegenwoordigen.

Toestandscomplexen vertegenwoordigen alle mogelijke configuraties van een systeem als een enkel geometrisch object. Dat betekent dat ze zijn te bestuderen met behulp van wiskundige hulpmiddelen uit de meetkunde (met betrekking tot de precieze vorm van objecten), topologie (eigenschappen van ruimtes die behouden blijven onder vervormingen, zoals buigen, uitrekken, en krimpen) en combinatieleer (tellen en ordenen van objecten).

De onderzoekers op Okinawa gebruikten een combinatie van pen-en-papier-wiskunde en een op maat gemaakt computerprogramma om de in dit onderzoek gecreëerde toestandscomplexen te creëren en analyseren.

Vóór de botsing

Als twee agenten te dicht bij elkaar komen, kunnen ze elkaar tegen het lijf lopen. Het blijkt dat deze potentiële botsing duidt op een geometrisch defect. Elke keer dat zich dit voordoet in een rasterwereld, kan er mogelijk een botsing plaatsvinden. Wiskundigen proberen meestal te bewijzen dat een object als dit geen geometrische defecten heeft. Dit komt omdat de afwezigheid van deze defecten het object de gewenste wiskundige eigenschappen geeft. Als er zelfs maar één enkel geometrisch defect aanwezig is, verliest het hele toestandscomplex deze voordelen.

In eerste instantie wilden de onderzoekers laten zien dat er geen geometrische defecten waren. Maar ze ontdekten een heleboel kleine ergernissen, en dachten dat het misschien niet zo vervelend was; misschien correleerde dit met iets belangrijks. Het blijkt dat het is gekoppeld aan belangrijke veiligheidsinformatie.

Deze geometrische defecten treden ook op in het toestandscomplex wanneer twee agenten van elkaar worden gescheiden door een beweging van een paard of een loper bij het schaken. Dit zijn de enige gevallen waarin deze gebreken optreden. In de echte wereld kunnen robots elkaar tegenkomen in een magazijn, of kunnen autonome auto's op een kruispunt botsen. Niet het punt van de botsing, het het moment vóór de botsing is belangrijk.

Toepassing voor AI

Geometrische defecten en geometrische methoden in het algemeen kunnen het begrip van bestaande AI-systemen helpen verbeteren. Onderzoekers zouden bijvoorbeeld een AI-systeem kunnen gebruiken dat is getraind om botsingen tussen agenten te voorkomen en kunnen proberen te ontdekken waar deze geometrische defecten liggen. Dit kan wetenschappers helpen potentiële botsingen in AI-systemen efficiënter te detecteren, zoals scenario's voor begeleid wonen waarin robots en mensen met elkaar omgaan.

De bevindingen bieden een nieuwe methode om gegarandeerde veiligheidsbeperkingen te zoeken in AI-omgevingen met meerdere agenten. Het kunnen koala’s zijn, maar ook robots die helpen met huishoudelijke taken of rampgebieden verkennen, of autonome voertuigen voor bezorgdiensten.

De wetenschappelijke publicatie vindt u hier.

Ill.: OIST