01/02/2021
Door Ad Spijkers
Een nieuwe type neuraal netwerk zou de besluitvorming over autonoom rijden en medische diagnose kunnen ondersteunen.
Onderzoekers van het Massachusetts Institute of Technology (MIT) in Cambridge (VS) hebben een type neuraal netwerk ontwikkeld dat leert tijdens het werk en niet alleen tijdens de trainingsfase. Deze flexibele algoritmen, 'vloeibare netwerken' genoemd, veranderen hun onderliggende vergelijkingen om zich voortdurend aan te passen aan nieuwe data-invoer. Dit zou besluitvorming kunnen ondersteunen op basis van datastromen die in de loop van de tijd veranderen, bijvoorbeeld bij medische diagnose en autonoom rijden.
Veranderende datastromen
Volgens de onderzoekers zijn tijdreeksgegevens alom tegenwoordig en essentieel voor ons begrip van de wereld. Videoverwerking, financiële gegevens en medische diagnostische toepassingen zijn voorbeelden van tijdreeksen. Maar de wisselvalligheden van steeds veranderende datastromen kunnen onvoorspelbaar zijn. Door de data real-time te analyseren en te gebruiken om te anticiperen op toekomstig gedrag, kan de ontwikkeling van opkomende technologieën zoals zelfrijdende auto's een boost krijgen. Daarom hebben de onderzoekers een algoritme gebouwd dat geschikt is voor de taak.
Ze ontwierpen een neuraal netwerk dat zich kan aanpassen aan de variabiliteit van systemen in de echte wereld. Ze lieten zich inspireren door de Caenorhabditis elegans. Deze microscopische rondworm heeft slechts 302 neuronen in zijn zenuwstelsel maar kan onverwacht complexe dynamica genereren. De onderzoekers bestudeerden hoe de neuronen van het diertje met elkaar communiceren via elektrische impulsen.
Om het neurale netwerk te structureren, lieten ze de parameters in de loop van de tijd veranderen op basis van de resultaten van een geneste reeks differentiaalvergelijkingen. Deze flexibiliteit is essentieel. De meeste neurale netwerken worden na de trainingsfase gefixeerd; ze passen zich slecht aan aan veranderingen in de inkomende datastroom. Het 'vloeibare netwerk' is beter bestand tegen onverwachte gegevens of ruis, alsof zware regen het zicht van een camera op een zelfrijdende auto belemmert.
Gemakkelijker interpretatie
Er is nog een voordeel van de flexibiliteit van het netwerk: het is beter interpreteerbaar. Gebruikers kunnen bepaalde graden van complexiteit onderzoeken die ze anders niet zou kunnen onderzoeken. Dankzij het kleine aantal expressieve neuronen is het gemakkelijker om in de 'zwarte doos' van de besluitvorming van het netwerk te kijken en vast te stellen waarom het netwerk een bepaalde karakterisering heeft gemaakt. Dat zou ingenieurs kunnen helpen de prestaties van het vloeibare netwerk te begrijpen en te verbeteren.
Het netwerk blonk uit in een reeks tests. Het heeft andere moderne tijdreeksalgoritmen overtroffen bij het nauwkeurig voorspellen van toekomstige waarden in datasets, variërend van atmosferische chemie tot verkeerspatronen. Bij veel toepassingen zijn de prestaties betrouwbaar hoog. Bovendien betekende de kleine omvang van het netwerk dat het de tests voltooide zonder hoge rekenkosten.
Foto: Jose-Luis Olivares, MIT