Neuron combineert sensorsignalen

Amerikaanse onderzoekers ontwikkelden een neuron dat visuele en tactiele input samen verwerkt en voor meer informatie zorgt.

Het gevoel van de vacht van een katachtige kan enige informatie onthullen. Maar pas het zien van hier dier levert cruciale informatie op: is het een huiskat of een leeuw? Het geluid van knetterend vuur kan voor meerdere interpratie vatbaar zijn, maar de geur bevestigt brandend hout.

Onze menselijke zintuigen werken samen om een alomvattend begrip te geven, vooral wanneer individuele signalen subtiel zijn. De collectieve som van biologische inputs kan groter zijn dan hun individuele bijdragen. Robots hebben de neiging om eenvoudigere toevoegingen te volgen. Onderzoekers van Penn State in University Park (zo'n 300 km noordelijk van Washington DC) hebben het biologische concept benut voor toepassing in kunstmatige intelligentie (AI). Ze hebben hiermee het eerste kunstmatige, multisensorisch geïntegreerde neuron ontwikkeld.

Samenwerken

Robots nemen beslissingen op basis van de omgeving waarin ze zich bevinden. Maar hun sensoren praten over het algemeen niet met elkaar. Een collectieve beslissing kan via een sensorverwerkingseenheid worden genomen, maar het is de vraag of dat de meest efficiënte of effectieve methode is. In het menselijk brein kan het ene zintuig het andere beïnvloeden, waardoor een persoon een situatie beter kan inschatten.

Een auto kan bijvoorbeeld een sensor hebben die naar obstakels scant, terwijl een andere sensor duisternis detecteert om de intensiteit van de koplampen te moduleren. Individueel geven deze sensoren informatie door aan een centrale eenheid. Deze geeft de auto vervolgens opdracht om te remmen of de koplampen af te stellen. Dat proces kost meer energie. Door sensoren rechtstreeks met elkaar te laten communiceren, kan dit efficiënter zijn in termen van energie en snelheid, vooral als de input van beide zwak is.

De biologie zorgt ervoor dat kleine organismen kunnen gedijen in omgevingen met beperkte hulpbronnen. Hierdoor wordt hun energieverbruik tot een minimum beperkt. De vereisten voor verschillende sensoren zijn gebaseerd op de context. In een donker bos vertrouw een mens of dier meer op luisteren dan op zien, maar neemt geen beslissingen op basis van slechts één zintuig. Ze hebben een volledig beeld van onze omgeving en de besluitvorming is gebaseerd op de integratie van wat we zien, horen, aanraken, ruiken, enzovoort.

Integratie van sensoren

De zintuigen zijn samen geëvolueerd in de biologie, maar in AI werken ze afzonderlijk. In hun werk willen de onderzoekers sensoren combineren en nabootsen hoe onze hersenen daadwerkelijk werken. Het team concentreerde zich op het integreren van een tactiele sensor en een visuele sensor, zodat de output van de ene sensor de andere wijzigt, met behulp van visueel geheugen.

Zelfs een kortstondige lichtflits kan de kans op een succesvolle beweging door een donkere kamer aanzienlijk vergroten. Dit komt omdat het visuele geheugen vervolgens de tactiele reacties voor navigatie kan beïnvloeden en ondersteunen. Dit zou niet mogelijk zijn als de visuele en tactiele cortex alleen op hun respectievelijke unimodale signalen zou reageren. Mens en dier hebben een fotogeheugeneffect, waarbij licht schijnt en ze zich dingen kunnen herinneren. De onderzoekers hebben dat vermogen in een apparaat geïntegreerd via een transistor die dezelfde respons geeft.

De onderzoekers vervaardigden een multisensorisch neuron door een tactiele sensor te verbinden met een fototransistor op basis van een monolaag van molybdeendisulfide. MbS₂ vertoont unieke elektrische en optische kenmerken die nuttig zijn voor het detecteren van licht en het ondersteunen van transistors. De sensor genereert elektrische pieken op een manier die doet denken aan neuronen die informatie verwerken, waardoor hij zowel visuele als tactiele signalen kan integreren.

Signalen combineren

Het is het equivalent van het zien van een 'aan'-lampje op het fornuis en het voelen van de warmte die van een brander of inductieplaat. Het zien van het licht betekent niet noodzakelijkerwijs dat de brander nog heet is, maar een hand hoeft slechts een nanoseconde hitte te voelen voordat het lichaam reageert op de warmtebron en de hand wegtrekt van het potentiële gevaar. De input van licht en warmte veroorzaakte signalen die de reactie van de hand teweegbrachten.

In het onderzoek maten de onderzoekers de versie van het kunstmatige neuron door te zien dat signaaloutputs het gevolg waren van visuele en tactiele inputsignalen. Om aanraakinvoer te simuleren, maakte de tastsensor gebruik van het tribo-elektrisch effect. Hierbij schuiven twee lagen tegen elkaar om elektriciteit te produceren, wat betekent dat de aanraakstimuli werden gecodeerd in elektrische impulsen.

Om visuele input te simuleren, lieten de onderzoekers een licht schijnen in de monolaag molybdeendisulfide fotomemtransistor of een transistor die visuele input kan onthouden. Ze ontdekten dat de sensorische respons van het neuron – gesimuleerd als elektrische output – toenam wanneer zowel visuele als tactiele signalen zwak waren.

Correlatie

Dit effect resoneert opmerkelijk goed met zijn biologische tegenhanger – een visueel geheugen vergroot op natuurlijke wijze de gevoeligheid voor tactiele prikkels. Als signalen zwak zijn, moet je ze combineren om de informatie beter te begrijpen, en dat is wat de onderzoekers in de resultaten zagen.

Een kunstmatig multisensorisch neuronsysteem zou de efficiëntie van de sensortechnologie kunnen verbeteren, waardoor de weg zou worden vrijgemaakt voor milieuvriendelijker AI-gebruik. Als gevolg hiervan zouden robots, drones en zelfrijdende voertuigen effectiever door hun omgeving kunnen navigeren terwijl ze minder energie verbruiken.

De superadditieve optelling van zwakke visuele en tactiele signalen is het belangrijkste resultaat van het onderzoek. In hun onderzoek hebben de wetenschappers naar slechts twee zintuigen gekeken. Ze werken aan het identificeren van het juiste scenario om meer zintuigen te integreren en te zien welke voordelen ze kunnen bieden.

De wetenschappelijke publicatie vindt u hier.

Foto: Tyler Henderson/Penn State