Kunstig intelligens kan se hva du tenker på
Du tror kanskje at øyebevegelsene dine er tilfeldige? Sånn er det ikke. Måten du bruker øynene dine på, kan fortelle mye om hva du har i tankene og hvordan du forholder deg til verden. Det kan til og med avsløre om du har en hjernesykdom.
Når du utforsker verden rundt deg, beveger øynene dine seg fortløpende og hurtig for å skanne omgivelsene. Øynene dine gjør også korte stopp for å fokusere på enkelte elementer i omgivelsene som du ønsker å få mer detaljert informasjon om.
Måten du beveger øynene på og utvalget av detaljer du fikserer blikket ditt på, kan oppsummeres som seeratferden din. Og det ligger mening skjult i denne.
Når du for eksempel gjenopplever et minne, vil øynene dine bevege seg i et mønster som ligner på bevegelsene de gjorde da du først opplevde hendelsen.
Når du kommer inn på kjøkkenet og er sulten, vil øynene dine bli trukket til andre gjenstander og følge andre mønstre enn når du går inn på kjøkkenet for å ta oppvasken.
– Seeratferden vår uttrykker tankene, minnene og målene vi til enhver tid har, sier Matthias Nau.
Sammen med Markus Frey og Christian Doeller har han utviklet et verktøy som de kaller DeepMReye, ved Kavli-institutt for nevrovitenskap ved NTNU i Trondheim.
Funnet er nylig publisert i Nature Neuroscience.
Kan også oppdage hjernesykdom
DeepMReye-verktøyet kan også bidra til å diagnostisere hjernesykdommer.
– Hjernesykdommer kommer til uttrykk som karakteristiske øyebevegelsesmønstre og forstyrrelser i seeratferd. Nesten alle kognitive eller nevrale lidelser – som hukommelsestap, arbeidsminneunderskudd, Parkinsons sykdom og Alzheimers sykdom – vil påvirke seeratferden din, forklarer Matthias Nau.
DeepMReye er et øyesporingsverktøy som bruker MR-skanning i stedet for kamera til registrere øyebevegelser. Denne nye teknologien vil kunne åpne for helt nye muligheter innenfor forskning og diagnostisering. Video: Kavli Kommunikasjon
Kunstig intelligens dekoder blikkmønsteret ditt
Det ligger mye informasjon skjult i seeratferden, men mennesker er ikke så gode til å hente ut denne informasjonen. Kunstig intelligens er derimot kjent for å være dyktig til å gjenkjenne kompliserte mønstre i store datamengder.
Kavli-forskerne gikk derfor i gang med å trene et såkalt kunstig nevralt nettverk for dyplæring til å gjøre det de selv ikke var i stand til: å sammenligne seeratferden hos mange mennesker, mens de var plassert i en MR-hjerneskanner.
Lang tid og mengder av MR-skanninger senere, hadde modellen lært seg den kompliserte oppgaven å generalisere blikkmønstre hos en rekke mennesker.
– Det vil si at selv en modell kan trene seg på meg, for å bli god på å dekode din seeratferd, sier Matthias Nau.
Og dekodingen må ikke foregå i nåtid – samtidig som hjerneskanningen foregår:
– Forskere kan også bruke denne modellen til å analysere gamle forsøk, de kan analysere seg gjennom arkivene som rommer mange tiår med fMRI-data samlet fra hundretusenvis av mennesker – og stille helt nye forskningsspørsmål, sier Matthias Nau.
Kan se sovendes og blindes øyebevegelser
DeepMReye kan også bistå i undersøkelser av pasientgrupper som den gamle kamerabaserte øyesporingen måtte melde pass på.
Der den kamerabaserte øyesporingen begrenset seg til å samle inn informasjon fra åpne øyne, fanger MR-signalet opp øyeeplets retning og bevegelsesmønstre selv om øyelokket er lukket. Dette gjør DeepMReye-modellen nyttig for søvnlaboratorier, for eksempel for å registrere søvnstadier ved hjelp av øyebevegelser.
Christian Doeller sin forskningsgruppe ved Kavli-instituttet. Første rekke fra venstre: Lilith Sommer, Dörte Kuhrt, Bianca Somai, Annelene Gulden Dahl, Gøril Rolfseng Grøntvedt, Tobias Navarro Schroeder, Britt Veldman. Andre rekke fra venstre: Christian Doeller, Joshua Julian, Mona Gravert, Matthias Nau, Renil Mathew, Ignacio Polti, Markus Frey, Jacob Bellmund. Christian Doeller leder for øyeblikket Max Planck-insituttet for Human Cognitive and Brain Sciences (MPI CBS) i Leipzig. Foto: Kavli-instuttet
Et annet eksempel er helseundersøkelser av blinde mennesker. Frem til nå har denne gruppen blitt utelukket fra øyesporingsstudier fordi den gamle kamera-kalibreringsprosessen krevde seende og fokuserende øyne. DeepMReye skiller ikke mellom seende og blinde blikk.
Retter opp en kritisk blindhet i bildeforskning og diagnostikk
Forskere og klinikere er enige om at øyesporing er et viktig tiltak for å undersøke hjernefunksjoner og sykdommer. Det å kombinere øyesporing med bilder av hjerneaktivitet, gir et kraftig forskningsverktøy.
Matthias Nau. Foto: privat
Øyesporing har imidlertid ennå ikke blitt en standard i hjerneavbildningslaboratorier eller på sykehus.
Matthias Nau forklarer:
– Den eksisterende øyesporingsmetoden med kamera er ganske kostbar. Den er vanskelig å bruke og altfor tidkrevende. Vi har verken tid, klinisk rutine eller kompetanse til å bruke disse kameraene til hver eneste pasient eller forskningsperson.
Dette er en ugunstig situasjon som er godt kjent blant eksperter. 90 prosent av MRI-studier av hjernen publisert i toppforskningsmagasiner de seneste to årene, sporet ikke øyebevegelser.
Av de ti prosent som brukte øyesporing, rapporterte halvparten om dårlig kvalitet på dataene, mens forskerne i de resterende fem prosent av studiene brukte øyesporingsdataene på en måte som ikke krever kamera.
– Det er mange problemer og artefakter knyttet til fMRI-studier av hjerneaktivitet som man gjør seg selv blind for hvis man ikke bruker øyesporing som korrektiv.
Ville bygge verktøyet selv
Det å bygge et kameraløst øyesporingsverktøy startet som et helgeprosjekt for studentene for omtrent tre år siden.
Markus Frey. Foto: Privat
– Vi ville bygge den pakken som vi selv ønsket oss, sier Matthias Nau. – En brukervennlig øyesporer som kan gjøre nytte av MR-signalet. En modell som kan forbedre tolkbarheten og robustheten av hjernebildeforskningen, og som ikke var belemret med de begrensningene som til nå har forhindret øyesporing fra å bli implementert som en standard i bildediagnostiseringsfeltet.
– Dette prosjektet har vært annerledes, reflekterer Matthias Nau.
– Vanligvis jobber jeg med noe i noen år. Jeg skriver tekster, publiserer, og så lukker jeg boken og går videre til et nytt prosjekt. Men dette prosjektet har bare så vidt begynt nå som vi publiserer det.
– Når brukerne begynner å bruke DeepMReye, så vil de ha spørsmål, de vil oppdage bugs, og nye versjoner og forbedringer må lages, sier han.
Et gratis verktøy med åpen kildekode, plug and play!
Kavli-forskerne har laget dette verktøyet med åpen kildekode, og det er fullt tilgjengelig fra GitHub.
– Du trenger ikke penger, noe utstyr eller opplært personell for å bruke denne modellen. Du trenger ikke å bruke av kostbar eksperiment-tid eller medisinsk konsultasjonstid for å sette opp og kalibrere noe kamera. Modellen kan også brukes i etterkant, etter at pasienten er godt hjemme, sier Matthias Nau.
Forskerne ønsker å gjøre verktøyet så brukervennlig som mulig. Her har de lagt ut brukeranbefalinger og svar på vanlige spørsmål.
– Det er forhåpentligvis plug and play for alle!, stråler Matthias Nau.
Referanse: Markus Frey, Matthias Nau, Christian Doeller “Magnetic resonance-based eye tracking using deep neural networks” Nature Neuroscience https://doi.org/10.1038/s41593-021-00947-w
