Vil hjelpe blinde til å «se» ved hjelp av lyd

Jeg lukker øynene for å teste en ny type «briller» for blinde. Brillene er koblet til hodetelefoner som skal tolke omgivelsene for meg. Når jeg beveger hodet fra side til side, fanger ørene opp, via hodetelefonene, lyder med forskjellig frekvens. De ulike lydene tilsvarer forskjellige farger. Litt etter litt, og overraskende raskt, danner jeg meg et omtrentlig indre bilde av omgivelsene.

Dette er Colorophone, et bærbart sensorsystem som kan hjelpe blinde med å orientere seg i hverdagen.

Teknologien er utviklet av Dominik Osinski, universitetslektor ved Institutt for elektrofag og fornybar energi, NTNU.

– Ideen kom til meg på bussen. Jeg satt og så ut av vinduet og tenkte på alle de flotte fargene som fòr forbi – og tenkte på at blinde ikke kan se dette. Så begynte det «å koke» i hodet, og to døgn senere hadde jeg prototypen klar, forteller Dominik Osinski.

Studenter lager ny design

Prototypen så imidlertid verken særlig kul eller brukervennlig ut. Osinski lanserte ideen med produktutvikling for sine bachelorstudenter, og ett av student-teamene tente på oppgaven. I samarbeid med Norges Blindeforbund har de videreutviklet teknologien og lagd nytt design på Colorophone-utstyret.

Colorohone-prototypen. Foto: Kawan Kandili VIS MER

Studentenes oppgave har vært å designe og bygge hardware-delen av systemet, og de har programmert prosesseringsenheten myRIO (Real-Time FPGA system) som forvandler lys og farge til lydbølger.

Prosjektet er nå blant de seks finalistene for Northern European Student Design Contest. Studentene har kvalifisert seg til finalen i skarp konkurranse med studentprosjekter fra 30 andre europeiske land.  Vinneren kåres på NI Engineering Impact Awards event i London den 29. november.

Det er studentene Sindre Bjørsvik, Kawan Kandili, Jørgen Kapstad og Edwin de Pano som har jobbet med porsjektet.

Lett etter løsninger i over 100 år

Isaac Newton er blant dem som utarbeidet en teori om sammenhengen mellom farger og lyd. Men det fulgte noen begrensninger med teorien. Ill: Thinkstock VIS MER

Å omsette farger til lyd har vært en utfordring som mange forskere har brynt seg på. Sir Isaac Newton er blant dem som utarbeidet en teori om sammenhengen mellom farger og lyd. Newton definerte syv primærfarger: rød, gul, grønn, blå, indigo, oransje og fiolett. Disse syv fargene koblet han sammen med syv noter. Problemet med denne metoden var at den bare fungerte for folk med absolutt gehør, og at metoden ikke kunne kode og gjengi nyansefarger.

– Det første elektroniske hjelpemiddelet for blinde ble utviklet allerede rundt 1898. I dag, mer enn 100 år senere, finnes det ikke et eneste anerkjent e-hjelpemiddel for blinde. Det er stor kontrast mellom utvikling av forbrukerelektronikk for folk flest – og utvikling av tilgjengelige elektroniske hjelpemidler for de med særskilte behov, understreker Dominik Osinski.

Én av de løsningene som eksisterer, er øyeimplantater hvor en matrise av elektroder kobles direkte til synsnerven. En slik protese er imidlertid svært dyr og krever kirurgiske inngrep. Men tanke på at 90 prosent av verdens blinde bor i fattige land, betyr det at svært få har tilgang på en slik løsning.

Sensorisk substitusjon gir et håp

Systemer for sensorisk substitusjon, som Colorophone, kan være et billig alternativ. Sensorisk substitusjon betyr å sende informasjon til hjernen gjennom en alternativ sensorisk kanal. I dette tilfellet via ørene i stedet for øynene.

– Nye forskningsresultater innen nevrovitenskap viser at hjernen er en mer oppgaveorientert maskin enn sensorisk maskin. Hjernen er mer fleksibel enn vi trodde før. Den er på sett og vis vår «plug & play-enhet» og kan tilpasse seg til å analysere informasjon som kommer fra ulike sanser. Vi kan aktivere synssentret i hjernen, visual cortex, ved å sende visuell informasjon omkodet som lyd, forklarer Osinski.

Den største utfordringen med systemer for sensorisk substitusjon som skal kode bilder til lyd, er forskjellen i mengde informasjon som blir overført gjennom synet og hørselen. Hjernen får rundt 100 ganger mer informasjon gjennom øynene enn gjennom ørene.

– Derfor må vi kode det viktigste, og det er fargene, sier Osinski.

Colorophone-systemet koder i tillegg også avstand som tikk-lyder som forbedrer orienteringsevnen.

Rask innlæring

Sindre Bjørvik viser Real-Time Colorohone-prototype. Foto: Kawan Kandili VIS MER

Dominik Osinskis metode og oppfinnelse er inspirert av det menneskelige synssystemet. Prototypen i Colorophone består av et par briller med innebygd kamera, en avstandssensor, AfterShokz hodetelefoner og en prosesseringsenhet (myRIO).

Kameraet tar bilde og sender digitale RGB-verdier (farger) til prosessanlegget. De ulike RGB-verdiene blir brukt til å lage en lydbølgeform, som sendes til hodetelefonene. Brukeren må lære seg å tolke lydfrekvensene for å kunne visualisere omgivelsene sine.

– Vår fargeoppfattelse kommer fra sammenligning av responsene til forskjellige fargefølsomme celler kalt kjegler. Vi er utstyrt med tre forskjellige kjegletyper som har høy sensitivitet knyttet til lysbølgelengdene som vi oppfatter som fargene rød, grønn og blå, sier Osinski.

I Colorophones metode knyttes rød fargekomponent sammen med en høyfrekvent lyd, grønn fargekomponent med en midtfrekvent lyd, blå fargekomponent med en lavfrekvent lyd og hvit farge med lavmælt støy. Kodingsmetoden er utviklet basert på en psykologisk analyse av intuitive assosiasjoner mellom farge og lyd. Med de tre basisfargene rødt, grønt og blått (RGB), skapes andre farger i fargespekteret, og metoden gjør det mulig å representere alle mulige farger som lett gjenkjennelige lyder.

– Dette er en ny måte å oppleve farger på. Med dette systemet er vi i stand til å lytte til et stort spekter av farger, uten at brukeren trenger å lære et stort spekter av frekvenser, sier Dominik Osinski.

Under uttesting av metode og utstyr testpersonene greide å identifisere 14 farger etter 5 minutter av opplæringstid med effektiviteten på 98,6 prosent.

Billig å produsere

Verdens helseorganisasjon (WHO) hadde i 2014 et estimat på 285 millioner synshemmede mennesker i verden. Av disse er mer enn 39 millioner blinde, og mange av dem lever i fattige land.

– Vi håper at Colorophone-prosjektet vil bidra i utviklingen av en rimelig teknologi, som vil være tilgjengelig og overkommelig for mange, også for mennesker i fattige land, sier Sindre Bjørvik – en av studentene i Colorophone-teamet.

Komponentene i utstyret er rimelige

– Vi ønsker å utvikle et system som ikke bare er brukervennlig og forbedrer livskvalitet, men som sømløst integreres i brukerens hverdag. Det kan sammenliknes med lesebrillene som henger rundt halsen etter man har lest, sier Osinski.

Under uttesting av metode og utstyr greide testpersonene å identifisere 14 farger etter 5 minutter opplæringstid med effektivitet på 98,6 prosent.

Neste trinn blir å utvikle ny design av brillene med integrert blunkekontroll og en applikasjon som kan brukes på mobiltelefonen. Dominik Osinski håper på å skape et tverrfaglig prosjekt ved NTNU knyttet til den nye teknologien, både med tanke på design og brukervennlighet samt forskning for å forstå mer av det som skjer inne i hodet ved transformasjon av farger til lyd.

Han har allerede etablert samarbeid med psykologiforskere fra Storbritannia og Polen som har bygd opp et laboratorium for å forske på Colorophone.

– Forskningsmessig blir det veldig interessant å se om man kan forbedre kognisjon ved langtidsbruk av systemet.