DJI_0156-Recovered
– Det kreves mye erfaring å navigere trygt gjennom sjøis. Det er nok flere skip i polare farvann nå, enn det er erfarne sjøis-kapteiner. Systemet vi har bygget kan gi bedre assistanse for de som manøvrerer skipene, sier NTNU-stipendiat Nabil Panchi.

Algoritmer i Arktis: Fjerner styggvær for å gjøre skipsfart sikrere

Skipsfarten i Arktis øker, og en dag vil også førerløse skip seile gjennom havområdene med skummel is og mye dårlig vær. Kunstig intelligens som kan fjerne regn, snø og tåke fra bilder kan øke sikkerheten for skip i ekstreme farvann.

Se for deg et selvkjørende skip på vei gjennom et av verdens villeste havområder. I Arktis ligger sjøisen på alle kanter. Tåke, snø eller regn kan gjøre sikten elendig. Akkurat slik en sjøkaptein ser omgivelsene rundt seg, vil autonome navigasjons-algoritmerI matematikk og databehandling er algoritme en fullstendig og nøyaktig beskrivelse av fremgangsmåten for løsning av en beregningsoppgave eller annen oppgave. oppfatte verden rundt skipet gjennom sensorer. Og sikten i dårlig vær er akkurat like grøtete for sensorene, som det er for sjøkapteiner.

Kvitter seg med dårlig sikt

Det er under slike forhold, at det ville vært ekstremt nyttig med noe som kunne viske styggværet vekk, slik at algoritmene kan se isforholdene rundt skipet like godt som på en solskinnsdag. Stipendiat Nabil Panchi ved Institutt for marin teknikk på NTNU har utviklet en algoritme som kan gjøre nettopp det.

– Vi har lagt på plass én ny bit av det store puslespillet for bedre modellering av sjøis, forklarer Panchi.

Dagens KI-algoritmer fungerer godt på rene bilder, men sliter når bildene blir uklare. Stipendiaten, som også er utdannet skipsarkitekt, har matet den nye algoritmen med tusenvis av bilder fra Arktis. Han har trent den til å rense vekk regn, snø og tåke, samt dråper på linsen til kameraer som mange av dagens skip er utstyrt med.

Bilde som viser sjøis og hav. Tatt fra skip i Arktisk farvann.Til sak om å trene algoritmer til å fjerne styggvær. slik at skipsfarten i Arktis kan bli tryggere

Regn inn, klarvær ut. Når KI-modellen mates med et værbilde renser den vekk for eksempel regndråper, og får fram et mye klarere bilde av omgivelsene rundt skipet.

Nabil Panchi er tilknyttet prosjektet DigitalSeaIce, som jobber med samordning og digitalisering av sjøis-observasjoner i Arktis. Det overordnede målet er å få fram mer presise sjøis-modeller, og bedre forståelse av langsiktige variasjoner i isforholdene.

Forstå miljø via bilder

– Forskningen vår handler om å forstå miljøet i Arktis gjennom bruk av optiskeOptisk beskriver noe som har med synet å gjøre. Optisk kommunikasjon er overføring av tale, data eller video ved hjelp av synlige lyssignaler. Et optisk instrument er et redskap som bruker optikk, som speil, linser, teleskop og mikroskop. En optisk leser er et instrument som leser bilder og skrift fra papir og inn i en datamaskinbilder. Vi utvikler algoritmer som fungerer under alle værforhold, forklarer Panchi.

Forskningen hans bygger på flere tusen bilder tatt under et tokt med forskningsskipet Kronprins Haakon i Arktis, sommeren 2023.

Les mer: Bli med til Gakkelryggen!

Sammen med veilederen sin, førsteamanuensis Ekaterina Kim, publiserte han nylig artikkelen «Deep Learning Strategies for Analysis of Weather-Degraded Optical Sea Ice Images» i IEEE Sensors Journal.

To måter å rense vekk vær på

Panchi og Kim lanserer to måter å fjerne dårlig vær fra bilder på. Den ene bruker kunstig intelligensinformasjonsteknologi som justerer sin egen aktivitet og derfor tilsynelatende framstår som intelligent. Det arbeides spesielt mye med KI innen språkteknologi, tale- og bildegjenkjenning brukerinteraksjon og styring av fysiske prosesser(KI ) for å rense bildene slik at dagens algoritmer virker slik de skal. Den andre, litt mer effektive måten, er å utvikle nye algoritmer som fungerer i dårlig vær.

Overvåkning og førerløse fartøy

Algoritmer som kan rense bilder for vær er for lengst i bruk, men først og fremst i urbane strøk. De benyttes for eksempel til å utvikle selvkjørende fartøy, og innen sikkerhet og kameraovervåkning.

skip i isen i Arktis. Til sak om å trene algoritmer til å fjerne styggvær, slik at skipsfarten i Arktis kan bli tryggere

På tokt. Stipendiat Nabil Panchi (til høyre) justerer kameraet, mens stipendiat Alexandra Pliss sprayer vanndråper på skjermen foran den ene kameralinsen. Foto: Daniel Albert, SINTEF.

Dagens algoritmer for analyser av sjøis, bygger i stor grad på bilder tatt fra skip under gunstige værforhold. Bilder fra Arktis blir ofte grøtete av tåke, regn og snø. Dermed blir de dårlig kost for algoritmene som er utviklet for å forstå akkurat disse omgivelsene.

Algoritmene må trenes opp til å analysere hva slags istyper som omgir skipet. Da kan de vise hvor det er trygt å bryte igjennom isen, og hvor skipet bør styre unna.  Men for å kunne fjerne tåke og regndråper, må de også trenes til å rense vær-påvirkede sjøis-bilder.

Åpent datasett med havisbilder

Portrett av kvinne med briller og mørkt hår. Til sak om å trene algoritmer til å fjerne styggvær, slik at skipsfarten i Arktis kan bli tryggere

Ekaterina Kim. Foto: Thor Nielsen

Så langt er dette et forskningsfelt som har fått lite oppmerksomhet. Problemet har vært begrenset tilgang på klare bilder fra Arktis – til nå. Panchis veileder Ekaterina Kim har jobbet mye i Arktis. De senere årene har hun interessert seg for å ta i bruk KI for å kunne løse noen av utfordringene i polare strøk.

Les mer: Hva slags havis er det? Spør Knut!

Nå har de to NTNU-forskerne lagt datasettet SeaIceWeather med tusenvis av bilder åpent ut på nett. Dette er det aller første åpne datasettet for sjøis.

Vil gi sikrere seilaser

– Slike, åpent tilgjengelige datasett finnes knapt. Vi håper de kan bidra i utviklingen av fremtidig, værbestandig teknologi, sier Panchi.

NTNU-forskerne håper at datasettet både tas i bruk av flere, og at flere inspireres til å samle inn slike bilder. Brukerne er særlig forskere som utvikler modeller for sjøis og navigasjon, eller dynamiske  posisjoneringssystemer.Dynamisk posisjonering (DP), er en metode for å holde skip og halvt nedsenkbare plattformer i nøyaktig samme posisjon, kun ved bruk av fartøyets propeller og ror. Sentralt i DP-systemet er en matematisk modell som beregner hvordan ror og propeller må styres for å holde fartøyet eller plattformen opp mot miljøkrefter som vind, strøm og bølger. Disse systemene må virke uansett vær, og jo flere bilder algoritmene får trene på, jo mer nøyaktig blir overvåkning, isvarsling og navigering.

Og det trengs.

Det er nok flere skip i polare farvann nå, enn det er erfarne sjøis-kapteiner. Systemet vi har bygget kan gi bedre assistanse for de som manøvrerer skipene.

Flere skip – og uerfarne kapteiner

Global oppvarming smelter mer av isen som tidligere stengte de nordligste farvannene for skipstrafikk. Nå velger stadig flere rederier de nye, isfrie rutene. Mellom 2013 og 2019 økte skipstrafikken i Arktis med 25 prosent.

– Det kreves mye erfaring å navigere trygt gjennom sjøis. Det er nok flere skip i polare farvann nå, enn det er erfarne sjøis-kapteiner. Systemet vi har bygget kan gi bedre assistanse for de som manøvrerer skipene, sier Nabil Panchi.

Sjøisen er blitt tynnere. Den sprekker lettere opp og kan lage massive isrygger, eller skrugarder. Fra skipsbroen kan du kanskje se den ene meteren som stikker opp av overflaten, men ikke de 4-5 meterne som stikker ned i dypet. Muligheten for bulker og skrogskader er stor. 

Skipsrevolusjonen skjer

Samtidig går utviklingen mot autonom skipsfart. Det kan revolusjonere hele næringen – og gjøre den både sikrere og mer effektiv. Fortune Business Insights anslår at det globale markedet for førerløse skip vil dobles, fra  6.11 milliarder USD i år, til 12.3 milliarder USD i år 2032.

– Vi forventer mer autonom teknologi på skip som navigerer gjennom farvann med mye is. I ekstreme arktiske omgivelser må systemene være absolutt pålitelige, sier Ekaterina Kim.

30 dager med datafangst

Nabil Panchi har trent algoritmene på to bildedata-sett. Det ene er hentet fra bildebaser på nettet, det andre samlet inn under GoNorth-toktet. Han monterte to kameraer rett under hverandre på dekk på den ene skipssiden. Det øverste hadde fri sikt, foran det nederste monterte de en gjennomsiktig skjerm, som ble sprayet med vann for å etterligne regndråper på linsen.

Illustrasjon av forskningsoppsett. Til sak om å trene algoritmer til å fjerne styggvær,slik at skipsfarten i Arktis kan bli tryggere

Oppsettet for datainnsamling . Det øverste kameraet tar rene bilder, det nederste tar bilder med regndråper foran linsen. Illustrasjon: Nabil Panchi. Bakgrunnsbilde: Daniel Albert, SINTEF/GoNorth.

Gjennom 30 dager samlet han inn tusenvis av bildepar, hvert par bestod av ett rent bilde og ett med kunstig regnvær.

Slik trenes algoritmene

I alt teller datasettene over 4 600 rene bilder, de fleste fra toktet. Ved hjelp av algoritmer laget de syv vær-varianter for hvert rent bilde: Små, middels og store snøfnugg, regnvær, tåke, og ekte, og simulerte regndråper på kameralinsen.
Ut fra dette lagde de to datasett. Det ene får fram bilder som forteller hva slags is som befinner seg rundt skipet. Det andre deler isen inn i ulike kategorier, som isflak, tallerken-is, issørpe, drivis, og så videre.

Forskerne lot tre forskjellige tilgjengelige algoritmer som renser bilder, få trene på datasettene. Når de sammenligner resultatene med de rene bildene, ser de tydelig hvilke algoritmer som er mest treffsikre for de ulike værtypene.

Utvidet virkelighet

Begrensningene i metoden er at alle bilder er tatt i fullt dagslys, og med kun tre typer værforhold. Siden Arktis ligger i mørke fra september til mars, bør det strengt tatt, samles inn tilsvarende bilder vinterstid, ifølge stipendiat Nabil Panchi. Men, det er også fullt mulig å utvide virkeligheten.Utvidet virkelighet (AR -Augmented reality) betyr at virkeligheten kombineres med det digitale. Et datagenerert bilde kan legges over den fysiske verden du ser rundt deg og skape for eksempel et kunstig vinter- eller nattemørke i de bildene som allerede er samlet inn.
– Foreløpig er det nok forskere som kan utnytte det vi har gjort. Kanskje tar det inntil 5 år før modellene kan tas i bruk kommersielt. Da må de ha en kvalitet som gjør at de kan være en fullt pålitelig assistent for skipsledelsen.

Vil bety mindre utslipp

De største skipene bruker enormt med drivstoff. Når is skal brytes, må de av og til gå flere ganger frem og tilbake for å komme gjennom. Det krever mye energi.

isbjørn på isflak. Til sak om å trene algoritmer til å fjerne styggvær, slik at skipsfarten i Arktis kan bli tryggere

En bonus ved å jobbe på en isbryter, er muligheten til å hilse på nysgjerrige isbjørner. Foto: Nabil Panchi, NTNU.

– Om du fullt ut forstår forholdene som råder rundt båten, kan du eller KI, planlegge ruten og spare både tid, krefter og utslipp. Det vil også gjøre skipsfarten sikrere, sier Panchi.

– Stadig flere tankskip med flytende naturgass og annen last seiler i Arktis. Så langt har det ikke vært uhell med oljeutslipp, men skjer det, kan følgene bli alvorlige, legger han til.  

Mye ubrukt bildedata

Overvåkning av polare farvann er også viktig for å følge med på klimaendringene. Mange skip har kameraer og sensorer som overvåker seilingskurs. Flere skip gir flere bilder, men lite er tilgjengelige online. De fleste havner i maritime dataarkiver. Med unntak for en og annen forsikringssak blir de aldri brukt, ifølge Panchi.

Grafisk illustrasjon av skip i is. Til sak om å trene algoritmer til å fjerne styggvær, slik at skipsfarten i Arktis kan bli tryggere

Et KI-basert system for sjøis-analyser hjelper mannskapet til å forstå hva som befinner seg rundt skipet. – Vi kan bruke denne informasjonen til å utvikle avanserte systemer for å unngå kollisjoner, for tryggere navigasjon og best mulige seilingsruter. Det siste vil også gi mindre utslipp, sier stipendiat Nabil Panchi. Illustrasjon: Nabil Panchi

– Vi ser store muligheter i å hente nyttige data ut fra disse bildene. Ett av målene våre er å utvikle algoritmer som kan forbedres i sanntid, på stedet. Bedre overvåkning av Arktis vil komme samfunnet til gode. Det gir bedre grunnlag for utforming av politikk, og for bærekraftig og trygg utforsking av dette området, sier NTNU-stipendiat Nabil Panchi.

Referanse:
Nabil Panchi, Ekaterina Kim: Deep Learning Strategies for Analysis of Weather-Degraded Optical Sea Ice Images. DOI:  https://doi.org/10.1109/jsen.2024.3376518