Algoritmer i Arktis: Fjerner styggvær for å gjøre skipsfart sikrere
Skipsfarten i Arktis øker, og en dag vil også førerløse skip seile gjennom havområdene med skummel is og mye dårlig vær. Kunstig intelligens som kan fjerne regn, snø og tåke fra bilder kan øke sikkerheten for skip i ekstreme farvann.
Se for deg et selvkjørende skip på vei gjennom et av verdens villeste havområder. I Arktis ligger sjøisen på alle kanter. Tåke, snø eller regn kan gjøre sikten elendig. Akkurat slik en sjøkaptein ser omgivelsene rundt seg, vil autonome navigasjons-algoritmerI matematikk og databehandling er algoritme en fullstendig og nøyaktig beskrivelse av fremgangsmåten for løsning av en beregningsoppgave eller annen oppgave. oppfatte verden rundt skipet gjennom sensorer. Og sikten i dårlig vær er akkurat like grøtete for sensorene, som det er for sjøkapteiner.
Kvitter seg med dårlig sikt
Det er under slike forhold, at det ville vært ekstremt nyttig med noe som kunne viske styggværet vekk, slik at algoritmene kan se isforholdene rundt skipet like godt som på en solskinnsdag. Stipendiat Nabil Panchi ved Institutt for marin teknikk på NTNU har utviklet en algoritme som kan gjøre nettopp det.
– Vi har lagt på plass én ny bit av det store puslespillet for bedre modellering av sjøis, forklarer Panchi.
Dagens KI-algoritmer fungerer godt på rene bilder, men sliter når bildene blir uklare. Stipendiaten, som også er utdannet skipsarkitekt, har matet den nye algoritmen med tusenvis av bilder fra Arktis. Han har trent den til å rense vekk regn, snø og tåke, samt dråper på linsen til kameraer som mange av dagens skip er utstyrt med.
Nabil Panchi er tilknyttet prosjektet DigitalSeaIce, som jobber med samordning og digitalisering av sjøis-observasjoner i Arktis. Det overordnede målet er å få fram mer presise sjøis-modeller, og bedre forståelse av langsiktige variasjoner i isforholdene.
Forstå miljø via bilder
– Forskningen vår handler om å forstå miljøet i Arktis gjennom bruk av optiskeOptisk beskriver noe som har med synet å gjøre. Optisk kommunikasjon er overføring av tale, data eller video ved hjelp av synlige lyssignaler. Et optisk instrument er et redskap som bruker optikk, som speil, linser, teleskop og mikroskop. En optisk leser er et instrument som leser bilder og skrift fra papir og inn i en datamaskinbilder. Vi utvikler algoritmer som fungerer under alle værforhold, forklarer Panchi.
Forskningen hans bygger på flere tusen bilder tatt under et tokt med forskningsskipet Kronprins Haakon i Arktis, sommeren 2023.
Les mer: Bli med til Gakkelryggen!
Sammen med veilederen sin, førsteamanuensis Ekaterina Kim, publiserte han nylig artikkelen «Deep Learning Strategies for Analysis of Weather-Degraded Optical Sea Ice Images» i IEEE Sensors Journal.
To måter å rense vekk vær på
Panchi og Kim lanserer to måter å fjerne dårlig vær fra bilder på. Den ene bruker kunstig intelligensinformasjonsteknologi som justerer sin egen aktivitet og derfor tilsynelatende framstår som intelligent. Det arbeides spesielt mye med KI innen språkteknologi, tale- og bildegjenkjenning brukerinteraksjon og styring av fysiske prosesser (KI ) for å rense bildene slik at dagens algoritmer virker slik de skal. Den andre, litt mer effektive måten, er å utvikle nye algoritmer som fungerer i dårlig vær.
Overvåkning og førerløse fartøy
Algoritmer som kan rense bilder for vær er for lengst i bruk, men først og fremst i urbane strøk. De benyttes for eksempel til å utvikle selvkjørende fartøy, og innen sikkerhet og kameraovervåkning.
Dagens algoritmer for analyser av sjøis, bygger i stor grad på bilder tatt fra skip under gunstige værforhold. Bilder fra Arktis blir ofte grøtete av tåke, regn og snø. Dermed blir de dårlig kost for algoritmene som er utviklet for å forstå akkurat disse omgivelsene.
Algoritmene må trenes opp til å analysere hva slags istyper som omgir skipet. Da kan de vise hvor det er trygt å bryte igjennom isen, og hvor skipet bør styre unna. Men for å kunne fjerne tåke og regndråper, må de også trenes til å rense vær-påvirkede sjøis-bilder.
Åpent datasett med havisbilder
Så langt er dette et forskningsfelt som har fått lite oppmerksomhet. Problemet har vært begrenset tilgang på klare bilder fra Arktis – til nå. Panchis veileder Ekaterina Kim har jobbet mye i Arktis. De senere årene har hun interessert seg for å ta i bruk KI for å kunne løse noen av utfordringene i polare strøk.
Les mer: Hva slags havis er det? Spør Knut!
Nå har de to NTNU-forskerne lagt datasettet SeaIceWeather med tusenvis av bilder åpent ut på nett. Dette er det aller første åpne datasettet for sjøis.
Vil gi sikrere seilaser
– Slike, åpent tilgjengelige datasett finnes knapt. Vi håper de kan bidra i utviklingen av fremtidig, værbestandig teknologi, sier Panchi.
NTNU-forskerne håper at datasettet både tas i bruk av flere, og at flere inspireres til å samle inn slike bilder. Brukerne er særlig forskere som utvikler modeller for sjøis og navigasjon, eller dynamiske posisjoneringssystemer.Dynamisk posisjonering (DP), er en metode for å holde skip og halvt nedsenkbare plattformer i nøyaktig samme posisjon, kun ved bruk av fartøyets propeller og ror. Sentralt i DP-systemet er en matematisk modell som beregner hvordan ror og propeller må styres for å holde fartøyet eller plattformen opp mot miljøkrefter som vind, strøm og bølger. Disse systemene må virke uansett vær, og jo flere bilder algoritmene får trene på, jo mer nøyaktig blir overvåkning, isvarsling og navigering.
Og det trengs.
Det er nok flere skip i polare farvann nå, enn det er erfarne sjøis-kapteiner. Systemet vi har bygget kan gi bedre assistanse for de som manøvrerer skipene.
Flere skip – og uerfarne kapteiner
Global oppvarming smelter mer av isen som tidligere stengte de nordligste farvannene for skipstrafikk. Nå velger stadig flere rederier de nye, isfrie rutene. Mellom 2013 og 2019 økte skipstrafikken i Arktis med 25 prosent.
– Det kreves mye erfaring å navigere trygt gjennom sjøis. Det er nok flere skip i polare farvann nå, enn det er erfarne sjøis-kapteiner. Systemet vi har bygget kan gi bedre assistanse for de som manøvrerer skipene, sier Nabil Panchi.
Sjøisen er blitt tynnere. Den sprekker lettere opp og kan lage massive isrygger, eller skrugarder. Fra skipsbroen kan du kanskje se den ene meteren som stikker opp av overflaten, men ikke de 4-5 meterne som stikker ned i dypet. Muligheten for bulker og skrogskader er stor.
Skipsrevolusjonen skjer
Samtidig går utviklingen mot autonom skipsfart. Det kan revolusjonere hele næringen – og gjøre den både sikrere og mer effektiv. Fortune Business Insights anslår at det globale markedet for førerløse skip vil dobles, fra 6.11 milliarder USD i år, til 12.3 milliarder USD i år 2032.
– Vi forventer mer autonom teknologi på skip som navigerer gjennom farvann med mye is. I ekstreme arktiske omgivelser må systemene være absolutt pålitelige, sier Ekaterina Kim.
30 dager med datafangst
Nabil Panchi har trent algoritmene på to bildedata-sett. Det ene er hentet fra bildebaser på nettet, det andre samlet inn under GoNorth-toktet. Han monterte to kameraer rett under hverandre på dekk på den ene skipssiden. Det øverste hadde fri sikt, foran det nederste monterte de en gjennomsiktig skjerm, som ble sprayet med vann for å etterligne regndråper på linsen.
Gjennom 30 dager samlet han inn tusenvis av bildepar, hvert par bestod av ett rent bilde og ett med kunstig regnvær.
Slik trenes algoritmene
I alt teller datasettene over 4 600 rene bilder, de fleste fra toktet. Ved hjelp av algoritmer laget de syv vær-varianter for hvert rent bilde: Små, middels og store snøfnugg, regnvær, tåke, og ekte, og simulerte regndråper på kameralinsen.
Ut fra dette lagde de to datasett. Det ene får fram bilder som forteller hva slags is som befinner seg rundt skipet. Det andre deler isen inn i ulike kategorier, som isflak, tallerken-is, issørpe, drivis, og så videre.
Forskerne lot tre forskjellige tilgjengelige algoritmer som renser bilder, få trene på datasettene. Når de sammenligner resultatene med de rene bildene, ser de tydelig hvilke algoritmer som er mest treffsikre for de ulike værtypene.
Utvidet virkelighet
Begrensningene i metoden er at alle bilder er tatt i fullt dagslys, og med kun tre typer værforhold. Siden Arktis ligger i mørke fra september til mars, bør det strengt tatt, samles inn tilsvarende bilder vinterstid, ifølge stipendiat Nabil Panchi. Men, det er også fullt mulig å utvide virkeligheten.Utvidet virkelighet (AR -Augmented reality) betyr at virkeligheten kombineres med det digitale. Et datagenerert bilde kan legges over den fysiske verden du ser rundt deg og skape for eksempel et kunstig vinter- eller nattemørke i de bildene som allerede er samlet inn.
– Foreløpig er det nok forskere som kan utnytte det vi har gjort. Kanskje tar det inntil 5 år før modellene kan tas i bruk kommersielt. Da må de ha en kvalitet som gjør at de kan være en fullt pålitelig assistent for skipsledelsen.
Vil bety mindre utslipp
De største skipene bruker enormt med drivstoff. Når is skal brytes, må de av og til gå flere ganger frem og tilbake for å komme gjennom. Det krever mye energi.
– Om du fullt ut forstår forholdene som råder rundt båten, kan du eller KI, planlegge ruten og spare både tid, krefter og utslipp. Det vil også gjøre skipsfarten sikrere, sier Panchi.
– Stadig flere tankskip med flytende naturgass og annen last seiler i Arktis. Så langt har det ikke vært uhell med oljeutslipp, men skjer det, kan følgene bli alvorlige, legger han til.
Mye ubrukt bildedata
Overvåkning av polare farvann er også viktig for å følge med på klimaendringene. Mange skip har kameraer og sensorer som overvåker seilingskurs. Flere skip gir flere bilder, men lite er tilgjengelige online. De fleste havner i maritime dataarkiver. Med unntak for en og annen forsikringssak blir de aldri brukt, ifølge Panchi.
– Vi ser store muligheter i å hente nyttige data ut fra disse bildene. Ett av målene våre er å utvikle algoritmer som kan forbedres i sanntid, på stedet. Bedre overvåkning av Arktis vil komme samfunnet til gode. Det gir bedre grunnlag for utforming av politikk, og for bærekraftig og trygg utforsking av dette området, sier NTNU-stipendiat Nabil Panchi.
Referanse:
Nabil Panchi, Ekaterina Kim: Deep Learning Strategies for Analysis of Weather-Degraded Optical Sea Ice Images. DOI: https://doi.org/10.1109/jsen.2024.3376518