Autonome fartøy må bli mer redde for å dø

8. november 2018 kl. 0400: Fregatten KNM «Helge Ingstad» er på vei sørover i det klare vintermørket i Hjelteforden nordvest for Bergen.

Den er på vei mot Skottland etter en stor Nato-øvelse i Trøndelag. Skipet, med 137 mennesker ombord, sender ikke ut AIS-signaler (automatisk identifikasjonssystem), men den kan sees på radar av andre skip på fjorden.

Klokka 0401 krasjer den 133 meter lange fregatten med det 250 meter lange tankskipet «TS Sola». Tankskipet er på vei mot England fullastet med råolje.

KNM Helge Ingstad etter en kollisjon med et tankfartøy. Foto: Forsvaret VIS MER

Sammenstøtet flerrer opp nesten 50 meter av styrbord side til «Helge Ingstad».

Manuelt og menneskestyrt

Sovende soldater bråvåkner i lugarer hvor iskaldt sjøvann strømmer inn, og elektriske ledninger og andre kabler stikker ut. Det er hell i uhell at alle blir evakuert, at liv ikke går tapt og at “kun” syv ombord skades.

Tankskipet har kun fått noen få skrammer, og en miljøkatastrofe er unngått.

På morgennyhetene samme dag får vi høre lydloggen fra hendelsen. Hvordan er det mulig å ikke få øye på et 250 meter stort tankskip på kollisjonskurs?

Det er mange sammensatte årsaker til ulykken, men ville det samme skjedd om «Helge Ingstad» hadde vært instrumentert med høyere nivåer av autonomi og kunstig intelligens (KI)?

Derom er det ulike oppfatninger.

KI kan redusere mulige ulykker

Ingrid Bouwer Utne er professor i marin sikkerhet og risiko på Institutt for marin teknikk, NTNU. Hun forsker på utviklingen av sikrere og mer intelligente autonome systemer – både i skipsfart, undervannsrobotikk og flygende droner. Utnes forskning tilhører Fjordlab-delen av Norsk havteknologisenter.

Utne tror at mer KI i maritim sektor kunne ha bidratt til bedre forståelse av situasjonen, både på broen på Helge Ingstad og hos Fedje sjøtrafikksentraltjeneste, som overvåker og regulerer skipstrafikken i området.

– Hverken avtroppende eller påtroppende vaktsjef på Helge Ingstad forsto at TS Sola var et tankskip. Operatøren på Fedje glemte å plotte Helge Ingstad når skipet ankom det som kalles aktsomhetsområdet.

– Kunstig intelligens kan bidra til mer informasjon om omgivelsene og dermed bedre forståelse av en situasjon, sier Ingrid B. Utne. Her er hun i ferd med å slippe ut en autonom undervannsrobot i Trondheimsfjorden. Foto: Ole Martin Wold VIS MER

Hun tenker at dette er eksempler på at bedre beslutningsstøtte kunne ha redusert sannsynligheten for slike misforståelser og forglemmelser, selv om KI og autonome systemer alene ikke er tilstrekkelig risikoreduserende tiltak.

Utne er tidligere operasjonsbefal på fregatt i Sjøforsvaret. Hun har vært medlem i en norsk offentlig utredning (NOU) som så på cruisetrafikk i norske farvann – etter at «Viking Sky» nær gikk på grunn i storm i Hustadvika i 2019 med nesten 1400 personer ombord.

I to av forskningsprosjektene hun har jobbet med de senere årene er målet å innlemme risikoforståelse i «tenkningen» til autonome systemer:

KI må kunne resonnere mer som mennesker

I ORCAS-prosjektet handler forskningen om å videreutvikle autonome skip. Kongsberg Maritime og Det norske Veritas er partnere. I UNLOCK-prosjektet er autonomiforskningen rettet mot flygende droner og undervannsroboter. 

Målet er blant annet å få disse til å gjøre inspeksjoner i vanskelig tilgjengelige områder, som i lukkede tanker og under is.

– Prosjektene handler om å koble sammen måten roboter sanser risiko på med kontroll slik at risikovurdering blir en mer integrert del av beslutningstakningen for roboter, forklarer Utne.

Med mer autonome systemer som opererer uavhengig av en menneskelig operatør, må det lages gode risikoevalueringer og vurderinger.

– Skal man gjøre roboter mer intelligente er det naturlig å tenke at de må kunne resonnere mer som mennesker. De må kunne ta innover seg risiko.

– Mye god forskning skjer i skjæringspunktet mellom ulike disipliner. Det krever kreative og åpne folk.

Rett i forkant av «Helge Ingstad»-ulykken trente soldatene på fregatten på optisk navigasjon.

– Da tankskipet TS Sola kalte opp vaktsjefen på Helge Ingstad på radiosamband for å be om kursendring, forsto ikke vaktsjefen at tankskipet beveget seg, og at det var kollisjonsfare.

Havarikommisjonens første rapport etter ulykken viser i tillegg at Fedje sjøtrafikksentrals automatiske plotte-, varslings- og alarmfunksjoner ikke var gode nok.

– KI kan bidra til mer informasjon om omgivelsene og dermed bedre forståelse av situasjonen, gitt at systemene faktisk anvendes og er brukervennlige. Men balansen mellom manuell styring av en menneskelig operatør og autonom kontroll er krevende, sier Utne.

• Les også: Det Nye Atlantis – stadig mer av verden havner under vann

Lavt nivå

Utne opplever at autonomiutviklingen fremdeles er på et relativt lavt modenhetsnivå, selv om det nå snakkes om en akselerasjon i bruken av kunstig intelligens.

– Det er ikke uvanlig at de som designer og programmerer systemene jobber lenge med kontrollsystemer og algoritmer, og så kommer risikoanalyser sent inn i utviklingsprosessen.

Det unike i forskningsprosjektene ORCAS og UNLOCK er at avanserte risikoanalyser og modeller danner grunnlaget for utvikling av algoritmer i kontrollsystemet tidlig programmeringsfasen. Dermed blir risikoanalysene mer integrert i systemet fordi det faktisk lages funksjoner som gjør roboter i stand til å ta sikrere beslutninger.

– Jeg kjenner ikke til at andre jobber på denne måten selv om mange snakker om KI, autonomi og risiko. Det har ikke vært noe systematisk eller faglig grunnlag for å forstå hva en risikoanalytiker skal bidra med i programmering av autonome systemer. Folk jobber litt i faglige siloer.

• Les også: Selvkjørende ferge – først med prøvedrift

Viktig å koble inn risikoanalytikere

Som forsker i NTNU AMOSNTNU AMOS står for Autonome marine operasjoner og systemer – og var et senter for tre av instituttene på NTNU fram til i fjor, opplevde hun at forskerne fikk til å samarbeide på tvers av fagdisipliner. Dette var svært viktig for utviklingen av hennes forskning.

– Kybernetikere og KI-folk sliter gjerne litt med å forstå hva risikoanalytikere kan bidra med, men i AMOS skjønte man tidlig at vi må jobbe tverrfaglig og at det risikofaglige er viktig.

– Helge Ingstad-ulykken viste oss hvor sammensatte årsaksforholdene og risikofaktorene er.

Selv om utviklingen av roboters forståelse for risiko i første omgang hovedsakelig er for marine områder, så kan metodene og resultatene brukes både på land, vann og i luft.

– Mye god forskning skjer i skjæringspunktet mellom ulike disipliner. Det krever kreative og åpne folk.

• Les også: Trening på havbunnen

Risiko handler om mer enn avstand

I prosjektene ORCAS og UNLOCK er det laget risikomodeller. Modellene representerer risiko for ulike operasjoner og systemer. Disse er igjen koblet til måter å kontrollere farkostene på.

– Vi har kjørt simuleringer med virkelige farkoster, og gjennomført eksperimenter på blant annet Grethe – et ubemannet overflatefartøy eid av Institutt for marin teknikk ved NTNU.

I dette kontrollrommet kan man følge med på operasjoner gjort av ulike typer roboter samtidig og i nåtid, både undervannsroboter, ubemannete overflatefartøy og droner. Foto: Ole Martin Wold VIS MER

Neste steg er å videreutvikle og teste modellene og algoritmene mer grundig i flere feltstudier og med flere farkoster samtidig. Det er også behov for å bedre situasjonsforståelsen til de menneskelige operatørene. Utne har nylig fått et ERC-stipend på 29 millioner kroner for å forske på dette. 

– Å koble inn risikofagfeltet når det skal lages beslutningssystemer til robotene er nytt. En typisk risikofaktor mange som jobber med kontroll og kunstig intelligens allerede benytter, er avstand mellom fartøy. Men risiko handler om mye mer.

Utne nevner eksempelvis grunnstøting, brann, kantringer, og skip som kan synke. For å forebygge slike hendelser nytter det ikke bare med måling av avstand mellom skip.

– Helge Ingstad-ulykken viste oss hvor sammensatte årsaksforholdene og risikofaktorene er.

Utne mener det er behov for en mye mer systematisk tilnærming for å avdekke, analysere og modellere risikofaktorer.

– Det er det som gjør systemer smartere. Modeller av risiko gir et mer helhetlig bilde og kan bidra til bedre situasjonsforståelse, framfor at man for ekempel lager algoritmer som ser på minimumsavstander. Hvorfor ikke variere og bruke ulike risikomodeller som avgjør om det skal gå fort, sakte, og som tar inn flere faktorer – som for eksempel værmeldingen?

Neste generasjon fregatter må også kunne navigere optisk i manuell modus, men vil forhåpentligvis også ha mer intelligente systemer som kan si fra på en bedre måte hvis menneskene ombord ikke oppfatter at de er på kollisjonskurs med et annet skip.

– Mer intelligente systemer vil bedre forstå mulige risikofaktorer flere steg framover i tid – hvor døden er den ultimate risikofaktoren, avslutter Utne.

Kilder:
Torben, Tobias Rye: Formal approaches to design and verification of safe control systems for autonomous vessels

Blindheim, Simon Vinding: Risk-aware decision-making and control of autonomous ships

Rothmund, Sverre Velten: Risk awareness and control of autonomous robots

Bremnes, Jens Einar: Towards Robust Autonomy of Underwater Vehicles in Arctic Operations