Foto: Tre menn
Denne trioen fra Institutt for design er sentral i arbeidet med den nye NTNU Shore Control Center. F.v. vit.ass. Thomas Kaland, professor Ole Andreas Alsos og stipendiat Erik Veitch. Foto: Idun Haugan/NTNU

Tar kontroll over førerløse fartøy til havs

Hva må til for at det skal være trygt å sende et fartøy uten mannskap til sjøs? Hvordan skal fartøyene oppdage en kajakkpadler eller en fritidsbåt som roter seg inn i kursen til det førerløse fartøyet? Det skal et nytt senter for forskningsdrevet innovasjon, SFI AutoShip, finne svar på.

Norge setter seg i førersetet for å utvikle teknologi som brukes til å sende fartøy ut på oppdrag uten mannskap.

Noen av spørsmålene som må løses er hvilke kontrollsystemer som trengs for å skape trygg trafikk til sjøs for slike fartøyer og skal hvordan en førerløs skal ferge designes for at vi som passasjerer skal oppleve at det er trygt å gå ombord.

Dette er arbeidsområder som et tverrfaglig forskningsmiljø ved NTNU nå tar et dypdykk inn i.

Laboratorium i sjøkanten

Dette forskningsmiljøet som jobber med design og kontrollsystemer for førerløse fartøy, bygger nå opp en helt ny lab midt i et maritimt miljø, tett ved sjøen hvor de kan utvikle og teste ut ny teknologi nettopp der den skal brukes. NTNU Shore Control Center er navnet. 

Lokalene står snart klare til innflytting. Foto: Idun Haugan/NTNU

Nyhavna i Trondheim er et område fylt av gamle og nye industribedrifter. Vegg i vegg med ubåt-bunkeren Dora ligger Trondheim maritime senter, og det er her forskere, designere og teknologer er i sving med å bygge den tekniske infrastrukturen i den den nye laben.

Over 600 kvadratmeter med kontorer og møterom er klare til å ta imot studenter, stipendiater og forskere, men koronaen har satt innflyttingen på vent. I mellomtiden jobbes det med å rigge selve hjertet til forskningsmiljøet: En teknisk forskningslab som blir mer som kapteinens styrhus – plassert på landjorda.

Det menneskelige i teknologien

– Autonom transport er en teknologi som vi skal bygge opp og eksportere. Dette kommer til å bli en stor næring, og er noe vi skal leve av i framtiden, spår instituttleder Ole Andreas Alsos ved Institutt for design.

Det arbeidet han leder, er en del av et nystartet SFI – Senter for forskningsdrevet innovasjon – som består av mange samarbeidsparter fra universiteter og fra næringsliv. Slike SFI-er skaper fart og styrke i utvikling av nye fagfelt og ny teknologi.

Målet med SFI AutoShip er å sikre at norske aktører tar en ledende og førende rolle i utviklingen av autonome skip, nasjonalt og internasjonalt. Det er Institutt for teknisk kybernetikk som leder SFI AutoShip ved professor Mary-Ann Lundteigen.

Les mer om hele AutoShip-satsingen lenger ned i saken.

Institutt for design har det som kalles arbeidspakkeledelse i SFI-en for den delen som defineres som Human factors. Altså menneskelig faktorer.

– Vi skal sørge for menneskelighet i denne kunstig intelligens- og dataverdenen, sier Ole Andreas Alsos.

Verdens første testområde for førerløse fartøy

Vi skrur tiden fire år tilbake. Da ble Trondheimsfjorden innviet som verdens første testområde for førerløse fartøy. Dette inspirerte førsteamanuensis Egil Eide ved NTNUs Institutt for elektroniske systemer og et team av studenter til å bygge Norges første førerløse ferge. Den fikk navnet milliAmpére.

Ferga milliAmpére ble designet og bygd for å teste ut hvordan en kan frakte passasjerer over Kanalen i Trondheim, en strekning på om lag 100 meter. I tidligere tider sørget en fløttmann med robåt for å frakte passasjerer over Kanalen. milliAmpére-miljøet tok utgangspunkt i denne gamle tradisjonen da de utviklet en helt ny type fartøy.

milliAmpére er et pilotprosjekt som har vært under testing de siste tre årene. Den er 5 meter lang og 2,8 meter bred. Altså ikke veldig stor. 

Nå har Egil Eide i samarbeid med studenter og stipendiater tatt med seg erfaringene fra milliAmpére 1 og er i ferd med å bygge milliAmpére 2 som snart er ferdig. Den er dobbelt så lang og dobbelt så bred som forløperen, og inneholder langt mer teknisk utstyr og har et ganske annerledes design.

Selve skroget av aluminium er laget på et skipsverft på Frøya, og nå installerer Egil Eide teknisk utstyr sammen med montører og stipendiater. Om lag 20 masterstudenter og 3-4 stipendiater har bidratt til å utvikle teknologi og algoritmer til de førerløse fergene.

Illustrasjonsbilde: Førerløs ferge på Kanalen.

Slik vil den nye ferga som skal gå i trafikk over Kanalen i Trondheim se ut. Design: Petter Mustvedt, Institutt for design

Fyller ferga med teknologi

Egil Eide forteller at de høstet mange erfaringer fra den første utgaven. På versjon 2 fylles skroget store mengder teknologi.

Foto. Mann

Førsteamanuensis Egil Eide leder arbeidet med generasjon to av den førerløse ferga. Foto: Idun Haugan/NTNU

– En av erfaringene vi tok med oss fra den første utgaven er at det trengs masse skapplass til tekniske duppeditter. Nå fyller vi plassen under dekk med batterikasser, styresystem, ladere og flere kraftige datamaskiner.

Omkring på dekk monteres sensorer, kameraer, laser og radar.

– Erfaringene har blant annet lært oss hvordan sensorer og kameraer bør plasseres slik at passasjerer ikke skygger for dem, forklarer Eide.

Designerfaringer er også viktige.

– Rekkverk og benkoverflater er laget av tre slik at uttrykket blir litt lunt. Den blir også ganske romslig slik at passasjerene får en opplevelse av trygghet og ikke føler seg klemt sammen. Ferga har plass til 20, men vi skal ha maks 12 passasjerer ombord, sier Egil Eide.

Fergemodell: Petter Mustvedt, Institutt for design

– milliAmpére 1 var en ingeniørbragd. I milliAmpére 2 har vi fått inn designfaget, slik at den skal framstå som tryggere for passasjerene, sier Ole Andreas Alsos.

Design er ett av flere elementer, et annet element er hvordan ferga skal utformes slik at kajakkpadlere og fritidsbåter forstår hvilke manøvrer den har planer om.

– Ferga er litt «autistisk», så vi må gjøre noen grep slik at den kan signalisere til omgivelsene hva den har planer om å gjøre de neste sekundene og minuttene. Det er viktig at omgivelsene forstår om den skal svinge til høyre eller venstre, for eksempel, sier Alsos.

Fergene er resultat av et bredt tverrfaglig arbeid med mange involverte fagmiljø som har bidratt til finansiering, utvikling og testing. Fartøyene defineres som tverrfaglige forskningsplattformer.

Studenter bygger modellskip

milliAmpére 2 som testfartøy blir altså et essensielt element i arbeidet i den nye laben.

Men det kommer også til å bygges flere modellskip framover, av studenter som knyttes til laben. Blant annet blir det et prosjekt à la Revolve hvor studenter i samarbeid bygger førerløse fartøy for deretter å delta i den internasjonale konkurransen Njord Challenge innen denne kategorien.

Rett utenfor panoramavinduene på laben, ligger havnebassenget. Her monteres en lang flytebrygge som blir en plattform for å teste ut førerløse modellskip. Kort vei mellom produksjonslokaler, kontrollrom og testområde med andre ord.

Foto: Havnebasseng

Havnebassenget på Nyhavna, rett ved den nye laben, blir et testområde for studentbygde modellskip. Foto: Idun Haugan/NTNU

Kapteinen går i land

Selv om fartøyene skal være førerløse, trengs det mennesker for å overvåke og sørge for sikkerheten: En slags kaptein på land som sitter i et kontrollrom og følger med på at alt går som det skal og som griper inn hvis det oppstår problemer.

– Det vi jobber med er kontrollrommet for operatørene som skal overvåke fartøyene. Det er det vi skal ha ekspertise på i denne nye laben, sier Ole Andreas Alsos.

Sentrale tema er:
• Utforme gode kontrollrom slik at operatøren kan overvåke fartøyene
• Lage gode sensorer og gode algoritmer for at fartøyene styrer unna hindringer
• Utvikle god kunstig intelligens som greier å ta riktige avgjørelser
• Skape gode kontrollrom og gi operatørene god situasjonsforståelse slik at de raskt kan gripe hvis problemer oppstår

Viktige elementer i kontrollrommet er en stor rigg av skjermer hvor operatørene kan følge med på førerløse fartøy som testes ute på sjøen. Slike fartøy er utstyrt med et stort sett av sensorer for å kommunisere med kontrollrommet og for å kommunisere med omgivelsene de befinner seg i.

– Vi skal bruke operatørene for å finne ut hvordan vi skal utforme skjermene og finne ut hvilke data operatørene trenger, forklarer Alsos.

– Vi skal også måle reaksjonene deres gjennom blant annet avanserte øyestyrere som fanger opp hvordan operatørene leser av infoen på skjermen. Biometriske sensorer vil måle operatørenes stressnivå gjennom puls og pustefrekvens.

Gjennom disse dataene finner de ut nøyaktig hvor lang tid operatørene bruker på å få oversikt og få en situasjonsforståelse som er nødvendig for å ta de rette avgjørelsene.

– Operatøren skal også kunne snakke med passasjerene på ferga ved behov, og kunne ta kontroll over ferga og fjernstyre den trygt inn til land.

Dette vil kontrollrommet inneholde:

Illustrasjon/skalamodell: Thomas Kaland, Institutt for design

Starter som et dataspill

Stipendiat Erik Veitch ved Institutt for design er sentral i forskningen og testingen som foregår i kontrollrommet.

– Vi starter med en simulator. Det blir som en dataspillverden for å teste ulike scenarioer, som ulykker, for å se hva framtidens operatører i kontrollrommet trenger av informasjon i en virkelig situasjon, forklarer han.

Parallelt sitter forskerne i et annet rom og overvåker operatørene. Her måler de reaksjonene og kan skru på ulike parametere for å teste hva som er det beste dataoppsettet, det beste skjermoppsettet, hva operatørene trenger av info for å reagere raskt og sikkert.

– Ved å rett og slett å starte som et videospill, skjer alt i trygge omgivelser hvor ting kan krasje og de autonome fartøyene kan kjøre over kajakkpadlere etc. Parallelt kan vi følge med på operatørene og måle hvordan de reagerer, sier Alsos.

Tar deretter teknologien til sjøs

Trinn 2 blir å plassere en operatør ombord på milliAmpére 2 som skal gå i skytteltrafikk over Kanalen i Trondheim.

– Når vi ser at det går bra, vil operatøren følge med fra land. Når det fungerer, vil han eller hun sitte her inne i kontrollrommet og gripe inn hvis det skjer noe. På lengre sikt vil kanskje en operatør håndtere flere skip samtidig. Og i fremtiden trengs kanskje ikke denne operatøren i det hele tatt. Men når og om vi kommer dit er usikkert, sier Alsos.

Menneskelig tilstedeværelse vil trolig altså være nødvendig i overskuelig framtid.

– Det er jo et paradoks at mennesket fortsatt er den viktigste komponenten i hele det teknologiske systemet med autonome fartøy. Jo mer vi utvikler teknologi, jo mer trenger vi mennesker for å styre, kontrollere og ha systemforståelse, sier Erik Veitch.

Det skal oppleves trygt å gå ombord. Illustrasjon: Petter Mustvedt, Institutt for design

Et alternativ til kostbar brobygging

Men hvorfor skal vi egentlig bytte ut mennesket med teknologi?
– Den digitale kapteinen gjør ekstremt sjelden feil. Man luker ut menneskelige feil rett og slett, sier Alsos.

– En annen fordel er at kaptein og mannskap kan jobbe trygt fra land og slippe å være borte fra familien og ute på sjøen i lange perioder, legger han til.

Et annet element er kostander. Et prosjekt som illustrer dette, er fergefri E39. I det store veiprosjektet fergefri E39 er planen at vi kunne kjøre fra Kristiansand til Trondheim uten å måtte ta bilferge på strekningen. Det innebærer at det må bygges broer over mange vestlandsfjorder. Og brobygging er kostbart.

– Førerløse ferger koster en brøkdel av hva en bro koster. E39 vil koste enormt mye penger, mens en flåte av autonome ferger som er der når du trenger å krysse fjorden, vil være mye, mye billigere, understreker Alsos.

Vil teknologien være på plass i tide slik at dette kan bli et alternativ til brobygging i fergefri E39?

– Det vil jeg ikke spekulere i det. Men førerløse fartøy vil etter hvert kunne bli et alternativ til kostbare brobyggingsprosjekter. Og det er blant annet dette SFI AutoShip skal være med på å utvikle.

Tverrfaglighet

– Det som er helt unikt med SFI AutoShip, er det tverrfaglige samarbeidet, understreker Ole Andreas Alsos.

Fra NTNU deltar både Institutt for design, Institutt for elektroniske systemer, Institutt for marin teknikk, Institutt for informasjonssikkerhet og kommunikasjonsteknologi samt Institutt for IKT og realfag i Ålesund. Institutt for teknisk kybernetikk som leder senteret. Senteret består av i alt 23 samarbeidspartnere fra akademia, næringsliv, myndigheter og forskningsinstitutter. 

– Min tanke er på sikt å også trekke inn sosiologer og psykologer. De kan bidra med analyser av hvordan passasjerer opplever det å gå ombord på en selvkjørende ferge uten mannskap og hvilke grep man kan gjøre for at de skal ha tillit til teknologien og føle seg trygge ombord.

Fakta om SFI AutoShip

Utviklingen av autonome skip får økende oppmerksomhet i den maritime næringen både nasjonalt og internasjonalt.

Målet med SFI AutoShip er å sikre at norske aktører tar en ledende og førende rolle i denne utviklingen, spesielt med hensyn på teknologi, forretningsmodeller og sikkerhet.

Senteret samler derfor over 20 partnere fra den norske maritime klyngen, inkludert sluttbrukere, produkt- og tjenesteleverandører, forskningsinstitutter, universiteter og myndigheter. Senterets finansiering er på over 200 millioner kroner over åtte år.

SFI AutoShip skal utvikle ny kunnskap, metoder, verktøy, prototyper, teknologi og kandidater for den norske maritime næringen.

Det skal være et verdensledende senter for forskning og innovasjon på autonome skip, med et spesielt fokus på trygge og sikre løsninger.

Et spesielt viktig mål med senteret er å utdanne nye kandidater med riktig kompetanse for næringen. Nærmere bestemt minimum 150 kandidater med mastergrad, 20 ph.d.-kandidater og 4 postdoktorer.

Eksempler på sluttbrukernes behov er:

  • Equinors ønske om å bruke autonome overflatefartøy til å gjennomføre marine operasjoner på norsk sokkel
  • G2 Oceans ønske om økt automatisering for sine store havgående bulkskip
  • NCLs ønske om å bruke autonome skip til transport av varer langs norskekysten, samt Trondheim kommunes ønske å om å utforske bruken av små autonome passasjerferger som alternativ til bruer for urbane vannveier.
  • • Matvaredistributøren ASKO sine sjødroner som skal frakte matvarer tvers over Oslofjorden.
    • Utvikling av autonomi på Moss-Horten ferga.
    Massterly, verdens første selskap for å drifte autonome, kommersielle skip.

Samarbeidspartnere

  • Senteret ledes av NTNU ved Institutt for teknisk kybernetikk, som har SINTEF med på laget som største forskningspartner.
  • Disse aktørene har både nasjonalt og internasjonalt ledende kompetanse innen maritim autonomi, og er allerede involvert i mange tematisk tilgrensende sentre og forskningsprosjekter.
  • Partnerliste: NTNU, SINTEF Ocean, SINTEF Digital, UiO, IFE, Sjøfartsdirektoratet, Kystverket, Trondheim havn, Trondheim kommune, Kongsberg Gruppen, DNV GL, Telia, Massterly, Embron, Maritime Robotics, Idletechs, Equinor, G2 Ocean, Grieg Star, NCL, Gard, Torghatten, MacGregor.