Bremsen de ber om, sitter de på selv
Dommedag er ikke nær, og de som leder KI-kappløpet i verden har også andre enn bare edle motiver når de advarer oss.
Sjefen for KI-selskapet Anthropic, Dario Amodei, ba nylig bransjen om å senke tempoet. Innen et døgn sa Sam Altman i OpenAI og Elon Musk seg enig.
Det bør vi ta på alvor. Men ikke slik de ønsker. For de som leder KI-kappløpet i verden har også andre enn bare edle motiver når de advarer oss.
Det viktigste først: vi tror ikke kunstig intelligens vil utslette menneskeheten innen 2030. Det er ingen faglig enighet om at dommedag er nær.
Advarslene har vært der en stund. KIs «gudfar», Geoffrey Hinton sa etter tildelingen av Nobelprisen i fysikk i et intervju med avisen The Guardian at det er 10–20 prosent sjanse for at KI kan lede til utryddelse av menneskeheten innen de neste tre tiår. Han la til at vi aldri tidligere har trengt å håndtere noe som er mer intelligent enn oss selv. Anthropic-forskeren Jacob Coxon som sa opp i protest nylig, ga dommedag kortere frist enn som så.
Men et anslag er ikke et bevis, og frykt er et dårlig grunnlag for lovgivning.
Risikoen med KI er reell. Det første er KI-agenter. En chatbot svarer på spørsmål. En agent er et dataprogram med armer og bein: den kan bruke nettleser, e-post og andre programmer, vurdere hva som må gjøres, ta beslutninger og jobbe seg gjennom en oppgave i mange steg uten at et menneske sitter ved siden av.
Overfør dette til strømnettet, banksystemer eller våpensystemer: da er det alvor.
Det skjedde i sommer: en sverm med 1200 KI-agenter klarte å sprenge seg ut av en sperret sandkasse hos OpenAI da selskapet ville teste sikkerhet og hva agentene var kapable til. Svermen koordinerte seg, fant et smutthull forbi rekkverket som skulle stenge dem ute fra internett og angrep KI-portalen Hugging Face for å finne svaret på oppgaver de var gitt – uten at OpenAI visste hva som skjedde. Overfør dette til strømnettet, banksystemer eller våpensystemer: da er det alvor.
Det andre er at modellene kan bli bedre, fortere og fortere. De skriver koden til neste generasjon, velger treningsdata og forbedrer sin læringsevne. Det kalles rekursiv selvforbedring.
Faren er at hvert nye steg tas raskere enn det forrige, og at ingen mennesker henger med. Kontrollen kan glippe og vanskelig la seg ta tilbake.
Vi er ikke der ennå, men det kan skje. Teknologien er allerede kraftig nok til å gjøre skade. Så å bremse utviklingen er ikke nok, men heller hvem har ansvaret når går galt skjer. Regulering som bare ser på modellene, treffer ikke problemet. Hugging Face-hendelsen var et agentproblem. Modell og agent må reguleres som ett system. Her mener vi Amodeis forslag svikter.
Men så kommer det: Standardene skal skrives av selskapene som allerede leder. Offentlige evaluatorene skal jobbe tett på selskapene. Og Amodei skriver rett ut at ordningen skal gi de ledende aktørene tid til å tilpasse seg uten å ofre kommersielle fordeler eller USAs forsprang. For europeisk KI-industri er det en klar beskjed.
Og mest urovekkende: Ansvaret flyttes gradvis bort fra dem som lager og selger teknologien, over på et evalueringsregime myndighetene skal sponse. En slik ordning vil bli kostbar, særlig for dem som ikke har Anthropics og Open AIs allerede ledende rolle. Små selskaper og åpne modeller, ofte fra Kina og Europa, har ikke råd til kostnadene og har liten eller ingen innflytelse på utformingen.
Ikke rart at lederen for den canadiske konkurrenten Cohere, Aidan Gomez, kalte forslaget et kartell. De største vil ha etableringshindre mot konkurrenter og tid til å befeste sin ledende rolle på verdensbasis. Gomez har egeninteresse, men også rett i det han sier.
Hvorfor bremser ikke Anthropic og Open AI på farten selv om de mener at utviklingen går for fort og er farlig? De kan bremse i morgen, uten å be om lov og uten et regelverk som belaster konkurrentene uforholdsmessig.
Vi tror ansvaret må ligge hos den som lager og selger teknologien.
Her må man se en større sammenheng. Anthropic skal børsnoteres og det spekuleres i en notering på opp mot 2000 milliarder dollar, ifølge Reuters. For et selskap på vei mot børs er det ingen ulempe å tilby en teknologi så kraftig at den skremmer, og samtidig framstå som den ansvarlige voksne i rommet.
Så hva bør vi kreve i stedet?
Vi tror ansvaret må ligge hos den som lager og selger teknologien. Ikke hos et myndighetssponset evalueringsregime, ikke hos kunden, og ikke hos en standard bransjen har skrevet selv. Store hendelser må møtes med bøter som svir på konsernnivå, og med personlig straffansvar for ledelsen når uaktsomheten er grov.
De svarte boksene må åpnes.
Slik regulerer vi legemidler, finans og petroleum. Hvorfor skal tek-bransjen være et unntak? Matprodusenter som forgifter kunder og bilprodusenter som jukser med programvaren, har fått ledere dømt til fengsel ut fra lover og bestemmelser bestemt av andre enn bransjene selv.
Evaluatorene må være uavhengige i praksis, ikke bare på papiret. Det betyr full tilgang til modeller og treningsprosesser, offentlig finansiering, og armlengdes avstand til selskapene de skal kontrollere. De svarte boksene må åpnes. Typisk nok kommer evaluatoren METR, som Dario Amodei nevner, fra det samme miljøet i San Francisco som har finansiert Anthropic. Det er gutteklubben grei om igjen.
For oss i Norge og Europa har vi etter vårt skjønn et valg. Vi kan akseptere at reglene for verdens viktigste teknologi skrives av dem som tjener mest på den, eller vi kan insistere på at demokratiske myndigheter setter kravene og at produsentene bærer risikoen.
Amodei har rett i at det haster. Han tar bare feil om hvem som skal holde i bremsen.
Kronikken har også blitt publisert i Adresseavisen.
- Les også kronikk av Inga Strümke: KI-agenter funker best når man er alene
- Les også: Velg bort KI-verstinger. Gjør det nå
