Microsofts utvikling av samtaleroboten Tay i 2016 er vår tids moderne eksempel på monsteret Fankentstein. Tay skulle trene seg mot data i samtaler på Twitter, og utviklet seg til å bli en kvinnehater som hyllet Hitler, skriver kronikkforfatter og forsker Petter Bae Brandtzæg. Illustrasjon: iStock/jossdim

Teknologisk innovasjon på guttas premisser

Kronikk publisert 01.12.19


  • Førsteamanuensis i medier og kommunikasjon ved Universitetet i Oslo og sjefforsker ved SINTEF Digital

Det moderne digitale samfunnet bygges nå, men utfordringen er at det er i ferd med å ikke bare reprodusere, men forsterke forskjeller mellom menn og kvinner.

I en filmatisering av den 200 år gamle fremtidsromanen “Frankenstein”, kaster det menneskeskapte monsteret en liten jente ut i en elv[1]. Jenta drukner og dør. Ikke nødvendigvis fordi det robotaktige monsteret var ondt, men kanskje fordi læringen av den gikk galt. Monsteret ble utviklet av en mann – Dr. Frankenstein. I filmatiseringen vises det at jenta og monsteret leker harmonisk sammen mens de kastet blomster ut i elva. Det robotaktige monsteret går tom for blomster, og kaster jenta uti elva. Han tror jenta vil flyte slik som blomstene. Var  drapet på den lille jenta en advarsel til fremtiden? En advarsel om at robotiseringen og den digitale innovasjonen av samfunnet kan gå alvorlig galt og komme ut av kontroll?

Forsker Petter Bae Brandtzæg er utdannet psykolog. Nå advarer han mot den mannsdominerte teknologiutviklingen. Foto: Werner Juvik

Microsofts utvikling av samtaleroboten Tay i 2016[2] er vår tids moderne eksempel på Fankentsteins monster. Samtaleroboten skulle egentlig utvikles til å bli en robot som kunne snakke med unge jenter. Tay skulle trene seg mot data i samtaler på Twitter, men ble i løpet av få timer noe helt annet. Tay utviklet seg til å bli både kvinnehater, antifeminist. Tay hyllet også Hitler. I løpet av 24-timer måtte Microsoft i hui og hast få Tay av Twitter. Da hadde Tay greid å fortelle Twitter at “I fucking hate feminist and they should all die and burn in hell”. Microsoft hadde skapt et kvinnehatende og rasistisk monster.

I teorien skal innovasjon av nye teknologiske tjenester være fordomsfri og kjønnsnøytral, likevel lages teknologiske løsninger som favoriserer menn over kvinner, ofte fordi den digitale innovasjonen lages av menn. I tillegg til at dataene som benyttes i utviklingen av nye algoritmer begunstiger menn. Det er et kjønnsgap i datagrunnlaget som brukes. Men mest av alt skyldes skjevheten det faktum for få kvinner innen teknologisk utvikling. I Silicon Valley benevnes dette som en “brogramming-kultur”[3]. Brogramming referere til datakode programmert av “bros” – slang for brødre.

I statskanalen NRK og dets “sandkasse” for teknologiutvikling og utprøving, NRK Beta, jobber det syv menn. Ingen kvinner. Brogramming-kulturen er totalt. Selv amerikanske Google er bedre på mangfold. Men statskanalens mannsdominerte “sandkasse” for digital innovasjon er dessverre ikke unntaket, men reglen. Det er kun 15-20 prosent lønnede kvinnelige ingeniører i Norge. De har også en lavere gjennomsnittslønn enn menn ifølge NITOs lønnsstatistikk[4]

Uansett, selv de største selskapene i verden innen kunstig intelligens, slik som Amazon og Google, har fremdeles for liten kompetanse om hvordan de skal vurdere datasett og filtrere og utjevnede skjevheter. Nylig utviklet Amazon et innovativt digitalt verktøy for rekruttering av arbeidstakere ved hjelp av kunstig intelligens. Problemet var at verktøyet systematisk diskriminerte kvinner[5]. Det har også vist seg at stemmestyringsteknologi har hatt problemer med å forstå kvinnestemmer[6]. En studie har også avdekket at Googles billedsøk er preget av typiske mann og kvinne-stereotypier[7]. En annet studie viste at Googles algoritmer viste høybetalte prestisjejobber til menn og ikke kvinner[8].

Teknologien vi omgir oss med er altså ikke kjønnsnøytral, samtidig blir teknologiske innovasjoner stadig viktigere. “– Satsingen på digitalisering skal bygge opp under et moderne, innovativt og effektivt samfunn. Digitalisering og innovasjon er viktig for å møte stigende forventninger fra befolkningen om tjenester som er enkle å bruke, effektive og pålitelige.”, sier kommunal- og moderniseringsminister Monica Mæland på Regjeringen.no.[9] Men innovasjon på guttas premisser kan skape urettferdige skjevheter i tjenestetilbudet. Det snakkes om utvikling av “muliggjørende teknologier”, men muliggjørende for hvem?

Når digitale innovasjoner favoriserer enkeltgrupper samfunnet produseres en fremskridende digital ulikhet. Denne digitale ulikheten er ofte forankret i eksisterende økonomiske og sosiale forskjeller, men ulikhetene forsterkes ytterligere av en digital utvikling hvor flere og flere tjenester flyttes ut på internett. Disse forskjellene refereres til som Matteuseffekten”[10]. Den beskriver en dynamikk der de rike blir rikere, og de fattige blir fattigere. Forskning av digitale ulikheter har god dokumentasjon på at Matteuseffekten eksisterer. Det digitale og algoritmene kan dermed forsterke stereotypier og kjønnsforskjeller.

Med store skjevheter i den gruppen som står for digitalisert innovasjon kan det ubevisst oppstå store forskjellsbehandling i digitaliserte løsninger. Det er dette som ofte omtales som «unconsioius bias». Det vil si en ubevisst, men innarbeidet, forskjellsbehandling av menn og kvinner. Koderne og utviklerne av, for eksempel, kunstig intelligens er ikke nødvendigvis bevisst sine egne skjevheter eller hvordan kodene og algoritmene de er med på å skape utvikler skjevhet. Innen kunstig intelligens er dette subtile interaksjoner mellom koder og data. Data, som algoritmene trenes på, kan gjenspeile og forsterke eksisterende kjønnsstereotypier og skjevheter, slik som i utviklingen av samtaleroboten Tay.

Fremtidens utvikling og innovasjon av digitale tjenester krever en bevissthet om hva som faktisk skjer. Utviklerne må vurdere hva slags resultater og avgjørelser algoritmene tar. Vi må derfor spørre: Hvem er det som programmerer fremtidens digitaliserte tjenester. Hvem representerer de, og hvilke skjevheter har de med seg? Det er viktig å huske på hva den kjente teknologihistorikeren Melvin Kranzberg skrev: “technology is neither good nor bad; nor is it neutral.” Teknologien er verken god eller ond, men heller ikke nøytral. Samtidig må vi sørge for å hindre at jentene kastes ut i elva av fremtidens teknologier. 

Denne kronikken ble først publisert i Aftenposten, mandag 25. november 2019.

  • Her kan du også høre forskeren snakke om samme tema i NRK Ekko

Referanser:

[1] https://www.youtube.com/watch?v=v5FtI472Q6I

[2] https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist

[3] https://www.businessinsider.com/bumble-brogramming-silicon-valley-classroom-2016-10?r=US&IR=T

[4] https://www.tu.no/artikler/sa-mye-mindre-tjener-kvinnelige-ingeniorer-enn-sine-mannlige-kollegaer/378105

[5] https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G

[6] https://hbr.org/2019/05/voice-recognition-still-has-significant-race-and-gender-biases

[7] https://www.fastcompany.com/3045295/the-hidden-gender-bias-in-google-image-search

[8] https://www.washingtonpost.com/news/the-intersect/wp/2015/07/06/googles-algorithm-shows-prestigious-job-ads-to-men-but-not-to-women-heres-why-that-should-worry-you/

[9] https://www.regjeringen.no/no/aktuelt/tidenes-storste-satsing-pa-digitalisering/id2614074/

[10] https://en.wikipedia.org/wiki/Matthew_effect