Blir eksamen rettferdig når ChatGPT er på banen?
Faglærere fikk i år en ekstra utfordring: Hvordan utforme eksamensoppgaver som skal forhindre at studenter kan jukse seg til gode karakterer med ChatGPT.
Tusenvis av studenter jobber i disse dager med eksamensoppgaver hvor de skal vise hva de har lært gjennom semesteret. For noen kan språkroboten ChatGPT være fristende å ta i bruk.
Språkroboten som er basert på kunstig intelligens kan svare på spørsmål og levere gryteklare tekster og innhold innen svært mange temaer. Den har skapt debatt i store deler av verden de siste månedene, blant annet knyttet til gjennomføring av eksamener og fare for juks.
Produserer falske og inkonsekvente svar
Benjamin Kille som forsker på kunstig intelligens ved NTNU ser både utfordringer og muligheter med språkrobotene.
– Google, OpenAI og Microsoft har nå produsert så avanserte språkmodeller at de leverer tekster som er vanskelig å skille fra tekster produsert av mennesker, sier Benjamin Kille (bildet).
Foto: NTNU
– For ChatGPT fra OpenAI er det uklart hvilken tekst som denne modellen er matet med. Vi antar at det er tekst som finnes online, noe som innebærer at det kan inkludere undervisningsmateriell. Derfor kan også ChatGPT besvare en del eksamensspørsmål, sier Kille.
Men, han forteller også at eksperter har testet eksamensspørsmål på ChatGPT, og de har funnet at den produserer falske og inkonsekvente svar.
– Så for øyeblikket kan ikke studenter stole på ChatGPT for å få gode eksamenskarakterer, understreker han.
For øvrig spiller han inn at studenter kan bruke ChatGPT som et verktøy, for eksempel til å komme i gang med skrivingen av besvarelsen.
Kunstig intelligens etterligner hjernens eget nettverk
En maskin som kan løse problemer den har møtt tidligere bruker narrow AI (smal kunstig intelligens). En maskin som kan løse problemer den ennå ikke har møtt, bruker general AI (generell kunstig intelligens).
– I dag er det narrow AI vi bruker; vi har ennå ikke utviklet særlig grad av general AI, forklarer Benjamin Kille.
I modellene som utvikles med kunstig intelligens, brukes hovedsakelig maskinlæring for gjøre dem i stand til å løse oppgaver. Maskinlæring er en spesialisering innen kunstig intelligens hvor man bruker statistiske metoder for å la datamaskiner finne mønstre i store datamengder.
Det innebærer at maskinen «lærer» i stedet for å bli programmert.
– I maskinlæring brukes ofte kunstige nevrale nettverk som ligner på de som vi har i hjernen, og språkmodeller har billioner av nettverksforbindelser, sier Benjamin Kille.
– Komplett uansvarlig
Inga Strumke, førsteamanuensis og forsker ved NTNU med kunstig intelligens som spesialfelt, ga nylig ut den brennaktuelle boken «Maskiner som tenker». Strumke sa nylig dette til Dagens Næringsliv om AI-verktøy som ChatGPT:
Foto: NTNU
«Teknologien er veldig kraftig. Brukes den riktig, med fornuft, er den kjempenyttig. Brukes den feil, kan det være virkelig skadelig. Det viktigste med lanseringen av Chat GPT var at alle fikk øynene opp for at nå er AI en del av livene våre.»
«Dette kunne vært gjort mer elegant. Det var komplett uansvarlig å gjøre Chat GPT tilgjengelig uten å gi utdannelsessektoren – og mange andre – en sjanse til å møte denne revolusjonære kraften.»
Tips om hvordan eksamensoppgaver kan utformes
For å møte utfordringen knyttet til eksamensoppgaver, har en arbeidsgruppe ved NTNU jobbet fram tips og råd om hvordan lage eksamensoppgaver som ChatGPT ikke kan bidra til å løse i noen særlig grad.
Rasmus Grønbæk Jensen, rådgiver på eksamenskontoret ved NTNU, er en av dem som har jobbet med dette, sammen med folk fra Seksjon for læringsstøtte.
Her er NTNUs tips om hvordan lage oppgavesett som ikke lar seg løse av kunstig intelligens alene.
Utforming av eksamensoppgaver
Oppgaver som krever god kjennskap til pensum: Siden samtalerobotene sannsynligvis ikke kjenner til all litteratur på pensum, vil oppgaver som krever inngående kjennskap til pensum gjøre det vanskelig å bruke KI i svaret. Dette gjelder spesielt nyere skandinavisk litteratur.
Varierte oppgaver: Samtalerobotene er inntil videre best på å jobbe med tekst, derfor kan allsidige oppgaver med for eksempel lyd- og videofiler, bilder og grafer være vanskelig å bruke kun samtaleroboter til å svare på.
Ta utgangspunkt i egne erfaringer og vurderinger: Ved å be studenten ta utgangspunkt i en spesifikk kontekst og spesielle tilfeller, kan de i større grad få vist fram ferdigheter, kunnskap og kompetanse.
Bruk en case: La en ukjent case være basis/objekt for svaret.
Krev komplekse, nyanserte svar, for eksempel ved å bruke spesifikt, teknisk fagspråk og terminologi.
Metarefleksjon omkring egen prosess og egne svar: Be studentene om å reflektere over prosessen og resultatet. Refleksjonene kan være knyttet til data-/kildeinnsamling, oppbygging av svaret/teksten, kritiske vurderinger om innhold, grunner for å velge bort innhold osv.
Ryggmargrefleksen
– Når det kommer et slikt nytt og kraftfullt verktøy som ChatGPT vil ryggmargsrefleksen gjerne være at da må man kjøre skoleeksamener i stedet for hjemmeeksamener, sier Rasmus Grønbæk Jensen.
På skoleeksamener er det eksamensvakter til stede, og i tillegg brukes Safe Exam Browser som hindrer studentene i å logge seg på nettet.
– Men langvarige eksamener, som er mulig ved bare hjemmeeksamen, har sine egne læringsmessige fordeler som ikke kan hentes på en skoleeksamen, sier han og understreker:
– Vi må bygge opp en forståelse hos studentene og et tankeapparat som oppmuntrer dem til å bruke det de har lært. Det blir viktig å lage eksamensoppgaver som både motiverer og krever at studentene viser hva de har lært.
Er det vanskelig å lage slike eksamener?
Foto: NTNU
– Både ja og nei. Google har jo eksistert lenge, og her kan studentene innhente informasjon på hjemmeeksamener. De kan også samarbeide med medstudenter eller få hjelp av andre, sier Grønbæk Jensen.
Men en tekst som inneholder tekstelementer hentet fra Google er tekst som er kopiert fra nettsider, og dette kan et plagiatprogram avsløre.
– Derimot kan ikke et plagiatprogram avsløre bruk av kunstig intelligens. ChatGPT kan lage en unik tekst til hver forespørsel den får, og det er veldig vanskelig å bevise at KI er brukt i eksamensbesvarelser. Men, hvis 15-20 personer spør ChatGPT om det samme, vil svarene ligne litt på hverandre, sier Grønbæk Jensen.
– Men det er viktig at vi som universitet har som forutsetning at studentene er her for å lære og for å utvikle seg; de er ikke her for å jukse. Vi må ikke mistenkeliggjøre studentene våre, understreker Rasmus Grønbæk Jensen.
Må oppleves meningsfullt for studentene
Martha Torgeirdatter Dahl er universitetslektor i pedagogikk ved NTNU. Hun sier at vi nå er nødt til å ta stilling til hvorvidt vurderingsinnholdet, altså oppgavene vi lager og måtene studentene får mulighet til å fremvise kunnskap på, er tilpasset et vurderingsklima hvor ChatGPT finnes.
Eksamensoppgaver hvor man kun blir bedt om å redegjøre for teori å gjengi innhold vil være utsatt. Det samme gjelder oppgaver hvor man legger stor vekt på struktur og rettskriving.
Foto: NTNU
– I lys av de nye tekstproduksjonsverktøyene blir det tydelig at vi trenger et vurderingsinnhold som krever mer av studenten og som tekstproduksjonsverktøyene ikke kan behandle på en like god måte, sier Martha Torgeirdatter Dahl.
– For å avdekke innsikt hos studentene må de få mulighet til, muntlig eller skriftlig, å fremvise selvstendig refleksjon og vurderingsevne, og aktivt anvende pensum. Oppgavene bør ha en kontekstuell forankring som kobling til konkrete forhold, vurdering av aktuelle situasjoner og personlige opplevelser, sier hun og legger til:
– Men, jeg tenker at vi i tillegg trenger et vurderingsinnhold som det er meningsfullt for studenten å bruke tid på.
Viktig å ha dialog med studentene
Martha Torgeirdatter Dahl sier det blir avgjørende å snakke med studentene om hva som er hensiktsmessig bruk av disse verktøyene og at faglærer ta stilling til hvordan tekstproduksjonsverktøy eventuelt kan tas i bruk på en forsvarlig måte i sitt fag.
– Det blir også viktig å ha en gjennomgående dialog med studentene om hva som er den overordnede hensikten med eksamen for å forsikre oss om at de ser verdien i egen evne til muntlig og skriftlig formidle av sine faglige vurderinger og kompetanse, sier Martha Torgeirdatter Dahl.
