Avslører svikt i publisering av medisinsk forskning

Ben Goldacre kjemper for større åpenhet rundt forskningsresultater, og vil ha mye større rom for å kritisere resultater, inkludert de som er publisert på høyeste nivå.

16. juni deltok han på vitenskapsfestivalen The Big Challenge i Trondheim.

I sitt siste forskningsprosjekt har han og hans kolleger undersøkt hvordan fem renommerte medisinske tidsskifter unnlater å publisere kritiske merknader til forskningsartikler.
 
Dette er den første empiriske studien som tar for seg hvor villige store akademiske tidsskrifter er til å publisere sammenlignende og objektive rettelser av feil i artikler med stor påvirkningskraft.

Ble avvist

– Vitenskap skal handle om nøyaktighet og korrekte resultater. Akademiske tidsskrifter skal være portvakter, skriver Goldacre på sin Facebook-profil hvor han deler sin nyeste forskningsartikkel.
 
– Vi bestemte oss for å teste om de jobber riktig. Vi sjekket kliniske studier publisert i verdens fem største medisinske tidsskrifter. I nesten hvert forsøk var det gjort tilpasninger omkring forventede resultater og reelle resultater, fortsetter Goldacre.
 
Forskerne sendte et korreksjonsbrev til tidsskriftet for hvert feilrapporterte forsøk. Hva skjedde?
 
– De fleste av våre brev ble avvist. I retur fikk vi i stedet en uventet strøm av personangrep. Svarene vi fikk fra tidsskriftene viste dessuten at redaktørene i mange tilfeller ikke forstår viktigheten av korrekt resultatrapportering, eller hvordan man implementerer de retningslinjene de har vedtatt å følge gjennom Consolidated Standards of Reporting Trials.  

(Les mer om disse retningslinjene lenger ned i saken.)

• Les et sammendrag av den vitenskapelige artikkelen I BMC Medicine: COMPare: a prospective cohort study correcting and monitoring 58 misreported trials in real time.

Tom Nilsen, professor i epidemiologi ved Institutt for samfunnsmedisin og sykepleie, NTNU, sier dette er et viktig og godt initiativ.

– Åpenhet om forsknings- og publiseringsprosessen er essensielt for at man skal kunne stole på resultatene og for at de skal kunne etterprøves av andre. sier han.

Rockestjerne i kritisk forskningsjournalistikk

Britiske Ben Goldacre betegnes som en rockestjerne innen kritisk forskningsjournalistikk. Som lege, forsker, fagbokforfatter og aktiv samfunnsdebattant tar han tydelig til orde for at all medisinsk forskning må gjøres offentlig tilgjengelig slik at «uønskede» forskningsresultater ikke kan holdes skjult.
 
Han har markert seg som en krass kritiker av uvitenskapelig formidling av helsestoff og medisin i mediene. I løpet av de åtte årene han skrev i spalten «Bad Science» i avisa The Guardian, nådde han ut til mange lesere. I 2008 ga han ut boka «Bad science», og med den fikk han også et stort internasjonalt publikum; boka er oversatt til over 30 språk.
 
På norsk har den fått tittelen «Kvakksalverne. Et oppgjør med tvilsom medisin, falske slankekurer og naive medier».

Hør og se Goldacre i TED Talk-foredrag fra 2011:

Fillerister farmasøytisk industri

I 2012 ga han ut boka «Bad pharma»hvor han fillerister farmasøytisk industri. I norsk oversettelse har boka fått tittelen «Bitter pille. Hvordan legemiddelindustrien villeder leger og skader pasienter». Her legger han den mektige farmasøytiske industrien under lupen.
 
Goldacre avslører at i stedet for å basere medisin på reell vitenskap, produserer en del av de store farmasøytiske selskapene egne «forskningsresultater», som overdriver nytteverdien av produktene de selger og villeder pasientene.
 
Goldacre viser også at helsearbeidere og pasientgrupper har latt seg kjøpe av den farmasøytiske industrien. Resultatet er at pasienter ikke får den behandlingen de burde fått, noe som kan få fatale konsekvenser.

Publiseringspraksis under lupen

I sin siste forskningsartikkel tar Goldacre og hans forskerkolleger for seg renommerte vitenskapelige medisinske tidsskrift som blant annet The Lancet for å undersøke tidsskriftenes publiseringspraksis.
 
Slike tidsskrift er sett på som en kvalitetsgaranti for at forskningen som blir omtalt er grundig vurdert. Studien til Goldacre og hans fagfeller viser at dette på langt nær er tilfelle.
 
Studien har avdekket mange grunnleggende mangler i selve forskningen – og i publiseringspraksisen som ikke har avdekket manglene.  Studien har også avdekket at det var store forskjeller mellom tidsskriftenes publiseringspraksis.
 
Ben Goldacre, som er førsteforfatter av forskningsartikkelen, skriver at bakgrunnen for studien er at avvik mellom forhåndsdefinerte og rapporterte resultater er en viktig kilde til forstyrrelser i forskningsforsøk:
 
– Misvisende resultater er fortsatt utbredt, til tross for lovgivning, retningslinjer og offentlige forpliktelser om korrekt rapportering fra tidsskrifter.
 
– Vårt mål var å dokumentere omfanget av feilrapportering, fastslå om det var mulig å publisere korreksjonsbrev på alle feilrapporterte forsøk etter hvert som de ble publisert, samt overvåke svar fra redaksjonene for å forstå hvorfor misvisende rapportering fortsetter, til tross for offentlige forpliktelser til å ta tak i det.  

Følger ikke gullstandarden

De fem vitenskapelige tidsskiftene som forskerne vurderte, skal følge «gullstandarden» for publisering av forskning: Consolidated Standards of Reporting Trials (CONSORT).
 
Disse retningslinjene er utviklet for å forbedre rapporteringen av ulike typer helseforskning, og for å forbedre kvaliteten på forskning som brukes i beslutningsprosesser innen helsetjenester.

De medisinske tidsskiftene som forskerne undersøkte, er The Lancet, New England Journal of Medicine, Journal of American Medical Association, British Medical Journal og Annals of Internal Medicine. 
 
Alle viste omfattende brudd på CONSORT-retningslinjene, og de fleste avviste  å publisere korreksjonsbrev som dokumenterte mangler.
 
Forskerne sammenlignet forskningsresultater som ble publisert i de fem tidsskriftene med ulike protokoller og registre over forskningsforsøk. Hvis de fant feilrapporterte forskningsforsøk i de publiserte artiklene, sendte de korreksjonsbrev til det medisinske tidsskriftet som hadde publisert artikkelen.
 
67 vitenskapelige artikler ble vurdert. 53 av artiklene hadde avvik som krevde korreksjonsbrev, ifølge CONSORT-retningslinjene. Kun 23 av korreksjonsbrevene som forskerne sendte inn, ble publisert.
 
Der hvor korreksjonsbrev ble publisert, tok det i snitt drøyt tre måneder før det ble publisert. Det tregeste tidsskriftet brukte over åtte måneder.
 
Kvalitativ analyse viste omfattende misforståelser blant redaktørene om korrekt resultatrapportering og om CONSORT-standarden. 

– Urovekkende, men ikke uventet

 – Retningslinjene gitt i CONSORT for rapportering fra eksperimentelle studier, og andre tilsvarende kriterier for andre studiedesign, er utviklet nettopp for å øke gjennomsiktigheten og etterprøvbarheten til forskningen, sier professor Tom Nilsen ved Institutt for samfunnsmedisin og sykepleie, NTNU.
 
I all kvantitativ forskning er det en fare for at enkelte resultater skyldes statistiske tilfeldigheter. For å unngå at man legger for stor vekt på slike tilfeldige funn sier CONSORT-retningslinjene at man på forhånd skal rapportere hva man ønsker å studere, og så skal den endelige forskningsrapporten være i overenstemmelse med dette.

–  Selv om det er urovekkende at Goldacre og hans kolleger finner at et flertall av studiene bryter denne retningslinjen, er det ikke uventet. Nyhetsverdien til forskingsresultatene er ofte drevet av hvor sterke effekter man finner, og om disse kan betegnes som såkalt statistisk signifikante, sier Nilsen.

– Både forskerne selv og de vitenskapelige tidsskriftene har nok en tilbøyelighet til å ha overdrevent stort fokus på nye signifikante sammenhenger, selv om det kan være stor sjans for at disse ikke gjenspeiler reelle effekter som kan gjenskapes i andre studier, understreker Tom Nilsen.

– Her ligger det prestisje både hos forskerne og tidsskriftene, og man ender opp med at retningslinjene for rapportering ikke overholdes. Forhåpentligvis kan studien til Goldacre føre til at både forskere og tidsskrifts-redaktører blir flinkere til å følge retningslinjene, og presentere forskingsresultater som er til å stole på.

Det finnes også andre nylige initiativ som er relatert til utfordringer med rapportering fra forskningsresultater, blant annet i et brev i Nature signert av mer enn 800 forskere.

Vil at alle data deles åpent

Av forbedringene som Goldacre og kollegene foreslår er endringer og forbedringer i måten vitenskapsfolk og tidsskriftene korresponderer på:

• mer innsikt i hvordan fagfellevurdering har foregått,
• endringer i hvordan CONSORT blir håndhevd
• nye strategier for forskning på metoder og rapportering.

 – Vi diskuterer fordelene ved potensiell metodikkforskning som deler alle data åpent og proaktivt i sanntid, som blant annet tilbakemelding på kritiserte studier, skriver forskerne i artikkelen i BMC Medicine.

Ben Goldacre står i spissen for AllTrials.net. Dette er et initiativ for å få rapportert alle kliniske forsøk som blir gjennomført og rapportert hvilke funn som ble gjort. Målet er at all forskning skal bli tilgjengelig og transparent.

AllTrials petition er signert av nærmere 100.000 personer og av 748 organisasjoner.

Goldacre leder EBM DataLab – Evidence-Based Medicine DataLab – ved University of Oxford. Forskerne ved EBM DataLab utvikler innovative verktøy for nettopp å gjøre forskningsdata tilgjengelige.

Geir Wenberg Jacobsen, professor emeritus ved Institutt for samfunnsmedisin og sykepleie, NTNU, sier studien tar opp et svært relevant tema som gjerne bør belyses nærmere.

– Det har dessuten betydelig relevans innenfor så vel som utenfor det medisinske og helsefaglige forskningsfeltet, sier Wenberg Jacobsen.