Publicerad den 19 maj, 2025 av tendonguru
Bakgrund
Systematiska översikter anses av många som ryggraden inom evidensbaserad medicin. De är tänkta att sammanställa den bästa tillgängliga kunskapen och ligga till grund för exemplevis vårdrekommendationer, riktlinjer och behandlingsbeslut. Men vad händer om vissa av studierna som ingår i dessa översikter är opålitliga – eller rent av fabricerade?
Det här är precis vad vi undersökte i INSPECT-SR-projektets andra fas. Det är en internationell forskningsinsats där vi försökt besvara en obekväm men alltmer relevant fråga: Hur ofta innehåller Cochraneöversikter randomiserade kontrollerade studier (RCT:er) som vi inte kan lita på?
Kort om studien
Vi tog fram och testade en omfattande lista med 72 så kallade trustworthiness checks – kontroller för att bedöma trovärdigheten i RCT:er. Dessa applicerades på 95 RCT:er från 50 systematiska Cochraneöversikter, och vi undersökte både hur genomförbara dessa kontroller är i praktiken och hur ofta de väcker misstanke om att en studie kan vara problematisk.
Det handlar alltså inte om att studier är “dåliga” i traditionell mening (t.ex. hög risk för bias), utan om att det finns skäl att ifrågasätta om studien överhuvudtaget är gjord som beskrivet.
Resultat som väcker frågor
Resultaten var – minst sagt – oroande:
- I nästan en tredjedel av studierna (31%) väckte kontrollerna misstanke om att studien inte var trovärdig.
- Om dessa studier exkluderades skulle över en femtedel av meta-analyserna i Cochraneöversikterna inte ha några RCT:er kvar.
- Samtidigt var flera av kontrollerna svåra att genomföra och i vissa fall potentiellt missvisande om de tolkades fel.
Vi såg också att traditionella verktyg som Risk of Bias och GRADE inte fångade upp dessa problematiska studier – vilket tyder på att de bedömer helt andra saker.
Min reflektion: Rätt verktyg för rätt problem
Det här projektet har varit lite av en ögonöppnare. Jag har länge jobbat med systematiska översikter och metodologi, men det är först nu jag inser hur vanligt det kan vara med trovärdighetsproblem – alltså att själva grundantagandet om att “det som står i artikeln faktiskt har hänt” inte alltid stämmer.
Jag tänker också på hur vi ofta stirrar oss blinda på metodbiten – randomisering, blinding, urvalsfel – men missar det mest grundläggande: Har studien ens utförts på riktigt?
Det låter kanske cyniskt, men det här är ett växande problem. Några av de största forskningsskandalerna de senaste åren har just handlat om påhittade data som passerat peer review och smugit sig in i översikter.
Vad händer nu?
Nästa steg i INSPECT-SR är att sålla fram de mest användbara kontrollerna genom en Delphi-process, och skapa ett färdigt verktyg för att systematiskt granska studiers trovärdighet. Målet är att detta ska kunna användas av forskare, editors på vetenskapliga tidsskrifter och kliniker/forskare som jobbar med/tolkar systematiska översikter.
Men jag tänker redan nu att vi som forskare måste börja förhålla oss mer kritiskt till våra källor. Att en artikel finns i PubMed och följer CONSORT betyder inte att den är sann.
📎 Länk till artikeln: Journal of Clinical Epidemiology (2025)
Tendon guru 