Uno studio gigantesco rileva che studi inaffidabili inquinano le revisioni mediche standard di riferimento

Un’enorme collaborazione ha confermato le crescenti preoccupazioni secondo cui ricerche false o imperfette stanno inquinando le revisioni sistematiche mediche, che riassumono le prove di molteplici studi clinici e definiscono linee guida per il trattamento in tutto il mondo. Lo studio fa parte di uno sforzo per affrontare il problema creando una breve lista di controllo che aiuterà i ricercatori a individuare studi inaffidabili. Combinato con strumenti automatizzati per l’integrità, questo potrebbe aiutare coloro che conducono revisioni sistematiche a filtrare il lavoro difettoso, in medicina e non solo.

Nello studio, che è durato due anni ed è stato pubblicato il 26 novembre sul server di prestampa medRxiv¹un team di oltre 60 ricercatori ha esaminato 50 revisioni sistematiche pubblicate sotto l’egida di Cochrane, un’organizzazione rinomata per le sue revisioni gold standard delle prove mediche.

Dopo aver applicato una raffica di controlli, gli autori – molti dei quali sono essi stessi redattori o autori di revisioni Cochrane – hanno riferito di avere “alcune preoccupazioni” circa il 25% degli studi clinici nelle revisioni, e “gravi preoccupazioni” circa il 6% dei casi. loro.

Lo studio non può fornire una stima complessiva degli studi problematici nelle revisioni Cochrane perché il campione selezionato, allo scopo di testare i controlli di integrità, non era casuale o rappresentativo, afferma la coautrice Lisa Bero, editrice senior di ricerca sull’integrità presso Cochrane. .

Tuttavia, “abbiamo sicuramente intrapreso alcuni studi dubbi”, afferma Jack Wilkinson, ricercatore di salute e biostatistica presso l’Università di Manchester, nel Regno Unito, che ha guidato il progetto, intitolato INSPECT-SR. Aggiunge che la proporzione rilevata nello studio potrebbe essere sovrastimata, perché alcuni controlli si sono rivelati soggettivi o difficili da attuare.

Un protocollo per l'”affidabilità”

I risultati fanno eco alle preoccupazioni precedenti riguardo al numero crescente di studi problematici che corrompono le revisioni sistematiche in medicina e in altri campi di ricerca^2,3,4,5probabilmente a causa delle cartiere che producono scienza falsa.

Riconoscendo questo problema, tre anni fa Cochrane ha introdotto delle linee guida secondo le quali i ricercatori dovrebbero cercare di individuare studi non affidabili ed escluderli dalle revisioni. Ma sebbene gli scienziati abbiano utilizzato una varietà di protocolli per farlo, non esiste uno strumento universalmente accettato per aiutare a identificare uno studio inaffidabile, dice Bero, che è anche un bioeticista presso l’Anschutz Medical Campus dell’Università del Colorado ad Aurora.

“Francamente, questi strumenti non sono stati affatto testati”, afferma, aggiungendo che è improbabile che i ricercatori utilizzino metodi difficili, lunghi o poco chiari. Una checklist di integrità rivolta agli editori di riviste, ad esempio, proponeva più di 50 domande, che secondo alcuni scienziati sono troppe.

Testare i segnali d’allarme

Lo scopo dello studio INSPECT-SR era testare 72 potenziali controlli di integrità che potrebbero aiutare a identificare il lavoro non affidabile, raccolti da una precedente consultazione ad ampio raggio. Si va da specifici controlli statistici sui dati e sui metodi di uno studio, ai dettagli sui finanziamenti e sulle sovvenzioni, sulla data di registrazione dello studio e sui record di pubblicazione dei suoi autori.

Dallo studio è emerso che nella pratica alcuni controlli sono troppo macchinosi o irrealizzabili. Ora, l’elenco è stato ridotto a un elenco ristretto di 21 domande in 4 aree: la documentazione post-pubblicazione di uno studio (come ritrattazioni o espressioni di preoccupazione); i suoi metodi, governance e trasparenza (come la registrazione degli studi, l’approvazione etica e il modo in cui sono stati reclutati i partecipanti); se ha plagiato testo o manipolato figure; e modalità dettagliate per verificare eventuali discrepanze nei dati e nei risultati. Questi potrebbero essere ulteriormente ridotti prima che la rosa dei candidati venga pubblicata.