Questo mese, partecipando a una conferenza di psicologia, sono rimasto colpito da una tendenza inquietante nella ricerca sulle scienze sociali. Il libro astratto ha rivelato che quasi tutti i 1.500 poster e discorsi si riferivano a qualche tipo di lavoro di conferma, utilizzando analisi statistiche per testare un’ipotesi esistente. Quasi nessuno ha riferito del tipo di ricerca esplorativa a tempo indeterminato necessaria per formulare tali ipotesi.
A mio avviso, è fondamentale che le scienze sociali abbraccino una cultura della ricerca che bilanci la verifica delle ipotesi con la generazione di ipotesi, abbracciando studi esplorativi accanto a quelli di conferma.
Giochi di replica: come rendere più sistematica la ricerca sulla riproducibilità
Per comprendere la differenza tra studi esplorativi e confermativi, si consideri un gruppo di ricerca interessato ai collegamenti tra bambini che guardano film violenti e comportamenti aggressivi. In uno studio esplorativo, il gruppo potrebbe chiedere ai genitori informazioni sul comportamento aggressivo dei bambini e raccogliere informazioni sulle abitudini domestiche, sulle caratteristiche individuali e sui contenuti mediatici che potrebbero influenzare i bambini. Gli autori avrebbero ispezionato i dati in molti modi, cercando eventuali modelli. I modelli che emergono, insieme alle conoscenze teoriche di base, potrebbero quindi essere utilizzati per costruire previsioni specifiche: ad esempio, che la spiegazione dei contenuti violenti da parte dei genitori potrebbe ridurre la violenza indotta dai media negli adolescenti, ma non nei bambini più piccoli.
Gli studi di conferma possono cercare di supportare o mettere in discussione queste ipotesi utilizzando un nuovo set di dati. Per condurre correttamente uno studio di conferma, la migliore pratica impone che i ricercatori delineino il loro piano di analisi prima di iniziare il lavoro, spesso attraverso la preregistrazione, registrandolo in un archivio pubblico. La preregistrazione aiuta a impedire ai ricercatori di costruire le proprie ipotesi e analisi dopo aver dato un’occhiata ai propri dati. Nell’esempio sopra, ad esempio, se le analisi di un gruppo non confermano l’ipotesi generale, i ricercatori potrebbero essere tentati di modificare il tipo di analisi che eseguono finché non mostra un effetto statisticamente significativo, ad esempio, per i primi adolescenti, dopo aver controllato per reddito familiare. Questa pratica ampiamente condannata apre la porta a risultati falsi positivi.
Come molti nel campo delle scienze sociali, sono stato addestrato a considerare la verifica delle ipotesi come il lavoro principale di un ricercatore, con un’esplorazione difficilmente degna di pubblicazione. Ma ho cambiato idea quando ho iniziato a perdere fiducia nella mia capacità di preregistrare correttamente i miei studi. Credo fermamente che la preregistrazione sia fondamentale per una scienza trasparente. Ma spesso scoprivo di non aver fatto abbastanza esplorazioni per pianificare adeguatamente le mie analisi di verifica delle ipotesi.
