Come gli scienziati possono smettere di essere ingannati sulle statistiche

Un articolo entusiasmante di Dorothy Bishop è apparso in Natura 584: 9 (2020); doi: 10.1038 / d41586-020-02275-8

La raccolta di dati simulati può rivelare modi comuni in cui i nostri pregiudizi cognitivi ci portano fuori strada.

Qualche parola sull'autore:

La professoressa Dorothy Bishop

Professore di Neuropsicologia dello Sviluppo, Dipartimento di Psicologia Sperimentale; Fellow del St. John's College

Il professor Bishop fa ricerche sui disturbi del linguaggio nei bambini. In alcuni casi, le difficoltà di linguaggio hanno una causa ovvia, come la perdita dell'udito o una condizione come la sindrome di Down. In altri casi, i bambini hanno particolari difficoltà ad imparare a parlare o a capire la lingua senza una ragione apparente. Il professor Bishop ha studiato i bambini con "disabilità del linguaggio specifico", o SLI, che costituiscono circa il 3% della popolazione ma tendono ad essere trascurati dai ricercatori. Utilizzando studi sui gemelli, ha studiato la componente genetica di questi disturbi e ha lavorato con genetisti molecolari per scoprire quali geni sono coinvolti. Immagine di origine: Wikipedia

Come gli scienziati possono smettere di essere ingannati sulle statistiche

Negli ultimi dieci anni sono stati compiuti numerosi sforzi per promuovere una ricerca solida e credibile. Alcuni si concentrano sul cambiamento degli incentivi, come la modifica dei criteri di finanziamento e di pubblicazione, per favorire la scienza aperta rispetto alle scoperte sensazionali. Ma bisogna prestare attenzione anche all'individuo. I pregiudizi cognitivi eccessivamente umani possono portarci a vedere risultati che non ci sono. Un ragionamento errato porta a una scienza sciatta, anche quando le intenzioni sono buone.

I ricercatori devono diventare più consapevoli di queste insidie. Proprio come gli scienziati di laboratorio non sono autorizzati a trattare sostanze pericolose senza una formazione sulla sicurezza, ai ricercatori non dovrebbe essere permesso di avvicinarsi a un valore P o una misura di probabilità statistica simile fino a quando non hanno dimostrato di aver capito cosa significa.

Tendiamo tutti a trascurare le prove che contraddicono le nostre opinioni. Di fronte a nuovi dati, le nostre idee preesistenti possono portarci a vedere strutture che non esistono. Questa è una forma di bias di conferma in cui cerchiamo informazioni e ricordiamo informazioni che vanno con ciò che stiamo già pensando. Può essere adattabile: le persone devono essere in grado di eliminare le informazioni importanti e agire rapidamente per uscire dal pericolo. Ma questo filtraggio può portare a errori scientifici.

La misurazione della carica dell'elettrone da parte del fisico Robert Millikan nel 1913 ne è un esempio. Sebbene affermasse che il suo lavoro includeva tutti i punti dati del suo famoso esperimento con le goccioline d'olio, i suoi taccuini rivelavano altri punti dati non riportati che avrebbero modificato solo leggermente il valore finale ma gli avrebbero fornito un errore statistico maggiore. Si discuteva se Millikan intendesse fuorviare i suoi lettori. Tuttavia, non è raro che le persone oneste sopprimano i ricordi di fatti scomodi (RC Jennings Sci. Eng. Ethik 10, 639-653; 2004).

Un altro tipo di limitazione promuove incomprensioni in probabilità e statistiche. Sappiamo da tempo che le persone hanno difficoltà a cogliere l'incertezza associata a piccoli campioni (A. Tversky e D. Kahneman Psychol. Bull. 76, 105-110; 1971). Come esempio attuale, supponiamo che il 5% della popolazione sia infettato da un virus. Abbiamo 100 ospedali che testano 25 persone ciascuno, 100 ospedali che testano 50 persone e 100 che testano 100 persone. Quale percentuale di ospedali non troverà alcun caso e concluderà erroneamente che il virus è sparito? La risposta è il 28% degli ospedali che testano 25 persone, l'8% degli ospedali che testano 50 persone e l'1% degli ospedali che testano 100 persone. Il numero medio di casi rilevati dagli ospedali è lo stesso indipendentemente dal numero di casi esaminati, ma l'intervallo è molto più ampio con un piccolo campione.

Questo ridimensionamento non lineare è difficile da comprendere in modo intuitivo. Porta a sottostimare quanto possano essere rumorosi piccoli campioni e quindi a condurre studi privi del potere statistico per rilevare un effetto.

I ricercatori inoltre non riescono a riconoscere che il significato di un risultato, espresso in un valore P, dipende in modo critico dal contesto. Più variabili esaminate, più è probabile che troverete un valore "significativo" in modo errato. Ad esempio, se testate 14 metaboliti per l'associazione con un disturbo, la probabilità che vi capiti di trovare almeno un valore P inferiore a 0,05 - una soglia di significatività statistica comunemente utilizzata - non è di 1 su 20, ma più vicina a 1 a 2.

Come possiamo trasmettere una comprensione di questo? Una cosa è chiara: la formazione convenzionale in statistica è inadeguata o addirittura controproducente perché potrebbe dare all'utente una fiducia inappropriata. Sto sperimentando un approccio alternativo: generare dati simulati che gli studenti possono sottoporre a varie analisi statistiche. Lo uso per trasmettere due concetti chiave.

In primo luogo, quando agli studenti vengono presentati record nulli (come numeri casuali), scoprono rapidamente quanto sia facile trovare risultati falsi che appaiono statisticamente "significativi". I ricercatori devono imparare che interpretare un valore P quando viene chiesto, "A è associato a B?" è molto diversa dalla domanda "Esistono correlazioni per le variabili A, B, C, D ed E per le quali P <0,05? La domanda se un particolare metabolita sia associato a una malattia non è la stessa che cercare un intervallo di metaboliti per vedere se ce ne sono associati, questi ultimi richiedono test molto più rigorosi.

Tenere sotto controllo i quattro cavalieri dell'irriproducibilità

I dati simulati forniscono anche informazioni quando i campioni provengono da due "popolazioni" con mezzi diversi. Gli studenti imparano rapidamente che con campioni di piccole dimensioni, un esperimento può essere inutile per rivelare anche una differenza moderata. Una simulazione dei dati di 30 minuti può sbalordire i ricercatori se ne comprendono le implicazioni.

I ricercatori devono acquisire abitudini per tutta la vita per evitare di essere fuorviati da pregiudizi affermativi. Le osservazioni che contraddicono le nostre aspettative richiedono un'attenzione speciale. Charles Darwin disse nel 1876 che aveva preso l'abitudine di "ogni volta che mi imbatto in un fatto, un'osservazione o un pensiero pubblicato che contraddice le mie scoperte generali, immediatamente e immediatamente scrivi un memorandum su di esso da scrivere: perché avevo stabilito per esperienza che tale fatti e pensieri avevano molte più probabilità di sfuggire alla memoria che favorevoli ". L'ho visto io stesso. Nello scrivere recensioni di letteratura, sono rimasto inorridito nello scoprire che avevo completamente dimenticato di menzionare documenti che andavano contro il mio istinto, anche se i giornali non avevano particolari difetti. Ora sto cercando di elencarli.

Abbiamo tutti difficoltà a vedere i difetti nel nostro lavoro: questa è una parte normale della cognizione umana. Ma se comprendiamo questi punti ciechi, possiamo evitarli.

Notizie sui carri armati scientifici

Come gli scienziati possono smettere di essere ingannati sulle statistiche

Come gli scienziati possono smettere di essere ingannati sulle statistiche