strategie evolutive

ciò che non ci uccide ci lascia storpi e sanguinanti

Imparare dagli errori

2 commenti

Questo è una specie di post fuori programma. Intendo parlare di un libro che, nei miei piani originari, avrebbe dovuto essere il numero 10 nella mia lista di dieci libri che hanno avuto un qualche tipo di impatto sulla mia vita. Il libro in questione è essenziale, perché mi ha permesso dilaurearmi, e mi ha dato un lavoro, per dieci anni, dopo la laurea. Impatto, come si diceva.

Il libro in questione è Seeing Through Statistics, di Jennifer M. Utts. Io ho una copia usata dell’edizione del 1995, ed è il libro sul quale ho imparato a ragionare sulla statistica. Sul quale ho imparato la statistica, una vita fa, quando mi trovai a dover inventare qualcosa per dare una forma coerente alla mia tesi di laurea.

Jennifer Utts insegna statistica all’università della California, e quando scrisse il suo manuale arrivava da una lunga esperienza come ricercatrice nel campo del paranormale. No, davvero. Aveva fattoparte di un team che analizzava le affermazioni sui poteri paranormali – un campo in cui la statistica è indispensabile, per stabilire se ciò a cui assistiamo sia davvero impossibile, o solo improbabile.

Non solo il libro di Jennifer Utts è chiaro, ben organizzato e divertente da leggere, con la matematica che serve ma non di più. Seeing Through Statistics è un libro che parte dagli errori di interpretazione per spiegare i metodi di analisi statistica. Prima vediamo come è possibile sbagliare, e poi studiamo come siamo arrivati a certe conclusioni, sulla base di quale analisi.

Il motivo per cui avevo deciso di non parlare di questo libro nella mia lista di dieci-che-poi-non-saranno-dieci è che si tratta di un volume piuttosto tecnico, ed estremamente costoso (Amazon vuole al momento dai 70 ai 200 euro per una copia). E sì, come succede a molti testi accademici so bene che lo si trova da rubare in giro per la rete, ma noi queste cose non le facciamo.

Il motivo invece per cui ho deciso di parlarne è che mi è capitato di veder circolare, nei giorni passati, dei numeri, dei grafici e soprattutto delle conclusioni che usano la statistica, i numeri e i colori brillanti per sostenere tesi infondate che sono, nel migliore dei casi, semplicemente baggianate, e nel peggiore dei casi, sono pericolose.

E sì, lo ammetto, mi sono domandato se al pubblico non potrebbe interessare un breve corso online su come leggere le statistiche e non farsi infinocchiare, ma mentre rifletto su quella eventualità, mi è parso il caso di fare un breve post, e riportare quello che era uno dei capisaldi dei miei vecchi corsi di statistica per paleontologi, geologi e naturalisti – i Sette Punti della Utts. Perché per evitare di farci infinocchiare, quando ci troviamo davanti delle statistiche e delle conclusioni, è controllare quanto segue:

  1. La fonte del finanziamento
  2. Chi ha condotto le diverse fasi dell’analisi
  3. Gli oggetti studiati e come sono stati campionati
  4. La natura delle misure eseguite
  5. L’ambiente in cui sono state eseguite le misure
  6. Le differenze estranee fra gruppi confrontati
  7. La magnitudine degli effetti segnalati

Se nel momento in cui ci vengono presentati dei dati e delle conclusioni, uno o più di questi punti non sono chiari o mancanti/non verificabili, è seriamente il caso di avere dei dubbi. Se uno o più punti non superano la verifica, lo studio è da considerarsi dubbio, e probabilmente errato.

La fonte del finanziamento (punto 1) è un classico. Un amico mi ha passato poco fa un video, in cui in cinquanta minuti un giornalista che ci tiene a farci sapere che non è né un medico né un epidemiologo né un biologo, ma solo uno che ha guardato i numeri e fatto dei confronti, ci spiega il fallimento dei modelli pandemici e dell’opinione degli esperti. Non serve conoscere la medicina o la biologia, ci dice, se sappiamo confrontare i numeri. Numeri che non ci dice chiaramente, perché il suo video è solo lui che parla – niente dati, niente tabelle, niente fonti documentate.
Le sue conclusioni? Che fidandosi dei pareri e dei modelli errati sviluppati dai sedicenti esperti è stata avviata una procedura di risposta alla pandemia che è eccessiva, ingiustificata e dannosa per l’economia.
OK.
Chi paga questo suo “studio”?
Un college privato americano, finanziato – oho! – da quegli stessi ambienti conservatori che in America stanno spingendo per una riapertura incontrollata sulla base del fatto che il virus è poi solo una influenza un po’ più incarognita e che non possiamo fermare l’economia.
Una coincidenza?

I restanti sei punti non si applicano al caso in esame, perché di fatto è un pezzo di opinione che viene presentato come fact based, ma che alla fine si concentra su un unico studio, non ne analizza i parametri, e si sforza di delegittimarlo. C’è una forte impressione di cherrypicking – seleziono solo i dati che confermano la mia opinione, e poi affermo che la mia opinione è dimostrata dai fatti.

Io credo che mai come in questo momento sia indispensabile sapersi destreggiare nella gran massa di informazioni che ci vengono riversate addosso, spesso con la presunta autorevolezza supportata da numeri, tabelle, grafici dai colori brillanti.

Per coloro che non se la dovessero sentire di sciropparsi le 400 pagine del libro di Jennifer Utts, esiste un classico intramontabile, vale a dire l’esile, comico e riccamente illustrato How to Lie with Statistics, di Darrell Huff – che è in circolazione da settant’anni e in italiano venne tradotto come Mentire con le Statistiche, e se ne trova ancora qualche copia su Amazon.

Può essere strana, l’idea di imparare a leggere le statistiche e a csapire se siano farlocche o affidabili. ma in quest’epoca in cui la verità è un dettaglio trascurabile per chi gestisce il potere, è in fondo una forma di autodifesa.

Autore: Davide Mana

Paleontologist. By day, researcher, teacher and ecological statistics guru. By night, pulp fantasy author-publisher, translator and blogger. In the spare time, Orientalist Anonymous, guerilla cook.

2 thoughts on “Imparare dagli errori

  1. Sono d’accordo anch’io sull’importanza di trattare le statistiche con dovuta cautela, Davide. Grazie dell’informazione sul libro. Ma guarda come cambiano le parole, il “cherry-picking”, in pratica, è la ben nota “petizione di principio” aristotelica.

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo di WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione /  Modifica )

Google photo

Stai commentando usando il tuo account Google. Chiudi sessione /  Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione /  Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione /  Modifica )

Connessione a %s...

Questo sito utilizza Akismet per ridurre lo spam. Scopri come vengono elaborati i dati derivati dai commenti.