La scienza dei sondaggi: c’è da fidarsi?

@ jorge cham

In questi ultimi anni è diventato estremamente popolare commentare le notizie attraverso sondaggi. Quasi ogni giornale, alla fine di una notizia su una nuova legge o addririttura su una notizia di cronaca, aggiunge il classico sondaggio “Siete d’accordo?”. Spesso i numeri relativi ai partecipanti a questi sondaggi diventano anche considerevollmente alti. Hanno qualche valore? Come vanno letti? E cosa dire di quei sondaggi che vengono sbandierati in televisione, quasi come risultati politici. È giusto darli? E che effetto hanno sulla popolazione?

Sembrerà assurdo, ma un fisico generalmente sa affrontare questi problemi. Anche se in maniera diversa da quella a cui siamo abituati. E ogni tanto, è sorprendente vedere come problemi statistici vengono affrontati con leggerezza dai media.

Alla fine il senso di questo post è riassunto dal fumetto che appare all’inizio. Forse qualcuno di voi conosce questa striscia settimanale, PhD Comic,  pubblicata ormai da molti anni da un ragazzo che ha completato il suo PhD alla Stanford University. Nella sua comicità ha generalmente il pregio di dire con grande chiarezza come stanno le cose. Ed è così anche nel caso di questo fumetto specifico.

I punti che tocca sono aspetti chiave che uno scienziato deve sempre tenere sotto controllo, con il rischio altrimenti di dover buttare via anni di lavoro, ma che spesso non vengono nemmeno nominati nei sondaggi pubblici. Come è possibile?

Fare un sondaggio pubblico non è un lavoro banale: bisogna scegliere il campione correttamente, formulare le domande correttamente e fare una scrupolosa analisi dei risultati. Nella maggiorparte dei casi vengono sparati dei risultati senza fornire le informazioni su come sono stati raccolti ed analizzati i dati.

Faccio un esempio. Negli Stati Uniti hanno un termine per definire questo tipo di sondaggi, spesso utilizzati a fini politici. Vengono chiamati “push polls”. Sono facilmente riconoscibili in quanto generalmente non contengono informazioni sulla distribuzione geografica e sociale degli intervistati, sono spesso molto brevi, con solo poche domande, e le domande spesso includono un’opinione loro stesse. È famoso il sondaggio che è stato portato avanti dall’ex presidente Bush in South Carolina, durante le elezioni primarie del 2000. In quell’occasione, per esempio, una delle domande era: “Voteresti il candidato John McCain se sapessi che ha avuto un bambino illegittimo di colore?”. Una domanda del genere non ha nessun valore statistico, ma serve per raggiungere migliaia di elettori con questa frase. Per farla sentire in giro.

Il modo in cui è formulata la domanda, il numero di persone che vengono intervistate e il criterio con cui viene scelto il campione, attribuisce un valore, un peso, al sondaggio. Se questo peso è troppo basso il sondaggio non ha nessun valore.

In fisica, per esempio, quando si vuole fare un’analisi che può essere ripetuta una sola volta, bisogna stare molto attenti ad essere imparziali. Per esempio, se io voglio dimostrare che una certa stella emette neutrini (come in effetti faccio) non posso sviluppare la mia analisi attorno a quella stella. Perché è umano che io cerchi di “forzare” il risultato e, se poi rivelassi effettivamente un neutrino, il mio risultato sarebbe impubblicabile, perché non posso dimostrare che la mia analisi sia generale e non semplicemente costruita attorno a quel caso specifico, per ottenere quello che volevo.

Devo fare la mia analisi attorno ad un’altra stella, che SO non produrre nessun neutrino. A questo punto sviluppo la mia analisi completamente e quando è finita, la applico alla stella che voglio io, senza però poterla più modificare. Questo metodo viene chiamata strategia “blinded”, alla cieca. Serve per dare un valore statistico alla scoperta scientifica.  Sembra non avere nulla a che fare coi sondaggi, ma in realtà è molto simile.

Domandare “Voteresti Pinco, visto che Pallino è un incompetente” non è “blinded” perché facendo questa domanda hai perturbato il sistema, facendolo propendere da una parte. Analogamente,  uno non può dare un valore ad un sondaggio che viene fatto, per esempio, tra i lettori di un singolo giornale, o tra gli elettori di un singolo partito. È ovvio che un campione del genere sarà pressocché concorde, poiché rientra nello stesso bacino culturale.

Quando il campione è scelto correttamente e le domande sono formulate in modo sensato, bisogna analizzare i risultati. In sostanza quello che la statistica ci può dire è se l’ipotesi “zero” può venir scartata. Nel caso dell’esempio della stella coi neutrini, l’ipotesi è che la stella non emetta neutrini. Se si può scartare quest’ipotesi, si suppone che quindi emetta neutrini, con un certo “livello di confidenza” che tiene conto anche dell’accuratezza statistica (il numero di stelle studiate, il numero di neutrini misurati) ccon cui è supportato il risultato.

Nel caso delle elezioni, per esempio, l’ipotesi va chiarificata, in genere si vuole vedere se le due fazioni, il gruppo di quelli che preferiscono un candidato e quelli che preferiscono l’altro sono “significativamente” diversi. Non basta contare e vedere se un gruppo ha un voto piu dell’altro, ma va fatto un test che tiene conto della quantità di variabili in gioco e del valore statistico di ciascuna di esse.

Trovo molto importante che la popolazione sia a conoscenza del valore dei sondaggi che sente per televisione o nei giornali, perché spesso vengono usati come armi mediatiche per convincere gli altri delle proprie ragioni. Questo non ha nessun senso. Nel fumetto c’è l’esempio dell’intervistatore che cerca di convincere Galileo che la Terra è piatta perché nei sondaggi risulta che la maggior parte della gente pensa che sia piatta. Sembra ridicolo, ma spesso ci vengono presentate delle frasi del genere. La realtà, invece, non è influenzata dai sondaggi o dalle opinioni ed è sbagliato utilizzarli in questa maniera.

Siete d’accordo con me, vero? ;-)

Press ESC to close