Trasparenza, Glasnost, Transparency

La precisione dei sondaggi

Data: 12 apr 2014
ultima modifica: 29 nov 2016

Sito on line dal 2003
Home page
email
Chi sono
Translation
𝒯utti i sondaggi hanno una certa precisione. In alcuni casi si può calcolare con certezza. Dopo le elezioni si hanno i risultati e si possono comparare con i sondaggi politici avvenuti nelle settimane precedenti le elezioni.

Il 4 dicembre 2016 ci sarà un Referendum per riformare la Costituzione voluta dal Governo Renzi e le previsioni del 28 ottobre secondo i sondaggi clandestini danno un 53.5% per l'original board e un 46.5% per il new board. Con un errore del ±4% si arriva a dedurre che il risultato è in bilico tra una predominanza del nuovo e quella dell'originale. Quindi la partita è aperta ed ogni risultato è possibile pienamente.

Il referendum sull'uscita dalla EU della Gran Bretagna è stato chiamato brexit. Si è svolto il 23 di giugno 2016 e ha vinto il leave per il 51.8% mentre il remain ha avuto il 48.2%. La media dei sondaggi pubblicato dal Financial Times dava il leave a 45% mentre il remain aveva il 44%. In pratica la media dei sondaggi dava un 50.5% vs 49.5%. L'errore è quindi basso e di circa il ±1.5%. Si noti l'uso dei numeri interi per esprimere il sondaggio per cui l'errore risulta uguale o superiore all'unità (±1%).

Veniamo all'Italia. Usiamo i dati di termometro politico sulla media dei sondaggi e usiamo i dati definitivi delle europee 2014 che si sono tenute il 25 di maggio. Per i tre maggiori partiti possiamo costruire questa tabella:


Europee 2014
Sondaggi (media)
Errore nei sondaggi
PDPD
40.8% 33.1%
-7.6%
M5SM5S
21.2% 24.9%
+3.7%
FIFI
16.8% 19.2%
+2.4%

L'errore è del ±4% ad eccezione del risultato del PD che è completamente sbagliato.

Vediamo due sondaggi visti a Porta a Porta di Bruno Vespa riguardo le elezioni europee 2014:

Sondaggio porta a porta euromedia

Si vedono i sondaggi di Euromedia (in verde) e IPR (in arancione) andati in onda su RAI1 sei giorni prima le elezioni. Di quanto sarà sbagliato? Una semplice differenza con i risultati definitivi conferma un errore del ±4% con l'eccezione del risultato del PD.

Si può sicuramente dire che Bruno Vespa racconta stupidaggini nelle sua trasmissione Porta a Porta. Vedremo anche che tutti i sondaggi da una ventina d'anni a questa parte hanno il problema di essere fortemente fallati.

Di quanto hanno sbagliato i sondaggisti nelle elezioni politiche del 2013? Per questo ci avvaliamo di un interessante articolo di Termometro politico e in particolare di una sua tabella delle elezioni del 2013 che riporto nella sua parte che ci interessa:


Camera 2013
Sondaggi (media)
Errore nei sondaggi
PDPD
25.4% 29.7%
+4.3%
M5SM5S
25.5% 15.3%
-10.3%
FIPDL
21.6% 20.0%
-1.6%

Ci sono i partiti maggiori, c'è la media delle ultime rilevazioni ovvero i sondaggi fatti nel mese antecedente le elezioni politiche che si sono tenute il 24 e 25 febbraio 2013 e c'è il risultato ufficiale delle elezioni.

Nell'ultima colonna della tabella ci sono gli errori dei sondaggi ovvero la differenza tra i sondaggi e la realtà dei risultati elettorali definitivi, in  modo tale che un errore positivo significhi una sovrastima dei sondaggi, un errore negativo significhi una sottostima.

Partito
differenza
PD
+4.3%
PDL
-1.6%
M5S
-10.3%

Si noterà che il PD è abbastanza sovrastimato dai sondaggisti che gli attribuiscono in più una grossa percentuale di voti. Al PDL vengono tolti un po' di voti ma non molti, può essere accettabile come errore. Al M5S vengono tolti oltre 10 punti percentuali cioè è sottostimato di quasi la metà dei votanti che è un errore veramente inaccettabile.

Una critica nei confronti dei sondaggisti: che senso ha usare i decimali quando l'errore che si commette è oltre il punto percentuale come minimo e come massimo di 10 punti percentuali? Forse sarebbe meglio usare una forchetta di ±2% o ±4%, in tal caso i sondaggi sarebbero più attinenti alla realtà.

Con un errore della media dei sondaggi pari al ±4% la tabella dei sondaggisti per le elezioni politiche (camera) 2013 sarebbe la seguente:

Partito
min
max
PD
26%
34%
PDL
16%
24%
M5S
11%
19%

Come si vede sarebbe azzeccato il risultato elettorale del PD e del PDL mentre sarebbe sbagliato solo quello del M5S. Certo il confronto tra l'operato dei sondaggisti e i risultati definitivi sarebbe in questo caso molto buono e della stima della gente ne gioverebbe la categoria. Invece si preferisce dare numeri a caso che vengono pubblicati dai giornali come fosse oro colato che poi saranno smentiti il giorno dopo le elezioni.

Per esempio ci sono state le elezioni europee nel 2014 precedute dagli inevitabili sondaggi, uno dei tanti mostrati dalla stampa e dalla tv è quello nell'immagine seguente:

sondaggio

Che senso ha dare questi numeri con anche i decimali? Non sarebbe meglio nel senso di veritiera una tabella fatta nel modo seguente con un errore di ±4%:

sondaggio esempio

Adesso poniamoci la domanda più significativa: Che genere di discussioni si possono fare sull'ultima tabella? Cosa possono dire in tv e nei giornali i commentatori politici? Non si può neppure affermare chi è il primo partito in quanto Forza Italia e il PD potrebbero avere lo stesso numero di voti (FI arriva al 25% e il PD al 26%).

Ancora di più. L'ultima tabella farebbe scadere i sondaggi e i sondaggisti a qualche cosa di inutile e di non significativo con grave danno alla categoria. Ecco che non è possibile dire la verità sui sondaggi e occorre dire mezze bugie o bugie in toto come mettere le virgole nei numeri pur sapendo che dopo le prossime elezioni si avrà una nuova certezza su quanto sbagliati sono i numeri dei sondaggisti.

Abbiamo visto che un ±4% come errore calza abbastanza bene nel caso delle elezioni politiche del 2013 con l'unica eccezione del M5S. Vediamo gli errori nei sondaggi del 2009 che riguardano le elezioni europee, la fonte è sempre Termometro politico:


Europee 2009
Sondaggi (media)
Errore dei sondaggi
PDLPDL
35.3%
39.8% +4.5%
PDPD
26.1%
25.1% +1%
Lega NordLega Nord
10.2%
10.1% -0.1%

Anche qui si nota un errore del ±4%.

Seguono gli errori inconfessabili dei sondaggisti nelle politiche (camera) del 2008 (la media dei sondaggi è sempre di Termometro politico):


Politiche 2008
Sondaggi (media)
Errore dei sondaggi
PDLPDL
37.4%
39.2% +1.8%
PDPD
 33.2%
33.7% +0.5%
LegaLega Nord
8.3%
5.1% -3.2%

Anche in questo caso si nota un errore dei sondaggi del ±4% che avrebbe compreso tutti i risultati reali.

In fine esaminiamo i risultati delle Primarie del PD dove i sondaggisti si sono applicati. A questo fine usiamo i dati riassunti da YouTrend in questa tabella:


Primarie 2013
Sondaggi (media)
Errore dei sondaggi
Renzi Renzi
67.6%
65.0% -2.6%
Cuperlo Cuperlo
 18.2%
22.0% +3.8%
Civati Civati
14.2%
13.0% -1.2%

La media dei sondaggi è fatta usando 8 istituti che operano in questo settore e che hanno fatto l'indagine negli ultimi dieci giorni prima delle Primarie 2013 del PD.

Si nota senza dubbio un errore del ±4% che comprende tutti i risultati.

Nota: Nel caso delle Primarie c'è una grossa differenza percentuale tra il primo eletto e l'ultimo, tra Renzi e Civati. Se l'errore risultasse dipendente dalla percentuale del risultato allora il concetto di errore relativo sarebbe il più utile. Qui si è usato solo l'errore assoluto anche perché di più facile comprensione e perché le percentuali dei maggiori tre partiti sono non troppo differenti e di valore elevato e quindi l'errore assoluto e l'errore relativo hanno la stessa utilità. Nel caso delle primarie dove Cuperlo è affetto da un errore del +3.8% non sembra che le percentuali alte siano affette da un errore assoluto alto e le percentuali basse da un errore assoluto basso.

Ad ogni elezione ci sono invariabilmente queste polemiche ma nessuno ha interesse a ricordarsele prima delle elezioni successive, né i commentatori politici che dissertano dello zero virgola in più del tal partito e nel tal sondaggio, né i sondaggisti che danno letteralmente i numeri, né la gente che legge in modo acritico e smemorato quello che si dice di politica.

Quindi se sono tutti contenti andiamo avanti col teatrino della politica in cui i sondaggi sbagliati sono il canovaccio.

Per gli altri che sono abituati a ragionare sui fatti un errore del ±4% sembra un buon viatico per valutare le medie dei sondaggi per i maggiori partiti delle elezioni politiche del 2008, delle elezioni europee del 2009, delle elezioni politiche del 2013, delle Primarie 2013, delle elezioni europee del 2014 ed elezioni seguenti.

Errore della media dei sondaggi: ±4%

Un articolo che ho letto appena dopo la elezione di Donald Trump come Presidente degli USA nel novembre 2016, venivano intervistati vari sondaggisti uno dei quali affermava che i sondaggi americani sono stati corretti in quanti il loro errore è del ±3.3%. Antonio Noto, direttore dell’istituto Ipr Marketing afferma:
[I sondaggisti] hanno sbagliato di pochissimo nel prevedere un vantaggio della candidata democratica, rimanendo entro il margine dell’errore statistico che consente uno sbaglio fino al 3,3%.
Evidentemente con un tale errore può vincere sia la candidata democratica che il candidato repubblicano.

Wikipedia afferma che i sondaggi d'opinione casuali hanno un errore del 3% mentre quelli stratificati dovrebbero avere un errore migliore. Alcuni studi hanno dimostrato che nelle elezionitra il 1970 e il 1979 la media degli errori dei sondaggi sulle elezioni in Inghilterra è stata di 3 punti percentuali per i campionamenti per quote e 6.3 punti per i sondaggi aleatori.




Errore dell'Instant poll (sondaggio il giorno delle elezioni)

Si può disquisire sul fatto che le persone cambiano idea con l'approssimarsi delle elezioni, nelle elezioni politiche 2013 il giorno delle votazioni è stato fatto un ampio instant poll ovvero un ampio sondaggio con grande dispiegamento di risorse. Un dettagliato articolo di kensan.it dimostra come i risultati siano sempre pessimi per i sondaggisti se si considerano i partiti maggiori. Ecco la tabella relativa:


Politiche 2013
Instant poll
Errore dei sondaggi
PD
25.4%
31-33% +6.6%
PDL
 21.6%
21-23% +0.4%
M5S
25.5%
19-21% -5.5%

Si noterà che nel caso del PD l'instant poll ha errori ancora più grandi della media dei sondaggi del mese precedente le elezioni dove l'errore era del +4.3%. Nel caso del M5S l'errore è di molto diminuito, si passa da un -10.3% a un più modesto -5.5%. Per quanto riguarda il PDL c'è coincidenza tra l'instant poll e il risultato elettorale.

Non si può non parlare dell'ipocrisia dei sondaggisti che quando si confrontano con la realtà, ovvero il giorno delle elezioni, smettono di usare i numeri con la virgola e propongono una forchetta di risultati possibili. In questo caso l'instant poll ha un errore del ±1% secondo il sondaggista.

In realtà l'errore è del ±7% come si vede dalla tabella.

Nel caso delle elezioni europee 2009 si è fatto un instant poll e la tabella relativa è la seguente per i tre maggiori partiti:


Europee 2009
Instant poll
Errore dei sondaggi
PDL
35.3%
34-37% +0.2%
PD
26.1%
25-27% -0.1%
Lega Nord
10.2%
9-10.5% +0.5%

In questo caso l'errore è del ±1%.

Nel caso delle elezioni politiche del 2008 si sono fatti gli exit poll che non sono propriamente dei sondaggi ma gli elettori vengono invitati a rifare lo stesso voto che hanno fatto nel segreto dell'urna su una cassetta del sondaggista. Comunque la tabella degli errori è la seguente:


Politiche 2008
Exit poll
Errore dei sondaggi
PDL
37.4%
32-36% -3.4%
PD
 33.2%
33-37% +1.8%
Lega Nord
8.3%
6-8% -1.3%

Si vede chiaramente come il sondaggista abbia considerato un ampio errore che però non è stato sufficiente a coprire la realtà. Il sondaggista ha considerato un errore del ±2% per i primi due partiti e un errore del ±1% per il partito più piccolo.

Invece un errore del ±4% si attaglia a questi exit poll.

Un altro exit poll si è avuto alle politiche del 2006. Questa la tabella:


Politiche 2006
Exit poll
Errore dei sondaggi
Ulivo
31.3%
30.5-33% +0.5%
Forza Italia
 23.7%
20-23% -2.2%
AN
12.3%
10.5-12.5% -0.8%

L'errore del ±3% va bene per questi exit poll.

Sottolineo di nuovo il fatto che i sondaggisti quando si confrontano con i dati reali delle votazioni sono molto prudenti e offrono una forchetta di previsioni anche molto ampia e non usano i decimali.

𝒜ℬ𝒞𝒟ℰℱ𝒢ℋℐ𝒥𝒦ℒℳ𝒩𝒪𝒫𝒬ℛ𝒮𝒯𝒰𝒱𝒲𝒳𝒴𝒵

Se siete persone comunicative non dimenticatevi di mettere la vostra opinione: scrivete il commento, premete "Inserisci" e il commento è immediatamente pubblicato: grazie!




lepre veloce



Altri testi sullo stesso argomento li trovate elencati di seguito sotto l'argomento Statistica

Diaspora* button
-
Facebook button
1
Twitter button
-
Google+ button
0
LinkedIn button
0
TzeTze button
voti: 0
Data: 12 apr 2014
modifica: 29 nov 2016
Letture di questo articolo: 2410
argomento: Statistica, articoli: Sondaggi

argomento: Media, articoli: I media e la costruzione della realtà (di Marco Cedolin), Lo share di Repubblica e Corriere on line, Violenza sulle donne, Critica all'Auditel, Telegiornali per vecchi, Le perdite dei giornali on line, Le vendite dei giornali di carta

argomento: Politica, articoli: Guerra all'Iran, Censura a Facebook, L'Inflazione ufficiale, Denunzia di appartenenza alla razza ebraica, Tassa sugli Smartphone, Democrazia, Manifesto della razza

argomento: Matematica, articoli: Filtri Bayesiani, Anonymous Remailer (GnuPG e la posta elettronica), Palladium, Cifrario matriciale, Nozioni di Crittografia, Informazione di una Password


obiezione respinta logo
Segnalazioni rivolte al mondo femminile ma non solo, delle farmacie, degli ospedali e dei consultori che non rispettano la legge e che non offrono la pillola anticoncezionale, che non fanno IVG, che non danno la RU486, che trattano malissimo la paziente, che non danno la pillola dei 5 giorni dopo magari con la scusa che l'hanno finita. Ma anche le segnalazioni positive di buona sanità, di competenza e attenzione.
Mappa delle segnalazioni.



Firefox: Riprenditi il web




Statistiche Europee d'uso dei browser 23/07/2017 :
Chrome...54%
Firefox..20%
IE.......9%
Safari...6%

Fonte: StatCounter

Borsa valori della moneta Bitcoin (23/07/2017):

prezzo di 1 bitcoin:
2379.57 €
LTC
DRK


Fonte: Bitcoincharts.com

Sostieni Wikileaks!
Se hai qualche bitcoin fai una donazione a wikileaks all'indirizzo:
1HB5XMLmzFVj8ALj6 mfBsbifRoD4miY36v

Queste sono le donazioni fatte fin'ora: 4024 bitcoin.




L'intero sito kensan.it ha avuto questi Share:

facebook: 6586
twitter: -
google+: 61
linkedIn: 0




IL TUO 5 PER MILLE PER GLI OSPEDALI DI EMERGENCY codice fiscale:
971 471 101 55







Ciao Anonimo, commenta questo articolo!

NON ci sono ancora COMMENTI per questo articolo :

commenti abilitati per gli anonimi
Commenti sperimentali
by kensan & Mp
Pubblicità
kensan logo Licenza Creative Commons 3.0
I miei testi sono sotto la Licenza "Creative Commons 3.0 Italia": se sei interessato a pubblicare i miei articoli leggi le note aggiuntive dove troverai anche le attribuzioni dei diritti per tutte le immagini pubblicate.
Questo sito memorizza sul tuo pc uno o più cookie di tipo tecnico, leggi l'informativa estesa.
Kensan geek site

e-mail
e-mail cifrata