Trasparenza, Glasnost, Transparency

La precisione dei sondaggi

Data: 12 apr 2014
ultima modifica: 23 feb 2018

Sito on line dal 2003
Home page
email
Chi sono
Translation
𝒯utti i sondaggi hanno una certa precisione. In alcuni casi si può calcolare con certezza. Dopo le elezioni si hanno i risultati e si possono comparare con i sondaggi politici avvenuti nelle settimane precedenti le elezioni.

Errore dei sondaggi teorico

Alcune precisioni per i singoli sondaggi con livello di confidenza del 95% che si hanno secondo i sondaggisti in base a calcoli teorici:
  • Ixè: ± 3.1 %
  • Piepoli: ± 4.3%
  • SWG: ±3.3%
  • Euromedia: ±3.5%
Abbiamo la possibilità di riferirci alla media dei sondaggi e non a un singolo sondaggio. La media dei sondaggi ha errori più piccoli dei singoli sondaggi. Vedremo invece che gli errori reali che si hanno solo dopo le elezioni sono molto più alti non solo della media dei sondaggi ma anche dei singoli sondaggi.

Errore dei sondaggi empirico

Elezioni politiche 2018

Tabella compilata il 16 febbraio 2018

Per le elezioni politiche del 4 marzo 2018 gli Istituti di sondaggio forniscono in media per la settimana prima (12-16 febbraio) dell'oscuramento pre-elettorale i seguenti valori secondo i calcoli di Termometro Politico:



Politiche 2018
Sondaggi (media)
Errore nei sondaggi
M5SM5S 23 - 33% 27.6%
±5%
PDPD 18 - 28% 22.8%
±5%
FIFI
12 - 22% 16.7%
±5%
Lega NordLega
8 - 18%
13.4%
±5%

Considerando il valore di errore del ±5% come calcolato in seguito in base ai sondaggi e ai risultati elettorali, si hanno le forchette indicate in grande. I sondaggi continuano fino al giorno prima del 4 marzo, data delle urne, ma il trend della media dei sondaggi è nel tempo piuttosto lenta oppure costante per cui i valori non cambieranno di molto secondo i sondaggisti.

In 4 settimane, dal 21 gennaio al 16 febbraio,  la media dei 12 sondaggi è variata dello 0.2% per il M5S, 0.6% per il PD, 0.3% per La Lega. Su un errore del 5% tali variazioni sono irrisorie. Mi attendo per il 2 marzo valori molto simili a quelli pubblicati qui per quanto riguarda la media dei sondaggi.

Nei giorni successivi le elezioni del 4 marzo 2018 saranno pubblicati la media dei sondaggi del 2 marzo e in base a quelli vedremo gli errori effettivi dei sondaggi.

Tabella compilata il 5 marzo 2018

Le elezioni sono arrivate. I dati definitivi del 4 marzo danno:


Politiche 2018
Sondaggi (media)
Errore nei sondaggi
M5SM5S 32.7%
27.6%
-5.1%
PDPD 18.7% 22.8%
+4.1%
FIFI
14.0% 16.7%
+2.7%
Lega NordLega
17.4%
13.4%
-4.0%


L'errore è del ±5% come al solito.

Si noti che le previsioni fatte il 16 febbraio e riportate nella prima tabella con le forbici del ±5% sono ipotesi realistiche che io ho realizzato e come potevano realizzare i sondaggisti. Realistiche nel senso che dopo il 4 marzo sono scaturiti gli errori dei sondaggi riportati nella tabella qui sopra e perfettamente compatibili con le previsioni.

Una seconda nota è che gli errori teorici che le singole aziende di sondaggi pubblicano sono distanti dalla realtà. Per esempio il 3% di Ixè, SWG ed Euromedia con il 95% di confidenza è piuttosto errato guardando la tabella qui sopra dove l'errore è quasi sempre superiore al 4% ed arriva al 5%. Solo per Forza Italia l'errore è compatibile.

Referendum 4 dicembre 2016

Il 4 dicembre 2016 c'è stato il Referendum per riformare la Costituzione voluta dal Governo Renzi e la media degli ultimi 7 giorni di sondaggi danno un 53% a 47% a favore del No. Il risultato effettivo uscito dalle urne è stato di un più ampio 59.1% a 40.9%. L'errore è stato in questo caso piuttosto ampio e pari a un ±6%.

Brexit

Il referendum sull'uscita dalla EU della Gran Bretagna è stato chiamato brexit. Si è svolto il 23 di giugno 2016 e ha vinto il leave con il 51.8% mentre il remain ha avuto il 48.2%. La media dei sondaggi pubblicato dal Financial Times dava il leave a 45% mentre il remain aveva il 44%. In pratica la media dei sondaggi dava un 50.5% vs 49.5%. L'errore è quindi basso e di circa il ±1.5%. Si noti l'uso dei numeri interi per esprimere il sondaggio per cui l'errore risulta uguale o superiore all'unità (±1%).

Europee 2014

Veniamo all'Italia. Usiamo i dati di termometro politico sulla media dei sondaggi del 23 maggio e usiamo i dati definitivi delle europee 2014 che si sono tenute il 25 di maggio. Gli Istituti di sondaggio considerati sono 18.  Per i tre maggiori partiti possiamo costruire questa tabella:


Europee 2014
Sondaggi (media)
Errore nei sondaggi
PDPD
40.8% 32.9%
-7.9%
M5SM5S
21.2% 26.7%
+5.5%
FIFI
16.8% 17.7%
+0.9%

L'errore è del ±5.5% ad eccezione del risultato del PD che è completamente sbagliato.

Vedremo in seguito che questo errore copre quasi tutte le situazioni.

Vediamo due sondaggi visti a Porta a Porta di Bruno Vespa riguardo le elezioni europee 2014:

Sondaggio porta a porta euromedia

Si vedono i sondaggi di Euromedia (in verde) e IPR (in arancione) andati in onda su RAI1 sei giorni prima le elezioni. Di quanto sarà sbagliato? Una semplice differenza con i risultati definitivi conferma un errore del ±4% con l'eccezione del risultato del PD. Quindi il ±5% calza anche per questo singolo sondaggio.

Si può sicuramente dire che Bruno Vespa racconta stupidaggini nelle sua trasmissione Porta a Porta. Vedremo anche che tutti i sondaggi da una ventina d'anni a questa parte hanno il problema di essere fortemente fallati, nel senso di essere affetti da un grosso errore, molto maggiore di quello sbandierato dai sondaggisti.

Politiche 2013

Di quanto hanno sbagliato i sondaggisti nelle elezioni politiche del 2013? Per questo ci avvaliamo di un interessante articolo di Termometro politico e in particolare di una sua tabella delle elezioni del 2013 che riporto nella sua parte che ci interessa:


Camera 2013
Sondaggi (media)
Errore nei sondaggi
PDPD
25.4% 29.7%
+4.3%
M5SM5S
25.5% 15.3%
-10.3%
FIPDL
21.6% 20.0%
-1.6%

Ci sono i partiti maggiori, c'è la media delle ultime rilevazioni ovvero i sondaggi fatti qualche giorno prima le elezioni politiche che si sono tenute il 24 e 25 febbraio 2013 e c'è il risultato ufficiale delle elezioni. Gli Istituti di sondaggio considerati sono 15.

Nell'ultima colonna della tabella ci sono gli errori dei sondaggi ovvero la differenza tra i sondaggi e la realtà dei risultati elettorali definitivi, in  modo tale che un errore positivo significhi una sovrastima dei sondaggi, un errore negativo significhi una sottostima.

Partito
differenza
PD
+4.3%
PDL
-1.6%
M5S
-10.3%

Si noterà che il PD è abbastanza sovrastimato dai sondaggisti che gli attribuiscono in più una grossa percentuale di voti. Al PDL vengono tolti un po' di voti ma non molti, può essere accettabile come errore. Al M5S vengono tolti oltre 10 punti percentuali cioè è sottostimato di quasi la metà dei votanti che è un errore veramente inaccettabile.

L'errore è del ±5% ad eccezione del risultato del M5S che è completamente sbagliato.

Una critica nei confronti dei sondaggisti: che senso ha usare i decimali quando l'errore che si commette è oltre il punto percentuale come minimo e come massimo di 10 punti percentuali? Forse sarebbe meglio usare una forchetta di ±2% o ±4%, in tal caso i sondaggi sarebbero più attinenti alla realtà.

Con un errore della media dei sondaggi pari al ±5% la tabella dei sondaggisti per le elezioni politiche (camera) 2013 sarebbe la seguente:

Partito
min
max
PD
25%
35%
PDL
15%
25%
M5S
10%
20%

Come si vede sarebbe azzeccato il risultato elettorale del PD e del PDL mentre sarebbe sbagliato solo quello del M5S. Certo il confronto tra l'operato dei sondaggisti e i risultati definitivi sarebbe in questo caso molto buono e della stima della gente ne gioverebbe la categoria. Invece si preferisce dare numeri a caso che vengono pubblicati dai giornali come fosse oro colato che poi saranno smentiti il giorno dopo le elezioni.




Per esempio ci sono state le elezioni europee nel 2014 precedute dagli inevitabili sondaggi, uno dei tanti mostrati dalla stampa e dalla tv è quello nell'immagine seguente:

sondaggio

Che senso ha dare questi numeri con anche i decimali? Non sarebbe meglio nel senso di veritiera una tabella fatta nel modo seguente con un errore molto ampio?:

sondaggio esempio

Adesso poniamoci la domanda più significativa: Che genere di discussioni si possono fare sull'ultima tabella? Cosa possono dire in tv e nei giornali i commentatori politici? Non si può neppure affermare chi è il primo partito in quanto Forza Italia e il PD potrebbero avere lo stesso numero di voti (FI arriva al 25% e il PD al 26%).

Europee 2009

Abbiamo visto che un ±5% come errore calza abbastanza bene nel caso delle elezioni politiche del 2013 con l'unica eccezione del M5S. Vediamo gli errori nei sondaggi del 2009 che riguardano le elezioni europee, la fonte è sempre Termometro politico:


Europee 2009
Sondaggi (media)
Errore dei sondaggi
PDLPDL
35.3%
39.8% +4.5%
PDPD
26.1%
25.1% +1%
Lega NordLega Nord
10.2%
10.1% -0.1%

Anche qui si nota un errore del ±5%.

Politiche 2008

Seguono gli errori inconfessabili dei sondaggisti nelle politiche (camera) del 2008 (la media dei sondaggi è sempre di Termometro politico):


Politiche 2008
Sondaggi (media)
Errore dei sondaggi
PDLPDL
37.4%
39.2% +1.8%
PDPD
 33.2%
33.7% +0.5%
LegaLega Nord
8.3%
5.1% -3.2%

Anche in questo caso si nota un errore dei sondaggi del ±5% che avrebbe compreso tutti i risultati reali.

Primarie PD 2013

In fine esaminiamo i risultati delle Primarie del PD dove i sondaggisti si sono applicati. A questo fine usiamo i dati riassunti da YouTrend in questa tabella:


Primarie 2013
Sondaggi (media)
Errore dei sondaggi
Renzi Renzi
67.6%
65.0% -2.6%
Cuperlo Cuperlo
 18.2%
22.0% +3.8%
Civati Civati
14.2%
13.0% -1.2%

La media dei sondaggi è fatta usando 8 istituti che operano in questo settore e che hanno fatto l'indagine negli ultimi dieci giorni prima delle Primarie 2013 del PD.

Si nota senza dubbio un errore del ±5% che comprende tutti i risultati.

Nota: Nel caso delle Primarie c'è una grossa differenza percentuale tra il primo eletto e l'ultimo, tra Renzi e Civati. Se l'errore risultasse dipendente dalla percentuale del risultato allora il concetto di errore relativo sarebbe il più utile. Qui si è usato solo l'errore assoluto anche perché di più facile comprensione e perché le percentuali dei maggiori tre partiti sono non troppo differenti e di valore elevato e quindi l'errore assoluto e l'errore relativo hanno la stessa utilità. Nel caso delle primarie dove Cuperlo è affetto da un errore del +3.8% non sembra che le percentuali alte siano affette da un errore assoluto alto e le percentuali basse da un errore assoluto basso.

Ad ogni elezione ci sono invariabilmente queste polemiche ma nessuno ha interesse a ricordarsele prima delle elezioni successive, né i commentatori politici che dissertano dello zero virgola in più del tal partito e nel tal sondaggio, né i sondaggisti che danno letteralmente i numeri, né la gente che legge in modo acritico e smemorato quello che si dice di politica.

Quindi se sono tutti contenti andiamo avanti col teatrino della politica in cui i sondaggi sbagliati sono il canovaccio.

Per gli altri che sono abituati a ragionare sui fatti un errore del ±5% sembra un buon viatico per valutare le medie dei sondaggi per i maggiori partiti delle elezioni politiche del 2008, delle elezioni europee del 2009, delle elezioni politiche del 2013, delle Primarie 2013, delle elezioni europee del 2014, del Referendum 2017, delle politiche 2018 ed elezioni seguenti.

Errore della media dei sondaggi: ±5%

Un articolo che ho letto appena dopo la elezione di Donald Trump come Presidente degli USA nel novembre 2016, venivano intervistati vari sondaggisti uno dei quali affermava che i sondaggi americani sono stati corretti in quanti il loro errore è del ±3.3%. Antonio Noto, direttore dell’istituto Ipr Marketing afferma:
[I sondaggisti] hanno sbagliato di pochissimo nel prevedere un vantaggio della candidata democratica, rimanendo entro il margine dell’errore statistico che consente uno sbaglio fino al 3,3%.
Evidentemente con un tale errore può vincere sia la candidata democratica che il candidato repubblicano.

Wikipedia afferma che i sondaggi d'opinione casuali hanno un errore del 3% mentre quelli stratificati dovrebbero avere un errore migliore. Alcuni studi hanno dimostrato che nelle elezioni tra il 1970 e il 1979 la media degli errori dei sondaggi sulle elezioni in Inghilterra è stata di 3 punti percentuali per i campionamenti per quote e 6.3 punti per i sondaggi aleatori.




Errore dell'Instant poll (sondaggio il giorno delle elezioni)

Si può disquisire sul fatto che le persone cambiano idea con l'approssimarsi delle elezioni, nelle elezioni politiche 2013 il giorno delle votazioni è stato fatto un ampio instant poll ovvero un ampio sondaggio con grande dispiegamento di risorse. Un dettagliato articolo di kensan.it dimostra come i risultati siano sempre pessimi per i sondaggisti se si considerano i partiti maggiori. Ecco la tabella relativa:


Politiche 2013
Instant poll
Errore dei sondaggi
PD
25.4%
31-33% +6.6%
PDL
 21.6%
21-23% +0.4%
M5S
25.5%
19-21% -5.5%

Si noterà che nel caso del PD l'instant poll ha errori ancora più grandi della media dei sondaggi del mese precedente le elezioni dove l'errore era del +4.3%. Nel caso del M5S l'errore è di molto diminuito, si passa da un -10.3% a un più modesto -5.5%. Per quanto riguarda il PDL c'è coincidenza tra l'instant poll e il risultato elettorale.

Non si può non parlare dell'ipocrisia dei sondaggisti che quando si confrontano con la realtà, ovvero il giorno delle elezioni, smettono di usare i numeri con la virgola e propongono una forchetta di risultati possibili. In questo caso l'instant poll ha un errore del ±1% secondo il sondaggista.

In realtà l'errore è del ±7% come si vede dalla tabella.

Nel caso delle elezioni europee 2009 si è fatto un instant poll e la tabella relativa è la seguente per i tre maggiori partiti:


Europee 2009
Instant poll
Errore dei sondaggi
PDL
35.3%
34-37% +0.2%
PD
26.1%
25-27% -0.1%
Lega Nord
10.2%
9-10.5% +0.5%

In questo caso l'errore è del ±1%.

Nel caso delle elezioni politiche del 2008 si sono fatti gli exit poll che non sono propriamente dei sondaggi ma gli elettori vengono invitati a rifare lo stesso voto che hanno fatto nel segreto dell'urna su una cassetta del sondaggista. Comunque la tabella degli errori è la seguente:


Politiche 2008
Exit poll
Errore dei sondaggi
PDL
37.4%
32-36% -3.4%
PD
 33.2%
33-37% +1.8%
Lega Nord
8.3%
6-8% -1.3%

Si vede chiaramente come il sondaggista abbia considerato un ampio errore che però non è stato sufficiente a coprire la realtà. Il sondaggista ha considerato un errore del ±2% per i primi due partiti e un errore del ±1% per il partito più piccolo.

Invece un errore del ±4% si attaglia a questi exit poll.

Un altro exit poll si è avuto alle politiche del 2006. Questa la tabella:


Politiche 2006
Exit poll
Errore dei sondaggi
Ulivo
31.3%
30.5-33% +0.5%
Forza Italia
 23.7%
20-23% -2.2%
AN
12.3%
10.5-12.5% -0.8%

L'errore del ±3% va bene per questi exit poll.

Sottolineo di nuovo il fatto che i sondaggisti quando si confrontano con i dati reali delle votazioni sono molto prudenti e offrono una forchetta di previsioni anche molto ampia e non usano i decimali.



Non dimenticatevi di mettere la vostra opinione: scrivete il commento, premete "Inserisci" e il commento è immediatamente pubblicato: grazie!






Altri testi sullo stesso argomento li trovate elencati di seguito sotto l'argomento Statistica

Diaspora* button
-
Facebook button
1
Twitter button
-
Google+ button
0
LinkedIn button
0
TzeTze button
voti: 0
Data: 12 apr 2014
modifica: 23 feb 2018
Letture di questo articolo: 3287
argomento: Statistica, articoli: Sondaggi

argomento: Media, articoli: I media e la costruzione della realtà (di Marco Cedolin), Giornalisti comprati, Critica all'Auditel, Le perdite dei giornali on line, Le vendite dei giornali di carta, Eurovision Song Contest 2018 (Classifica Youtube), Fiducia nei Media

argomento: Politica, articoli: L'Inflazione, Prima censura in Italia ad Internet (censura alla cinese), Politica Energetica (di Jimmy Carter), La maturità dell'Italia (rating del debito pubblico), Violenza sulle donne, Tecnocontrollo, Democrazia

argomento: Matematica, articoli: Filtri Bayesiani, Anonymous Remailer (GnuPG e la posta elettronica), Palladium, Cifrario matriciale, Nozioni di Crittografia, Informazione di una Password








Firefox: Riprenditi il web




Statistiche Europee d'uso dei browser 13/11/2018 :
Chrome...68%
Firefox..12%
Safari...6%
IE.......5%

Fonte: StatCounter

Borsa valori della moneta Bitcoin (13/11/2018):

prezzo di 1 bitcoin:
BTC 5626.87 €
LTC 43.8 €
IOTA 0.44 €


Fonte: coinmarketcap.com

Sostieni Wikileaks!
Se hai qualche bitcoin fai una donazione a wikileaks all'indirizzo:
1HB5XMLmzFVj8ALj6 mfBsbifRoD4miY36v

Queste sono le donazioni fatte fin'ora: 4043 bitcoin.




L'intero sito kensan.it ha avuto questi Share:

facebook: 8650
twitter: -
google+: 0
linkedIn: 0




IL TUO 5 PER MILLE PER GLI OSPEDALI DI EMERGENCY codice fiscale:
971 471 101 55




Uomo di Cheddar di 9'000 anni fa

Inglese di 9 mila anni fa ricostruito in base al DNA del Cheddar man il cui scheletro completo e ben conservato e stato ritrovato in Gran Bretagna. Aveva la pelle scura e gli occhi azzurri in base al DNA.

L’Uomo di Cheddar era un Homo Sapiens, era alto 166 centimetri e quando morì era intorno ai 20 anni. Faceva parte di una popolazione di cacciatori-raccoglitori, era intollerante al lattosio e agli amidi, aveva un sistema immunitario che lo difendeva da molte malattie. Quest'uomo è distante da noi solo 450 generazioni.

Lo spagnolo Uomo di La Braña, analogo a questo (pelle scura e occhi azzurri), era distante da noi solo 350 generazioni (7 mila anni).

Fonte: Nature
kensan logo Licenza Creative Commons 3.0
I miei testi sono sotto la Licenza "Creative Commons 3.0 Italia": se sei interessato a pubblicare i miei articoli leggi le note aggiuntive (Licenza di kensan.it) dove troverai anche le attribuzioni dei diritti per tutte le immagini pubblicate.
Questo sito memorizza sul tuo pc uno o più cookie di tipo tecnico, leggi l'informativa estesa.
Kensan geek site

e-mail
e-mail cifrata