Opinionsundersökningarnas träffsäkerhet vid valen 2002-2014

Detta är ett gästinlägg av PER OLESKOG TRYGGVASON, doktorand vid institutionen för journalistik, medier och kommunikation vid Göteborgs universitet.

Så här mitt upp i valrörelsen bombarderas vi av opinionsundersökningar. I skrivande stund har fler än 20 mätningar publicerats sedan början av augusti. Ser vi till tidigare valrörelser kan vi förvänta oss en bit över 30 nya mätningar fram till valdagen den 9:e september!

Men hur väl speglar opinionsundersökningar egentligen väljarnas röstningsintentioner? I det här inlägget kommer jag att redovisa hur träffsäkra opinionsinstitutens sistamätningar har varit i de fyra senaste valen. Jag kommer bland annat analysera vilka institut som klart sig bäst respektive sämst och om det finns någon systematik i mätningarnas över- och underskattningar av de politiska partierna. För att göra det här har jag utgått ifrån en något korrigerad version av Novus sammanställning av samtliga opinionsundersökningar 2000-2018.

Det finns flera olika sätt att utvärdera en opinionsundersöknings träffsäkerhet. En etablerad indikator är att beräkna den genomsnittliga avvikelsen per parti. Man summerar då ihop de totala avvikelserna för hela mätningen och dividerar med antalet partier man försökt skatta. I grafen nedan ser vi snittet för de kommersiella opinionsinstituten 2002-2014. Vi kan se i grafen nedan att den genomsnittliga avvikelsen legat kring 1 procentenhet per parti i de fyra senaste valen. Sett ur ett internationellt perspektiv så är det här klart godkänt och ungefär vad vi som är rimligt att förvänta givet undersökningarnas design.

Avvikelserna mellan opinionsinstitutens sistamätningar och valresultatet i riksdagsvalen 2002, 2006, 2010 och 2014 (genomsnittlig avvikelse per parti)

 

Vilket institut har varit bäst?
Bryter vi ner analysen och ser till hur träffsäkra de kommersiella opinionsinstituten varit i respektive val så ser vi att det finns avsevärd spridning både inom ett och samma år och mellan valåren. Inför valet 2014 lyckades United Minds komma närmast valresultat med en genomsnittlig avvikelse på 0,6 procentenheter per parti. Ipsos lyckades sämst med en genomsnittlig avvikelse på 1,6 procentenheter. Ser vi istället till träffsäkerheten 2010 så var rangordningen den rakt motsatta. Här lyckades Ipsos få den lägsta avvikelsen, något bättre än Demoskop och Sifo, samtidigt som United Minds var minst träffsäkra. Vi kan alltså konstatera att det kan ske stora omkullkastningar mellan valen och att inget institut i Sverige varit klart bättre eller klart sämre än något annat.

Not: Antalet partier som skattats respektive år var: 2014=10, 2010=9, 2006=8, 2002=8. År 2006 så mättes Sverigedemokraternas stöd i Sifos och Ipsos (dåvarande Synovate) mätningar. Dessa skattningar har dock i den här analysen slagits samman med kategorin övriga partier för att hålla antalet skattade partier konstant inom respektive år.

 

Vilka partier har underskattats eller överskattats?
Även om det är intressant och relevant att utvärdera hur respektive institut lyckades skatta helheten (inte minst för instituten själva), så är det antagligen än mer betydelsefullt att undersöka huruvida det finns någon systematik i vilka partier som varit över eller underskattade inför valen. För det första så lägger nyhetsmedierna trots allt en stor vikt vid opinionsundersökningar i sin valbevakning – både som ett sätt att spegla kampen om den politiska makten, men också genom att tillskriva partier vinnar- och förlorarstämplar beroende på hur de ligger till i opinionen. För det andra så kan partiernas stöd i opinionen påverka valutgången då de fungerar som en informationskälla till huruvida det är värt att stödrösta på ett pari man vill ska komma in i riksdagen eller inte.

I de åtta figurerna nedan (slideshow) visas respektive partis under- och överskattning i opinionsinstitutens sistamätningar under perioden 2002-2014. Här är det tydligt att flera partier systematiskt har överskattats de senaste valen. Mest tydligt är den här tendensen för Miljöpartiet. I det senaste riksdagsvalet 2014 så överkattades Miljöpartiet i samtliga sistamätningar med mellan 0,8 till 3,4 procentenheter. Partiet överskattades också i sex av sju sistamätningar 2010.

Ytterligare tre partier – Vänsterpartiet, Liberalerna och Kristdemokraterna –överskattades av nästintill samtliga institut 2014. För Vänsterpartiets del så verkar det dock inte finnas någon systematik då instituten blandade (små) över och underskattningar 2010 och 2006 och mönstret är delvis samma för Liberalerna. Även om opinionsinstituten haft relativt små missar gällande Kristdemokraternas röststöd så är de noterbart att de endast underskattats i tre av tjugosex sistamätningar.

Att de tre partier som idag ligger närmast riksdagsspärren (MP, L och KD) alla överskattades 2014 bör kanske ge upphov till en del nagelbitande hos de partiaktiva så till vida partierna inte skaffat sig ordentligt med luft till spärren fram till den 9 september.

Detta bildspel kräver JavaScript.

Det finns också tre partier som i de två senaste valen systematiskt har fått lägre skattningar jämfört med valresultatet. Även om fyra institut i princip prickade Socialdemokraternas valresultat 2014 så underskattades paritet med mellan 1,5 till 2,4 procentenheter av övriga institut. Än tydligare var underskattningen av Socialdemokraterna i valen 2010 och 2002 där partiet underskattades i samtliga instituts sistamätningar.

Ytterligare ett parti som systematiskt underskattades i institutens sistamätningar 2014 var Moderaterna. Här underskattades man i sju av åtta mätningar. Den enda överskattningen var hos Skop, där partiet fick 1,3 procentenheter mer än valresultatet. Ser vi till valen 2010 och 2006 så var institutens över och underskattningar dock ungefär lika många och stora.

Sverigedemokraterna har varit svårast att skatta
Den underskattning som rönt klart mest medial uppmärksamhet är institutens oförmåga att träffa Sverigedemokraternas röststöd 2014. Samtliga institut hade en för låg siffra på Sverigedemokraterna. Underskattningen var störst hos Skop som missade med nästan 5 procentenheter. Övriga institut, med undantag för Sentio, underskattade partiet med mellan 1,8 till 3,5 procentenheter. Sverigedemokraterna underskattades även inför valet 2010 och hos de två institut som mätte dem 2006, men här var missarna betydligt mindre. Exempelvis så var missarna 2010 inte i närheten av så stor som de för Socialdemokraterna och Miljöpartiet.

Det parti som opinionsinstituten träffat bäst i de två senaste valen är Centerpartiet. 2014 var alla skattningar inom +/- 0,7 procentenheter och 2010 var den största missen en underskattning på -1,1 procentenheter. Innan 2010 hade dock instituten betydligt svårare att mäta Centerpartiets röststöd då här man underskattade partiet i samtliga sistamätning med undantag för Raubs mätning 2002.

Sammanfattningsvis kan vi konstatera att opinionsinstituten som helhet presterat ungefär lika bra i de fyra senaste åren, men att det finns en tydlig systematik i institutens felskattningar. Det är mer regel än undantag att instituten har fel åt samma håll. Den 9:e september vet vi om så är fallet även i år.

/Per Oleskog Tryggvason

 

Appendix

Tabell 1         Tabellen visar skattningarna i respektive opinionsinstitut sistamätning och den genomsnittlig procentuell avvikelse under perioden 2002-2014.

Kommentar: Information om respektive opinionsinstituts skattningar har hämtats från Novus sammanställning ”Samtliga svenska väljarbarometrar”. Följande ändringarhar gjorts i filen. För Ipsos (dåvarande Synovate) mätning 2006-09-16 har datumet ändrats till 2006-09-17. För samma mätning har också en skattning för SD (*=2,2) lagts till och kategorin övriga har justerats från 0,9 till 3,0 procent. I SIFO 2006-09-16 har en skattning för SD (**=2.5) lagts till och kategorin övriga partier har justerats från 5,0 till 3,0. I Skops mätning 2006-09-16 var skattningarna för V och MP ihopblandade. Det har nu justerats så att V har 6.4 och MP har 5.1. För beräkningen av genomsnittlig procentuell avvikelse 2006 så har SD:s skattningar i Sifo och Ipsos slagits samman med kategorin övriga partier för att hålla antalet skattade kategorier konstant.