Inte säkert att opinionsmätningen som kommer närmast valresultatet är bäst

Sedan jag i fredags publicerade jämförelsen av opinionsinstitut utifrån vilka metoder de använder sig av har två saker hänt. Den första är att Ipsos, Novus och Demoskop alla signalerat att de ska redovisa mer information om sina metoder i kommande väljarbarometrar, vilket är mycket välkommet. Ju större transparens, desto lättare kan vi utvärdera kvaliteten.

Den andra, och som det här inlägget handlar om, är att jag fått många kommentarer om att det är meningslöst att utvärdera metoden, när man bara kan jämföra resultatet – det vill säga, hur nära institutens prognoser kom valresultatet. En liknelse var att det jag gjorde var som att efter en fotbollsmatch utvärdera spelidéerna för att se vilket lag som var bäst, snarare än att titta på vilka som gjorde flest mål.

Problemet är att vi har så få matcher att gå på. Låt säga att Malmö FF skulle ha klarat oavgjort när de mötte Real Madrid förra månaden. Hade vi då kunnat dra slutsatsen att Malmö är lika bra som Real Madrid, och att det troliga utfallet nästa gång de möts är oavgjort? Nej, den bästa gissningen är fortfarande att Real Madrid vinner nästa match, eftersom de har några av världens absolut bästa spelare i laget. I en enskild match kan tillfälligheter dock spela stor roll och göra att det sämre laget klarar oavgjort någon gång ibland.

När det gäller opinionsmätningar har vi på samma sätt bara några enstaka ”matcher” att gå på. I riksdagsvalet 2014 kom United Minds sista prognos närmast valresultatet. Jag tar det dock inte som intäkt för att deras mätningar nödvändigtvis var bäst, eftersom slumpen spelar stor roll i det enskilda fallet.

tabell opinionsmätningar

Om det verkligen tydde på hög kvalitet att ett institut kom nära valresultatet 2014 borde rimligtvis samma institut också ha klarat sig bra 2010. Med hjälp av data som sammanställts av personerna bakom Botten Ada har jag undersökt det. Jämförelsekriteriet är på sedvanligt vis den genomsnittliga absoluta avvikelsen mellan de åtta riksdagspartiernas stöd i den sista mätningen före valet och valresultatet. En genomsnittlig avvikelse på 1 betyder att institutet i genomsnitt var en procentenhet ifrån varje partis faktiska resultat.

Jämförelsen mellan valen visar på stora omkastningar. United Minds var ”bäst” 2014, men sämst 2010. På motsatt sätt var Ipsos ”sämst” 2014, men ”bäst” 2010 (de hette då Synovate). Det finns inget som tyder på att de institut som klarade sig bra ena valet klarade sig bättre nästa gång. Istället är det till stor del antagligen tillfälligheter som avgör.

Dessutom är det inte ens vettigt att jämföra på det här sättet. Även om en mätning genomförs helt perfekt, med ett slumpmässigt urval och 100 procents svarsfrekvens, kommer det alltid finnas osäkerhet kvar då man inte frågat hela väljarkåren. Om man frågar 1500 personer är den osäkerheten ungefär plus/minus 2 procentenheter för ett parti som ligger kring 20-30 procent. Om ett institut hamnar 0,4 procentenheter ifrån resultatet, och ett annat institut 0,8 procentenheter ifrån, är det därför bara tur som gjorde att det ena institutet ”vann”.

Det är naturligtvis roligt att se vilket institut som kom närmast valresultatet. Men som guide till vilka mätningar man ska lita på i framtiden är det mindre intressant.

One thought on “Inte säkert att opinionsmätningen som kommer närmast valresultatet är bäst

  1. ”Om ett institut hamnar 0,4 procentenheter ifrån resultatet, och ett annat institut 0,8 procentenheter ifrån, är det därför bara tur som gjorde att det ena institutet ”vann”.”

    Nej, den korrekt a formuleringen är:
    Om ett institut hamnar 0,4 procentenheter ifrån resultatet, och ett annat institut 0,8 procentenheter ifrån, kan det mycket väl ha varit tur som gjorde att institutet som var närmast ”vann”.

    Det är fortfarande mer sannolikt att institutet som var närmast faktiskt var bättre, även om skillnaden är liten.

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s