Vilseledande opinionsprognoser i tidningen Dagens Samhälle

Det är nu mindre än ett år kvar till nästa riksdagsval. Vi kommer få se fler och fler opinionsmätningar om stöd för partierna, som i vissa fall används för att göra förutsägelser om framtiden. Med så mycket information handlar det, som den kände bloggaren Nate Silver säger, att hitta signalen i allt brus, att urskilja vad som kan vara vägledande för framtiden.

Tidningen Dagens Samhälle publicerar i sitt senaste nummer en prognos för hur det kommer att gå i riksdagsvalet, som enligt uppgift kommer att uppdateras löpande. Den har jag inget att säga om: det är givetvis mycket svårt att göra en bra prognos för något som ligger så långt fram i tiden, men det är naturligtvis intressant och roligt att försöka gissa hur det kommer att gå i valet.

Men tidningen har under 2013 också varje månad presenterat en så kallad opinionsprognos. Denna syftar till att, utifrån tidigare mätningar, försöka förutsäga vad opinionsmätningarna kommer visa nästa månad. Tidningen förlitar sig här på ett genomsnitt av mätningar från olika institut. I bilden visas prognosen för september 2013.

Dagens Samhälles opinionsprognos för september 2013.

Dagens Samhälles opinionsprognos för september 2013.

Metoden går ut på att räkna ut trenden de senaste månaderna, och sedan räkna ut vilket stöd varje parti kommer ha om trenden fortsätter. Jag har två invändningar mot den här prognosen, som jag anser bara bidrar till att öka bruset i den politiska diskussionen.

1. För det första: Vad är poängen med att försöka gissa vad opinionsmätningarna kommer att visa nästa månad? Som jag ser det kan vi använda mätningarna som en demokratisk termometer, för att se vad väljarkåren tycker om regeringens politik och de olika partiernas förslag. Det är givetvis intressant om det går upp eller ner, men bara i relation till de förslag som partierna för fram. I prognosen för september står det till exempel att C förväntas öka från 4,3 procent till 4,5 procent. Vad ska vi göra med den informationen? I prognosen tas ju inte hänsyn till vad Centerpartiet kommer att göra för utspel under den kommande månaden, bara hur trenden har sett ut de senaste månaderna.

Om det gått bra för ett parti ett tag är prognosen att det kommer fortsätta gå bra, och vice versa. Ibland stämmer det, ibland inte, men man kan aldrig förutsäga ett trendbrott (vilket tidningen i och för sig medger). Min farhåga är bara att presentationen av opinionsprognosen ger sken av att tillföra mer information än så. Till exempel stod det förra månaden i en underrubrik ”Sverigedemokraterna över 11 procent” eftersom prognosen visade att de i augusti skulle öka från 10,8 till 11,4 procent. Istället blev utfallet 10,0 procent i augusti.

2. För det andra: På grund av bristerna i metoden blir prognoserna inte heller träffsäkra. Oftast så hamnar prognosen för partiets stöd ganska nära det faktiska stödet i procent, men det är ju inte särskilt konstigt: så mycket händer det inte i opinionen från månad till månad. Det intressanta är ju istället om prognoserna får rätt när det gäller förändringen från en månad till nästa.

För att undersöka detta har jag från Dagens Samhälle fått prognoser och det faktiska utfallet för alla månader under 2013, vilket jag är tacksam för. Jag kan göra mina beräkningar för sju månader (februari till augusti) och med åtta partier får vi 56 prognoser att analysera. Jag ska presentera tre analyser som visar att prognoserna inte ger någon vägledning om hur det kommer att gå i framtiden.

Först undersökte jag om prognosen visar att partiet kommer att öka, stå still, eller minska i opinionen till nästa månad, och jämförde det med utfallet, vilket visas i tabellen nedanför.

Dagens Samhälles opinionsprognos jämfört med det faktiska utfallet. Siffrorna i parenteser visar antalet fall.

Dagens Samhälles opinionsprognos jämfört med det faktiska utfallet. Siffrorna i parenteser visar antalet fall. De gröna rutorna visar när prognosen fick rätt, och de röda när utfallet blev tvärtom mot prognosen. När prognosen är en minskning ökar partierna oftare, och vice versa.

För vardera av de tre förutsägelserna visas i rutorna procentandelen fall för varje utfall, och procentsiffrorna summerar därför i varje rad till 100 procent (i ett fall till 101 pga avrundning). De gröna rutorna visar de fall när prognosen fick rätt, och de röda rutorna när utfallet blev motsatsen mot prognosen.

I 19 fall förutsåg Dagens Samhälle att ett parti skulle tappa stöd till nästa månad. I 6 fall, 32 procent, gjorde partiet det och prognosen fick rätt. Men i 58 procent av fallen ökade faktiskt partiet i opinionen. I 23 fall var prognosen att partiet skulle öka, vilket också skedde i 9 fall, 39 procent. Men även här minskade partiet i 52 procent av fallen.

Totalt fick prognosen rätt i 15 gånger av 56, vilket utgör 27 procent. Tänk här på att om vi gjorde en prognos som byggde på slump, till exempel om vi lät en bläckfisk välja mellan tre lådor, så skulle vi i genomsnitt få rätt i 33 procent av fallen. Prognosen har alltså en något sämre förmåga att förutsäga framtiden än slumpen.

Jag gjorde också en analys där jag tog hänsyn till den exakta förutsägelsen i procentenheter, inte bara om det skulle gå upp eller ner. I diagrammet nedan visas sambandet mellan prognosen för hur mycket partiet skulle öka eller minska till nästa månad (x-axeln) och det faktiska utfallet (y-axeln). Helst skulle vi se att cirklarna var samlade kring den diagonala linjen: Prognos är där samma som utfall.

Jämförelse av Dagens Samhälles prognos och det faktiska utfallet.  Den röda streckade linjen är en regressionslinje.

Jämförelse av Dagens Samhälles prognos och det faktiska utfallet.
Den röda streckade linjen är en regressionslinje. Att den lutar nedåt visar att när prognosen visar en ökning är det genomsnittliga utfallet en minskning, och vice versa.

Tyvärr är utfallet det motsatta. Den röda streckade regressionslinjen lutar faktiskt svagt neråt, och har lutningskoefficienten -0,2. Det innebär att om Dagens Samhälles prognos är att ett parti kommer att öka med en procentenhet är den bästa gissningen att det faktiskt kommer att minska med 0,2 procentenheter, och vice versa. Resultaten bekräftar det vi såg i den tidigare tabellen.

Slutligen gjorde jag en mycket simpel alternativ prognos. Jag gissade att ett partis stöd nästa månad skulle vara detsamma som det var månaden innan. Inte särskilt intressant, men bra som referens. Kan en metod inte slå den här referensprognosen är den inte särskilt vägledande. Jag undersökte därefter hur stor den genomsnittliga absoluta avvikelsen mellan förutsägelse och utfall var för referensprognosen och för Dagens Samhälles prognos. Det innebär alltså att om man gissat att Folkpartiet skulle få 6 procent, och de fick 5,8 är avvikelsen 0,2. Om man gissat att de skulle få 6 och de fick 6,2 är avvikelsen också 0,2.

Den genomsnittliga avvikelsen för Dagens Samhälles prognos var 0,45 procentenheter. De låg för varje parti och månad i genomsnitt alltså 0,45 procentenheter från det faktiska utfallet. Referensprognosens genomsnittliga avvikelse var 0,36 procentenheter. Även här klarar sig alltså prognosen som presenteras i tidningen sämre än en simpel referenspunkt.

Det är inte förvånande, givet metoden. Inga naturlagar styr partiernas rörelse i opinionen från månad till månad, utan det har att göra med hur väljarna reagerar på partiernas olika utspel. Att försöka förutsäga framtida opinion bara utifrån det har sett ut tidigare är därför mycket vanskligt. Min slutsats är alltså att Dagens Samhälles opinionsprognos bidrar till mer brus än signal.

Uppdatering: Klicka här för att läsa en replik från Mats Edman, chefredaktör för Dagens Samhälle.

2 thoughts on “Vilseledande opinionsprognoser i tidningen Dagens Samhälle

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s