Gick det att förutsäga valresultatet?

Till att börja med – jag kunde det inte. Tre månader före valet presenterade jag två gissningar på vilket stöd regeringen skulle få i valet utifrån statistiska modeller, en baserad på ekonomi och en superenkel baserad bara på SIFO:s majmätning. Båda var helt uppåt väggarna. Ekonomimodellen förutspådde att regeringen skulle få 49,7% (sic), och opinionsmätningsmodellen 43,4%. Jag brydde mig då inte om att räkna ut några säkerhetsintervall för gissningen, men jag gjorde det nu. Opinionsmodellen lyckades precis täcka in regeringens sanna resultat, 39,3% (valnatten). Men spannet gick också upp till 47%, så det var en rätt ointressant gissning. Jag hade alltså fel, rejält fel. I blogginlägget där jag presenterade resultatet skrev jag i alla fall ”Sådana här prognoser är naturligtvis mycket osäkra. Se det som grova uppskattningar”.

Jag var dock inte den enda som försökte förutsäga hur det ska gå. De som fick allra mest uppmärksamhet för sina förutsägelser var Måns Magnusson och Jens Finnäs, som skapade Botten Ada. Utifrån Bayesiansk statistik presenterade de utifrån opinionsmätningar förutsägelser för resultatet på valdagen. Procentskattningarna omgavs också med konfidensintervall, det vill säga spann där resultaten med 95 procents säkerhet skulle hamna. Liknande försök gjordes också av Daniel Walther på trefyranio.com och tidningen Dagens Samhälle.

Analyserna har i mitt tycke presenterats som att de med väldigt stor säkerhet kan förutsäga valresultatet. En artikel i Fokus (av Jens Finnäs) om Botten Ada har till exempel rubriken ”Så går valet.” I ett inslag i Studio Ett från juli uttryckte jag skepsis kring säkerheten i prognoserna. Anledningarna är två. Dels finns det en osäkerhet i hur rättvisande en opinionsmätning är för opinionen just nu. Men det större problemet är att det inte finns någon lagbundenhet i hur opinionen ska utveckla sig utifrån historien. Det man kan göra är att se hur stora variationer det brukar vara i valrörelser, och öka konfidensintervallen utefter det. Men det finns ju inte heller något som säger att variationerna ska vara lika stora som de alltid har varit.

Hur gick det då? Inte så bra. Fyra av nio partier hamnade utanför konfidensintervallen i Botten Adas prognos från 13 september, vilket ger 56% rätt. Trefyranio.com missade på tre partier: 67% rätt. [Uppdatering 11:30: Jag hade tittat på prognosen från 1 september, inte den senaste. Den sista prognosen träffade rätt på alla partier utom ett, 89%.]  Dagens Samhälles valprognos tre dagar före valet är sämst av de tre. Bara Feministiskt Initiativs resultat hamnar inom det angivna spannet, vilket ger 11% rätt. Ingen når alltså upp till den påstådda säkerheten på 95%.

Eftersom alla prognoser gäller valdagen räcker det inte heller med att utvärdera de sista prognoserna. En prognos ska vara lika säker oavsett om den görs en vecka eller tre månader före valet, bara att konfidensintervallen ska vara större ju tidigare prognosen görs. Jag har inte kunnat utvärdera Botten Ada bakåt i tiden (det vore intressant att se), men en sammanställning av Trefyranio:s samtliga publicerade prognoser fram till och med 1 september visar att andelen fall där konfidensintervallet täckt det sanna resultatet är 53%.

Anledningen till det skrala resultatet beror dels på mätinstitutens brister, framförallt oförmågan att fånga Sverigedemokraternas sanna stöd. De underskattades både i detta riksdagsval och förra, samt i EU-valet tidigare i vår. Sen verkar det också ha svängt mycket i opinionen de sista veckorna. På Botten Ada:s utmärkta sammanställning av mätningarna kan man se både hur Centerpartiet drar iväg och Miljöpartiet verkar dyka precis innan valet, även om ingen mätning kommit i närheten av Miljöpartiets verkliga resultat. Att mätningarna är dåliga är ju dock något som måste tas med i beräkningarna om man gör anspråk på att vara 95 procent säker på utfallet.

Med detta sagt tycker jag att särskilt Botten Ada är ett mycket välkommet tillskott till svensk politisk bevakning. Det är mycket bättre att utgå från en modell som går att kontrollera, utvärdera och förfina än att gå på magkänsla. Forskning har visat att politiska ”experter” är notoriskt dåliga på att förutsäga framtiden. Richard Öhrvall har till exempel uppmärksammat att professorn Jonas Hinnfors i maj 2013 var säker på att KD skulle åka ur riksdagen.

Botten Ada ska också berömmas för sättet de sammanställer opinionsmätningar på. I nuläget fästs alldeles för stor vikt vid enskilda mätningar, och små förändringar. Valrörelsens sista veckor förvirrades också förändringar mellan olika institut vilket bara gjorde situationen ännu mer oklar. Bayesiansk statistik lär oss att ny information måste tolkas i ljuset av den information vi redan har, vilket leder till att enskilda mätningar som visar på stora förändringar inte får så stor vikt. Jag hoppas att Magnusson och Finnäs fortsätter sitt arbete. Men vi behöver också komma ihåg att politiken inte följer några naturlagar. Och tur är väl det.