Replik: Anders Sundells kritik skjuter över målet

Följande inlägg är en replik på Anders Sundells inlägg ”Vilseledande opinionsprognoser i tidningen Dagens Samhälle” och är författat av Mats Edman, chefredaktör för Dagens Samhälle. Längre ned finns en slutreplik av Anders Sundell.

***

Anders Sundell har författat en intelligent kritik av Dagens Samhälles månatliga opinionsprognoser. Jag har inget att invända mot matematiken i hans analys. Även om man räknar rätt kan slutsatserna bli fel om man har en annan utgångspunkt än Dagens Samhälle. Lite förenklat kan man säga att Anders Sundell räknar träden men missar att se den skog som förändras.

Dagens Samhälles opinionsprognoser innehåller två element.

  1. Det viktigaste är att vi varje månad räknar samman samtliga opinionsmätningar och tar fram ett vägt medelvärde för alla partier och block. Det är vi ensamma om. Eftersom vi i genomsnitt har 12 000 intervjuer som underlag för våra medelvärden vågar jag påstå att dessa konsensusvärden säger mer än de enskilda opinionsmätningarna, som i de flesta fall bara har 1 000-2 000 intervjuade.
  2. Det andra elementet är att vi låter datorn göra en prognos för nästa månads opinion. Prognosen är medelvärdet av tre enkla regressioner; 5, 3 respektive 2 månader bakåt. Utgångspunkten är att visa vad som händer om trenden för ett parti eller block består. Det gör vi för att skapa lite mer intresse kring vårt arbete med att sammanställa den första delen, konsensusprognosen.

Vad vi sett från början är att modellen på månadsbasis är svajig när det gäller de mindre partierna men stabilare för de två blocken liksom S och M. Att det svajar för mindre partier beror på att det också svajar i opinionsmätningarna. Om man ser till medelavvikelsen för de publicerade mätningarna kan man direkt se att det råder stora skillnader även mellan instituten som arbetar med stora och obundna slumpurval (OSU).

Faktum är att det råder större avvikelser mellan de olika mätinstituten än mellan Dagens Samhälles opinionsprognos och medelvärdet för mätinstituten. Det gäller även för de stora partierna, vilket framgår av nedanstående exempelgraf över augustivärdena för Socialdemokraterna.

Dagens Samhälles augustiprognos 2013 för t ex S låg närmare medelprognosen är något institut.

Dagens Samhälles augustiprognos 2013 för t ex S låg närmare medelprognosen är något institut.

Samtidigt bör man inte ha extrema förväntningar på en prognos av detta slag, i vart fall inte månad för månad. Det viktiga för oss är att prognoserna har ett värde över tid. Vi har som internt mål att våra prognoser över tid inte får avvika mer än 5 procent (inte procentenheter) från utfallet, vilket vi hittills klarat med råge.

Om man jämför våra prognoser med månadsutfallen hittills under 2013 ligger våra prognosers träffsäkerhet på i medeltal +/- 1 procent, vilket man får vara nöjd med för en prognos. Att det förekommer större skillnader för enstaka månader är bara en reflektion av att vi får med fel och svagheter från opinionsinstitutens mätningar i vår egen regressionsmodell. SD är i detta sammanhang ett särskilt problem eftersom framför allt Sentio ligger så exceptionellt högt.

Hittills under 2013 har Dagens Samhälles prognoser i genomsnitt varit mycket träffsäkra.

Hittills under 2013 har Dagens Samhälles prognoser i genomsnitt varit mycket träffsäkra.

Ovanstående graf visar att Dagens Samhälles opinionsprognoser inte är ”vilseledande”. Jag anser att Anders Sundell skjuter över målet med den formuleringen i sitt inlägg. Som upplysning kan jag nämna att vi är helt transparenta för den som så önskar. Men har man förväntningar på att vi ska ha rätt på alla enstaka månadsförändringar, då ser man inte skogen för alla träd som spretar. Därför anser jag att Anders Sundell går vilse i sina snygga plotterdiagram. Men för all del, anlita gärna en bläckfisk eller använd samma siffra månad efter månad så får vi se hur bra det går.

Varför göra ett stort nummer av månadsvisa förändringar? Månad för månad ligger förändringarna, för alla, nästan alltid inom felmarginalerna. Av det skälet bör man prioritera trenden, vilket vi på Dagens Samhälle gör. Detta till skillnad mot alla som hetsar upp sig för varje decimalkommaförändring i de enskilda mätningarna. Och våra månatliga konsensusberäkningar bidrar absolut inte till ”bruset”. Konsensus är en dokumenterat bättre mätare på ”signalen” är enskilda mätningar. Och eftersom våra opinionsprognoser hamnar nära konsensus tycker jag att även de är mer signal än brus.

Opinionsmätningsjournalistiken har brister. Men den finns och vi bör ha en fortlöpande diskussion om mätningsbruset. Dagens Samhälle deltar gärna i den debatten, och därför är jag glad att Anders Sundell – som jag har stor respekt för – utvecklar oss genom konstruktiv kritik.

Mats Edman
Chefredaktör
Dagens Samhälle


Slutreplik: Goda ambitioner men tveksam prognos

Mats Edman påpekar i sin replik att Dagens Samhälle i sin opinionsprognos väger samman mätningar från flera olika institut i en så kallad ”poll of polls”. Det är lovvärt, och något till exempel Henrik Ekengren Oscarsson länge gjort. Sådana sammanvägningar minskar den inbyggda osäkerheten i urvalsundersökningar. Jag är dessutom helt enig med ambitionen att kolla på trender, snarare än enskilda mätningar.

När det gäller prognosen är jag emellertid fortfarande skeptisk. De mätningar av prognosens träffsäkerhet som Mats Edman presenterar är inte beräknade på traditionellt sätt, det vill säga som den genomsnittliga absoluta avvikelsen från resultatet, utan som den genomsnittliga avvikelsen. Tänk ett scenario där moderaternas stöd en månad underskattas med fem procentenheter, och nästa månad överskattas med fem procentenheter. Den genomsnittliga absoluta avvikelsen är då fem procentenheter – prognosen var fem procentenheter fel båda gångerna. Med Dagens Samhälles sätt att räkna tar istället överskattningen och underskattningen ut varandra: genomsnittet av -5 och +5 är 0. Det betyder dock inte att båda prognoserna var perfekta. Med den här beräkningsmetoden är det inte märkligt att prognosen i genomsnitt verkar träffsäker.

Jag är därför fortsatt tveksam till opinionsprognosen men tackar för transparensen och det konstruktiva svaret från Mats Edman och hoppas på fortsatt diskussion i en fråga som bara kommer att bli mer och mer aktuell under det kommande året.

Anders Sundell

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s