Opinionsmätarnas problem – i USA och här hemma

Efter USA-valet blossade ånyo en diskussion om opinionsmätningarnas hälsotillstånd upp. Utfallet i presidentvalet framställdes av vissa som bevis för att det inte längre går att lita på opinionsmätningar. Till den övriga bevisskörden brukar bland annat de oväntade resultaten Brexit-omröstningen i Storbritannien, folkomröstningen om fredsavtal i Colombia och det israeliska parlamentsvalet 2014 läggas. Det finns mycket att kommentera kring varje enskilt fall och huruvida utfallen verkligen var oväntade, men om vi håller oss till det färskaste exemplet – hade opinionsmätningarna fel i USA-valet 2016 och finns det lärdomar för oss i Sverige att dra utifrån hur det gick på andra sidan Atlanten?

Låt oss börja med att se till röstfördelningen i hela USA. Rösträkningen är fortfarande inte klar, men i skrivande stund leder Hillary Clinton med 1,3 procentenheter över Donald Trump – 46,7% mot 48,0% (enligt The Cook Political Report). En stor del av de återstående oräknade rösterna lades i Kalifornien, vilket ger oss anledning att tro att Clintons övertag kommer att bli än större när samtliga röster har räknats (förmodligen kommer Trump att vara historisk i form av den största förlusten sett till de totala rösternas fördelning någonsin för en vinnande presidentkandidat). Troligen kommer det att landa i att Clintons röstandel blir 1,5-2 procentenheter större än Trumps.

Ser vi till opinionsmätningarna inför valet förutspådde de i genomsnitt en övervikt för Clinton på omkring 3-4 procentenheter, beroende på vilka mätningar som inkluderas (3,1 procentenheter enligt NY Times). Detta genomsnitt är alltså ungefär 2 procentenheter över det faktiska valresultatet, vilket historiskt sett inte är en ovanlig avvikelse. Det är exempelvis en mindre avvikelse än i 2012 års presidentval. Att debatten om opinionsmätningar blivit kraftigare nu än då beror troligen på att Clinton trots övervikten av rösterna inte vann valet, utan Trump gick istället segrande ur striden. Opinionsmätningarna som syftade till att fånga opinionen på riksnivå tolkades som vore de mätningar av vem som skulle vinna valet, men i USA är det inte alltid den som vinner flest röster total sett som också vinner valet. Ett tecken på denna feltolkning är att flera tidningar (se t.ex. här för ett svenskt exempel) har lyft fram USC/LA Times mätning som en av få korrekta, då den visade ett större stöd för Trump än för Clinton. Men det är en misstolkning: den mätningen visade på ett övertag för Trump med över 3 procentenheter sett till hela riket, men Clinton fick som sagt fler röster. Faktum är att USC/LA Times mätning var en av de mer missvisande mätningarna.

Betyder då detta att opinionsmätarna på det hela taget inte hade problem? Nej. Det finns en visserligen en slumpmässighet i opinionsmätningar, men då så pass många mätningar vägdes samman borde avvikelsen från valresultatet ha varit mindre än vad som var fallet. Nästan alla mätningar överskattade Clintons stöd. Hade det varit en rent slumpmässig variation hade det varit ungefär lika stor andel mätningar som överskattade som underskattade Clintons stöd. Det fanns alltså en snedvridning i skattningarna. Dessutom var avvikelserna betydlig större på delstatsnivå, vilket har större betydelse då valets utgång ska förutspås. I USA är inte röstfördelningen sett till hela landet avgörande, utan det handlar om hur rösterna fördelas i de 50 delstaterna (plus Washington DC). Den som får flest röster i respektive delstat vinner delstatens alla så kallade elektorsröster (Maine och Nebraska är undantag). Antalet elektorsröster beror på hur många som bor i delstaten. Totalt sett finns 538 elektorsröster, så för att bli president krävs 270 eller fler. USA:s presidentval kan alltså ses som 51 olika val. Och ser vi till opinionsmätningarna på delstatsnivå var avvikelserna från valresultatet större och framför allt var de avgörande för utfallet i ett antal delstater, inte minst i det så kallade rostbältet av delstater i nordöstra USA.

Till detta ska läggas att ett antal aktörer inför valet gjorde valprognoser, statistiska modeller baserade på framför allt tillgängliga opinionsmätningar. Exempelvis uppskattade Huffington Post sannolikheten för en vinst för Clinton till 98 procent, NY Times uppgav 85 procent och Nate Silvers sajt 538 landade på 71 procent. Dessa prognoser har efter valet fått kraftig kritik då de anses ha varit fel. Den förstnämnda prognosen framstår onekligen som tveksam, men de övriga två är inte lika lätta att avfärda. De hade båda, i olika grad, räknat med en viss sannolikhet att opinionsmätningarna låg lite snett (bloggen 538 hade före valet till och med en bloggpost som underströk att det endast krävdes en ganska normal avvikelse i opinionsmätningarna för att Trump skulle kunna vinna). Tyvärr verkar det svårt att förmedla sannolikheter på ett sätt som förstås. Enligt NY Times modell hade Trump 15 procents sannolikhet att vinna – det är en låg men inte obetydlig sannolikhet, ungefär som att slå en sexa i ett tärningskast (eller att kulan hamnar i loppet om du spelar rysk roulett, om ni tycker den liknelsen är mer passande). Enligt 538:s prognos motsvarade Trumps chanser ungefär sannolikheten att slå minst en sexa om du har två kast med tärningen. Det förtjänar att understrykas att även det utfall som är mindre sannolikt kan inträffa.

Bild från NY Times valprognos – tänkbara utfall och valresultat

Det kommer att genomföras många analyser av varför de amerikanska mätningarna inte lyckades fånga opinionen bättre och vi kommer att veta betydligt mer i ett senare skede. Men det finns redan nu några tänkbara orsaker som har lyfts fram. En sådan orsak som diskuterades redan innan valet hängde samman med så kallade ”shy Trump voters”, det vill säga personer som inte vågade uppge vilken presidentkandidat de egentligen föredrog. Detta brukar ibland kallas Bradley-effekten. De resultat vi har i dag tyder dock på detta inte verkar ha haft någon större inverkan i USA-valet.

Bortfallet är en annan tänkbar orsak. I USA är det enligt uppgift endast 5-10 procent av dem som väljs ut i en opinionsmätning som ställer upp och svarar. Det finns en betydande risk för att de som svarar på undersökningar inte liknar befolkningen i stort och att undersökningens resultat därmed blir snedvridna. Exempelvis ligger det nära till hands att tro att de personer som misstror den politiska eliten tenderar att inte svara på opinionsundersökning och även rösta annorlunda än folk i allmänhet.

En tredje tänkbar orsak till de missvisande opinionsmätningarna har att göra med svårigheterna att skatta om de som svarar i undersökningarna också kommer att lägga en röst i valet. Det är ännu inte klarlagt hur högt valdeltagandet var i 2016 års presidentval, men det uppskattas i dag till 58 procent. Då valdeltagandet är så pass lågt blir det viktigt vilka antaganden opinionsmätarna gör om sannolikheten att olika personer röstar. Det är möjligt att dessa antaganden inte var helt lyckosamma i undersökningarna inför 2016 års val.

Till detta ska läggas att det i många delstater var få opinionsmätningar och många av de mätningar som ändå gjordes höll låg kvalitet. I exempelvis Wisconsin gjordes under sista veckan inför valet bara 3 opinionsmätningar, vilka alla baserades på webbpaneler och med få svarande (se NY Times). Det är en förklaring till de inte fångade det oväntade resultatet där. Totalt sett var det färre opinionsmätningar inför valet 2016 än inför det föregående presidentvalet. En anledning till detta är att det är kostsamt att genomföra undersökningar av god kvalitet. Det ökande bortfallet har gjort det dyrare att göra traditionella telefonundersökningar med slumpmässiga urval. Detta då det tar längre tid att få tag på folk. En annan anledning till att det gjordes färre undersökningar 2016 hänger samman med att amerikansk media fokuserat mer på sammanvägningar av mätningar, så kallade poll of polls, och olika valprognoser baserad på ett stort antal mätningar, än på enskilda mätningar. Rent allmänt är det klokt att väga samman mätningar – resultatet blir då mer precist. Fast om fokus läggs på dessa sammanvägningar, vem ska då bekosta de enskilda mätningarna?

Finns då utifrån detta några lärdomar för oss i Sverige? Den svenska situationen påminner delvis om den i USA, även om tydliga skillnader finns. Vi har till skillnad från USA ett proportionellt valsystem, vilket gör att vi inte behöver fästa samma vikt vid geografiska variationer i röstfördelningen. Dessutom är valdeltagandet mycket högt i Sverige (85,8 procent i 2014 års riksdagsval). Då nästan alla som ställer upp i opinionsundersökningar också röstar blir det enklare för opinionsmätarna. Men en del av de problem som finns i USA finns dock även i Sverige. Vi har även här en vikande svarsfrekvens; allt färre vill ställa upp på opinionsmätningar. Även om vi på längre sikt troligen är på väg mot en amerikansk situation ska inte dagens problem överdrivas. I USA talar man nostalgiskt om den tid då bortfallet låg på svenska nivåer.

I Sverige har inte sammanvägda mätningar och valprognoser fått samma genomslag som i USA, även om det finns exempel såsom Henrik Oscarssons Mätningarnas mätning och Ekot Svensk väljaropinion (tyvärr brukar Ekot av någon anledning en gång per månad presentera den sammanvägningen som vore det en ny undersökning, vilket skapar förvirring). Även om sådana sammanvägningar inte har tagit utrymmet från enskilda mätningar i Sverige är det även här dyrt att genomföra opinionsmätningar på traditionellt vis med slumpmässiga urval och risken finns att undersökningar av sämre kvalitet kommer att ta allt större plats.

Den stora lärdomen att dra har dock att göra med vikten av att förklara den osäkerhet som finns i opinionsundersökningar. Förutom den osäkerhet som beror på att endast ett urval tillfrågas, och som kan uttryckas i form av ett konfidensintervall, tillkommer en osäkerhet i form av det kan finnas andra snedvridande faktorer. Det går att förbättra presentationen i syfte att underlätta tolkningen. De flesta svenska opinionsmätningar fokuserar på en jämförelse med opinionsläget föregående månad. Ett problem med detta är att svenska partipreferenser sällan förändras så kraftigt mellan två månader att det går att fånga med en traditionell opinionsmätning. I dag löser tidningarna detta med att lyfta fram skillnader mellan de två mättillfällena, inte sällan under en braskande rubrik, för att till slut (i bästa fall) medge att ”inga förändringar i förhållande till föregående månad är statistiskt säkerställda”.

En sätt att undvika detta är att inte mäta opinionen varje månad och istället lägga pengarna på att göra undersökningar av bättre kvalitet mer sällan. En annan lösning är att släppa fokus på den senaste månaden och istället studera hur opinionen har förändrats över längre tid. De riktigt intressanta förändringarna i svensk opinion är svåra att urskilja om man letar förändringar från en månad till nästa.

Oavsett detta vore det också välkommet om opinionsinstituten mer utförligt redovisade hur undersökningarna har genomförts. I dag saknas oftast information om hur de personer som ingår i undersökningen har valts ut, hur stort är bortfallet är, hur viktning av svar görs, och mycket annan relevant information för att kunna bilda sig en uppfattning om undersökningarnas kvalitet. Det är för mig besynnerligt att de tidningar som beställer och publicerar dessa undersökningar inte efterfrågar den informationen.