Opinionsmätarnas problem – i USA och här hemma

Efter USA-valet blossade ånyo en diskussion om opinionsmätningarnas hälsotillstånd upp. Utfallet i presidentvalet framställdes av vissa som bevis för att det inte längre går att lita på opinionsmätningar. Till den övriga bevisskörden brukar bland annat de oväntade resultaten Brexit-omröstningen i Storbritannien, folkomröstningen om fredsavtal i Colombia och det israeliska parlamentsvalet 2014 läggas. Det finns mycket att kommentera kring varje enskilt fall och huruvida utfallen verkligen var oväntade, men om vi håller oss till det färskaste exemplet – hade opinionsmätningarna fel i USA-valet 2016 och finns det lärdomar för oss i Sverige att dra utifrån hur det gick på andra sidan Atlanten?

Låt oss börja med att se till röstfördelningen i hela USA. Rösträkningen är fortfarande inte klar, men i skrivande stund leder Hillary Clinton med 1,3 procentenheter över Donald Trump – 46,7% mot 48,0% (enligt The Cook Political Report). En stor del av de återstående oräknade rösterna lades i Kalifornien, vilket ger oss anledning att tro att Clintons övertag kommer att bli än större när samtliga röster har räknats (förmodligen kommer Trump att vara historisk i form av den största förlusten sett till de totala rösternas fördelning någonsin för en vinnande presidentkandidat). Troligen kommer det att landa i att Clintons röstandel blir 1,5-2 procentenheter större än Trumps.

Ser vi till opinionsmätningarna inför valet förutspådde de i genomsnitt en övervikt för Clinton på omkring 3-4 procentenheter, beroende på vilka mätningar som inkluderas (3,1 procentenheter enligt NY Times). Detta genomsnitt är alltså ungefär 2 procentenheter över det faktiska valresultatet, vilket historiskt sett inte är en ovanlig avvikelse. Det är exempelvis en mindre avvikelse än i 2012 års presidentval. Att debatten om opinionsmätningar blivit kraftigare nu än då beror troligen på att Clinton trots övervikten av rösterna inte vann valet, utan Trump gick istället segrande ur striden. Opinionsmätningarna som syftade till att fånga opinionen på riksnivå tolkades som vore de mätningar av vem som skulle vinna valet, men i USA är det inte alltid den som vinner flest röster total sett som också vinner valet. Ett tecken på denna feltolkning är att flera tidningar (se t.ex. här för ett svenskt exempel) har lyft fram USC/LA Times mätning som en av få korrekta, då den visade ett större stöd för Trump än för Clinton. Men det är en misstolkning: den mätningen visade på ett övertag för Trump med över 3 procentenheter sett till hela riket, men Clinton fick som sagt fler röster. Faktum är att USC/LA Times mätning var en av de mer missvisande mätningarna.

Betyder då detta att opinionsmätarna på det hela taget inte hade problem? Nej. Det finns en visserligen en slumpmässighet i opinionsmätningar, men då så pass många mätningar vägdes samman borde avvikelsen från valresultatet ha varit mindre än vad som var fallet. Nästan alla mätningar överskattade Clintons stöd. Hade det varit en rent slumpmässig variation hade det varit ungefär lika stor andel mätningar som överskattade som underskattade Clintons stöd. Det fanns alltså en snedvridning i skattningarna. Dessutom var avvikelserna betydlig större på delstatsnivå, vilket har större betydelse då valets utgång ska förutspås. I USA är inte röstfördelningen sett till hela landet avgörande, utan det handlar om hur rösterna fördelas i de 50 delstaterna (plus Washington DC). Den som får flest röster i respektive delstat vinner delstatens alla så kallade elektorsröster (Maine och Nebraska är undantag). Antalet elektorsröster beror på hur många som bor i delstaten. Totalt sett finns 538 elektorsröster, så för att bli president krävs 270 eller fler. USA:s presidentval kan alltså ses som 51 olika val. Och ser vi till opinionsmätningarna på delstatsnivå var avvikelserna från valresultatet större och framför allt var de avgörande för utfallet i ett antal delstater, inte minst i det så kallade rostbältet av delstater i nordöstra USA.

Till detta ska läggas att ett antal aktörer inför valet gjorde valprognoser, statistiska modeller baserade på framför allt tillgängliga opinionsmätningar. Exempelvis uppskattade Huffington Post sannolikheten för en vinst för Clinton till 98 procent, NY Times uppgav 85 procent och Nate Silvers sajt 538 landade på 71 procent. Dessa prognoser har efter valet fått kraftig kritik då de anses ha varit fel. Den förstnämnda prognosen framstår onekligen som tveksam, men de övriga två är inte lika lätta att avfärda. De hade båda, i olika grad, räknat med en viss sannolikhet att opinionsmätningarna låg lite snett (bloggen 538 hade före valet till och med en bloggpost som underströk att det endast krävdes en ganska normal avvikelse i opinionsmätningarna för att Trump skulle kunna vinna). Tyvärr verkar det svårt att förmedla sannolikheter på ett sätt som förstås. Enligt NY Times modell hade Trump 15 procents sannolikhet att vinna – det är en låg men inte obetydlig sannolikhet, ungefär som att slå en sexa i ett tärningskast (eller att kulan hamnar i loppet om du spelar rysk roulett, om ni tycker den liknelsen är mer passande). Enligt 538:s prognos motsvarade Trumps chanser ungefär sannolikheten att slå minst en sexa om du har två kast med tärningen. Det förtjänar att understrykas att även det utfall som är mindre sannolikt kan inträffa.

upshot

Bild från NY Times valprognos – tänkbara utfall och valresultat

Det kommer att genomföras många analyser av varför de amerikanska mätningarna inte lyckades fånga opinionen bättre och vi kommer att veta betydligt mer i ett senare skede. Men det finns redan nu några tänkbara orsaker som har lyfts fram. En sådan orsak som diskuterades redan innan valet hängde samman med så kallade ”shy Trump voters”, det vill säga personer som inte vågade uppge vilken presidentkandidat de egentligen föredrog. Detta brukar ibland kallas Bradley-effekten. De resultat vi har i dag tyder dock på detta inte verkar ha haft någon större inverkan i USA-valet.

Bortfallet är en annan tänkbar orsak. I USA är det enligt uppgift endast 5-10 procent av dem som väljs ut i en opinionsmätning som ställer upp och svarar. Det finns en betydande risk för att de som svarar på undersökningar inte liknar befolkningen i stort och att undersökningens resultat därmed blir snedvridna. Exempelvis ligger det nära till hands att tro att de personer som misstror den politiska eliten tenderar att inte svara på opinionsundersökning och även rösta annorlunda än folk i allmänhet.

En tredje tänkbar orsak till de missvisande opinionsmätningarna har att göra med svårigheterna att skatta om de som svarar i undersökningarna också kommer att lägga en röst i valet. Det är ännu inte klarlagt hur högt valdeltagandet var i 2016 års presidentval, men det uppskattas i dag till 58 procent. Då valdeltagandet är så pass lågt blir det viktigt vilka antaganden opinionsmätarna gör om sannolikheten att olika personer röstar. Det är möjligt att dessa antaganden inte var helt lyckosamma i undersökningarna inför 2016 års val.

Till detta ska läggas att det i många delstater var få opinionsmätningar och många av de mätningar som ändå gjordes höll låg kvalitet. I exempelvis Wisconsin gjordes under sista veckan inför valet bara 3 opinionsmätningar, vilka alla baserades på webbpaneler och med få svarande (se NY Times). Det är en förklaring till de inte fångade det oväntade resultatet där. Totalt sett var det färre opinionsmätningar inför valet 2016 än inför det föregående presidentvalet. En anledning till detta är att det är kostsamt att genomföra undersökningar av god kvalitet. Det ökande bortfallet har gjort det dyrare att göra traditionella telefonundersökningar med slumpmässiga urval. Detta då det tar längre tid att få tag på folk. En annan anledning till att det gjordes färre undersökningar 2016 hänger samman med att amerikansk media fokuserat mer på sammanvägningar av mätningar, så kallade poll of polls, och olika valprognoser baserad på ett stort antal mätningar, än på enskilda mätningar. Rent allmänt är det klokt att väga samman mätningar – resultatet blir då mer precist. Fast om fokus läggs på dessa sammanvägningar, vem ska då bekosta de enskilda mätningarna?

Finns då utifrån detta några lärdomar för oss i Sverige? Den svenska situationen påminner delvis om den i USA, även om tydliga skillnader finns. Vi har till skillnad från USA ett proportionellt valsystem, vilket gör att vi inte behöver fästa samma vikt vid geografiska variationer i röstfördelningen. Dessutom är valdeltagandet mycket högt i Sverige (85,8 procent i 2014 års riksdagsval). Då nästan alla som ställer upp i opinionsundersökningar också röstar blir det enklare för opinionsmätarna. Men en del av de problem som finns i USA finns dock även i Sverige. Vi har även här en vikande svarsfrekvens; allt färre vill ställa upp på opinionsmätningar. Även om vi på längre sikt troligen är på väg mot en amerikansk situation ska inte dagens problem överdrivas. I USA talar man nostalgiskt om den tid då bortfallet låg på svenska nivåer.

I Sverige har inte sammanvägda mätningar och valprognoser fått samma genomslag som i USA, även om det finns exempel såsom Henrik Oscarssons Mätningarnas mätning och Ekot Svensk väljaropinion (tyvärr brukar Ekot av någon anledning en gång per månad presentera den sammanvägningen som vore det en ny undersökning, vilket skapar förvirring). Även om sådana sammanvägningar inte har tagit utrymmet från enskilda mätningar i Sverige är det även här dyrt att genomföra opinionsmätningar på traditionellt vis med slumpmässiga urval och risken finns att undersökningar av sämre kvalitet kommer att ta allt större plats.

Den stora lärdomen att dra har dock att göra med vikten av att förklara den osäkerhet som finns i opinionsundersökningar. Förutom den osäkerhet som beror på att endast ett urval tillfrågas, och som kan uttryckas i form av ett konfidensintervall, tillkommer en osäkerhet i form av det kan finnas andra snedvridande faktorer. Det går att förbättra presentationen i syfte att underlätta tolkningen. De flesta svenska opinionsmätningar fokuserar på en jämförelse med opinionsläget föregående månad. Ett problem med detta är att svenska partipreferenser sällan förändras så kraftigt mellan två månader att det går att fånga med en traditionell opinionsmätning. I dag löser tidningarna detta med att lyfta fram skillnader mellan de två mättillfällena, inte sällan under en braskande rubrik, för att till slut (i bästa fall) medge att ”inga förändringar i förhållande till föregående månad är statistiskt säkerställda”.

En sätt att undvika detta är att inte mäta opinionen varje månad och istället lägga pengarna på att göra undersökningar av bättre kvalitet mer sällan. En annan lösning är att släppa fokus på den senaste månaden och istället studera hur opinionen har förändrats över längre tid. De riktigt intressanta förändringarna i svensk opinion är svåra att urskilja om man letar förändringar från en månad till nästa.

Oavsett detta vore det också välkommet om opinionsinstituten mer utförligt redovisade hur undersökningarna har genomförts. I dag saknas oftast information om hur de personer som ingår i undersökningen har valts ut, hur stort är bortfallet är, hur viktning av svar görs, och mycket annan relevant information för att kunna bilda sig en uppfattning om undersökningarnas kvalitet. Det är för mig besynnerligt att de tidningar som beställer och publicerar dessa undersökningar inte efterfrågar den informationen.

6 thoughts on “Opinionsmätarnas problem – i USA och här hemma

  1. Tack för ett bra inlägg. Ett tillägg till problemtiken i USA. Jag hörde Nate Silver tala om att undersökningarna är dåliga på att fånga upp starka omslag eller nya trender. På slutet när högre andel har bestämt sig och det händer mycket snabbt i den ”verkliga” opinionen kanske det ser lite konstigt ut i undersökningarna; helt plötsligt har Trump ökat i andel från 47 till 52 procent i någon delstat. Opinionsinstitutet kanske inte tror på det och viktar om så att man hamnar närmare ”konsensus”. Man vill ju trots helst inte ligga allt ifrån ”konsensus” (dvs. sammanvägningar o.dyl.) – i utvärderingen efteråt är det inte kul att ligga långt från snittet. Speciellt inte om man internaliserar snittet till en sanning.

    Nate Silvers samtalspartners på 538 talade om att de själva började ifrågasätta siffror som talade om osäkerheten för Clintons seger, eftersom det kändes otänkbart givet sammanvägningar och kanske även att det är den etablerade kandidaten mot en ”osannolik” typ. Och kan nördarna på 538 få sådana tankar man kanske tänka sig att det blir liknande tankar på Huffington post, nytimes m.fl.

    Sammantaget kan man säga att sammanvägningarna självgenererar sig själv ut på en snedvriden vandring bprt från sanningen.

  2. Du har en bra poäng. Jag hörde också den diskussionen i 538:s podd. Det finns säkerligen en oro för fel när mätningar avviker mycket från andra mätningar eller från tidigare mättillfällen. Då är det säkert lätt att skruva på antagandena om röstsannolikhet för olika grupper (vilka bygger på mer eller mindre grundade antaganden). Eller helt enkelt bara justera skattningarna. Man kan även nämna Voxs modell baserad på ekonomiska faktorer och annat men inte opinionsmätningar. Den visade på en seger på Trump och de trodde själva inte på den. Ett intressant exempel på confirmation bias, som de diskuterar i något av de senaste avsnitten av deras podd The Weeds.

    Men sådana mekanismer kan dock inte förklara alla avvikelser.

  3. Intressant inlägg! Ett resonemang jag har lite svårt att begripa (som förekommer både här och i andra sammanhang) gäller utvärderingen i efterhand av prognoser.

    Det står i inlägget ungefär att: ’Prognosen att Clinton hade ~70% sannolikhet att vinna går inte att avfärda’.

    Har inte bevisbördan hamnat bak- och fram här? Ska vi vara tvungna att bevisa att någon som ”predicerar” binära utfall har fel innan vi slutar att ta personen på allvar? Det är naturligtvis svårt att avfärda sannolikheten som felaktig, men det borde (oavsett utfallet) vara precis lika svårt att acceptera den som riktig. Det är knepigt att göra bra prediktioner när in-datan (opinionsundersökningar) är dåliga, men trots det görs ju (som påpekas i inlägget) försök att korrigera för sådana skevheter. Kanske finns det flera lärdomar att dra från opinionsundersökningar, prediktioner och mediabevakningen – valutgångar är i regel mycket osäkra och trots sofistikerade metoder kan det vara en idé att ta sannolikhetsuppskattningar med en större nypa salt.

    • Bra kommentar. Jag håller med dig. Till detta ska läggas att valet bara är ett tillfälle (visst, 51 olika val om vi ser till delstater, men utfallen är korrelerade mellan delstater). Att ta prognosmodeller med en större nypa salt är ett klokt råd.

  4. Här hänger jag inte med i logiken:

    ”En sådan orsak som diskuterades redan innan valet hängde samman med så kallade ”shy Trump voters”, det vill säga personer som inte vågade uppge vilken presidentkandidat de egentligen föredrog. Detta brukar ibland kallas Bradley-effekten. De resultat vi har i dag tyder dock på detta inte verkar ha haft någon större inverkan i USA-valet.

    Bortfallet är en annan tänkbar orsak. I USA är det enligt uppgift endast 5-10 procent av dem som väljs ut i en opinionsmätning som ställer upp och svarar. Det finns en betydande risk för att de som svarar på undersökningar inte liknar befolkningen i stort och att undersökningens resultat därmed blir snedvridna. Exempelvis ligger det nära till hands att tro att de personer som misstror den politiska eliten tenderar att inte svara på opinionsundersökning och även rösta annorlunda än folk i allmänhet.”

    Bortfallet som det beskrivs ovan är väl bara en passiv variant på Bradleyeffekten, där man istället för att uppge annan favoritkandidat än den verkliga istället avstår från att deltaga i undersökningen om man upplever att ens verkliga ståndpunkt skulle uppfattas som ”kontroversiell” av de opinionsinstituten. Effekten blir densamma, en snedvriden opinionsbild där de med de av etablissemanget påbjudna åsikterna blir överrepresenterade.

    • Nej, det skulle jag inte säga. Bradley-effekten har att göra med att man uppger ett annat parti eller kandidat än man tänker rösta på eftersom man inte vill uppge sin sanna preferens. Visst, det är möjligt att det förekommer att personer inte ställer upp på opinionsundersökningar för att de inte vill säga vilket parti de röstar på, men det kan på sin höjd förklara en lite del av bortfallet,. En stor del av bortfallet beror på att folk inte ens svarar när opinionsinstitut ringer, och bland dem som svarar vägrar många att delta innan de ens vet vad undersökningen handlar om. Det jag avser är att olika grupper i samhället har olika sannolikhet att delta i opinionsmätningar och att det finns anledning att tro att den sannolikheten samvarierar med partival, vilket i sin tur påverkar undersökningarnas resultat.

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s