Lucka #9: Debatten om opinionsmätningarna

Debatten om opinionsmätningarna tycks ständigt pågå. Samtidigt har på senare år flera svenska opinionsinstitut ändrat sina metoder, så ämnet förtjänar diskussion. Tyvärr är dock diskussionen inte alltid klargörande. En orsak till detta är att insamlingsmetod och urvalsmetod ofta blandas samman. Det finns flera olika sätt att samla in information om befolkningens åsikter. Till de vanligare hör telefonintervjuer, besöksintervjuer, pappersenkäter och webbenkäter. För vissa frågor kan valet av insamlingsmetod påverka respondenternas svar, men effekterna är vanligen små eller obefintliga.

En mer central fråga är hur de personer som ingår i undersökningen har valts ut. När personer som ska ingå slumpmässigt väljs från ett register får man ett sannolikhetsurval som gör det möjligt att precisera den osäkerhet som finns i de resultat som tas fram (se tidigare inlägg för utförligare beskrivning). Det finns även undersökningar som inte använder sig av sannolikhetsurval, som exempelvis sådana där personer själva kan anmäla intresse om att vara med, så kallade självrekryterade urval. Undersökningar av det slaget är ofta webbpaneler, där en uppsättning personer har gått med på att vid flera tillfällen svara på frågor via webben.

Det är värt att notera att sannolikhetsurval är ett definierat sätt att välja ut personer till en undersökning, medan icke-sannolikhetsurval inte innebär ett bestämt sätt. Om en undersökning med icke-sannolikhetsurval skulle visa sig fungera bra behöver det alltså inte innebära att en annan gör det – det beror på hur personerna väljs ut. Och om ett institut överger telefonintervjuer för webbenkäter är det mest intressanta inte valet av insamlingsmetod, utan om det skiftet också innebär ett nytt sätt att välja ut vilka som ingår i undersökningen.

I förra veckan gav Expressens Torbjörn Nilsson sig in i debatten genom en artikel där det redan i rubriken konstaterades att det inte längre går att lita på SCB. Kritiken riktades visserligen specifikt mot SCB:s partisympatiundersökningar, men då argumenten är mer generella drabbar de även andra undersökningar av befolkningens åsikter som baseras på sannolikhetsurval från befolkningsregistret, som exempelvis SOM-institutets årliga undersökningar och European Social Survey. Det är undersökningar som kostar miljontals kronor och används av ett stort antal forskare, så det vore naturligtvis ytterst allvarligt om de saknar trovärdighet. Men den som i artikeln letar en solid grund från vilket detta drastiska påstående kastats fram blir dock besviken.

Nilssons artikel tar avstamp i historien om Literary Digests mätningar. Det är ett klassiskt exempel. För att kort sammanfatta det (för utförligare beskrivning se tidigare inlägg) hade Literary Digest lyckats förutse vem som skulle bli USA:s president i valen 1920, 1924, 1928 och 1932. Detta genom att fråga ett stort antal amerikaner, framför allt sina egna läsare, om hur de skulle rösta. I valet 1936 skickade de ut omkring 10 miljoner enkäter av vilka 2,3 miljoner besvarades. Detta gör det till en av de största opinionsmätningarna genom tiderna, men de missade ändå totalt att Franklin D. Roosevelt skulle vinna valet. Det gjorde dock inte opinionsmätaren George Gallup som förutspådde rätt vinnare med hjälp av ett betydligt mindre urval.

Historien om Literary Digest dyker ofta upp i statistikböcker, då det utifrån den går att dra viktiga lärdomar. Det exemplet visar är att många svarande inte i sig garanterar en god skattning, att urvalsmetod är viktigt, och att även en bristfällig undersökning kan ge träffsäkra resultat en viss tid. Enligt Nilsson är dock sensmoralen av historien att ”man bör vara pragmatisk”. Jag är dock osäker på vad pragmatisk innebär i de här sammanhangen – det går på goda grunder att hävda att Literary Digest var mer pragmatiska än Gallup.

I vilket fall menar Nilsson, som en del andra, att bortfallen nu nått sådana nivåer att sannolikhetsurval inte längre fungerar. Bortfallet har ökat drastiskt sett över de senaste årtiondena, men på senare år tycks ökningen ha stannat av. De nivåer som nu finns är visserligen höga, men i USA talar man drömmande om den tid då man hade nuvarande svenska nivåer. Det ska sägas att bortfall kan påverka skattningar om det man avser att mäta samvarierar med de utvalda personernas benägenhet att ställa upp på intervju (för mer om bortfall, se tidigare inlägg). Ibland kan det åtgärdas genom att vikta resultaten. De sammanställningar som finns tyder inte på att opinionsmätningarna har blivit sämre i takt med att bortfallet har ökat (se tidigare inlägg). Enkelt uttryckt verkar inte bortfall vara så problematiskt som tidigare antagits.

Bortfallet innebär dock att det är dyrare att genomföra undersökningar med sannolikhetsurval. Det kostar pengar att få tag på även de personer som inte vill ställa upp för en undersökning. Även det sällan nämns som motiv antar jag att kostnaden är ett tungt vägande skäl till att självrekryterade webbpaneler blivit vanligare.

Det är dock för mig smått förbryllande att de personer som menar att bortfall gör att urval genom sannolikhetsurval inte längre är representativa ser självrekryterade urval som en lösning på det tänkta problemet. Tror någon på allvar att de personer som självmant vill vara med i en panel och regelbundet få frågor är mer representativa än de som kan tänka sig att svara på några frågor när de kontaktas? Det är nämligen inte så att personer som ingår i undersökningar alltid svarar eller vägrar, utan de har snarare en sannolikhet att svara, vilken kan bero på en rad faktorer, som exempelvis när i tiden de kontaktas eller hur intervjuaren presenterar undersökningen.

En ytterligare fördel med sannolikhetsurval från register som sällan nämns är att man har viss information om såväl svarande som bortfall. Det gör att man bättre vet bortfallets möjliga inverkan och kan justera för det genom viktning. I en självrekryterad undersökning kan det till och  med vara svårt att avgöra om den svarande verkligen är den person den utger sig för att vara, vilket inte kan åtgärdas genom viktning. Det finns även andra potentiella problem: exempelvis uppger statistikprofessorn Dan Hedlin att han svarat flera gånger i samma undersökning bara genom att registrera sig flera gånger med samma namn.

Nåväl, Nilsson har sett ljuset och det han beskriver som det nya som ska ersätta sannolikhetsurvalen är att ”med kvoter se till att panelerna så väl som möjligt blir representativa för befolkningen.” Tvärtemot vad Nilsson tycks tro är sådana kvoturval inte någon nyhet. De har en historia som är betydligt längre än sannolikhetsurvalen. Faktum är att den nämnda undersökningen av Gallup 1936 baserades på en form av kvoturval. En metod som andra opinionsmätare sedan tog efter.

Deweytruman12
Harry S. Truman håller upp ett exemplar av the Chicago Daily Tribune  där det felaktigt står att Thomas Dewey vann presidentvalet 1948.

Nu kanske någon läsare tänker att kvoturval måste vara bra då de funkade fint 1936. Det stämmer att det funkade fint 1936 och så även 1940 och 1944, men sedan kom presidentvalet 1948. Då förutspådde Gallup och alla andra stora opinionsmätare en stor seger för Thomas Dewey i presidentvalet. De var så säkra att Chicago Daily Tribune basunerade ut det resultatet på förstasidan, innan rösterna räknats färdigt och valet var avgjort. Det var dock inte Dewey, utan den sittande presidenten Harry S. Truman som vann valet. Efter den opinionsmissen övergav opinionsinstituten kvoturval för sannolikhetsurval. Återigen är lärdomen att även en bristfällig metod kan fungera en tid. Ett ytterligare exempel av det slaget är de svenska institut som använde självrekryterade webbpaneler och som enligt vissa tyckare var bättre på att mäta Sverigedemokraterna. De visade sig i 2018 års val inte alls vara bra på att mäta opinionen, inte för något parti.

Med detta vill jag inte säga att de innovationer som vi i dag ser bland opinionsmätarna behöver vara dåliga. Det finns dock inte tillräckligt underlag för att göra några ordentliga bedömningar av kvaliteten. Jag skulle därför inte påstå att sannolikhetsurvalens tid är över. Som den legandariske opinionsmätaren Warren Mitofsky uttryckte det: “There’s a lot of room for humility in polling. Every time you get cocky, you lose.”

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut /  Ändra )

Google-foto

Du kommenterar med ditt Google-konto. Logga ut /  Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut /  Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut /  Ändra )

Ansluter till %s