Den mytomspunna felmarginalen

De senaste dagarna har opinionsmätningar diskuterats flitigt på olika håll. Det gäller inte minst vad som är statistiskt säkerställt och vad som inte är det. Tyvärr är debatten stundtals både förvirrad och förvirrande. Det är dock inte så konstigt; statistik är inte enkelt att förklara och mindre att diskutera. Det blir inte heller bättre av att det även råder viss begreppsförvirring. Det är måhända naivt, men här kommer i alla fall ett försök till att förklara vad som avses med ”felmarginaler” och framför allt illustrera den betydelse de har. Ber om ursäkt för att det blir lite långt.

Opinionsmätningar baseras på att man tillfrågar ett urval personer om deras åsikter. Eftersom man inte frågar alla finns en viss osäkerhet i de siffror man kommer fram till. Om man drar ett så kallat sannolikhetsurval (det vill säga om sannolikheten att ingå i urvalet är känd och större än noll för samtliga som tillhör den population man vill uttala sig om, exempelvis röstberättigade i riksdagsval) kan man kvantifiera den osäkerheten i form av en felmarginal för varje skattning. Det innebär exempelvis att om en opinionsundersökning visar att stödet för ett visst parti är 4,4 procent och felmarginalen för den skattningen är 0,6 procentenheter, då kan man bilda ett konfidensintervall som är skattningen plus/minus felmarginalen, det vill säga i det här fallet ett intervall som går från 3,8 till 5,0 procent. Det intervallet kan förstås genom ett teoretiskt antagande om att man skulle upprepa exakt samma undersökning ett stort antal gånger, så kommer intervallet att täcka det sanna värdet i genomsnitt i 95 fall av 100, eller annorlunda uttryckt i 19 fall av 20. Det är med den säkerheten man kan uttala sig. Man kan naturligtvis använda sig av andra säkerhetsnivåer (exempelvis en nivå som ger ett intervall som i genomsnitt täcker det sanna värdet i 99 fall av 100) – det är en avvägning mellan å ena sidan möjligheten att upptäcka skillnader eller förändringar och å andra sidan risken att konstatera en förändring som enbart beror på slumpen. En högre säkerhetsnivå innebär ett större konfidensintervall. Men intervallets storlek beror också på antalet observationer i urvalet. Med ett väldigt stora urval kan även små skillnader bli statistiskt signifikanta (eller statistiskt säkerställda), vilket inte behöver betyda att de är av substantiell betydelse.

Låt mig illustrera detta med ett par exempel. Tänk er en politisk opinionsmätning under ideala förhållanden, det vill säga utan något bortfall eller mätfel och där vi vet att de svarande också skulle rösta om det vore val (ja, vi pratar nu om opinionsmätarnas våta dröm). Sådana mätningar under ideala förhållanden kan simuleras genom att dra slumpmässiga urval av de röstande i ett val. Om vi utgår från 2010 års  riksdagsval så vet vi hur många röster som tillföll de olika partierna. Totalt sett var det 5 960 408 giltiga röster som avgavs då. Om vi då drar 20 slumpmässiga urval om 1 000 röster från dessa 5 960 408 röster får vi något som motsvarar 20 olika opinionsmätningar under ideala förhållanden. Vi kan då skatta stödet för olika partier i respektive av dessa 20 mätningar, och för varje sådan skattning kan vi precisera osäkerheten i form av ett konfidensintervall. I diagrammet nedan illustreras skattningar för Centerpartiet, utifrån resultatet av 20 sådana simuleringar. Varje punkt är en skattning av stödet och de linjer som går ut från punkterna motsvarar konfidensintervallen (95 %-iga). Den vertikala linjen avser det sanna värdet, det vill säga Centerpartiets resultat i 2010 års riksdagsval (6,6 procent). Värt att notera är variationen av skattningarna är ganska stor, i synnerhet om vi beaktar hur stort små förändringar kan slås upp av medier och kommentatorer. Dessutom är det här två av konfidensintervallen som inte täcker det sanna värdet (det är alltså inte exakt i 1 fall av 20 som det inträffar, utan det sker i genomsnitt). Detta trots att det faktiska stödet för C är samma i populationen i alla 20 fall. Om vi leker med tanken på att dessa mätningar faktiskt ägde rum och skulle presenteras efter varandra över tid skulle det säkert finnas någon kommentator som skulle kunna förklara växlingarna i stödet (på grund av utspel av partiledaren, händelser i omvärlden, eller något liknande), även om dessa förändringar i det här fallet bara beror på slumpen. Och det här är alltså simulerade opinionsmätningar under ideala förhållanden – det finns en rad problem som försvårar i verkligheten (ok, man kan samtidigt få bättre skattningar genom att använda hjälpinformation, men jag går inte in på det här).

Om vi istället tänker oss motsvarande mätningar, men med urval om 2 000 personer, då får vi skattningar som är mer precisa. I diagrammet nedan illustreras resultatet av 20 sådana simuleringar, återigen avseende Centerpartiet. Som framgår av diagrammet hamnar skattningarna i genomsnitt närmare det sanna värdet och konfidensintervallen är mindre än i det föregående diagrammet, eftersom antalet observationer som skattningarna baseras på är fler. Men, och det är viktigt att förstå, det är fortfarande så att konfidensintervallen i genomsnitt täcker det sanna värdet i 95 fall av 100. Och även här har slumpen medfört att konfidensintervallet för en av skattningarna inte täcker det sanna värdet.

Förhoppningsvis illustrerar dessa exempel betydelsen av ett konfidensintervall och att skattningar från urvalsundersökningar bör tolkas med försiktighet (även statistiskt signifikanta skillnader kan bero på slumpen). Det här var dock exempel under ideala förhållanden. I verkligheten brottas opinionsmätare med bortfall, mätfel, viktningar och en rad andra problem (läs exempelvis Henrik Oscarssons inlägg om bortfall). Och en del opinionsmätare använder sig av urval som inte är i närheten av sannolikhetsurval och de kan därför inte ens beräkna konfidensintervall. Tyvärr är detta aspekter som sällan tas upp när opinionsmätningar diskuteras, så det finns med andra ord anledning att återkomma till dem.