Lucka #20: Räkna med bortfall

Urvalsundersökningar är fantastiska – genom att fråga ett slumpmässigt urval om några tusen personer kan vi uttala oss uppfattningar i en befolkning bestående av miljontals människor. Det finns visserligen en osäkerhet i de resultat vi når, men den osäkerheten kan preciseras och kvantifieras. Detta tack vare den statistiska teori som ligger som grund för urvalsundersökningar och därmed även för en stor del av den samhällsvetenskapliga forskningen (se tidigare inlägg för utförligare historik).

Tyvärr verkar inte alla hysa varma känslor för sådana undersökningar; det finns de personer som vägrar att delta när opinionsinstituten hör av sig. På så vis blir de en del av bortfallet. I de klassiska böckerna om statistisk urvalsmetodik ägnades inte många rader åt bortfall, men i takt med att färre svarar på undersökningar har bortfallsproblematiken blivit ett allt mer uppmärksammat forskningsområde (se t.ex. en färsk avhandling i statistik av Minna Genbäck, Umeå universitet). I Sverige har frågan de senaste åren lyfts fram på nyhetsplats i massmedia (se t.ex. DN) och även, lite oväntat, varit föremål för debatt på landets stora debattsidor (se t.ex här med repliker här och här, här, eller här med repliker här och här).

51tnwtuajil-_sx352_bo1204203200_
Talande omslagsbild, från Ineke A.L. Stoops bok 

Är då bortfallet något att bry sig om? Ja, det finns framför allt två problem att beakta. För det första innebär bortfallet att färre svar kommer in, vilket i sin tur gör att resultaten blir mer osäkra. Det går att kompensera för detta genom att dra ett större urval, men det medför högre kostnader. Även om urvalet inte utökas blir ändå kostnaderna ofta högre när bortfallet stiger, då fler påminnelser måste skickas ut post eller ytterligare kontaktförsök via telefon måste sättas in. Ökade kostnader för samma eller kanske till och med minskad kvalitet är ingen ljuv musik för vare sig tidningar med vikande annonsintäkter eller för myndigheter med krav på kostnadsbesparingar.

Det andra problemet är potentiellt än värre. Det har att göra med risken att de svarande avviker från dem som inte svarar. Det avgörande är om de avviker med avseende på just det som undersökningen syftar till att mäta. I många undersökningar ställs en rad olika frågor och bortfallet kan påverka resultaten i olika grad för olika frågor. Problemet är att vi ofta inte vet hur pass känsliga olika frågor är för bortfall. För att kompensera för bortfallet kan annan information användas för att väga svaren. Detta i förhoppningen om räta ut bortfallets snedvridande inverkan.

Hur ser då bortfallets utveckling ut? I grafen nedan illustreras bortfallets utveckling i SCB:s Partisympatiundersökningen från 1984 till 2016 (den uppmärksamme läsaren kan notera Metropolitdebattens inverkan i början av perioden). Undersökningens bortfall har ökat markant under det senaste årtiondet och i november 2016 låg det på 43,9 procent (zigzag-mönstret i grafen beror på att undersökningens två årliga insamlingsperioder ligger i maj respektive i november och bortfallet är något större på våren). Det senaste året har dock inneburit en viss förbättring.

borfall_psu

Partisympatiundersökningen bygger på ett urval om omkring 9 000 individer som skulle vara röstberättigade vid ett hypotetiskt riksdagsval det aktuella året. Deras intervjusvar samlas in via telefon (mobil eller fast) och på senare tid finns även möjligheten att svara via webben. Som framgår av grafen har framför allt andelen som inte går att få tag på ökat kraftigt. Det kan visserligen vara svårt att hitta en del telefonnummer, men en betydande del i den här gruppen utgörs av personer som väljer att inte svara när de kontaktas. Förändrat telefonbeteende och telefonförsäljare hör till sådant som gjort det svårare att nå fram.

Utvecklingen för Partisympatiundersökningen inte är unik. Tyvärr redovisar de privata opinionsinstituten vanligtvis inte hur stora bortfall deras undersökningar behäftas med (och de tidningar som beställer och publicerar dessa undersökningar verkar av något skäl inte heller efterfråga den informationen). Men vi vet att SCB:s arbetskraftsundersökningar hade i november 2016 ett bortfall på 42,6 procent, vilket är dubbelt så högt jämfört med 2009. Och bortfallet ökar inte bara i telefonundersökningar, även om bortfallet inte ökar i samma takt för övriga typer av undersökningar. I den högkvalitativa, internationella undersökningen European Social Survey, där data samlas in genom besöksintervjuer, har bortfallet ökat från 31 procent 2002 till 50 procent 2014. Även SOM-institutets enkäter besvaras i lägre grad – bortfallet har stigit från 42 procent 2005 till 51 procent 2015.

Även om bortfallet har ökat kraftigt det senaste årtiondet ska de problem det medför inte överdrivas. Det finns flera studier som visar att många skattningar inte påverkas av bortfallet i den grad som skulle kunna befaras. I sammanhanget kan även nämnas att i USA, där bortfallet är betydligt större, drömmer sig opinionsmätare tillbaka till den tid då svarsviljan låg på de svenska nivåerna. Men samtidigt ska problemen inte heller underskattas. Då statistik baserad på befolkningsurval utgör underlag för politiska beslut är det av vikt att dessa underlag ger en korrekt bild av verkligheten.

Ibland framförs att de traditionella metodernas svårigheter med att samla in data via telefon eller brev gör dem förlegade och att webbpaneler utgör både framtiden och lösningen. Det är dock att blanda ihop korten. För vissa frågor kan webben vara en insamlingsmetod att föredra, även om betydelsen ofta överdrivs. Det problematiska med webbpaneler ligger dock inte i ordets första stavelse, utan i att urvalen dras från paneler bestående av personer som förklarat sig villiga till att svara på undersökningar med en viss regelbundenhet. De kan vara personer som är slumpmässigt utvalda till en undersökning och i samband med det även får erbjudandet om att vara med i en webbpanel. Men om det finns risk för att de som svarar i en undersökning inte är representativa för befolkningen i allmänhet torde den risken vara än större för den grupp som dessutom går med på att ingå i en rad ytterligare undersökningar.

Än mer problematiskt blir det om webbpanelerna är självrekryterade, det vill säga att personer på eget initiativ anmäler sitt intresse för att ingå i en panel och svara på undersökningar. Därmed har den grundläggande idén om slumpmässiga urval helt övergivits. Det finns all anledning att tro att dessa personer inte riktigt liknar alla andra i en rad avseenden. Dessutom ska risken för att olika grupper försöker påverka sådana opinionsmätningar inte negligeras. Jag vet inte hur institut som använder självrekryterade paneler på ett effektivt sätt kan skydda sig mot påverkansförsök av det slaget.

I debatten om webbpaneler hamnar fokus ofta på väljarbarometrar. Men problemen är kanske inte störst där. Såvitt jag vet väger alla svenska väljarbarometrar mot vad de svarande sa att de röstade i föregående riksdagsval. Det minskar risken för helt galna resultat. Det skulle med hjälp av sådan vägning förmodligen gå att genomföra en väljarbarometer i Östermalmshallen och ändå få resultat som inte är helt uppåt väggarna. Men för många andra undersökningsfrågor finns inte samma möjligheter att väga och inte heller något facit i form av valresultat, som kommer med jämna mellanrum. Samtidigt är undersökningar baserade på webbpaneler mycket kostnadseffektiva och löser därmed ett av problemen med bortfall. Detta, i kombination med att det är en enkel form av journalistik att rapportera undersökningsresultat, gör det mer sannolikt att opinionsmätningar med tvivelaktig kvalitet kommer att florera frekvent framöver. Frågan är dock om det är till gagn för samhällsdebatten.

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s