Konsekvenserna av sjunkande svarsfrekvenser i medborgarundersökningar

Den första nationella svenska valundersökningen genomfördes 1956 och hade 95 procents svarsfrekvens. Ja, du läste rätt. Nittiofem procent. Och då handlade det ändå om en besöksintervjuundersökning i två steg. Varje respondent intervjuades vid ett tillfälle före valet och ett tillfälle efter valet.

Idag brottas alla surveyforskare med sjunkande svarsfrekvenser i undersökningar som vill uttala sig om befolkningen som helhet. Vi ligger fortfarande mycket bra till i internationell jämförelse. Våra kollegor på forskarkonferenser avundas kvaliteten i våra undersökningar. Men ändå. Bortfallet ökar. Valundersökningarnas besöksintervjuundersökningar når i bästa fall 70 procent svarsfrekvens. Även de mest ambitiösa postenkätundersökningarna har svårt att nå mer än 60 procent. Under de senaste femton åren har utvecklingen varit särskilt brant. För SOM-undersökningarna handlar det om en minskning på omkring tio procentenheter från närmare 70 procent i mitten av nittiotalet till strax under 60 procent i de senaste undersökningarna. Frågan som diskuteras mycket — men där det hittills funnits få systematiska studier att hänvisa till — är om och i så fall hur sjunkande svarsfrekvenser får konsekvenser för resultaten. Kan vi lita på tidsserierna om svarsfrekvenser förändras över tid?

I en ny rapport från SOM-institutet — sammanställd av Elias Markstedt inom ramen för ett databasprojekt finansierat av Riksbankens Jubileumsfond och med Johan Martinsson som projektledare — redovisas en omfattande undersökning av i vad mån de svarande i SOM-undersökningarna 1986-2011 representerar svenska folket och hur de sjunkande svarsfrekvenserna påverkar resultaten. Rapporten  visar också hur några av SOM-institutets tidsserier förändras om man väljer att vikta materialet för att nå bättre demografisk representativitet vad gäller kön, ålder och region.

Resultaten visar att SOM-institutet lyckas förhållandevis väl att vidmakthålla demografisk representativitet med undantag av den allt rörligare gruppen 20-24-åringar. Denna grupp är svår att överhuvudtaget komma i kontakt med och blir därför systematiskt underrepresenterad bland de svarande (de utgör endast fem procent av de svarande jämfört med de 9 procent de borde vara). Det är bland de unga bortfallet har ökat allra mest under de senaste tio-femton åren (Var är dom?). Ökade svårigheter att nå ut — trots tillgång till helt aktuella uppgifter om folkbokföringsadress och telefonnummer — är en av de centrala anledningarna till sjunkande svarsfrekvenser. När man drar slutsatser som gäller denna grupp unga svenskar bör vi visa medvetenhet om att representativiteten är något sämre än i andra åldersgrupper.

HO Åldersrepresentativitet 2024år

Rapporten visar att tidsserier över nyckelindikatorer som partival, åsikter om flyktingmottagning, ekonomiska bedömningar, förtroende för politik, intresse för politik och nöjd med demokratin justeras mycket litet — i de flesta fall rör det sig om blott tiondelar — om man försöker kompensera med hjälp av viktning. Överlag mycket goda nyheter när det gäller att kunna lita på tidsserierna. Det stora undantaget är tidsserierna som gäller morgontidningsprenumeration där viktningsförfarandet skulle trycka ned andel prenumeranter med storleksordningen 4-5 procentenheter: fallet i morgontidningsprenumeration är med andra ord mer dramatiskt än vad SOM-institutets oviktade tidsserie visar. En slutsats jag själv drar är att tidsserier för indikatorer som samvarierar mycket starkt med generationstillhörighet bör kontrolleras för de förändringar som ägt rum i svarsfrekvens.

Läs mer om träffsäkerheten i SOM-institutets årliga postenkätundersökningar här och här.

5 thoughts on “Konsekvenserna av sjunkande svarsfrekvenser i medborgarundersökningar

  1. Försöka nå ungdommar idag via telefon? Påminner lite om http://dilbert.com/strips/comic/2008-12-10 , jag är nyfiken på hur många det är som ens svarar – och av dom som svarar som behandlar uppringarna som telefonförsäljare.

    Sedan så, vg post, många av dagens ungdomar skickar inte ens julkort så att få dom att skicka tillbaka något via post kräver att man behöver få dom att göra något dom inte har i sin vardagsrutin.

    Än värre är väl dock att gå via internet där toleransen för saker man inte känner för är extremt låg och e.v email snabbt hamnar i spam-listan eller skjuts upp förbi sista dagen att svara…

    Problemet är väl mest det att dagens ungdomar är uppvuxna i en värld där alla vill ha deras uppmärksamhet hela tiden…

  2. Det verkar som om seriös forskning drunknar i förfrågningar från marknadsundersökningar, som har blivit betydligt fler under senare år. Kanske borde vi betrakta folks tålamod med personer som ringer och frågar saker som en kollektiv vara och sedan ställa oss frågan hur vi minskar det individuella överutnyttjandet av densamma?

  3. Ping: Den mytomspunna felmarginalen |

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s