Detta inlägg bygger på en artikel publicerad i International Journal of Public Opinion Research av Delia Dumitrescu och Johan Martinsson.
Det diskuteras ofta hur tillförlitliga resultat från opinionsmätningar, enkätundersökningar eller andra typer av systematiska frågeundersökningar är. Vanliga frågor är då vilken typ av urval som har använts, hur hög svarsfrekvensen är, hur stort urvalet är, eller om resultaten är statistiskt signifikanta i någon betydelse av detta. Något som är minst lika viktigt, men ofta svårare att diskutera, är hur väl utformade undersökningar är vad gäller frågornas formulering, svarsalterantiv eller andra designaspekter av en enkät eller annan undersökning.
Denna typ av frågor går det inte lika lätt att kvantifiera eller att säga vad som är rätt eller fel. En högre svarsfrekvens brukar till exempel betraktas som bättre än en lägre svarsfrekvens, och ett resultat kan ibland vara statistiskt signifikant eller inte. Men med frågeformuleringar och liknande aspekter av undersökningar är det lite annorlunda, det gäller då i stort en omdömesfråga som är öppen för diskussion.
Vi vet sedan åtskilliga decennier ganska mycket om hur frågor bör och inte bör formuleras i enkätundesökningar. För detta finns otaliga handböcker och forskningsöversikter. Dessa har dock fokuserat på konsekvenserna av utformningen av en fråga i en undersökning för kvaliten på svaren på just den frågan (eller möjligen starkt relaterade och näraliggande frågor). Tillsammans med Delia Dumitrescu har jag de senaste åren därför genomfört ett par studier som utforskar om och hur mer eller mindre god frågeutformning och enkätdesign påverkar svaren på undersökningen även i andra, orelaterade, frågor. Vår utgångspunkt är att enkätundersökningar och andra typer av surveyundersökningar bör betraktas som en social konversation, där vissa regler och normer för sociala konversationer bör respekteras från enkätkonstruktörernas sida. För en introduktion till det konversationslogiken i undersökningar, se Schwartz 1995. Några av de konversationsregler som enkäter bör respektera handlar om huruvida informationen enkätdeltagarna får är begriplig, kommer i lagom mängd, är korrekt, och relevant.
Kvardröjande effekter av frågeutformning
Det nya med vår studie är att vi kan visa att brott mot dessa konversationsregler på ett ställe i enkäten försämrar kvaliten på svaren även i ett annat avsnitt av en enkät. För att testa detta använde vi ett avsnitt enkätfrågor som kan anses vara lite svårare än genomsnittet, och som vi förväntade oss att en del respondenter skulle tycka var relativt svåra att besvara. Ett exempel på en fråga som ingick bland dessa någor svårare frågor var hur stort förtroende respondenterna har för fortifikationsverket.
Själva undersökningen gick sedan ut på att två saker varierades slumpmässigt. För det första fick en del deltagare fick se svarsalternativet ”ingen åsikt”, medan andra inte fick se något sådant alternativ. Att utesluta ”ingen åsikt”-alternativet tolkar vi i detta fall som ett brott mot konversationslogiken då det i just detta avsnitt är relevant. För det andra fick en del deltagare läsa in en instruktion innan det svårare avsnittet som förmedlade att vi önskade att de skulle läsa frågorna och fundera noga innan de svarade, och som också varnade för att en del kunde tycka att de var svåra att svara på. Samtidigt fick andra deltagare inte läsa denna information innan det svåra avsnittet.
För att mäta om dessa skillnader i enkätutformning påverkade deltagarna så inkluderade vi en uppsättning frågor som vi vet från tidigare studier att det föreligger ett samband mellan. I detta fall handlade dessa frågor om deltagarnas inställning till miljöpolitik och deras eget agerande i miljöfrågor. Det är väl etablerad sedan tidigare att de som är mer benägna att stödja miljöpolitiska förslag också är mer benägna att själva engagera sig i miljövänligt beteende, som exempelvis att sopsortera, köpa miljömärkta produkter etc (det vill säga ett ”positivt samband”). Sambandet mellan stödet för miljöpolitik och miljövänligt beteende beräknades sedan i form en korrelationskoeffcient där 0 betyder att det inte finns något samband mellan de två variablerna, och +1 betyder att det föreligger ett maximalt/fullständigt samband. Figuren nedan visar huvudresultatet från en av våra studier.

Sambandet för den grupp som när de tidigare i enkäten svarade på det relativt svåra avsnittet inte fick någon särskilt information och inte heller något ”ingen uppfattning”-alternativ (IU) var alltså +0.43 (kontrollgruppen), medan vi i den grupp som fick se en informationsvignette kunde se ett samband på +0.50, och i den grupp som både fick en informationsvignette innan de svåra frågorna och dessutom fick möjligheten att säga ”ingen uppfattning” var sambandet så högt som +0.57. Detta är avsevärda skillnader. Sambandet ökar alltså i styrka med 32% (från 0.43 till 0.57) när vi vinnlägger oss om att anpassa enkätens utformning så att vi respekterar sociala konversationsregler.
Men vilket är då ”rätt” resultat? Vilket är den sanna styrkan på korrelationen? Det går inte att säga. Men vår utgångspunkt här är att de högre värdena troligen är mer tillförlitliga. Hur kan vi veta det? Det kan vi i strikt mening inte. Men de deltagare som ingick i de grupper som resulterade i ett högre samband spenderar något mer tid på webbsidan när de svarade, och de rapporterade själva att de var varit något mer uppmärksamma under tiden de svarade på enkäten än andra grupper.
Inte nog med att vi behöver ha urval av bra kvalitet och ställa välformulerade frågor, vi måste dessutom anstränga oss för att respektera samtalslogiken igenom hela våra undersökningar. Annars riskerar våra respondenter att tappa förtroendet för oss och börja svara mindre mindre uppmärksamt och noggrant. Särskilt uppmärksamma bör vi vara när resultat från olika undersökningar jämförs. Åtminstone om det gäller resultat som bygger samband av något slag.
PS
Vilket förtroende hade då deltagarna för fortifikationsverket undrar kanske någon? Vi kan säga såhär: När deltagarna inte fick välja alternativet ”ingen uppfattning” så valde hela 74 procent mittalternativet ”varken stort eller litet förtroende”. Fanns däremot alternativet ”ingen uppfattning” så valdes det av hela 43 procent.