Kan man lita på enkätundersökningar, och ska kommunistiska journalister få rapportera från USA?

Varje dag rapporterar media om nya undersökningar. Genom en googling på artiklar bara från den senaste veckan får jag veta att 30 procent av barn mellan 0 och 4 år sitter framåtvända i bilen, att 17 procent av mäklarna i Göteborg tycker att fastigheter säljs snabbare efter införande av accepterat pris (11 procent tycker att det är längre tid), att 10 procent har tillsvidarepris på sin el, samt att 75 procent uppger sig vara ganska eller mycket lyckliga.

Kan man lita på alla de här undersökningsresultaten? Min erfarenhet är att de ofta i debattsammanhang rapporteras ganska okritiskt, framförallt av de som tycker att resultaten stödjer deras poäng. Det finns emellertid anledning att vara försiktig när man tolkar resultaten från sådana här undersökningar.

Självselektion
En av de viktigaste aspekterna när man ska bedöma en undersöknings kvalitet har att göra med hur urvalet gått till, som det tidigare skrivits om här på bloggen. Även om det råder delade meningar om man kan få användbara resultat även utan slumpmässiga urval (se till exempel här och här), råder det i den statistiska forskningen enighet om att slumpmässiga urval med hög svarsfrekvens är bäst, då man då kan undvika olika systematiska fel. Minst pålitliga resultat får man generellt om undersökningsdeltagarna själva väljer om de vill vara med i undersökningen utifrån ämnet. Mitt favoritskräckexempel kommer från en artikel i Aftonbladet 2008, där tidningen utifrån en webbomröstning drar slutsatsen att fyra av tio läsare vill ha sex med en robot. Aftonbladets relationsexpert tycker att resultatet är tragiskt men föga förvånande, då ”det är många som vill ha en kravlös relation.”

En riktigt dålig undersökning.

En riktigt dålig undersökning.

Till skillnad från relationsexperten tycker jag att resultatet är extremt förvånande, och är övertygad om att det är en överskattning. De 8244 som svarat på undersökningen är alltså de som själva valt att läsa en artikel om sex med robotar, och sedan dessutom valt att svara på den här frågan. Även om 8244 är många, så har de antagligen vissa specialintressen eftersom de valt att läsa artikeln, och dessutom svarat på frågan. Jag gissar också att en del svarat på skoj, men det är bara spekulation.

Även om man bortser från att urvalet till den här undersökningen är värdelöst finns det ett viktigt problem: Det är en så kallad nivåskattning, det vill säga att undersökningen bara syftar till att uppskatta hur stor en viss andel är i befolkningen, i det här fallet hur många som vill ha sex med en robot. Man jämför alltså inte två grupper.

Det är väldigt svårt att göra bra nivåskattningar, då andelen som svarar på ett visst sätt på en frågan är väldigt lättpåverkad. Folk tenderar till exempel att hålla med och instämma i påståenden. Det är antagligen fler som skulle hålla med i påståendet ”Sverige bör gå med i EMU” än vad det är som skulle ta avstånd från påståendet ”Sverige bör INTE gå med i EMU”.

Ett kul experiment
Svaren på frågor kan också påverkas av vilken ordning frågorna i enkäten kommer. I ett kul experiment som genomfördes 1981 fick deltagare i USA svara på en enkät där följande frågor fanns med:

”Do you think the United States should let Communist newspaper reporters from other countries come in here and send back to their papers the news as they see it?”

och

”Do you think a Communist country like Russia should let American newspaper reporters come in and send back to America the news as they see it?”

När frågorna ställdes i den här ordningen var det 44,4 procent som tyckte att de kommunistiska journalisterna skulle få komma till USA och rapportera hem. I princip alla tyckte att amerikanska journalister skulle få åka till Ryssland. Det finurliga i experimentet var att en grupp av deltagarna fick en likadan enkät där ordningen på frågorna vänts, så att frågan om de kommunistiska journalisterna kom först.

Tanken var att folk kanske skulle ha svårare att säga nej till att kommunistiska journalister skulle få komma till USA efter att de precis sagt att amerikanska journalister skulle få åka till Ryssland. Resultatet av experimentet visar att så också var fallet: Av de som först fick svara på frågan om de amerikanska journalisterna var det 70,1 procent som tyckte att kommunistiska journalister skulle få komma till USA! En jättestor effekt, bara på grund av att ordningen på två frågor bytts ut.

En tredje grupp fick dessutom först frågan om de amerikanska journalisterna, sedan 17 orelaterade frågor, och sedan frågan om de kommunistiska journalisterna. Här var det 66,4 procent som tyckte att de kommunistiska journalisterna borde få komma till USA. Hela experimentet beskrevs i en artikel i tidskriften Public Opinion Quarterly.

När det rapporteras om att en majoritet av svenska folket tycker si eller så bör man alltså ta det med en nypa salt. En annorlunda formulering av frågan kanske till exempel skulle ändra andelen som svarade ja från 55 till 45 procent.

Det är generellt sett intressantare med jämförelser, antingen med olika grupper av svarande, eller över tid. En undersökning som till exempel visar att studenter är mer eller mindre benägna att tycka någonting än pensionärer i samma enkät dras inte med samma problem, eftersom enkäten sätt likadan ut för alla.

Frågor som handlar om konkreta saker, till exempel hur man har barnstolar i bilen, är antagligen mindre lättpåverkade av sådana här faktorer än åsiktsfrågor. Det är också bra om frågorna ställts förut. Partisympatiundersökningar får en del skäll, men frågorna har ställts massor av gånger, alla förstår vad de betyder, och det går att jämföra över tid. Även om jag inte tycker att man ska övertolka dem så kommer de som görs direkt innan riksdagsvalen ofta väldigt nära det faktiska resultatet.

Ett annat kul experiment
Forskare i Lund ledda av Lars Hall har i flera andra väldigt smarta experiment visat att det går att förvirra folk när de svarar på enkäter, som tidskriften Nature skriver om här. I ett experiment gick de fram till personer på stan och bad dem svara på en pappersenkät med två sidor. När de vände blad för att svara på frågorna på nästa sida fastnade delen som innehöll frågeformuleringarna på enkätens första sida på enkätens baksida. Under delen som revs bort var det samma frågor, fast omvända. Ursprungligen kanske det stod ”Bensinskatten bör höjas”, men efter att de vänt blad stod det ”Bensinskatten bör inte höjas”.

När deltagarna svarat färdigt ombads de gå tillbaka och förklara varför de svarat som de gjort på de första frågorna. För de som svarat att de höll med om att bensinskatten borde höjas stod det när de nu tittade på enkäten igen att de höll med om att bensinskatten inte borde höjas. Ungefär hälften av deltagarna började nu ge utvecklade argument för varför de svarat helt motsatt till vad de egentligen svarade! En videodemonstration av experimentet finns här nedan.

I ett annat experiment gjorde samma forskargrupp istället så att de kikade över axeln när deltagarna svarade på enkäten, fyllde i en enkät med motsatta svar och klistrade sedan på de modifierade svaren över deltagarens svar, med liknande resultat. Nature skriver här även om detta experiment.

Vad ska man tro?
Betyder det att man inte kan lita alls på vad folk svarar i enkäter? Även om jag beundrar kreativiteten i experimenten med de magiska enkäterna tror jag inte att det är riktigt så illa som det verkar. Annan mer traditionell forskning visar att folk har ganska stabila åsikter när man frågar dem vid flera olika tillfällen. Jag skulle tro att själva situationen när man står utomhus och på stående fot svarar på en enkät och direkt måste förklara varför är förvirrande i sig, och att det kan leda till viss tillfällig förvirring, men det är bara min magkänsla.

Min poäng är att man inte ska fästa alltför stor vikt vid påståenden som ”60 procent tycker att XYZ bör avskaffas” eller ”Bara 25 procent håller med om påstående XYZ”. Det är mycket intressantare om undersökningen kan visa att svaret på samma fråga skiljer sig mellan olika grupper eller har förändrats över tid.

3 thoughts on “Kan man lita på enkätundersökningar, och ska kommunistiska journalister få rapportera från USA?

  1. Jag kommer att tänka på Expressens artikel om en undersökning beställd av Gotlandssnus där Expressen skriver stort i rubriken att ”Svenskar vill gå ur EU om förbud går igenom”. 29 % svarade ja, 49 % nej (resten tveksamma eller vet ej). Förutom osäkerheten kring den exakta andelen, så brukar väl dessutom EU-motståndet ligga därikring, oavhängigt snusfrågan.

    http://www.expressen.se/nyheter/svenskar-vill-ga-ur-eu-om-forbud-gar-igenom/

  2. Det vimlar av felkällor i många opinionsundersökningar. Både urval, oredovisade bortfall, tvetydiga formuleringar, timing ( exkt när man frågor folk menar jag) och annat spelar en enorm roll. Det senaste exemplet är undersökningen nyligen om ”svanskarnas” inställning till vinster i vårdföretag. Kommer inte exakt ihåg formuleringen på frågan, men fick omedelbart intrycket av en sådan där ”har-du-slutat-slå-din-fru”-enkät. Det finns många fler och värre exempel..

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s