Lucka #15: Enkäter som samtal?

Lucka #15: Enkäter som samtal?

Detta inlägg bygger på en artikel publicerad i International Journal of Public Opinion Research av Delia Dumitrescu och Johan Martinsson.

 

Det diskuteras ofta hur tillförlitliga resultat från opinionsmätningar, enkätundersökningar eller andra typer av systematiska frågeundersökningar är. Vanliga frågor är då vilken typ av urval som har använts, hur hög svarsfrekvensen är, hur stort urvalet är, eller om resultaten är statistiskt signifikanta i någon betydelse av detta. Något som är minst lika viktigt, men ofta svårare att diskutera, är hur väl utformade undersökningar är vad gäller frågornas formulering, svarsalterantiv eller andra designaspekter av en enkät eller annan undersökning.

Denna typ av frågor går det inte lika lätt att kvantifiera eller att säga vad som är rätt eller fel. En högre svarsfrekvens brukar till exempel betraktas som bättre än en lägre svarsfrekvens, och ett resultat kan ibland vara statistiskt signifikant eller inte. Men med frågeformuleringar och liknande aspekter av undersökningar är det lite annorlunda, det gäller då i stort en omdömesfråga som är öppen för diskussion.

Vi vet sedan åtskilliga decennier ganska mycket om hur frågor bör och inte bör formuleras i enkätundesökningar. För detta finns otaliga handböcker och forskningsöversikter. Dessa har dock fokuserat på konsekvenserna av utformningen av en fråga i en undersökning för kvaliten på svaren på just den frågan (eller möjligen starkt relaterade och näraliggande frågor). Tillsammans med Delia Dumitrescu har jag de senaste åren därför genomfört ett par studier som utforskar om och hur mer eller mindre god frågeutformning och enkätdesign påverkar svaren på undersökningen även i andra, orelaterade, frågor. Vår utgångspunkt är att enkätundersökningar och andra typer av surveyundersökningar bör betraktas som en social konversation, där vissa regler och normer för sociala konversationer bör respekteras från enkätkonstruktörernas sida. För en introduktion till det konversationslogiken i undersökningar, se Schwartz 1995. Några av de konversationsregler som enkäter bör respektera handlar om huruvida informationen enkätdeltagarna får är begriplig, kommer i lagom mängd, är korrekt, och relevant.

Kvardröjande effekter av frågeutformning

Det nya med vår studie är att vi kan visa att brott mot dessa konversationsregler på ett ställe i enkäten försämrar kvaliten på svaren även i ett annat avsnitt av en enkät. För att testa detta använde vi ett avsnitt enkätfrågor som kan anses vara lite svårare än genomsnittet, och som vi förväntade oss att en del respondenter skulle tycka var relativt svåra att besvara. Ett exempel på en fråga som ingick bland dessa någor svårare frågor var hur stort förtroende respondenterna har för fortifikationsverket.

Själva undersökningen gick sedan ut på att två saker varierades slumpmässigt. För det första fick en del deltagare fick se svarsalternativet ”ingen åsikt”, medan andra inte fick se något sådant alternativ. Att utesluta ”ingen åsikt”-alternativet tolkar vi i detta fall som ett brott mot konversationslogiken då det i just detta avsnitt är relevant. För det andra fick en del deltagare läsa in en instruktion innan det svårare avsnittet som förmedlade att vi önskade att de skulle läsa frågorna och fundera noga innan de svarade, och som också varnade för att en del kunde tycka att de var svåra att svara på. Samtidigt fick andra deltagare inte läsa denna information innan det svåra avsnittet.

För att mäta om dessa skillnader i enkätutformning påverkade deltagarna så inkluderade vi en uppsättning frågor som vi vet från tidigare studier att det föreligger ett samband mellan. I detta fall handlade dessa frågor om deltagarnas inställning till miljöpolitik och deras eget agerande i miljöfrågor. Det är väl etablerad sedan tidigare att de som är mer benägna att stödja miljöpolitiska förslag också är mer benägna att själva engagera sig i miljövänligt beteende, som exempelvis att sopsortera, köpa miljömärkta produkter etc (det vill säga ett ”positivt samband”). Sambandet mellan stödet för miljöpolitik och miljövänligt beteende beräknades sedan i form en korrelationskoeffcient där 0 betyder att det inte finns något samband mellan de två variablerna, och +1 betyder att det föreligger ett maximalt/fullständigt samband. Figuren nedan visar huvudresultatet från en av våra studier.

Capture

Sambandet för den grupp som när de tidigare i enkäten svarade på det relativt svåra avsnittet inte fick någon särskilt information och inte heller något ”ingen uppfattning”-alternativ (IU) var alltså +0.43 (kontrollgruppen), medan vi i den grupp som fick se en informationsvignette kunde se ett samband på +0.50, och i den grupp som både fick en informationsvignette innan de svåra frågorna och dessutom fick möjligheten att säga ”ingen uppfattning” var sambandet så högt som +0.57. Detta är avsevärda skillnader. Sambandet ökar alltså i styrka med 32% (från 0.43 till 0.57) när vi vinnlägger oss om att anpassa enkätens utformning så att vi respekterar sociala konversationsregler.

Men vilket är då ”rätt” resultat? Vilket är den sanna styrkan på korrelationen? Det går inte att säga. Men vår utgångspunkt här är att de högre värdena troligen är mer tillförlitliga. Hur kan vi veta det? Det kan vi i strikt mening inte. Men de deltagare som ingick i de grupper som resulterade i ett högre samband spenderar något mer tid på webbsidan när de svarade, och de rapporterade själva att de var varit något mer uppmärksamma under tiden de svarade på enkäten än andra grupper.

Inte nog med att vi behöver ha urval av bra kvalitet och ställa välformulerade frågor, vi måste dessutom anstränga oss för att respektera samtalslogiken igenom hela våra undersökningar. Annars riskerar våra respondenter att tappa förtroendet för oss och börja svara mindre mindre uppmärksamt och noggrant. Särskilt uppmärksamma bör vi vara när resultat från olika undersökningar jämförs. Åtminstone om det gäller resultat som bygger samband av något slag.

PS

Vilket förtroende hade då deltagarna för fortifikationsverket undrar kanske någon? Vi kan säga såhär: När deltagarna inte fick välja alternativet ”ingen uppfattning” så valde hela 74 procent mittalternativet ”varken stort eller litet förtroende”. Fanns däremot alternativet ”ingen uppfattning” så valdes det av hela 43 procent.

 

Lucka #12: Om sakfrågeägarskap

Följande inlägg är samförfattat med Stefan Dahlberg och är delvis baserat på en artikel av Love Christensen, Stefan Dahlberg och Johan Martinsson i den vetenskapliga tidskriften Scandinavian Political Studies, samt en annan artikel av Stefan Dahlberg och Johan Martinsson i West European Politics.

 

Sakfrågegägarskap och väljarbeteende

Under de senaste decennierna har mer traditionella sociologiska förklaringsmodeller för väljarebeteende minskat i förklaringskraft då väljare generellt sett har blivit allt mindre benägna att rösta enligt klasstillhörighet eller partiidentifikation. Istället har enskilda sakfrågor och politikområden blivit viktigare för väljarnas röstningbeslut. En potentiell konsekvens att detta är att partikonkurrensen har kommit att inriktas på konkurrens om sätta den politiska dagordningen, dvs lyckas bestämma över vilka frågor ska få politisk uppmärksamhet. Utifrån detta perspektiv har teorin om “issue ownership”, eller sakfrågeeägarskap, kommit att få allt större uppmärksamhet inom väljarforskningen under de senaste 10-15 åren. Läs mer

Behöver du personrösta? Det beror på vilket parti du röstar på.

För detta inlägg har Elias Markstedt bistått med dataanalyser.

Svenska väljare har nu sedan ganska lång tid tillbaka haft möjligheten att personkryssa den kandidat de i första hand vill ska väljas för det parti väljaren röstar på. I det här inlägget ska vi ta en snabb titt på hur stora skillnaderna mellan olika kandidater för samma parti egentligen är när det gäller åsikter i politiska frågor, samt om sammanhållningen är större eller mindre inom vissa partier. Denna text kommer alltså inte alls beröra andra aspekter som kan skilja de olika politiska kandidaterna åt. Det kan också mycket väl finnas många andra rimliga grunder för att personkryssa en viss kandidat än just åsikter i politiska sakfrågor eller kandidatens ideologiska hållning. En del väljare kan tex föredra att representeras av en kandidat som liknar dom själva i andra avseenden, eller kan vilja öka representationen av en viss grupp i de valda församlingarna.

Med detta sagt ska inlägget försöka belysa om det finns någon anledning att välja kandidat att personkryssa efter åsikt, eller om det snarare är så att åsiktsskillnaderna är så små inom varje parti att det inte spelar någon roll. För att göra detta kommer vi använda data från Aftonbladets valkompass. Valkompassen innehåller både uppgifter om hur de tio översta kandidaterna på listorna i europaparlamentsvalet för riksdagspartierna, Piratpartiet och Feministiskt initiativ tar ställning i 30 politiska frågor. SVTs valkompass innehåller visserligen uppgifter om ännu fler kandidater än Aftonbladets valkompass, men Aftonbladets valkompass har den fördelen att den även innehåller en separat positionering för partierna i sig, medan SVT istället utgår från kandidaternas genomsnittsåsikt för partiernas positioner i frågorna. För Aftonbladets valkompass togs partiernas positioner fram genom en dubbelt förfarande där dels partiledningarna själva besvarade de 30 frågorna i enkätform enligt partiets officiella ståndpunkt, samtidigt som en en grupp vid statsvetenskapliga institutionen vid Göteborgs universitet gick igenom allt relevant partimeterial och för att göra en oberoende bedömning av partiets ståndpunkt baserat på officiellt partimaterial som till exempel partiprogram, valmanifest med mera. Detta har fördelen att det går att se om kandidaterna har annorlunda åsikter än partiets officiella ståndpunkt.

I ett första steg kommer vi därför belysa i vilken utsträckning de tio översta kandidaterna har en annan åsiktsposition än sitt eget parti. Vi behöver dock förenkla analysen något då det är ett digert arbete att närgranska 30 frågor för varje kantidat och parti, och det ger heller ingen överblick. Här nöjer vi oss med den övergripande bilden och undersöker partiers och kandidaters positioner i form av ett tvådimensionellt ideologiskt landskap som består av en vänster-högerdimension, och en EU-dimension. Detta är naturligtvis en förenkling, men förhoppningsvis en förenkling som kan hjälpa oss förstå och orientera oss bland partier och kandidater. Det mått på avstånd mellan partiposition och partiets kandidaters position i det tvådimensionella landskapet vi kommer använda är det genomsnittliga euklidiska (dvs ”diagonala”) avståndet. Den tvådimensionella rymden är konstruerad som två axlar som löper från -2 till +2. Det maximala diagonala (euklidiska) avståndet är då cirka 5,5 enheter. Nåväl, vilket partis kandidater ligger då i genomsnitt längst från sitt eget parti, och vilket parti har kandidater som ligger närmast partiets egen uppfattning?

Figur 1 Genomsnittligt (euklidiskt) avstånd mellan partier och pariernas kandidater

fig1

Som vi ser av stapeldiagrammet ovan så är det tveklöst Vänsterpartiet som har europaparlamentskandidater som håller sig närmast partilinjen, medan Feministiskt Initiativ däremot har kandidater som i genomsnitt skiljer sig mest från partiets ståndpunkt. Dock tätt följt av Piratpartiet. Det borde rimligen betyda att det spelar större roll vilken kandidat som blir vald från Feministiskt Initiativ än från Vänsterpartiet. Men det är inte riktigt säkert. Den kan ju vara så att FI:s kandidater alla ligger långt från partilinjen, men på samma position? För att utesluta sådana möjligheter har vi även jämfört hur stort det genomsnittliga avstånden är mellan samtliga kandidater inom varje parti och samma kandidaters genomsnittliga position. Nästa figur visar resultaten.

Figur 2 Genomsnittligt (euklidiskt) avstånd mellan partiers kandidater och kandidaternas genomsnittliga position

fig2

Som vi ser förändras faktiskt bilden en del när vi mer direkt jämför kandidaternas sammanhållning sinsemellan istället för kandidaternas sammanhållning med sitt eget parti. Vänsterpartiets kandidater är även sinsemellan de i särsklass mest sammanhållna åsiktsmässigt, men Feministiskt intitiativs kandidater däremot inte längre uppvisar störst skillnad inom sin egen grupp. Inom kandidaterna är det istället Piratpartiets kandidater som uppvisar störst skillnader sinsemellan. En väljare som röstar på piratpartiet kan alltså göra klokt i att noga välja vilken kandidat hen personkryssar, medan det rimligen inte är lika väl använd tid för en väljare som röstar på Vänsterpartiet.

Innan vi lämnar denna första översikt ska vi också analyser de två ideologiska dimensionerna separat för att se om avvikelserna från partilinjen främst finns i klassiska vänster-högerfrågor, eller i EU-frågor. Vi börjar med EU-dimensionen.

Figur 3 Genomsnittligt absolut avstånd mellan partier och partiernas kandidater i EU-dimensionen

fig3

Det blir snabbt tydligt att det är just vad gäller inställningen till EU som FI:s kandidater avviker från partilinjen en del. De har ett dubbelt så högt genomstnittligt medelavstånd (i absoluta tal) som övriga partier.

Figur 4 Genomsnittligt absolut avstånd mellan partier och partiernas kandidater i Vänster-högerdimensionen

fig4

När det kommer till vänster-högerdimensionen däremot så framstår FI:s kandidater som minst lika sammanhållna som övriga partiers. Det spelar däremot en betydligt större roll för Piratpartiet. Detta beror till stor del förståss på att Piratpartiet inte har velat ta ställning i vänster-högerfrågor i traditionell mening, och därför placerar sig i mitten av skalan. När vi jämför figur 3 och 4 ovan ser vi även att till exempel socialdemokraternas kandidater har en större avvikelse i EU-dimensionen än i vänsterhögerdimensionen.

För att lättare förstå vad sifforna och rangordningarna ovan kommer den sista delen av detta inlägg ta en kortfattad titt på varje parti och dess kandidaters i det tvådimensionella ideologiska landskaptet. Den horisontella dimensionen är den klassiska vänster-högerdimensionen, med de som svarat maximalt till vänster på de 30 frågorna vid -2, och de som svarat maximalt till höger på de 30 frågorna vid +2. EU-dimensionen finns på den vertikala axeln, med maximalt EU-positiva vid +2 (i toppen), och maximalt EU-negativa vid -2 (i botten). Partierna visas med en röd fylld cirkel, och kandidaterna i blått. I de fall en grön rektangel kan ses är det kandidaternas medelvärde.

Figur 5a Vänsterpartiet och dess kandidater

fig5-V

Som redan har nämnts är Vänsterpartiets kandidater extremt sammanhållna, varför vi går vidare utan längre kommentar. Vi måste dock ta med rent metodologiska aspekter i beaktatande, och även om en kandidat som LiseLotte Olsson ligger något mindre långt till vänster i figuren är det inte säkert att detta återspeglar en verkligen skillnad då skillnaden är såpass liten. Den starka sammanhållningen skulle också till viss del kunna bero på att Vänsterpartiet och en del av dess kandidater så att säga ”slår i väggen” i och med att det inte går att placera sig längre till vänster med det urval av 30 frågor som har använts i Aftonbladets valkompass. Det är tänkbart att fler frågor med ännu starkare vänsterpositioner hade skapat en större variation även mellan Vänsterpartiets kandidater.

Figur 5b Socialdemokraterna och dess kandidater

fig5-S

Av figuren ser vi en något större spridning bland socialdemokraterna, men ändock relativt begränsad. Som vi redan har sett är skillnaderna mellan kandidaterna något större i EU-frågor än i traditionella vänster-högerfrågor. I toppen ser vi mer EU-positiva kandidater som Olle Ludvigsson och Jytte Guteland, medan Marita Ulvskog tillhör de klart mest EU-negativa. En skillnad som kan vara värd att ta i beaktande för socialdemokratiska väljare.

Figur 5c Centerpartiet och dess kandidater

fig5-C

Centerpartiets kandidater uppvisar ett intressant mönster med en relativt sammanhållen grupp nära partiet, plus några kandidater som jämförelsevis ligger ovanligt långt från sitt parti. Längst till vänster hittar vi till exempel Staffan Nilsson, medan Pelle Thörnberg utmärker sig som den mest EU-positiva kandidaten av alla de 100 kandidater som ingåri i Aftonbladets valkompass som helhet.

Figur 5d Folkpartiet och dess kandidater

fig5-FP

Folkpartiets kandidater uppvisar också en relativt stor spännvid mellan sina kandidater vad gäller vänster-högerdimensionen. Längst till vänster ser vi Jenny Sonesson, medan Cecilia Wikström och Staffan Werme återfinns längst till höger.

Figur 5e Moderaterna och dess kandidater

fig5-M

Moderaternas kandidater har relativt sammanhållna åsikter. Visserligen kanske det finns en kännbar skillnad mellan den mest EU-positive kandidaten Cecilia Magnusson och den minst EU-entusiastiske Carl-Oskar Bohlin, även om den inte är så stor. På samma sätt är säkerligen Gunnar Hökmark och Christofer Fjellner något till höger om Anna Maria Corazza Bildt och Jelena Drenjanin, enligt de 30 frågor som ingår i Aftonbladets valkompass.

Figur 5f Kristdemokraterna och dess kandidater

fig5-KD

Kristdemokraterna däremot har en klart större spännvidd, med kandidater som Sara Skyttedal som ligger långt till höger, och Désirée Pethrus som ligger längst till vänster. Dessa två emellan är spännviden ovanligt stor inom ett och samma parti.

Figur 5g Miljöpartiet och dess kandidater

fig5-MP

Miljöpartiets kandidater är även de rätt så sammanhållna, om än inte lika sammahållna som vänsterpartiets. Den kandidat som tydligast sticker ut är Max Andersson genom att ligga längre till vänster och vara mer EU-negativ än övriga kandidater, och än partiet. Han ligger snarast prick på Feministiskt Initiativs placering i de två dimensionerna, och inte långt från Vänsterpartiet heller.

Figur 5h Sverigedemokraterna och dess kandidater

fig5-SD

Sverigedemokraternas kandidater är relativt sammanhållna i sin EU-skeptisism, men något mer utspridda längst med vänster-högerdimensionen från mer högerinriktade kandidater som Anna Hagwall och mer mittenplacerad kandidater som Kristina Winberg eller Peter Lundgren.

Figur 5i Piratpartiet och dess kandidater

fig5-PP

Piratpartiet har i särklass störst spridning vad gäller åsikteri klassiska vänster-högerfrågor bland sina kandidater. De löper så att säga hela vägen från Socialdemokraterna till Folkpartiet med den vänsterinriktaded Christian Engström och den högerinriktade Rick Falkvinge.

Figur 5j Feministiskt Initiativ och dess kandidater

fig5-FI

Feministiskt Initiativ har framförallt spridning mellan sina kandidater i EU-dimensionen, med Soraya Post, Karin Asp och Margaret Gärding som mer relativt EU-positiva kandidater, och med Margarethe Müntzing och Alexandra Byröd som mer EU-kritiska kandidater närmare partilinjen.

 

En sådan här genomgång är naturligtvis inte avsedd att vara en heltäckande guide för den som står och väljer vilken kandidat att lägga sin personröst på. Snarare visar den att ett aktivt val av europaparlamentskandidat att personkryssa inom vissa partier kan vara ett viktigt val. Så till dig som funderar på om du ska lägga en aktiv personröst i Europaparlamentsvalet: ta en titt på kandidaternas placering i det ideologiska landskapet och fundera på om det betyder någonting för dig! Vill du sedan utforska olika kandidaters åsikter i detalj i olika frågor kan både Aftonbladets och SVT:s valkompasser stå till tjänst med detta.

Vilka frågor ska en bra valkompass innehålla?

Det har nu lanserats flera olika sk valkompasser inför europaparlamentsvalet. Bland annat har Sveriges Television , Aftonbladet , och TT konstruerat valkompasser. TTs valkompass används av bland annat Svenska Dagbladet. För tydlighetens skull vill jag direkt nämna att jag själv har varit inblandad i framtagandet av framförallt Aftonbladets valkompass, men även i mindre utsträckning med Sveriges Television för att tillhandahålla data för förtester av frågor.

Med detta sagt vill jag passa på att diskutera vad en bra valkompass bör innehålla. Valkompasser är alltid och har alltid varit såväl kontroversiella som uppskattade. Politiska partier kan uppleva att de missgynnas eller gynnas. De kan alltid anklagas för förenklingar då de med nödvändighet innehåller förenklingar. I värsta fall kan de även anklagas för att vara missledande och direkt skadliga.

Läs mer

Förändringar i frågeägarskap

Frågeägarskap, ibland kallat sakägarskap, är ett ofta använt begrepp både i den offentliga debatten och inom den statsvetenskapliga forskningen. Anledningen till intresset för begreppet är sannolikt idén att det eller de politiska partier som ”äger” de frågor som står högst på den politiska dagordningen i ett visst val gynnas av detta och ökar sina chanser att vinna valet. Inom forskningen fick begreppet ett genombrott på 80-talet, även om några tidigare studier hade resonerat på liknande vis.

Frågeägarskap är dock ett ganska svårt begrepp att precist definiera, och dessutom brukar det i empiriska studier mätas på många olika sätt i frågeundersökningar. De flesta sätt att mäta frågeägarskap brukar dock ligga ganska nära formuleringar som ”Vilket parti tycker du har bäst politik när det gäller XX?”. Ibland används istället frågor i stil med ”Vilket parti är mest kompetent när det gäller att hantera XX?”.

Läs mer

Webbpaneler och slumpmässiga urval. En jämförelse av sju undersökningar.

Kan man lita på resultat från enkätundersökningar som inte använder slumpmässiga urval? För den som är insatt i statistisk metod låter det som århundradets dummaste fråga, och för de flesta forskare är svaret självklart: Nej, det kan man inte. Ändå arbetar idag många företag och forskare med just så kallade självrekryterade respondenter i sina undersökningar. Det kan handla om exempelvis marknadsundersökningar eller opinionsundersökningar med hjälp av enkäter administrerade på internet. Ett av de mest kända företagen internationellt som har marknadsfört självrekryterade webbpanelerna som arbetsmetod är YouGov. I USA har YouGov flera gånger lyckats väl med att predicera de amerikanska presidentvalens utgång.

Men om vi vill göra en statistisk undersökning för att dra tillförlitliga slutsatser om exempelvis befolkningens partisympati, utbildningsnivå, fritidsvanor eller vad som nu intresserar oss, kan vi då använda oss av urval som inte bygger på slumpen?

Läs mer