Lucka #9: Debatten om opinionsmätningarna

Debatten om opinionsmätningarna tycks ständigt pågå. Samtidigt har på senare år flera svenska opinionsinstitut ändrat sina metoder, så ämnet förtjänar diskussion. Tyvärr är dock diskussionen inte alltid klargörande. En orsak till detta är att insamlingsmetod och urvalsmetod ofta blandas samman. Det finns flera olika sätt att samla in information om befolkningens åsikter. Till de vanligare hör telefonintervjuer, besöksintervjuer, pappersenkäter och webbenkäter. För vissa frågor kan valet av insamlingsmetod påverka respondenternas svar, men effekterna är vanligen små eller obefintliga.

En mer central fråga är hur de personer som ingår i undersökningen har valts ut. När personer som ska ingå slumpmässigt väljs från ett register får man ett sannolikhetsurval som gör det möjligt att precisera den osäkerhet som finns i de resultat som tas fram (se tidigare inlägg för utförligare beskrivning). Det finns även undersökningar som inte Läs mer

Lucka #4: Orup och partisympatiundersökningarna

”Herr Erlander, anta att ni träffar ett ungt par som ber er om råd – jag förmodar att det händer också i verkligheten – och de vill gifta sig, men de har ingen bostad och de är heller inte rika, vilket råd ger ni dem då?”

”Ja, de får ju…ställa sig i bostadskön, givetvis.”

Lars Orups precisa fråga och det trevande svaret inledde partiledarutfrågningen av Tage Erlander inför 1966 års kommunalval. Replikskiftet är klassiskt. I tidigare intervjuer av partiledare var journalisterna närmast underdåniga, men Lars Orup införde tillsammans med två övriga O:na – Åke Ortmark och Gustaf Olivecrona – något nytt i svensk politisk journalistik. De ställde raka, ibland provocerande frågor till politiker och krävde att Läs mer

Vad tycker Liberalernas medlemmar om januariöverenskommelsen?

Det här är ett gästinlägg av Ann-Kristin Kölln, och Jonathan Polk, forskare i statsvetenskap vid Aarhus respektive Göteborgs universitet.

***

Nyckeln till partiledarvalet i L i somras var partiets inställning till januariöverenskommelsen. Nyamko Sabuni vann valet men opinionsstödet för L fortsätter att ligga lågt och därmed står partiets förhållande till januariöverenskommelsen återigen på agendan, vilket L:s landsmöte i november 2019 visade.

Ingen av de tre partiledarkandidaterna var helt imponerade av uppgörelsen. Johan Pehrson, till exempel, röstade nej till överenskommelsen eftersom han föredrog en borgerlig politik. Nyamko Sabuni var också emot överenskommelsen och ville hellre gå i opposition, medan Erik Ullenhag tyckte att överenskommelsen var bara det minst dåliga alternativet. Trots att alla tre nu accepterar överenskommelsen finns partisplittringen efter januariöverenskommelsen kvar i andra delar av partiet.

En ny undersökning bland partimedlemmar som vi genomfört visar att Liberalernas medlemmar inte heller verkar hysa några varma känslor för januariöverenskommelsen. Enkäten skickades ut i slutet av februari 2019 till alla partimedlemmar som partiet hade tillgång till via deras egen e-postlista, och stängdes i början av maj 2019. Totalt svarade 2240 Liberaler (15% av alla medlemmar) på enkäten.

Läs mer

Hur mår egentligen telefonundersökningarna i Sverige?

För bara några dagar sedan publicerade det ledande amerikanska opinions- och forskningsinstitutet Pew Research Center en ny rapport om telefonundersökningar. Av den framgår att svarsfrekvenserna i opinions- och marknadsundersökningar i USA nu har fortsatt att falla till ännu lägre nivåer än tidigare. Deras senaste siffror visar på svarsfrekvenser så låga som 6 procent under 2018. Och fallet har varit snabbt. I slutet av 1990-talet låg svarsfrekvenserna i USA enligt deras rapport på 36 procent för att sedan kontinuerligt falla omkring två procentenheter per år ner till 9 procent år 2013. Efter en period av stabilt låga nivåer har de nu alltså fortsatt att falla ännu lägre.

Detta innebär naturligtvis stora problem för undersökningsbranschen i USA. Det är dock omtvistat hur mycket det egentligen betyder för kvaliten på undersökningarna. En del studier pekar på att träffsäkerheten i resultaten ofta kan vara god trots de låga svarsfrekvenserna (se tex Groves 2006 eller Pew 2016). Även om kvaliten kanske är fortsatt acceptabel uppstår förstås flera praktiska och ekonomiska problem med så uppseendeväckande låga svarsfrekvenser.

Hur är då läget i Sverige? För det första är det förvånande svårt att få någon klarhet i denna fråga. När svenska undersökningsföretags opinionsundersökningar återges i medierna rapporteras nämligen sällan någon svarsfrekvens. Det går inte heller alltid att hitta motsvarande information i företagens egna rapporter eller webbsidor. För det andra går det när svarsfrekvenser ändå redovisas inte alltid att förstå hur de över huvud taget har beräknats. Det finns tyvärr ofta stora oklarheter kring vilken typ av urval som används (från vilka urvalsramarna de kommer och vilken kvalitet dessa har) och hur det faktum att det är allt svårare att hitta telefonnummer till urval ur befolkningen hanteras. Jag tänker här bara redovisa några exempel från de väljarbarometrar som regelbundet publiceras i Sverige från flera företag då de utgör det kanske mest välkända exemplet på opinionsundersökningar och utgör något av ett skyltfönster för undersökningsbranschen.

Jag koncentrerar mig här på fyra av de mest välkända och etablerade opinionsinstituten som åtminstone i någon mån använder telefonundersökningar i sina väljarbarometrar. När det gäller Sifo så kan jag inte hitta någon redovisad svarsfrekvens alls i deras rapporter. Enbart felmarginaler och antal intervjuer står att finna. Demoskop, vars väljarbarometrar brukar rapporteras i Expressen, anger inte heller någon svarsfrekvens i sin rapportering. Däremot tillhandahåller Demoskop en föredömligt detaljerad metodinformation om hur deras väljarbarometer genomförs på sin webbplats, men inte någon specifik svarsfrekvens för en viss undersökning.

Ipsos och Novus däremot rapporterar båda tydligt och föredömligt svarsfrekvenser för sina väljarbarometrar. Det som däremot förvånar är att deras redovisade svarsfrekvenser skiljer sig häpnadsväckande mycket åt. Ipsos rapporterar exempelvis i deras väljarbarometer veckan före valet 2018 en svarsfrekvens i sin telefonundersökning på 11%, medan Novus i sin undersökning genomförd under i stort sett samma tidsperiod anger 49%! Ipsos siffror ligger alltså något högre än de amerikanske svarsfrekvenserna, men ändå i ungefär samma härad. Novus angivna svarsfrekvenser befinner sig dock i ett annat universum.

Det finns dock några skillnader i hur de beskriver sina svarsfrekvenser. Novus använder för det första begreppet ”deltagarfrekvens” istället för svarfrekvens, och dessutom med tillägget ”i sökt urval”. Novus rapporterar inte mer i detalj vad dessa tillägg egentligen betyder och hur beräkningen är gjord. Jag är själv inte bekant med begreppet ”sökt urval” inom statistikområdet och har därför frågat några statistiker om de känner till begreppet, men utan framgång. Ipsos anger däremot mer information om hur beräkningen av deras svarsfrekvens är gjord då de i sin rapport särredovisar antalet av hela urvalet som har vägrat delta och antalet som inte har gått att nå. Det framgår då mycket tydligt att det stora problemet är den höga andel som inte över huvud taget går att nå, och att vägran bara utgör en liten del av det totala bortfallet. Ipsos anger också att bortfallet är (ännu) större bland unga och lägre bland äldre, vilket ligger i linje med andra studier.

Så frågan hur svarsfrekvenserna generellt sett ligger till i svenska opinions- och marknadsundersökningar som görs via telefon är fortsatt obesvarad. Skiljer sig verkligen Ipsos och Novus svarsfrekvenser åt så enormt som det ser ut? Eller finns det oredovisade skillnader i hur de räknar och definierar bortfall som förklarar dessa vitt skilda siffror? Internationellt sett finns en etablerad standard för bortfallsredovisning och svarsfrekvensberäkning som den amerikanska organisationen AAPOR (American Association for Public Opinion Research) har tagit fram. Om sådana standarder följdes skulle transparens och jämförelser av svarsfrekvenser avsevärt underlättas.

Bland undersökningar från en del myndigheter och universitet förekommer dock fortfarande svarsfrekvenser omkring 50 procent. Exempelvis har Statistiska centralbyråns stora Arbetskraftsundersökning en svarsfrekvens på drygt 50 procent. Även de årliga SOM-undersökningarna vid Göteborgs universitet har en svarsfrekvens på omkring 50 procent. Båda dessa har dock utförliga metodredovisningar som tydligt anger hur svarsfrekvensen har beräknats och hur urvalet är framtaget.

Telefonundersökningar har dock ett särskilt problem i och med att det måste gå att hitta ett telefonnummer till de som finns i urvalet som ska delta i undersökningen. I Sverige används numera vad jag vet nästan aldrig klassiska telefonurval från framslumpade telefonnummer, så kallad random-digit-dialing (RDD). Den metoden var betydligt enklare att använda när det bara fanns fasta telefoner och det gick lätt att slumpa fram sifferserier inom olika riktnummerområden. Idag finns istället två huvudmetoder som tycks vara de vanligaste: att dra ett slumpmässigt urval från befolkningsregistret som man sedan i största möjliga mån försöker leta upp telefonnummer till (så kallad nummersättning av urvalet). Den andra metoden är att hoppa över det första steget och istället köpa ett urval från någon av de kommersiellt tillgängliga databaserna över individer i Sverige som har kända telefonnummer.

En del av företagen anger vilken metod för urvalsdragning de använder, men tyvärr inte alla. Låt mig ta ett exempel. Anta att vi ska göra en undersökning och kan hitta telefonnummer till 70% av ett befolkningsurval, och att sedan 30% av dessa går med på att delta i undersökningen och svara på våra frågor. I det läget vore det enligt min mening felaktigt att bara säga att 30% har svarat på undersökningen, när det i själva verkar bara är 21% (70%x30%) av hela befolkningsurvalet som har deltagit i undersökningen.

Jag tänkte avslutningsvis demonstrera problemet genom att visa några färska siffror på andelen av ett urval som kan nummersättas från den nyligen avslutade nationella SOM-undersökningen 2018. SOM-undersökningarna är huvudsakligen postenkäter med möjlighet att svara på webben för de som vill. Som ett led i fältarbetet använder vi dock påminnelser via telefonsamtal och SMS. För att detta ska vara möjligt så nummersätts därför urvalet av ett företag som vi anlitar. Jag nämner inte här vilket företag det rör sig om då det kan riskera att uppfattas som reklam, men om någon hör av sig och vill veta berättar jag naturligtvis detta. Min uppfattning är att vår nummersättning troligen var ungefär så framgångsrik som de flesta är numera i Sverige.

I grafen* nedan visas den procentandel som vi kunde hitta ett telefonnummer till (antingen fast nummer eller mobilnummer), både i hela urvalet och i några olika åldersgrupper.

figur1

Vi lyckades alltså hitta telefonnummer till 68 procent av hela befolkningsurvalet. Då har vi heller inte tagit hänsyn till att en del av dessa kan utgöras av felaktiga mobilnummer som inte går till rätt person. Så andelen som det går att hitta ett fungerande telefonnummer till kan i själva verket vara ännu något lägre. Det blir också tydligt att det är avsevärt svårare att hitta telefonnummer till de yngre delarna av befolkningen än till de äldre. Det finns även andra relevanta skillnader mellan olika grupper, som exempelvis att det är betydligt lättare att hitta telefonnummer till människor som är födda i Sverige jämfört med till människor som är födda i något annat land.

Givet informationen ovan är det inte svårt att komma till slutsatsen att svarsfrekvenserna på telefonundersökningar bland yngre inte rimligen kan vara särskilt höga. Om vi bara hittar telefonnummer till omkring hälften, och har i åtanke den idag mycket stora motviljan att svara på okända nummer bland yngre samt den låga viljan att delta i undersökningar går det ganska snabbt att se att telefon inte är en lätt väg att få en hög svarsfrekvens bland yngre.

Det är beklagligt att så lite information om bortfallet redovisas av de stora företagen att det är svårt att få en klar bild av huruvida de kommersiella telefonundersökningarna i Sverige följer den internationella trenden mot mycket låga svarsfrekvenser eller om Sverige är ett undantag.

 

* Tack till Klara Bové, Sophie Cassel, Marcus Weissenbilder och Frida Tipple för arbetet med metodanalysen av de årliga SOM-undersökningarna 2018 som ligger bakom informationen om nummersättningen.

 

 

 

Attityder till infrastruktur och politiskt förtroende i Göteborg

Det här blogginlägget bygger på kapitlet ”Västlänken – en fråga om förtroende” av Dennis Andersson, Henrik Oscarsson och Maria Solevid i boken Hemma Väst av Anders Carlander och Björn Rönnerstrand (red) från 2018. Inlägget lyfter fram några av resultaten från kapitlet med fokus på attityder till infrastrukturfrågor (särskilt Västlänken) och förtroende för politiker i Göteborg. Resultaten bygger på svar från den västsvenska SOM-undersökningen respektive SOM-undersökningen i Göteborg. Den som vill läsa kapitlet i sin helhet, se tabeller och figurer med resultatdetaljer samt alla referenser hittar det här.

I Göteborg har frågor kopplade till infrastruktur och trafik tydligt funnits på den lokala politiska agendan under åtminstone 10 år. Detta har manifesterats i ökat intresse för infrastrukturfrågor, fallan­de politikerförtroende, valfram­gångar för det lokala partiet Vägvalet (2010), en namn­insam­ling om att anordna folk­omröst­ning om trängsel­skatt följt av en nej-majo­ri­tet i folkomröstningen om trängselskatt i samband med valet 2014 och en svek­debatt när utfallet av omröstningen inte ledde till förändringar. I 2018 års val fick det nystartade partiet Demokraterna stor framgång med hela 17 procent av rösterna och 14 mandat i kommunfullmäktige. Ett av partiets mer uppmärksammade vallöften var att stoppa den redan påbörjade byggnationen av Väst­­­länken, det vill säga den del av det västsvenska paketet som inbegriper byg­gan­det av en tågtunnel under Göteborg. Den som följer lokala medier känner igen att frågor relaterade till Västlänken blivit mer frekvent förekommande och nästan dagligen tas upp i redaktionellt material eller på insändarsidor. Frågan rör minst sagt upp mycket känslor.

Tack vare den västsvenska SOM-undersökningen (1992-) och SOM-undersökningen i Göteborg (2016-) har vi möjlighet att mäta den lokala opinionen i infrastrukturfrågor samt systematiskt undersöka hur dessa attityder har utvecklats över tid. Följande tre resultat är mot denna bakgrund viktiga att kännedom om. Läs mer

Det drar ihop sig

Riksdagsvalet är mindre än fyra månader bort, och de senaste opinionsmätningarna tyder på att det kan bli politisk jordbävning. Socialdemokraterna går mot sitt sämsta resultat genom tiderna, och Sverigedemokraterna mot ännu ett succéval. Vore majmätningarna valresultat skulle regeringsbildningen bli extremt komplicerad.

Men det är långt kvar till valdagen! Valkampanjerna har knappt dragit igång! I undersökningar säger över hälften att de bestämmer sig först i slutet av valrörelsen! Än kan mycket förändras! Eller?

Troligen inte. Även om många bestämmer sig sent, så tenderar olika rörelser att ta ut varandra, skriver Henrik Ekengren Oscarsson och Sören Holmberg i boken ”Svenska väljare”.

Läs mer

Medierna och opinionsmätningarna: fyra förslag till förändring

Debatten om de politiska opinionsmätningarna har ånyo tagit fart. Det är inte förvånande då höstens val närmar sig och intresset för partiernas stöd i befolkningen därmed ökar. Daniel Nordström, chefredaktör och ansvarig utgivare för Mittmedias tidningar i Västmanland och Stockholmsregionen, gav debatten extra bränsle genom att besluta att hans tidningar varken ska genomföra eller återge några opinionsundersökningar (med undantag för TT-texter och ledarsidan). Nordström motiverar beslutet med att opinionsmätningar inte går att lita på och håller fram det senaste presidentvalet i USA och Brexit-omröstningen i Storbritannien som stöd för den slutsatsen.

Inför förra årets franska presidentval fattade Le Parisien ett motsvarande beslut, men såvitt jag känner till är det ovanligt internationellt sett och saknar motstycke i Sverige. Självfallet är det ett beslut som står en dagstidning fritt att fatta, men det förefaller Läs mer