Lucka #19: En ny värld av väljarbarometrar

Snart är det 2018 och därmed valår igen i Sverige. Under valår brukar opinionsmätningar i allmänhet och så kallade väljarbarometrar i synnerhet få mycket stor uppmärksamet i media, av journalister och i valrörelsen. Väljarbarometrar är opinionsmätningar som avser att mäta väljarkårens partisympatier och ge en fingervisning om hur det kan tänkas gå i valet. Inför förra valet 2014 fanns mycket liten skillnad mellan de olika privata företagens väljarbarometrar vad gäller metoderna de använde för att göra sina opinionsmätningar.

De etablerade företagen vars väljarbarometrar nådde stor spridning som exempelvis Sifo, Ipsos, Demoskop och Novus använde alla enbart slumpmässiga befolkningsurval och telefon som datainsamlingsmetod. Inte heller vilka viktningsmodeller företagen använde som efterjustering av resultaten skilde sig särskilt mycket åt även det kunde vara svårt att få exakt information om detta från företagen. Endast mindre metodskillnader fanns angående fältarbetet tycktes finnas, exempelvis kunde urvalen införskaffas från olika källor, telefonnummer till urvalen sökas upp på olika sätt och via olika källor, och den specifika planen för hur och när urvalen skulle kontaktas kunde variera, liksom urvalsstorlekarna.

Utöver dessa fanns 2014 även ett antal företag som arbetade med andra metoder. Framförallt fick väljarbarometern från United Minds som publicerades av Aftonbladet stor spridning, liksom även YouGovs väljarbarometer som publiceras av Metro. Båda dessa utmärkte sig metodmässigt genom att de varken arbetade med slumpmässiga befolkningsurval i grunden eller samlade in sina svar via telefonintervjuer. Istället använde United Minds och YouGov så kallade webbpaneler för att göra sina undersökningar. Sådana brukar grovt sett indelas i två huvudsakliga typer, de som är rekryterade från slumpmässiga befolkningsurval där människor bjuds in till att registrera sig i panelen och godkänna att i delta i framtida undersökningar, och de som ofta kallas självrekryterade som är öppna för vem som helst som är intresserad att anmäla sig till. Både slumpmässigt rekryterade och självrekryterade webbpaneler brukar dock i praktiken använda sig av demografiskt stratifierade urval från panelen när ett urval som ska bjudas in till en specifik undersökning som till exempel en väljarbarometer dras. United Minds och YouGov använde båda den mer kontroversiella varianten, det vill säga självrekryterade webbpaneler. Utöver dessa fanns 2014 även Sentio och Skop, men dessa väljarbarometrar nådda i allmänhet mindre spridning i media.

För den som vill läsa mer om hur väl de olika företagens väljarbarometrar lyckades pricka in valresultaten i riksdagsvalet 2014 finns en pedagogisk sammanställning på ett blogginlägg av Daniel Walther vid Umeå Universitet. I korthet kan man säga att de flesta opinionsinstituten trots allt tal om fallande svarsfrekvenser och ökande svårigheter att genomföra opinionsmätningar med hög kvalitet lyckades rätt bra. Det företag som kom närmast att pricka in valresultaten in sista mätningen inför valet var United Minds som 2014 hade ett genomsnittligt fel på så lite som 0,6 procentenheter per parti. Detta är kanske främst värt att lägga märke till eftersom United Minds använde sig av en självrekryterad webbpanel för sin väljarbarometer och därmed låg långt ifrån de traditionella riktlinjerna för hur en surveyundersökning som syftar till att göra en uppskattning av exempelvis en partisympatifördelning i en större population som den svenska väljarkåren. Inom parentes kan tillägga att om vi ser till hela perioden 2006-2014 däremot så har de väljarbarometrar som baseras på ett slumpmässigt befolkningsurval i genomsnitt varit något bättre än de som baseras på självrekryterade webbpaneler (enligt en vetenskaplig artikel författad av Jacob Sohlberg, Mikael Gilljam och mig själv). I ett lite större perspektiv tycker jag däremot att det i efterhand är mer intressant att fästa uppmärksamheten på vilka som hamnade längst ifrån valresultaten och vad de har gemensamt. Ser vi till den sista mätningen före valet hade Ipsos och Demoskop de största genomsnittliga felen per parti, och ser vi till alla mätningar i september är det istället Ipsos och Sifo som hamnade längst ifrån enligt sammanställningen Daniel Walther gjorde. Det dessa tre företag har gemensamt är att de alla tre 2014 arbetade med traditionella telefonundersökningar baserade på slumpmässiga befolkningsurval.

Detta var 2014. För oss som är intresserade av metodutveckling av opinionsundersökningar och surveymetodologi har de senaste åren dock varit mycket spännande i Sverige. Nästa år, 2018, kommer nästan alla väljarbarometrar att använda andra metoder än de gjorde fyra år tidigare. Såvitt jag kan se är det enbart Novus som håller fast vid ungefär samma metod som 2014 med ett enda slumpmässigt befolkningsurval och telefon som insamlingsmetod för sin väljarbarometer. Novus gjorde dock också en justering av sin metod efter valet 2014 som syftade till att motverka underskattningen av Sverigedemokraterna. Denna justering bestod dock inte i någon större omläggning av grunden för datainsamlingen utan i ett antal kompletterande frågor som används för att uppskatta hur stor andel av de osäkra väljarna som troligen skulle rösta på Sverigedemokraterna i ett val. Mer att läsa om Novus metodjustering med tilläggsfrågor finns att läsa i Fokus artikel ”Mäthatet”. I övrigt har nästan alla andra företag som gör väljarbarometrar genomfört större metodomläggningar. Jag behandlar i denna text inte andra surveyundersökningar som exempelvis Statistiska Centralbyråns Patrisympatiundersökning (PSU), SOM-institutets årliga undersökningar, det svenska valforskningsprogrammets Valundersökning eller Sveriges Televisions Vallokalsundersökning, utan koncentrerar mig på de privata företagens traditionella väljarbarometrar.

Det första som hände efter valet 2014 var att United Minds avbröt sin väljarbarometer , och att Aftonbladet istället började publicera en väljarbarometer i samarbete med Inizio, även den baserad på en självrekryterad panel till stor del rekryterade via Aftonbladet.se, men även på andra stora sajter inom Schibstedtkoncernen. Den andra stora väljarbarometer som använder en självrekryterad webbpanel, YouGov, tillhör dock undantagen och ser inte ut att ha gjort några märkbara metodomläggningar under mandatperioden. Sentio har visserligen bytt ut deras specifika leverantör av webbsvar, men i tycks i övrigt inte har gjort några större förändringar.

De riktigt stora förändringarna började 2016 när de största företagen började lägga om sina väljarbarometrar i riktning bort från traditionella telefonundersökningar. Sommaren 2016 introducerade Ipsos en väljarbarometer gjord på två separata urval, de behöll en del med slumpmässigt befolkningsurval intervjuad via telefon men adderade ett annat urval från en slumpmässigt rekryterade webbpanel. Dessa båda vägdes sedan samman enligt en metod där webbsvaren påverkade resultaten mindre än telefonsvaren. Nu var vallen bruten och ungefär ett år senare lade även Sifo om sin väljarbarometer på ett liknande sätt då de behöll en del med traditionell telefonundersökning och adderade en del från en slumpmässigt rekryterad webbpanel. Sifo valde dock att lägga till ett mycket större urval från webbpanelen, men samtidigt låta det påverka resultaten ännu mindre, det vill säga Sifo viktade ned webbsvarens påverkan på resultaten ännu mer än Ipsos valde. Slutligen så följde även Demoskop efter i November 2017 och valde även de att blanda två urval, varav en del från telefon och en från en webbpanel. I Demoskops fall valde de dock inte att använda en webbpanel renodlat rekryterad från slumpmässiga befolkningsurval. Demoskop beskriver istället webbpanelen som rekryterad från olika webbplatser, men att den inte är självrekryterad i bemärkelsen att den är öppen för vem som helst att anmäla sig till när som helst (som exempelvis YouGovs eller Inizio/Aftonbladets panel). Även Skop använder från 2017 ett tilläggsurval från en slumpmässigt rekryterad webbpanel. Och så var det bara en kvar (Novus).

Från ett rent akademiskt perspektiv är givetvis denna utveckling mot en större mångfald av metoder givetvis spännande att följa och få möjlighet att utvärdera. Jag är också övertygad om att det är just de stora utmaningarna som surveybranschen står inför som har lett fram till att mer tankemöda har ägnats åt att pröva och utvärdera olika sätt att förnya datainsamlingarna. Möjligen hinner vi få se ännu fler innovationer i den svenska undersökningsbranschen innan valet 2018? Alla de stora företagen har säkerligen gjort ambitiösa interna metodtester innan de lanserar en ny metod, oavsett om det gäller nya tilläggsfrågor som Novus eller tilläggsurval som Ipsos, Sifo och Demoskop. Det är då bara beklagligt att dessa utvärderingar och tester inte finns publicerade för granskning så att det går att avgöra hur välbelagda företagens metodomläggningar är. Annars finns ju misstanken att de istället kanske handlar om att spara pengar och gå över till billigare metoder.

Innovationer låter ju fint och spännande, och personligen tycker jag det är väldigt spännande att ta del av utvecklingen ur ett forskningsperspektiv. Men den som ser förändringarna som avsteg från en korrekt metod blir de istället naturligtvis ett hot mot kvaliten och mot förtroendet för branschen. För ett kritiskt perspektiv på de senaste årens metodförändringar och innovationer kan den nyfikne exempelvis läsa Novus VD Torbjörn Sjöströms texter, till exempel här .

Den bristande transparensen i opinions- och marknadsundersökningsbranschen gör det dock svårt att bedöma om metodförändringarna är välgrundade förbättringar baserade på seriösa systematiska utvärderingar eller inte. Det är också svårt att bedöma hur stora problemen är med de traditionella telefonundersökningarna. Å ena sidan tycks de fortfarande producera ganska bra resultat i termer av träffsäkerhet. Å andra sidan lider de av fallande svarsfrekvenser och ändrade kommunikationsvanor, särskilt bland den yngre delen av befolkningen. Det är därför slående att ingen av de fyra största företagen med väljarbarometrar vid en snabb koll tycks publicera några svarsfrekvenser för sina telefonundersökningar över huvud taget. Varken i de rapporter de själva lägger ut på sina webbsajter, eller när tidningarna rapporterar deras resultat. Klart står i att inför valet 2018 har vi en helt ny karta vad gäller väljarbarometrar i Sverige där svar från webbenkäter i olika former påverkar resultaten mer än tidigare och metoderna ligger längre bort från de traditionella slumpmässiga befolkningsurvalen de har gjort tidigare. Frågan är hur det i slutändan kommer påverka träffsäkerheten i att förutspå valresultatet 2018. Om det kommer påverkas alls.

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut /  Ändra )

Google+-foto

Du kommenterar med ditt Google+-konto. Logga ut /  Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut /  Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut /  Ändra )

w

Ansluter till %s