Vad tycker Sverige egentligen? En kritik av Aftonbladets väljarbarometer.

Den som vill veta vad svenskarna tycker har de senaste 50 åren eller så använt sig av ungefär samma teknik: Man gör ett slumpmässigt urval av (till exempel) 2000 svenskar, och ställer en fråga till dem. Om urvalet gjorts korrekt kan vi vara ganska säkra på att svenska folkets inställning ligger nära den som framkommer i det lilla urvalet. Säkerheten kan utifrån välkänd statistisk teori till och med beräknas och redovisas.

Antalet tillfrågade personer är här av underordnad betydelse, jämfört med urvalsmetoden. Vi blir inte så mycket säkrare av att fråga 5000 personer jämfört med 2000. Om urvalet däremot inte är slumpmässigt, och man själv får välja att vara med i enkäten, spelar det i princip ingen roll hur många eller få vi frågar. De som väljer att vara med kommer antagligen att skilja sig systematiskt från allmänheten i stort, vilket man lätt inser om man någon gång sett ett resultat från någon tidnings webbfråga (läs här om ett skräckexempel).

Politiska opinionsmätningar har traditionellt sett gjorts med slumpmässiga urval, men fler och fler har börjat använda sig av undersökningar där paneldeltagarna själva fått anmäla intresse för att delta, eftersom det är billigare och bekvämare. Ett framträdande exempel är Aftonbladets “Sverige Tycker”. 30000 personer har anmält sig via aftonbladet.se och dess samarbetssajter, och undersökningar görs sedan med delurval på några tusen personer. Aftonbladets månatliga väljarbarometer bygger på detta material.

Företaget som byggt upp panelen, Inizio, har skrivit en rapport om arbetet. Det är avslöjande läsning. Man erkänner till exempel att det på grund av handhavandefel och buggar i systemet vid “åtminstone ett tillfälle” publicerats resultat som borde slängts. Vad var det för resultat, undrar jag, men det är inte det viktigaste. På flera ställen medges uttryckligen att det saknas en teoretisk grund för den här typen av undersökningar, vilket också stämmer. Man kan till exempel inte beräkna konfidensintervall, och därmed inte säga om förändringar är statistiskt säkerställda. Och viktigast av allt, vad finns det egentligen för anledning att tro att de 30000 som valt att anmäla sig till panelen har samma åsikter som svenska folket i stort?

Två argument anförs i rapporten. För det första anpassas delurvalen för att efterlikna svenska folket med avseende på kön, ålder, region samt tidigare partival. I en typisk undersökning är hälften alltså kvinnor, och 31 procent av dem röstade på Socialdemokraterna förra valet. Men hur mycket hjälper det? Jag tror till exempel att en 35-årig kvinna från Göteborg som röstade på Folkpartiet i förra valet och valde att anmäla sig till en politisk opinionspanel är mer intresserad av politik och har andra åsikter än en 35-årig kvinna från Göteborg som röstade på Folkpartiet 2014 men som inte ville vara med i panelen.

För det andra menar man i rapporten att resultaten som fåtts fram genom ”Sverige Tycker” liknar det vi sett i SOM-undersökningarna, och i andra opinionsinstituts mätningar. Att detta anförs som ett argument bör verkligen stämma till eftertanke.

Hur ska man veta om resultaten är trovärdiga om det inte finns några referenspunkter, till exempel i nya frågor? Och vad händer om resultaten i Sverige Tycker börjar skilja sig från de andra opinionsinstituten? Vågar man då lita på dem? Om inte, vad är då poängen med att göra undersökningen över huvud taget?

Jag vet i alla fall vad jag kommer göra när resultaten skiljer sig åt. Jag kommer att lita på de undersökningar som använder sig av slumpmässiga urval, grundade på solid statistisk teori, snarare än de billigare och bekväma varianterna som inte backas upp av något annat än att de verkade ge rimliga resultat ett tag.

5 thoughts on “Vad tycker Sverige egentligen? En kritik av Aftonbladets väljarbarometer.

  1. Det gläder oss att du tagit del av vårt paper. Detta skrevs när vi hade 8 månaders erfarenhet av panelen och de undersökningar vi gjort. Nu har vi massor av mer erfarenhet och precis som alla andra seriösa aktörer kan du vara säker på att vi vill göra ett bra jobb som ökar förståelsen för de utmaningar branschen möter. En del hör av sig och frågar oss hur det förhåller sig, andra skriver av sig sin uppfattning. Jag tror att det är ganska unikt att någon är så öppen som vi är kring arbetssätt. Självrekryterade paneler är inget nytt fenomen. Faktum är att de flesta av de stora undersökningsföretagen baserar delar av sin verksamhet på just självrekryterade paneler. Det pågår intensiv forskning kring detta runt om i hela världen. Jag är inte säker på att argumenten handlar om att det är billigt och bekvämt. Det tar oerhört mycket tid att få fram bra arbetssätt och jag vet inte riktigt på vilket sätt det är bekvämare än andra sätt att samla in data. Ser hur som helst fram att fortsätta diskutera i konstruktiv anda och ser fram emot att träffas som vi kom överens om på twitter 🙂

    • Tack för din kommentar! Och tack för rapporten ni skrev. Jag uppskattar mycket den transparensen. Dock ser jag i din kommentar inga sakargument för de självrekryterade panelernas trovärdighet. Men jag pratar gärna mer om detta.

      /Anders

  2. Man använder väl med fördel bayesiansk metodik för analys av den här sortens data?

    Ett ganska gott antal av de här panelerna ger ju bättre resultat än mätningar som gjorts genom traditionell metod, men jag har ännu inte sett anledningen till detta redovisat på något vidare systematiskt sätt. Dock är ett av argumenten att intervjuarbias försvinner (m a o skammen över att rösta på vissa partier), vilket känns trovärdigt. Alternativ 2 är att det inte finns någon annan förklaring till vissas framgång med paneler än slumpens makt.

    Jag tror det är framtiden med paneler, men det behöver först utvecklas bättre teoretiskt och sen monitoreras, då en värld av panelundersökningar lätt kan påverka medborgarnas svar på andra sätt än vad tidigare metoder gjort.

  3. Toppen att också statsvetarna är på banan när det gäller den aktuella men ändå forskarförankrade debatten och forskningsåtergivningen. Politologerna har ju några föregångare i Ekonomistas och Skolöverstyrelsen. Jag vet att ni varit aktiva ett tag, men det är först nu som jag finner skäl att lämna synpunkter.

    En rejäl genomgång av inlägg, forskningsöversikter och reflektioner ger snabbt besked att ni har mycket att bidra med i en mängd ämnen. Samtidigt missar ni det som kanske borde vara en huvuduppgift för en forskarutbildad statsvetargrupp med ambitioner att förmedla, beröra och skapa debatt om statsskick och demokrati med god kunskap som grund: Sverige är en konstitutionell monarki – hur ska man förhålla sig till det?

    Vilken vägledning ger ni till oss läsare om hur man kan förhålla sig till det faktum att statschefen ärver sitt ämbete? Hur ska man se på förhållandet mellan allmän och lika rösträtt, principen att inga offentliga ämbeten ska gå i arv och trumpetstöten att ”all offentlig makt i Sverige utgår från folket”?

    Hur anser ni statsvetare att man ska på ett omdömesfullt sätt argumentera för att jämlikhet inför lagen måste tillåta undantag? Jag är inte hemma i de konstitutionella delarna av statskunskapen, men i andra sammanhang läser jag att tronarvingar har straffrihet utom i civilrättsliga frågor.

    Jag får heller ingen klar bild av vilka alternativen är – om det nu finns skäl att överge monarkin, vilket för min del ännu är en öppen fråga; är det nödvändigt med en president eller fyller talmannen denna roll redan? Vilka erfarenheter finns från andra republiker när det gäller rollfördelningen mellan president/talman, statsminister/regering och riksdag? Vilken roll kan en president spela när den parlamentariska situationen i övrigt är oklar eller bräcklig som nu?

    Jag har egentligen ingen tvärsäker ståndpunkt i frågan om monarki. Möjligen hade jag varit mer ödmjuk gentemot monarkin om den svenska kungafamiljen i likhet med den norska kunnat påvisas ett kontinuerligt släktskap från ynglingaätten mer än 1000 år tillbaka (tror jag…). Om så varit fallet hade kanske också mitt hjärta bultat lite med tanke på den historiska förankringen. Egentligen hade det räckt med Vasaätten. Men nu handlar det om en monarki som bemannats av en fransk familj som inte är så mycket äldre än min mormors mor.

    (Jag hängde på denna synpunkt på Sundells inlägg dels eftersom Sundell är läsvärd och dels eftersom jag inte hittade något bättre tema.)

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s