Det har nu snart gått två månader sedan riksdagsvalet och det är dags att summera opinionsläget. Vilka är de stora vinnarna och förlorarna i det nya politiska landskapet? Vilka partier har chockrasat? Vilka partiledareffekter kan vi se? Jag har sammanställt de fem första mätningarna efter valet och visar i grafen ställningen för de två blocken.
Mätningar sammanställda från Sifoskop, Demovus och Sospi United.
Efter en trevande inledning ser vi att de rödgröna gick starkt framåt i den andra mätningen: +2,1 procentenheter. Troligen beror det på entusiasm för den nya regeringen. Därefter började en nedåtgående trend i mätning tre och fyra, troligen på grund av affärerna kring Åsa Romsons båtbottenfärg. Men den sista mätningen visar på goda nyheter, och de rödgröna ökar då med 1,9 procentenheter. Kanske för att väljarna uppskattar beskedet att Bromma flygplats ska stängas.
I den första mätningen gick alliansen fram 1,4 procentenheter, kanske för att Fredrik Reinfeldt avgick, väljarna ville ha förändring, och Annie Lööf-effekten. Men i nästa mätning vände Annie Lööf-effekten, och alliansen backade med 2,1 procentenheter. Därefter började en återhämtning.
Verkar det vettigt? Det är det inte. Det här inte riktiga opinionssiffror. Men det skulle kunna vara. Jag satte i min dator ihop en miniatyr av Sveriges väljarkår som den såg ut på valdagen: 6 231 573 ”personer”, där 31,01% röstade på Socialdemokraterna, 23,33% röstade på Moderaterna, och så vidare. Utifrån denna väljarkår slumpade jag fram 1500 personer och kollade vad de hade röstat på, precis som i en vanlig opinionsmätning. Det blev mätning ett i diagrammet. Sen gjorde jag om proceduren fyra gånger till.
Vi vet alltså exakt vad ”facit” är här: det är valresultatet, vid alla fem mättillfällen. Men trots detta ser vi ändå förändringar i mätningarna, förändringar som vi med 100 procents säkerhet kan säga är helt felaktiga. Det beror på den statistiska felmarginalen som alltid uppkommer när vi inte undersöker hela väljarkåren, utan bara ett urval. Mätningarna är inte helt exakta.
Därför måste vi försöka låta bli att övertolka små rörelser i opinionen. ALLA förändringar i diagrammet ovan är resultat av slumpen. För att vi ska kunna vara någorlunda säkra på att något händer i opinionen måste vi antingen 1) ha ett mycket mycket stort urval, eller 2) se stora förändringar, eller 3) se en stabil trend i många mätningar.
Vi kan i princip aldrig utesluta att förändringar i storleksordningen mindre än en procentenhet inte bara är brus. Likväl skrivs det ändå artiklar av den här sorten, på mätningar (med tveksam metod, dessutom) som visar på mycket små förändringar. Tyvärr uttalar sig två statsvetare. Å ena sidan sägs att opinionsläget är stabilt, men det erbjuds också förklaringar till ”väljarrörelserna”. Till exempel förklaras Moderaternas ökning med 0,7 procentenheter med att de som stödröstade på C och KD i valet nu kommit tillbaka till M. C och KD backar i undersökningen med 0,4 respektive 0,2 procentenheter. Det finns ingen möjlighet att skilja dessa små rörelser från bruset som finns i alla mätningar.
Det är frestande att försöka förstå minsta svängning i opinionen. Men med så här små förändringar i mätningarna blir det som att försöka urskilja ett mönster i ”myrornas krig” på TV.
politologerna.wordpress.com 
Grafen ger intryck av större säkerhet än mätningarna tillåter. Dels innebär de med en linje sammanbundna punkterna att man ”ser” en uppgång eller nedgång. Dels borde man sätta ut osäkerhetsmarginalen, inte bara en punkt. Din egen graf leder naiva läsare fel. Lär journalisterna hur man ritar data – och varför – så kanske de lär sig att tänka!
Du har givetvis helt rätt – men syftet med inlägget var att visa just hur fel det kan bli när man inte tar hänsyn till osäkerheten. Siffrorna i grafen är simulerade, inte hämtade från riktiga opinionsmätningar. Så jag instämmer!
/Anders
Håller med, men problemet är att de flesta läsare inte förstår figurer med osäkerhetsmarginalen, och att media vill ha sensation, inte sanningen med en osäkerhet som ger att man inte kan säga något.
Jag förstår syftet med ditt inlägg och tycker det är bra. Men bloggens underrubrik är ”Statsvetenskaplig analys av svensk politik” och med den i baktanke är jag lite besviken. Det här är första gången och det första inlägget jag läser här, så ursäkta om jag inte förstått kulturen men jag har bara rubrikerna att gå på än så länge.
När jag kommer fram till texten med fetstil får jag allt förklarat, vilken tur att jag läste så långt. Annars hade det kunnat bli som med den refererade aftonbladets artikel, vilken jag utan tvekan kategoriserar som läsarfiske.
Därför tycker jag att man, som brukligt är inom vetenskapen, bör förklara syftet med sin text innan man presenterar resultatet. Alternativt väljer man att publicera texten med annan utanpåskrift.
/Thomas E.
Görs inte opinionsmätningar också med ett urval som är representativt i ålder kön osv? Eller är det helt slumpmässigt?
Det är lite olika. De som inte jobbar med slumpmässiga urval försöker få till en representativ mix enligt den principen. De som faktiskt jobbar med slumpmässiga urval viktar också för att kompensera för bortfall. Men det bästa vore om man kunde ha slumpmässigt urval med 100% svarsfrekvens. Då kommer det, förutsatt att man har tillräckligt många, oftast bli representativt med avseende på alla variabler. Inte bara de vi känner till fördelningen på (som ålder och kön).
Min fundering är hur detta gör undersökningarna säkrare…. funkar din illustration lika bra eller är dessa undersökningar mycket säkrare?
Har länge ondgjort mig över dessa tolkningar som till och med ibland kan göras på händelser som inte täcks av mätperioden. Dessutom med den ofta helt felaktiga indikationen om att det är uppgången på X% som är statistiskt säkerställt och inte förändringen… etc etc etc än värre blir det när det är analyser som gjort i någon speciell fråga.
Nej, min illustration funkar lika bra. Problemen jag tar upp gäller i idealfallet. Även när vi har 100% svarsfrekvens med ett slumpmässigt urval får vi de här problemen. I undersökningar som inte har ett slumpmässigt urval eller mycket bortfall finns det också mer systematiska problem, som tex att vissa grupper är underrepresenterade, som SD-sympatisörer inför valet.
Möjligen kanske man skulle komma runt problemet jag beskriver om man hade en perfekt panel där man tillfrågade samma personer gång på gång. Då skulle inte förändringar drivas av slump i urvalet. Men då ska de också vara exakt representativa för befolkningen, och det ska vara 100% svarsfrekvens, och det ska inte heller finnas någon slump i hur de svarar… så dit kommer vi nog aldrig komma.
Helt klart beundransvärt med inlägg som detta. Kunskaper om hur opinionsundersökningar och urval är tyvärr sällsynta i media under valtider. Jag kan dock inte riktigt köpa ditt resonemang och din graf. Det du faktiskt får fram är ju en simulering av skattaren där du drar observationer slumpmässigt och visar på att samplingfördelningens standardavvikelse inte är noll vilket är helt korrekt. Dock så borde standardavvikelsen bli mindre om du använder en annan urvalsmetod som nämndes ovan i kommentarerna.
Opinionsundersökningar av denna typ brukar, vad jag vet, vara rätt snåla med metodik och framförallt urvalsmetoder. I vissa fall används begrepp som signifikans men utan signifikansnivå eller p-värden. Det jag undrar är om du har information om det bakomliggande innan du anklagar tidningar för feltolkning av statistik?
Skulle du kunna göra en likadan tabell fast med konfidensintervall och visa på slutet? Det skulle kunna fungera som inspiration för andra rapportörer (opinionsinstituten borde kunna hjälpa dem med det i de verkliga fallen).
(Ja, jag vet att dina resultat inte är en riktig tidsserie, så plocka för all del bort de sammanbindande linjerna, men bara att få se hur en graf med konfidensintervallen utritade ser ut skulle kunna så ett frö som inspirerar till bättre grafer hos dem som läser inlägget.)
Men hur stor måste ändringen vara för att få en statistisk säkerhet på t.ex. 67% , 90% eller 95 % i en ‘representativ’ urval av t.ex. 2000 svenskar ?
Det har Henrik Ekegren Oscarsson skrivit bra om här:
http://www.henrikoscarsson.com/2010/03/skriv-ut-plasta-in-lagg-i-planboken.html
Han har bara listat för 95%, men för 67% kan man knappt prata om någon säkerhet värd namnet längre.