*** Uppdatering 2018-04-25: Notera att inlägget är flera år gammalt. Många av instituten har förändrat sina metoder sedan denna kartläggning. Informationen är inte längre aktuell. ***
Det ser ut att en bli en minst sagt spännande politisk höst, och vi kommer antagligen att läsa om en hel del opinionsmätningar. Men vilka ska man lita på?
Tillsammans med studenterna på metodkursen i statsvetenskap på Göteborgs universitet har jag försökt jämföra opinionsinstituten som gör väljarbarometrar i Sverige. Vår målsättning var att dels utvärdera vilka metoder de använder, men också hur öppna de var. Vi fokuserade på urval, insamlingsmetod, bortfall och viktning.
Grundprincipen för en väljarbarometer är att man försöker skapa en miniatyr av väljarkåren. Traditionellt har man förlitat sig på slumpmässiga urval för att göra det, men på grund av de allt större svårigheterna med att få folk att svara har fler institut gått över till så kallade självrekryterade paneler. Personer rekryteras då till en bank av svarande (en panel), och opinionsinstitutet försöker sedan skapa en representativ bild av befolkningen genom att fylla kvoter av till exempel kvinnor eller unga, som dras ur panelen.
Efter att instituten fått in sina svar ”viktar” de också svaren, så att underrepresenterade gruppers svar väger tyngre i den slutgiltiga analysen. Jag har i tidigare inlägg förespråkat slumpmässiga urval, men andra menar att viktningsmetoden spelar större roll med dagens allt lägre svarsfrekvenser.
Problemet är att det inte finns så mycket information om hur de olika instituten faktiskt jobbar. De flesta institut anger på internet något kort om urvalsmetoden, hur många intervjuer de gjort, och kanske vilka variabler som används för att vikta, men inget om bortfall eller andra detaljer. Vi vet därför inte vilka problem instituten har eller inte har, och vilka barometrar som är mest trovärdiga. Studenterna har därför kontaktat instituten för att få mer information, och jag har även följt upp i vissa fall.
Utifrån dessa efterforskningar har jag rangordnat instituten i olika grupper, efter hur trovärdiga jag anser dem vara. Inom grupperna har jag inte gjort någon rangordning.
Grupp 1: SCB:s partisympatiundersökning
Grupp 2: Demoskop, Ipsos, Novus, TNS Sifo
Grupp 3: Skop
Grupp 4: Inizio, Yougov
Grupp 5: Sentio
Nedan följer en mer detaljerad genomgång.
Grupp 1: SCB:s partisympatiundersökning
Den stora partisympatiundersökningen som SCB gör två gånger per år är i en egen klass, vilket givetvis har att göra med att den får mycket större resurser. Man gör ett mycket stort slumpmässigt urval, ca 9000 personer, och följer sedan upp dessa tills man uppnår en jämförelsevis hög svarsfrekvens på över 50 procent. Svaren viktas på kön, ålder, utbildning, födelseland och region. Intervjuerna görs framförallt på telefon, men numera också via internet. Dessutom finns mycket utförlig information enkelt tillgänglig på nätet. Den goda metoden och den stora transparensen gör detta till den mest trovärdiga undersökningen.
Grupp 2: Demoskop (Expressen), Ipsos (DN), Novus (TV4), TNS Sifo (GP/SvD)
I den andra gruppen finner vi tre institut som alla strävar efter att använda slumpmässiga urval. Ipsos och Novus drar slumpmässigt ur befolkningsregister och försöker sedan kontakta dessa personer. TNS Sifo och Demoskop gör slumpmässiga urval av telefonnummer. Alla fyra intervjuar via telefon.
Novus har den största antalet intervjuer, ca 4000, följt av TNS Sifo (ca 2000) och Ipsos och Demoskop (ca 1000-1200). Eftersom man inte kan få tag i alla personer, telefonnummer är felaktiga med mera, finns det en viss osäkerhet i hur man ska beräkna svarsfrekvens. Novus hävdar att de får tag i ungefär 45-50 procent av de man ursprungligen väljer ut. Ipsos hävdar att de ligger kring 25-30.
Eftersom Demoskop och TNS Sifo utgår från telefonnummer och inte individer blir det svårare att beräkna en svarsfrekvens, eftersom en del av numren går till personer (eller företag till exempel) som inte ska vara med i undersökningen. Demoskop berättar att de får ut ungefär 1250 intervjuer om de börjar med 9000 nummer, men hur många av de ursprungliga 9000 som egentligen skulle ingå är svårt att avgöra. Ungefär hälften av de som man faktiskt når vill inte vara med i undersökningen. TNS Sifo har trots upprepade frågor inte uppgett några aktuella siffror om bortfall, vilket är beklagligt.
Alla instituten verkar vikta sina svar på likartade sätt, till exempel på kön, ålder och senaste partival.
På grund av svårigheten att avgöra vad som ger bäst resultat av telefonnummerurval och individurval – båda har styrkor och svagheter – placeras alla fyra i samma grupp.
Informationen på hemsidorna är tyvärr knapphändig, och det har krävts upprepade samtal från både studenter och mig för att få fram även denna begränsade information. Trots detta bedömer jag dessa fyra som de mest pålitliga av de kommersiella instituten.
Grupp 3: Skop
Skop arbetar också med slumpmässiga urval, baserat på telefonnummer (Demoskop) och befolkningsregister. Väljarbarometern baseras på ca 1000 intervjuer. Intervjuerna genomförs på telefon, men man följer även upp med postenkät.
Skop har inte svarat på studenternas förfrågningar på mail eller telefon, och det är därför svårt att säga något utförligt om metoden. Det drar ner trovärdigheten. Det är bra att man strävar efter att göra ett slumpmässigt urval, men på grund av den bristfälliga informationen från hamnar de i en lägre grupp än övriga instituten som gör det. Detta kan dock ändras om institutet redovisar ytterligare information.
Grupp 4: Inizio (Aftonbladet), Yougov (Metro)
De här två instituten använder sig av så kallade självrekryterade webbpaneler, där man själv får anmäla sitt intresse för att delta. Inizio (tidigare Sverige Tycker) rekryterar framförallt på Schibstedts olika medier. Utifrån den stora banken av möjliga deltagare fyller man sedan kvoter utifrån kön, ålder, region och viktar på dessa variabler samt på senaste partival, i båda undersökningarna.
Undersökningarna bygger på ca 1500 (Yougov) och 2000 (Inizio) intervjuer. Man svarar på ett frågeformulär på internet. Eftersom urvalet inte är slumpmässigt spelar svarsfrekvensen ingen större roll, vilket båda instituten också poängterar.
Båda instituten är relativt transparenta. Yougov har en sida med svar på vanliga frågor om metoden, och Inizio har till och med skrivit en utförlig rapport om sin metod, vilket är ett stort plus. Yougov får däremot minuspoäng i min bok eftersom de i sina rapporter talar om felmarginaler och signifikansnivåer, vilket bara kan beräknas om urvalet är slumpmässigt. Detta är vilseledande.
I USA pågår en del forskning om hur man kan förbättra viktningen och efterbearbetningen av resultat från självrekryterade paneler för att göra dem mer tillförlitliga. Dock verkar det inte som om Inizio eller Yougov bearbetar sina resultat på något väsenskilt sätt än instituten som strävar efter slumpmässiga urval. Inizio medger till och med i sin rapport att en anledning till det är att journalisterna som ska skriva om resultaten inte kan hantera dessa (mycket avancerade) metoder. Därför ser jag inte att dessa två institut har någon fördel framför instituten som jobbar med slumpmässiga urval.
Grupp 5. Sentio (Nyheter Idag)
Sentios väljarbarometer utmärker sig som den allra minst trovärdiga. Den bygger på en självrekryterad webbpanel, men det finns ingen som helst information om den varken på Sentios hemsida eller i Nyheter Idags artiklar. Alla andra institut tillhandahåller någon sorts kort rapport, men det finns inte från Sentio.
Urvalet kvoteras som i Inizio och Yougovs undersökningar på kön, ålder och region, och viktas sedan på senaste partival.
Vid mailkontakt med institutet visar det sig att det står fel i Nyheter Idags artikel om septembermätningen. Man uppger i artikeln att 1013 personer svarat, men enligt mail från Sentio är det bara 786 som svarat på de politiska frågorna. Det ger ett mycket litet urval.
Det självrekryterade urvalet, den lilla urvalsstorleken och framförallt den obefintliga transparensen gör att jag betraktar Sentios väljarbarometer som minst tillförlitlig.
Min slutsats är alltså att SCB:s partisympatiundersökning är den bästa vägvisaren till opinionsläget, och därefter instituten som utgår från slumpmässiga urval av svarande, framförallt Demoskop, Ipsos, Novus och TNS Sifo. Dessa institut har dock i de senaste valen underskattat stödet för Sverigedemokraterna, vilket är problematiskt. En förklaring skulle kunna vara insamlingsmetoden, att det på grund av ett socialt stigma är en andel som avstår från att svara ärligt på telefon, men inte på webb. Detta har dock inte kunnat bevisas slutgiltigt. Samtidigt vet vi inte om detta mönster, om det nu är så, består när Sverigedemokraterna växer.
Därför anser jag att det fortfarande är bäst att förlita sig på de institut som använder beprövade metoder, som är grundade i statistisk teori. Däremot vill jag uppmana instituten att redovisa mer information om sina metoder. Det är inget gott betyg att det ska krävas flera telefonsamtal för att få tillräcklig information för att bedöma trovärdigheten i en undersökning. De som är bäst har dessutom allt att vinna på det.
politologerna.wordpress.com 
Intressant inlägg och kul att det börjar ske en rankning av instituten. Bra jobbat! Några frågor och kommentarer.
Varför har ni inte tagit med hur snett de olika instituten prickade i senaste valet? Det är ju en faktor som bör beaktas då det är så nära sanningen vi kan komma – även om det är behäftat med problem. Tar vi urvalsstorleken i beaktande tror jag det var Sentio som träffade bäst – även om jag delar er bild av att det är en skum undersökning utan någon utförlig information om metod.
Sedan vänder jag mig emot påståendet om att det inte går att tala om signifikans när det gäller självrekryterade urval. Det är korrekt att det inte går om vi använder designbaserad statistisk inferens. Men med dagens bortfallsnivåer går det i så fall inte tala om signifikans för någon undersökning eftersom grundantagandet om en känd inklutionssannolikhet inte är uppfylld. Valresultatet 2014 är ett belysande exempel. Om den designbaserade inferensen varit korrekt skulle inte samtliga institut med sannolikhetsurval missa SD med sin 95%iga konfidensintervall.
Det finns annan statistisk teori som kan användas för att beräkna signifikans och som inte bygger på just designbaserad inferens (ex. modellbaserad eller bayesiansk). Det handlar om vilka antaganden vi gör, men det har jag skrivit mer om i artikeln du citerar. =)
Är det inte i så fall bättre att kalibrera en sammanvägd modell mot valresultatet och utvärdera varje enskilt institut mot den sammanvägda modellen (till exempel er)? Utvärderar man ett institut direkt mot valresultatet får man ju ganska kass precision. Och ju sämre precision, desto större bias kan institutet ha utan att vi upptäcker det.
Teorierna om hur man gör det bästa urvalet måste ju vara fel när det var sentio som prickade mest rätt i förhållande till det förra valresultatet
Håller helt med om att det bästa är att skatta dessa effekter med en bra sammanvägningsmodell. Det svåra är bara att hitta en bra modell – just nu finns det, mig veterligen, ingen bra poll of poll som fångar det brus och den varians som finns i opinionsmätningarna idag. Det bästa vore att sammanväga opinionsundersökningar mellan flera olika länder (ex. de nordiska) för att stärka upp skattningen av dessa effekter.
Men med det sagt är att utvärdera vid ett enskilt val inte helt bortkastat. Den första rimliga analysen är att se hur många som som träffar rätt med sina 95% intervall. Att samtliga institut (undantaget Sentio) missade SD så mycket är slående. Sannolikheten för att de fyra sannolikhetsbaserade instituten missar ska vara 0.05^4 i teorin. Sannolikheten för att ett institut ska missa med mer än med ett konfidensintervall är ~7 %. Ju fler missade KI desto sämre kvalitet på undersökningen – även om det bara är en indikator bland flera.
Väldigt intressant inlägg! Jag funderar på om undersökningarnas oförmåga att förutsäga det faktiska valresultatet beror på om vissa grupper är mer benägna att rösta än andra, något som kanske är svårt att ta hänsyn till i undersökningarna? Exempelvis kanske de som sympatiserar med SD känner ett större incitament att faktiskt gå och rösta än många som röstar på andra partier, eftersom SD har en väljarkår som ser sig som underdogs. Vet inte om det ställs frågor om huruvida den svarande tänker gå och rösta, eller om det bara är frågor om vilket parti personen i fråga skulle rösta på, men det kanske skulle påverka resultatet något.
Hej, så kan det vara! I USA jobbar man mycket med att identifiera ”likely voters”, men vad jag har förstått gör man inte det i Sverige, rätta mig om jag har fel. Blir såklart viktigare i USA där svarsfrekvensen är lägre, men kan fortfarande spela roll här.
/Anders
Tror inte att är det som spökar. VALU, alltså officilla valokalsundersökning på plats på valdagen, gjorde precis lika illa som de flesta opinionsintituten i de två valen förra året. MP och FI extremt överskattade, och SD extremt underskattade.
Nate Silver förutspådde ju det amerikanska presidentvalet 2010 väldigt exakt med hjälp av data från Twitter.
Nu är det såklart enklare att använda big data för att identifiera en vinnare av bara två möjliga val, men vad är dina tankar kring detta Anders?
Sedan vänder jag mig också mot det faktum att inte effektivitetsmått tas med i jämförelsen av de olika metoderna. En opinionsundersökning är ju som en ballong och det tycks ju som att alla fem grupperna blåser åt rätt håll. Men ingen av dem kommer ju landa på målet, det händer bara vart fjärde år.
Ur ett forskningsperspektiv är det naturligtvis intressant men vad spelar det egentligen för roll om SD har 17 eller 22% av rösterna. Eller om KD är under eller över riksdagsspärren?
Vart det blåser avslöjar ju alla metoder relativt väl.
Gissningsvis väljer SD-röstande i högre grad än andra att inte svara på undersökningar av rädsla för att bli påkommen och uthängd som rasist.
Anders, är det här seriöst eller är det ett skämt? Du lägger fram en slutsats som genast kan motbevisas av hur väl man lyckades i senaste valet. Man skall kunna kräva mer av någon som jobbar på ett universitet. Jag skulle aldrig anställa någon som presterar så här dåligt. Gör om gör rätt eller avstå
Boris, trist ton du har. Avstånd till valresultatet är en dålig indikator på mätningens kvalitet, som jag beskrivit här: https://politologerna.wordpress.com/2015/10/19/inte-sakert-att-opinionsmatningen-som-kommer-narmast-valresultatet-ar-bast/
Intressant artikel, men värderingen av instituten och deras metoder är teoretisk och blir, eftersom den inte alls kopplar till förra valets empiri, ganska verklighetsfrämmande. Åtminstone i en icke-statsvetares ögon.
En ny faktor har med all tydlighet landat i det opinionspolitiska landskapet – skämsfaktorn kopplad till SD. Det går ju inte att sticka huvudet i sanden inför detta. Allt tyder på att denna faktor är reell och därför bör en metods/instituts förmåga att hantera skämsfaktorn rimligen också vägas in i en ranking.
De stora instituten har ett problem. Sker verkligen ingen metodutveckling där man t ex bibehåller stora, slumpmässiga urval, men försöker att hitta vägar att ta höjd för skämsfaktorn? Det vore intressant att veta. Det borde också vara en överlevnadsfråga för instituten. Vem betalar långsiktigt för undersökningar som slår helt fel?
Operationen lyckades men patienten dog. Det är den slutsats jag drar av innehållet i artikeln.