Detta är ett gästinlägg författat av Per Oleskog Tryggvason, doktorand, och Jesper Strömbäck, professor i journalistik och politisk kommunikation, båda vid Institutionen för journalistik, medier och kommunikation vid Göteborgs universitet. Inlägget bygger på deras vetenskapliga artikel Fact or Fiction? Investigating the Quality of Opinion Poll Coverage and its Antecedents i den internationella tidskriften Journalism Studies. En tidigare version av detta blogginlägg har publicerats i Qvintensen 2017:2.
I teorin finns det mycket som förenar vetenskapen med journalistiken. Båda syftar exempelvis till att ta fram och tillhandahålla information som är verifierad och sann, trovärdig och som bidrar till att människor kan forma välgrundade uppfattningar om sin omvärld. Samtidigt är det också uppenbart att det finns en inneboende konflikt mellan journalistiska normer och arbetssätt och de inom akademin. Inom journalistiken är en av de största synderna att missa en stor story, medan en av kardinalsynderna inom akademin är att dra för stora växlar som inte stöds av data. Det finns alltså diametralt skilda syner på huruvida det är värst att begå ett så kallat typ-I-fel (falskt positivt) eller ett typ-II-fel (falskt negativt).
Det finns antagligen ingen journalistisk genre där denna normkonflikt är så uppenbar som när journalister skriver om resultat från opinionsundersökningar. Att medierna har en fäbless för opinionsundersökningar har visats av många studier och hänger samman med rådande nyhetsvärderingar. Opinionsmätningar handlar om politiska eliter, är lätta att visualisera och passar samtidigt in i nyhetsmedielogiken. De ger också journalister möjligheter att inta en kvasi-neutral roll i den politiska rapporteringen genom att vara baserade på undersökningar samtidigt som resultaten skapar utrymme för journalistiska tolkningar. Parallellt har medierna genom att använda sig av opinionsundersökningar gett sig själva möjligheten att uttala sig om folkets röst i siffror och framställa sig som ombud för folkets röst.
Dessvärre har journalistiken inte varit lika villig att förhålla sig till de förbehåll som kommer med den metodologi som gjort allt detta möjligt. Även om det är värt att poängtera att det finns en rad möjliga felkällor vid urvalsundersökningar (exempelvis ofullständig urvalsram, fallande svarsfrekvenser, undermåliga frågeinstrument) så finns det en osäkerhetskälla som alla undersökningar med slumpurval måste förhålla sig till: felmarginalen.
Det grundläggande faktumet att vi förväntar oss en viss grad av variation när vi nöjer oss med att fråga ett urval av hela populationen är något som lärs ut på alla kvantitativa metodkurser med självaktning, samt något som poängterats flertalet gånger här på Politologerna, (se här och här). Men i praktiken förvandlas dessa förväntade förändringar ofta till förstastidsnyheter – i stil med opinionsras – inte sällan ackompanjerad med förklaringar till varför förändringen skett.
Att medierna ofta brister när de rapporterar om statistiska undersökningar är något som noterats och påpekats i samhällsdebatten otaliga gånger, men det har fram tills för rätt nyligen inte studerats systematiskt. Sedan ett par år finns det dock en växande internationell litteratur som visar att journalister gång på gång rapporterar om förändringar i opinionsmätningar som inte har täckning i datamaterialet.
Till denna litteratur hör en studie som vi nyligen publicerade i den vetenskapliga tidskriften Journalism Studies, där vi undersöker hur journalister förhåller sig till statistiska osäkerheter när de rapporterar om opinionsundersökningar. Mer specifikt kartlägger och analyserar vi hur de tidningsredaktioner som har etablerade samarbeten med opinionsinstitut som genomför partisympatiundersökningar med slumpmässigt urval behandlar statistiska osäkerheter när de kommenterar skillnader inom och mellan opinionsundersökningar samt när de ger förklaringar till varför ett parti gått upp eller ner i opinionen. Vår studie baseras på samtliga huvudartiklar där Dagens Nyheter (DN), Svenska Dagbladet (SvD) och Expressen redovisar sina regelbundna partisympatiundersökningar under 2010/2011 samt under 2014/2015.
Totalt består vårt urval av 142 artiklar. I dessa gör journalister totalt 757 jämförelser mellan resultaten i den senaste opinionsundersökningen och föregående opinionsundersökning, föregående riksdagsval eller hur det ligger till i förhållande till fyraprocentsspärren. I samma urval återfinns 121 tillfällen när journalisten eller någon extern expert (vanligtvis en statsvetare eller opinionsanalytiker) försöker förklara varför ett parti har förändrat sitt opinionsstöd jämfört med föregående mätning eller jämfört med föregående riksdagsval. För att undersöka i vilken utsträckning som dessa jämförelser och förklaringar av opinionsförändringar förhåller sig till konventionen om statistisk säkerhet på 95 procentsnivån har vi använt opinionsdata från samtliga undersökningar som ligger till grund för artiklarna. Därefter har vi analyserat i vilken utsträckning som journalisterna rapporterar om materialet på ett korrekt sätt.
För att illustrera graden av osäkerhet i de förändringar och skillnader som journalisterna rapporterar om har vi i respektive fall beräknat ett så kallat z-värde. Ett z-värde på 1.96 betyder i praktiken att det endast är 5 procent risk att skillnaden mellan de två observationerna som jämförs är orsakad av slumpen (95 procent säkerhet). Högre z-värden betyder att vi kan vara mer säkra på att de rapporterade förändringarna inte är orsakade av slumpen, samtidigt som längre z-värden indikerar större osäkerhet. Exempelvis så innebär ett z-värde på 1.65 att det är 10 procents risk att en skillnad mellan två jämförelser är orsakad av slumpen och ett z-värde på 1.0 innebär att det är drygt 30 procent risk att den rapporterade skillnaden är ett resultat av slumpen.
Av figur 1 framgår fördelningen av z-värden för samtliga 757 tillfällen där ett partis opinionsstöd beskrivits som skilt från föregående mätning, riksdagsval eller där man jämfört opinionsstödet med fyraprocentspärren. Mer specifikt visar den att 68 procent av alla jämförelser har ett z-värde under 1.96, vilket är gränsvärdet för 95 procent sannolikhet.
I figur 2 visas samma fördelning för de gånger då man i artikeln gett en förklaring till varför ett partis opinionssiffror har gått upp eller ner. Av de 121 gånger där journalisten presenterar en förklaring till varför ett parti har gått upp eller ner så har 55 procent ett z-värde under gränsvärdet 1.96. Histogrammet i figur 2 skvallrar om att det inte är ovanligt att man lägger fram förklaringar till oerhört små förändringar.
Figur 1: Fördelning av graden av statistisk säkerhet (z-värde) där ett partis sympatistöd jämförts med a) skattningen i den senaste mätningen b) partiets röststöd i det senaste valet eller c) gentemot fyraprocentspärren
Not: Antal observationer (n=757). Den streckade linjen representerar z=1.96.
Figur 2: Fördelning av graden av statistisk säkerhet (z-värde) där journalisten eller annan expert gett en förklaring till att partiets sympatistöd förändrats jämfört med föregående mätning eller jämfört med föregående riksdagsval.
Not: Antal observationer (n=121). Den streckade linjen representerar z=1.96.
Från ett journalistiskt perspektiv kan man möjligen argumentera för att hållningen i figur 1 är allt för konservativ och oförenlig med journalistiska normer att förmedla information till sin publik. Att ge förklaringar till förändringar som befinner sig inom felmarginalen och som ur ett statistiskt perspektiv utgör brus förtjänar dock hård kritik: om en förändring inte är statistiskt säkerställd kan den heller inte förklaras.
Om man ser till helhetsbilden och hur ofta de undersökta tidningarna förmedlar en rättvisande bild till läsarna visar våra resultat att tidningarna i 44 procent av de undersökta fallen ger undermålig eller felaktig information. Det framgår av tabell 1. Den vanligaste typen av fel är att man rapporterar om förändringar som inte är signifikanta utan att nämna något om statistiska osäkerheter.
Tabell 1: Illustration mellan andelen förändringar som är statistisk signifikanta och vilken information som ges i relation till förändringen i artikeln (totalprocent).
Not: Tabellen bygger på antalet observationer då ett partis opinionsresultat jämförts med resultatet i föregående mätning, föregående riksdagsval eller gentemot fyraprocentspärren. n=757.
Slutsatser
Att journalister brister när de rapporterar om opinionsundersökningar är kanske föga förvånande givet journalistikens nyhetsvärderingar och nyhetsmedielogiken, men det är ändå bekymmersamt. Ytterst är journalistikens syfte att tillhandahålla sådan information som människor behöver för att fritt och självständigt kunna ta ställning i samhällsfrågor, och då är ett grundkrav att den information som förmedlas är verifierad och korrekt. När journalister väljer att skapa nyheter baserat på uppgifter som mycket väl kan vara osanna – vilket det handlar om när en förändring inte är statistiskt säkerställd – utan att poängtera att förändringen är så pass liten att den kan uppstå av ren slump brister journalistiken vad gäller kraven på såväl korrekthet som källkritik och transparens. Då handlar det inte om att rapportera om fakta. Då handlar det om att rapportera om något som mycket väl kan vara fiktion.
Källa:
Oleskog Tryggvason, Per & Strömbäck, Jesper (2017). Fact or Fiction? Investigating the Quality of Opinion Poll Coverage and its Antecedents. Journalism Studies, online early.
politologerna.wordpress.com 