Experterna sämre på att förutsäga politiken än vanligt folk

Ebba Busch Thor är nu den enda återstående kandidaten till posten som partiledare för Kristdemokraterna. Det innebär att vi har fått facit till en av frågorna i mitt quiz från januari.

Över 400 personer deltog och gissade på vem som skulle bli Kristdemokraternas nästa partiledare, och hur säkra de var på sin gissning. Man fick också svara på om man var statsvetare, politiker/politisk tjänsteman, journalist/opinionsbildare eller något annat. Nästan alla gissade under slutet av januari och första halvan av februari, långt innan det stod klart vem det skulle bli.

Tanken med quizet var att kunna utvärdera hur duktiga “experter” egentligen är på att förutsäga politiska skeenden. Statsvetare och andra tillfrågas ofta om vad som ska hända, samtidigt som forskning visar att det är väldigt svårt att veta det.

Låt oss då titta på resultaten. I genomsnitt var de som gissade 46% säkra på att deras gissning skulle vara rätt. Om det skulle vara en korrekt uppskattning borde ungefär lika många ha haft rätt. I verkligheten var det betydligt färre som faktiskt hade svarat Ebba Busch Thor: 37%. I genomsnitt överskattades alltså förmågan att förutse framtiden, vilket känns igen från tidigare forskning.

Vad värre är, det finns inget samband mellan hur säker man uppgav sig vara och benägenheten att faktiskt svara rätt. Grafen visar andelen som gissade rätt, uppdelat på hur säker man ansåg sig vara. De som var allra sämst på att gissa var de som var allra säkrast.

gissningar_bild1

Roligt blir det också när man jämför experter med andra. Alla grupper av experter (cirka 30-40 svarande i varje kategori) var mer säkra på sin sak än de cirka 300 “vanliga” svarande. Ironiskt nog var också alla experter sämre på att gissa. Dessutom finns det inte heller bland experter det något samband mellan självskattad säkerhet och faktisk benägenhet att gissa rätt.

gissningar_bild2

Tyvärr deltog inte tillräckligt många för att man helt säkert ska kunna utesluta att experternas sämre resultat är ett utslag av slumpen (p=0.11). Men det finns i alla fall inget som tyder på att experterna är bättre på att förutsäga framtida partiledarskiften bättre än en vanlig läsare av den här bloggen. Det kan vara värt att ha i åtanke nästa gång du hör en expert spekulera om vad som kommer att hända i politiken.

5 thoughts on “Experterna sämre på att förutsäga politiken än vanligt folk

  1. Helt enig med sensmoralen i historien. Men det är ju inte heller riktigt den här typen av ”gissningar” som statsvetare håller på med i sin yrkesutövning (cf. Carl och Johannes politologinlägg för ett år sedan eller så), så det hade väl kanske egentligen varit mera anmärkningsvärt om du faktiskt hade hittat en experteffekt här.

    • Hej, instämmer helt i att statsvetare inte bör göra den här typen av gissningar, och oftast inte gör det heller. Likväl får vi ju dock den här typen av frågor ändå, ibland. Vill bara synliggöra att vi inte sitter inne på någon magisk inside-info eller förmåga att förutsäga.

  2. Det bör påpekas att även om det är några hundra svarande, så är det ju ett extremt litet underlag för att säga något om hur rätt olika grupper gissar i sådana här situationer (partiledarval, etc). Nämligen ett (1) enda fall.

    Ebba Busch-Thor ser nu ut att väljas, så är det. Det hindrar inte att hon i någon mening kan ha varit ett mindre sannolikt val än andra kandidater, dvs att en uppsättning kunskap och metoder som sett över många olika sådana här situationer ger många korrekta förutsägelser i det här fallet talade emot henne. Även bra gissare kommer förstås många gånger att gissa fel och när något mindre sannolikt händer (för det gör det ofta!) så kommer de att ha gissat fel i större utsträckning än andra. Det här enskilda fallet talar förstås emot experterna och de säkra, men vi behöver fler fall innan vi kan börja antyda slutsatser om att att olika grupper generellt gissar olika bra.

    Och ja, jag inser att det här låter som ett försvarstal för en bitter felgissande expert. Så kan det mycket väl vara…

    • Du har givetvis helt rätt. För att säga något behöver vi undersöka många fall – som Philip Tetlock gjort i sin forskning. Det är ju också självselektering in till quizen, och folk kan ha utgett sig för att vara statsvetare tex, trots att de inte är det.

      Jag tycker mest att det här är en rolig illustration på något som konstaterats i annan forskning. Och vi har fortfarande två fall kvar att utvärdera: Kommer Björklund avgå under första halvan av 2015, och vem kommer efterträda honom?

  3. Jättebra och väldigt intressant. Det borde göras mycket fler uppföljningar av experters förutsägelser.

    ” De som var allra sämst på att gissa var de som var allra säkrast.”

    Påminner om Dunning-Kruger-effekten:

    http://en.wikipedia.org/wiki/Dunning%E2%80%93Kruger_effect

    ”The Dunning–Kruger effect is a cognitive bias wherein unskilled individuals suffer from illusory superiority, mistakenly assessing their ability to be much higher than is accurate. This bias is attributed to a metacognitive inability of the unskilled to recognize their ineptitude.”

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s