Leder Alliansens politik till bättre skolresultat? Orsak och verkan i politiken.

Tidningen Dagens Samhälle skrev igår (7 maj) i artikeln ”Sämst resultat i skolan för S-styrda kommuner” om skillnaderna i resultat mellan kommuner med olika politiskt styre. Jag anser att det finns vissa metodologiska problem med artikeln. Innan jag diskuterar det vill jag emellertid börja med att beskriva hur man ser på orsak och verkan inom samhällsvetenskapen.

Spelar det någon roll om det är höger- eller vänsterpartier som styr ett land eller en kommun? Svaret verkar kanske självklart: Ja, så klart, varför röstar vi annars? Tyvärr, och som statsvetare är det nästan så att jag drar mig för att säga det, så har statsvetenskapen vissa problem med att belägga att så verkligen är fallet. I en sammanställning av 43 olika studier hittade till exempel tre franska statsvetare inga tydliga belägg för att vänster-höger-ideologi påverkar statens storlek eller satsningar på välfärd (Imbeau m. fl. 2001), klassiska ideologiska stridsfrågor.

Hur kommer detta sig? Det verkar uppenbart att politik spelar roll, även om regeringars handlingsfrihet antagligen ofta är mer kringskuren än vad de skulle önska. De nordiska ländernas omfattande välfärdsstater kopplas till exempel ofta ihop med den starka ställning socialdemokratiska partier haft, medan den tyska mer familjecentrerade välfärdsmodellen hänförs till det kristdemokratiska partiets inflytande.

Den troligaste orsaken till att det är svårt att belägga att politik spelar roll är emellertid att det är svårt att utröna vad som är orsak och vad som är verkan när man hittar två fenomen som verkar hänga ihop. Det problemet delar statsvetenskapen med i princip all samhällsvetenskap. Säg att vi upptäcker att A ofta förekommer tillsammans med B. Det finns då tre möjliga förklaringar till det observerade sambandet:

1. A har orsakat B.
2. B har orsakat A.
3. C har orsakat både A och B.

Ibland kan man lätt stryka något av alternativ 1 och 2, till exempel om A inträffat före B i tiden. Brandkåren observeras till exempel ofta i samband med bränder, men det är osannolikt att det beror på att de startat bränderna: Det börjar oftast brinna före brandkåren dyker upp.

Men det är minst lika vanligt att man inte kan det. Häromveckan uppmärksammades ett räknefel i en studie om skuldsättning och tillväxt av nationalekonomerna Carmen Reinhart och Kenneth Rogoff, men studien hade kritiserats redan innan felet upptäcktes. Reinhart och Rogoff såg att högt skuldsatta länder hade sämre tillväxt, och menade därför att skuldsättning är ett hot mot tillväxten. Andra menar istället att det är minst lika troligt att dålig tillväxt leder till skuldsättning. Vilken förklaring som är rätt har givetvis enorma implikationer för policy.

Men även när man kan slå fast att B inte påverkat A är det nästan alltid en risk att det finns en tredje faktor C som orsakat både A och B. Sådana invändningar dyker nästan alltid upp när man försöker uppskatta effekterna av olika partiers politik. Beror utfallen på den förda politiken, eller på någon underliggande egenskap i samhället som ledde till utfallet och framgång för vissa partier? Det socialdemokratiska partiet byggde i regeringsställning ut den svenska välfärdsstaten. Men samtidigt blev de i valen framröstade av en befolkning som uppenbarligen efterfrågade den typen av politik. Vad är det då som är den verkliga orsaken? I många fall är det antagligen så att A och B påverkar varandra, samtidigt som C, D, Q och Ö påverkar både A och B. Verkligheten är rörig.

Samhällsvetare kan till skillnad från naturvetare i många viktiga frågor inte genomföra kontrollerade experiment (även om det blir vanligare med samhällsvetenskapliga experiment). Sverige styrs vid varje tillfälle bara av en regering, som dessutom inte är slumpmässigt tilldelad, utan (som tur är) demokratiskt vald. Vi har inget annat Sverige att jämföra med, och hänvisas till att jämföra med andra länder, med andra förutsättningar. En stor del av samhällsvetenskaplig forskning handlar därför om att komma på olika sätt att försöka åstadkomma experimentlika situationer, eller att ta hänsyn till bakomliggande faktorer, för att på så vis isolera en eventuell påverkan av en faktor på en annan.

Därför blev jag nyfiken när jag läste Dagens Samhälles artikel. Den tar avstamp i att det finns stora skillnader i skolresultat mellan alliansstyrda och socialdemokratiskt styrda kommuner. I borgerligt styrda kommuner är meritvärdet i årskurs nio (slutbetyget) högre, fler gymnasieelever är behöriga till högskolan, elever presterar bättre på nationella proven, osv. I botten och toppen av fördelningen är det extra tydligt: De flesta av de ”bästa” kommunerna är borgerligt styrda, medan de flesta av de ”sämsta” kommunerna styrs av Socialdemokraterna.

Beror skillnaderna på kvaliteten i den förda skolpolitiken (A påverkar B), eller kan skillnaderna förklaras av faktorer som ”klass, föräldrar och andra socioekonomiska faktorer?” (C påverkar både A och B). Artikeln citerar nationalekonomen Björn Öckert:

Där en stor andel av invånarna har kort utbildning eller låg inkomst presterar eleverna sämre. I sådana kommuner är det också större sannolikhet för en rödgrön majoritet. – Björn Öckert

Ett tydligt fall av att C, låg utbildningsnivå i kommunen, leder både till A (rödgrön majoritet) och B (sämre skolresultat), enligt Öckert. Samtidigt är underrubriken på artikeln ”Socioekonomi inte enda förklaringen”. Jag var därför nyfiken på att se vilken typ av analys som gjorts för att avgöra hur stor del av skillnaderna som beror på socioekonomi och vilka skillnader som kvarstår.

Tyvärr presenteras vad jag kan se inte några sådana analyser i artikeln (I en tidigare artikel gjordes däremot en sådan analys, även om den inte gavs så stort utrymme). Det ges exempel på kommuner med mindre gynnsamma förutsättningar som har goda utfall, men även om de visar att resultat inte till hundra procent bestäms av socioekonomi kan inte de motbevisa att det finns starka samband.

Det är också viktigt att komma ihåg att vi inte har tillgång till kontrafaktiska utfall. Öckert får frågan ”Varför lyckas S-kommunerna inte kompensera för socioekonomi?” Skillnaderna hade emellertid kanske varit ännu större om inte S-kommunerna fört den politik de fört, även om de inte lyckats utjämna alla skillnader. Man kan lika gärna fråga ”Varför är resultaten inte ännu bättre i allianskommunerna, givet de gynnsamma förutsättningarna?”

En alternativ analys
Jag tänkte därför försöka göra en analys för att se hur mycket av skillnaderna mellan kommuner med olika politiskt styre som kvarstår när man tagit hänsyn till den troligen viktigaste socioekonomiska faktorn, andelen invånare med högre utbildning i kommunen. Hög utbildningsnivå i kommunen kan tänkas innebära att föräldrar till eleverna har hög utbildning, vilket gör att de har studievana och möjlighet att hjälpa och motivera sina barn utifrån egna erfarenheter.

Jag utgår ifrån SKL:s indelning av kommuner i vänsterstyre, högerstyre, och de med blocköverskridande eller oklar majoritet. Statistik över skolresultat hämtas från Skolverkets databaser. Utbildningsvariabeln hämtar jag från SCB, och definierar som andelen som har minst tre års eftergymnasial utbildning. I tabellen nedan visas medelvärdena för de olika variablerna i de olika kommunerna.

Vänster Höger Annat
Meritvärde 203,0 210,5 201,8
Andel som nått målen i alla ämnen 75,7% 79,6% 74,1%
Andel med högre utbildning 15,2% 20,2% 15,2%
Antal kommuner 107 132 51

I allianskommunerna är det helt klart så att resultaten är bättre, både i fråga om meritvärde och hur många som når målen i alla ämnen. Men man ser också att utbildningsnivån är högre i kommunerna som styrs av allianspartierna.

I diagrammet nedan visas sambandet mellan det genomsnittliga meritvärdet i kommunen och andelen med högre utbildning. Varje cirkel är en kommun, och färgen indikerar vilket styre det är i kommunen. Som synes är det ett tydligt samband: Ju högre utbildningsnivå i kommunen, desto högre meritvärde. Det finns dock stor spridning kring linjen – socioekonomi bestämmer en del, men inte allt. Det man också kan se är att kommunerna med högst genomsnittlig utbildningsnivå i väldigt hög utsträckning styrs av alliansen. Samma kommuner återfinns i toppen av Dagens Samhälles ranking av skolresultat.

scatter_merit

Danderyd vinner rankingen, men är också kommunen med högst genomsnittlig utbildningsnivå: över hälften av invånarna har mer än tre års eftergymnasial utbildning. Kommunen ligger dock ganska högt över den streckade regressionslinjen: Resultaten är trots de goda förutsättningarna något bättre än vad man kunnat förvänta sig. Lidingö och Lomma är två och trea på rankingen, och ligger högt upp, men inte så långt ifrån vad man hade kunnat förvänta sig givet att det är så hög utbildningsnivå i kommunen. Lomma ligger praktiskt taget på linjen: resultaten är förväntade givet förutsättningarna. Sorsele däremot hamnar väldigt högt upp trots låg utbildningsnivå, men bara på plats 74 i Dagens Samhälles ranking. Samma mönster framträde när man undersöker sambandet mellan andelen som uppnått målen i alla ämnen och utbildningsnivå, som i diagrammet nedan.

scatter_behor

Med hjälp av så kallad regressionsanalys kan vi också se vad skillnaderna mellan vänster- och högerstyrda kommuner är med och utan hänsyn tagen till utbildningsnivån. För den som är insatt i regressionsanalys finns de fullständiga tabellerna att beskåda här (meritvärde) och här (andel som nått målen i alla ämnen).

Skillnad utan kontroll Under kontroll Andel förklarad skillnad
Meritvärde 7,49 2,59 65%
Andel som nått målen i alla ämnen 3,91 2,19 44%

Skillnaderna mellan vänster- och högerkommuner sjunker alltså dramatiskt när vi tar hänsyn till en grundläggande socioekonomisk faktor. Utan kontroll för utbildning har alliansstyrda kommuner 7,49 poäng högre meritvärde i genomsnitt. Men med hänsyn taget till att utbildningsnivån är högre i de kommunerna är skillnaden bara 2,59 poäng. I de två fallen förklaras 65% och 44% av skillnaden av denna enda faktor. Det är därför vanskligt att dra slutsatser om att skolpolitiken lyckas sämre i vänsterkommunerna bara på grund av skillnader utan att ta hänsyn till bakomliggande faktorer som kan förklara både kommunstyre och skolresultat. Det ska sägas att det i Dagens Samhälles artikel inte står rakt ut att skolpolitiken är sämre i de S-styrda kommunerna, men rubriken och grafiken gör, tycker jag, stort nummer av att resultaten är sämst i de S-styrda kommunerna.

Men även om man lyckades hitta fler socioekonomiska variabler som förklarade all skillnad mellan vänster- och högerkommunerna betyder inte det att den förda politiken är helt meningslös. Det kan ju till exempel tänkas att en kommun med bra skolpolitik långsamt kan höja utbildningsnivån i kommunen. Utbildningsnivån blir då ett resultat av skolpolitiken, och inte en faktor som man ska kontrollera för. Forskning visar också att bra lärare gärna söker sig till framgångsrika skolor. En del av sambandet mellan hög utbildningsnivå i kommunen och goda resultat kan kanske därför förklaras av att de kommunerna har lockat till sig bättre lärare. Den analys som presenterats här kan alltså inte användas för att helt avfärda effekter av politik på skolresultat. Men det är på lång sikt, och styret varierar ju över tid. I 93 kommuner var det maktskifte 2010, och som utbildningsministern har påpekat, det tar tid att ändra på skolpolitiken. En riktigt bra analys skulle alltså behöva ta hänsyn till vilka som styrt kommunen under en längre period. Det blir givetvis mer komplicerat, men så är det. Det är helt enkelt mycket svårt att reda ut vad som är orsak och verkan i politiken.

Det är kul att tidningar presenterar statistik i viktiga politiska frågor. Rätt använd ger statistik möjlighet att föra bättre och mer välgrundade diskussioner. Men man bör vara försiktig med att dra slutsatser om orsak och verkan, som till exempel att en politik är bättre än en annan, om man inte i analysen också tagit hänsyn till bakomliggande faktorer.

Tack till Patrik Öhberg för bra synpunkter på texten.

16 thoughts on “Leder Alliansens politik till bättre skolresultat? Orsak och verkan i politiken.

  1. Hur ser det ut om man tittar på vänsterstyre/högerstyre och huruvida kommunen hamnar över/under regressionslinjen? Är högerkommuner som grupp bättre eller sämre än vänsterkommuner på grupp utifrån förutsättningarna?

    • Hej, det är det man kan se i tabellen där jag jämför skillnaden med och utan kontroll. Högerkommunerna är fortfarande något bättre (avviker mer uppåt från regressionslinjen) även under kontroll för genomsnittsutbildning. Men skillnaden har minskat betydligt, och det bara med hänsyn till en variabel.

      • Jag förstår att det är det man ser, t.ex. då att Sorsele och Danderyd hamnar högre upp än förväntat. Min fråga är om höger/vänsterkommuner _som grupp_ hamnar mer ovanför eller under regressionslinjen, dvs är det fler röda än blå ovanför/under? Men det är kanske det som regressionsanalysen i tabellen visar, inser jag nu.

    • Jo, det finns ju en del studier. I mitt första utkast av inlägget så tog jag till exempel upp din finurliga Shades of Brown and Green, men tog bort pga platsbrist. Men det får väl ändå anses vara förvånansvärt få belägg givet hur central frågan är inom demokratin och statsvetenskapen? Man kan ju tycka att det borde vara helt uppenbart om det gjorde det eller inte.

      • Det förvånansvärda tycker jag främst är att det verkar vara så lite intresse för att besvara dessa frågor inom komparativ politik. När jag diskuterar de här frågorna med folk verkar det i huvudsak mötas med en axelryckning. Inom ”American Politics” verkar man vara avsevärt mer intresserade av de här frågorna.

    • Det ser ut att vara en intressant studie, som undersöker områden där det är troligt att det finns skillnader mellan höger och vänster.

      Jag tror samsynen vad gäller skolfrågor på kommunal nivå är större än man kan tro, av flera skäl:
      * Det finns ideologiska skillnader i synen på skolan som försvinner på det lokala planet. Socialdemokraterna vill att alla gymnasieutbildningar ska vara högskoleförberedande, vilket inte folkpartiet tycker. Men när den lokala gymnasiefrågan ska hanteras försvinner den frågan från dagordningen.
      * Även om skolan är kommunal finns det en omfattande statlig reglering.
      * Alla partier vill ha en bra skola.

      Om kommunerna skulle få mer att säga till om vid friskoleetableringar tror jag däremot det skulle bli en skolfråga med tydliga skillnader mellan kommuner beroende av färg på majoritet. Utan att ha siffror misstänker jag att användandet av Lagen om Valfrihet är en sådan fråga idag.

  2. Det enda som är värre än statistik är ju dålig statistik. Så därför blir jag väldigt glad när forskare visar på hur mycket mer problematisk verkligheten kan vara än vad enkla korrelationer visar på.

    Tre kommentarer är dock på sin plats.
    1. Man ska vara tydligt med att man även i sin problematisering inte har med alla relevanta bakgrundsvariabler, så att man inte begår samma fel som dem man kritiserar. Till exempel vet vi att även utlandsfödda elever i genomsnitt har lägre betyg, samtidigt som deras föräldrar i större omfattning röstar rödgrönt.
    2. Man ska även vara försiktig med aggregerade data. Det kan finnas mycket variation inom varje kommun som är viktig att ta hänsyn till för att inte få felaktiga estimat.
    3. Troligen finns det starka interaktionseffekter mellan den aggregerade nivån, dvs. politiskt styre, andel med med hög utbildning osv., och den individuella nivån, dvs. elevens egen bakgrund.

    En studie som förtjänstfullt tittar mer noggrant på hur individuella och kontextuella effekter påverkar elevers skolresultat är till exempel den här: http://www.su.se/polopoly_fs/1.55483.1321514485!/SULCISWP2007_2.PDF. Allt som återstår då är ju bara att be forskarna om att få ut deras data så att man kan pilla in politiskt styre också…

  3. Är Dagens Samhälle en vänstertidning eller högertidning och har det skett en skiftning sedan Mats Edman tog över? Det kan också vara en betydelsefull bakomliggande variabel i de ”samband” som presenteras i tidningen.

  4. Det intressantaste med den här debatten är att somliga, även ansedda forskare och akademiker, inte anser att vissa faktiska saker bör påtalas. Dessutom dras ofta slutsatser på basis av egna förutfattade meningar. En tidning är till exempel inte en bok, en forskningsrapport, en doktorsavhandling. En tidning består av återkommande nedslag i olika utsnitt av verkligheten.

    Dagens Samhälles researchavdelning har gått igenom mängder av statistik, som vi kommer att presentera i tidningen. Vår främsta källa till inspiration är denna gång skolforskaren John Hattie, vars huvudtes är att skolans framgång i första hand beror på den kvalitet som skapas i undervisningssituationen. Vi har i våra två första artiklar hittills fokuserat på insatta resurser och resultat för åren 2008-2012 men drar inte egna slutsatser av vad utfallen av våra körningar beror på.

    Jag har inte särskilt stor respekt för de som anser att vissa frågor inte bör ställas. Utfallen är som de är, och allt annat är önsketänkande. Efter 22 år med kommunalt styre kan det kanske vara på sin plats att fråga om lokalpolitiken spelar någon roll. Partierna hävdar ju det.

    Analysen överlåter vi dock åt dem som är intervjuade i texterna. Om man läst våra artiklar om skolkommunernas effektivitet (input/output) respektive politiskt styre (output/politiskt styre) så domineras dessa av kommentarer kring socioekonomi och föräldrars bakgrund. Men, vilket kanske gör vissa besvikna, vi har full koll även på socioekonomiska variabler och kommer att presentera vilka kommuner som över- respektive underpresterar. Vi har även bra koll på hur det ser ut geografiskt, mellan stad och land liksom friskolefaktorn på kommunnivå.

    Helt klart är Sverige ett segregerat land, inte minst mellan stad och landsbygd. Men det vi främst har tittat på är sådant som politikerna kan påverka; resurserna och politiken. Problemet för politikerna är att föräldrabakgrunden är en förklarande variabel som de knappast kan förändra eller styra över. Inte heller familjens inkomster. Ändå verkar det som om många debattörer nöjer sig med att konstatera att föräldrarna/inkomster har betydelse. Jaha, men sen då?

    Det finns inget som tvingar oss att förklara bort alla variationer i utfallen med socioekonomiska ursäkter. Trots allt kan unga människor inte söka vidare i utbildning och arbetsliv med ”socioekonomiskt justerade betyg”. Inte än, men det kanske kommer för att få in alla arbetslösa i någon form högre utbildning. Ribban på lärarhögskolan visar ju att det går att sänka kraven till under noll.

    Anders Sundell har skrivit ett bra och genomarbetat inlägg. Han ser vad vi har gjort och har noterat nyanserna, men ogillar rubriksättningen. Det är ofta så. Hundar döms på håren, tidningar på rubriker. Jag tycker definitivt inte att Anders Sundell har sågat vår granskning, däremot fördjupar han diskussionen på ett förtjänstfullt sätt.

    • Mats, man blir lite fundersam till din inställning till forskning. Det är väl inte någon som nte hävdar att dessa frågor inte bör ställas. Dock bör man vara medveten om att det är enormt svåra att besvara. Om ni nu lyckades att göra detta på ett övertygande sätt så borde du och dina medarbetare fundera på en forskningskarriär då detta är frågor som många av de främsta samhällsvetararna (både statsvetare och nationalekonomer) misslyckats med. Så hatten av om ni lyckats med det du säger. Man kan dock misstänka att ni inte fullt insett hur komplexa dessa frågor är att besvara och att er analys kanske inte visar det ni tror.

  5. En intressant fråga är ju i vilken mån endera blockets övervikt leder till en annan politik. Och då drar jag mig till minnes en studie för några val sedan gällande Stockholms län. Där framgick att de borgerligt styrda kommunerna konsekvent satsade mer pengar per elev.
    Pengar är inte allt i utbildning, men det visar ändå att ideologi kan påverka även genom att andra variabler än egenskaperna hos kommuninvånarna.

  6. Ping: Flash! Billigare att utbilda barn till högutbildade! – Ekonomistas

  7. Ping: Input och output i tidningen Dagens Samhälle | Pontus Bäckström

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s