Hänger placering i ”Bästa skolkommun” ihop med hur nöjda kommuninvånarna är med skolan?

För en tid sedan presenterade Lärarförbundet sin årliga rankning av skolan i landets kommuner, ”Bästa skolkommun”. Jag och Gissur Ó Erlingsson har tidigare på DN Debatt, här på bloggen, och i andra media kritiserat kommunrankningar, och ”Bästa skolkommun”. Jag tänker inte återupprepa kritiken i sin helhet, men i korta drag går den ut på:

  1. Att kommunrankningar oftast görs av organisationer med en agenda, i syfte att påverka. De är inte neutrala.
  2. Risken finns att kommunalt utvecklingsarbete inriktas mot indikatorer som premieras i rankningar istället för de verkliga problemen.
  3. Det är dessutom inte säkert att rankningarna fångar upp intressanta skillnader mellan kommunerna, framförallt inte när det gäller förändringar från år till år. Min erfarenhet är att det är relativt stabilt i botten och toppen, men att kommuner åker berg- och dalbana i mitten av rankningen. Det är därför meningslöst att tolka in mycket i förändringar från år till år.

En sak som jag däremot tidigare inte undersökt är hur väl olika kommunrankningar samvarierar med önskade utfall. Lärarförbundet har till exempel kritiserats för att hälften av kriterierna som vägs in inte handlar om eleverna, utan om sådant som lönenivåer för lärarna och hur kommunen är som avtalspart. Två av dessa lärarfaktorer viktas dessutom dubbelt. Det är naturligt eftersom Lärarförbundet är ett fackförbund för lärare, som givetvis vill främja sina medlemmars intressen, men det är ju inte helt givet att det bör väga så tungt i en rankning av landets bästa skolkommuner.

För att få en extern referenspunkt har jag undersökt hur väl rankningen, och dess beståndsdelar, hänger ihop med kommunmedborgarnas nöjdhet med skolan. SCB undersöker varje år, för de kommuner som vill, hur nöjda ett representativt urval medborgare är med olika samhällstjänster. Jag har sammanställt dessa undersökningar, och för varje kommun tagit resultaten för den senast tillgängliga undersökningen. Totalt hittade jag information om 255 kommuner. Betygssättningen görs utifrån medborgarnas svar på enkäter, och i formen av ett index som går från 0 till 100. Högre värden indikerar högre nöjdhet. Jag har här vägt samman svaren för förskolan, grundskolan och gymnasieskolan.

I diagrammet nedan visas sambandet mellan placeringen på rankningen ”Bästa skolkommun” 2013 och hur nöjda medborgarna är med skolan. Ett positivt samband kan konstateras – ju bättre placering på rankningen, desto nöjdare är medborgarna med skolan. Sambandets styrka kan uttryckas i en så kallad korrelationskoefficient, där 1 betyder ett perfekt samband, och 0 att det inte finns något samband alls. Korrelationskoefficienten för det här sambandet är 0.46, vilket visar att det absolut finns ett samband, men att det också finns stor variation, som man kan se i diagrammet.

Medborgare i kommuner med bättre placering i "Bästa skolkommun" 2013 är nöjdare med skolan.

Medborgare i kommuner med bättre placering i ”Bästa skolkommun” 2013 är nöjdare med skolan.

Lekeberg kommer till exempel först på plats 195 i rankningen, men har de fjärde nöjdaste medborgarna i landet (undersökt 2010). Boden kommer betydligt bättre ut i rankningen, på plats 38, men det syns inte när medborgarna tycker till om skolan (undersökt 2012). Rankningen är alltså ingen perfekt indikator på hur nöjda medborgarna är.

Finns det då några komponenter i rankningen som i större utsträckning än andra hänger ihop med hur nöjda medborgarna är med skolan? Lärarförbundet har som sagt kritiserats för att lägga så stor vikt vid lärarnas situation, men de menar att det är en viktig faktor för skolframgång. Jag har därför undersökt hur kommunernas rankning på varje enskild faktor hänger ihop med medborgarnöjdhet. Jämförelsen görs utifrån den tidigare nämnda korrelationskoefficienten, där högre värden alltså visar på ett starkare samband.

Hur väl hänger de olika komponenterna av "Bästa skolkommun" ihop med medborgarnas nöjdhet med skolan?

Hur väl hänger de olika komponenterna av ”Bästa skolkommun” ihop med medborgarnas nöjdhet med skolan?

De två faktorer som bäst verkar överensstämma med medborgarnöjdhet är två resultatindikatorer – andel godkända i årskurs 9, och andelen som uppnår högskolebehörighet i gymnasiet. Korrelationerna är 0.44 respektive 0.40, det vill säga i princip lika starka som för rankningen som helhet, var och en för sig. Därefter följer ytterligare två resultatindikatorer: Andelen som klarar gymnasiet inom fyra år, och genomsnittligt meritvärde (betyg) i årskurs 9.

I botten hittar vi istället komponenter som inte har att göra med eleverna: Lärarlöner, hur friska lärarna är, samt mängden resurser som satsas på skolan. Lärarlöner har till och med en negativ korrelationskoefficient, vilket innebär att kommuner med bättre lärarlöner har något mindre nöjdhet med skolan. Den är dock så liten så att den kan tolkas som 0, inget samband.
De två komponenter som viktas dubbelt i rankningen, lärartäthet och andelen utbildade lärare, återfinns i mitten med svaga samband med nöjdhet.

Nu är det här inte något facit. Jag tycker till exempel inte att vi inte ska satsa på att höja lärarlönerna bara för att de i den här undersökningen inte verkar hänga samman med variation i nöjdhet mellan kommuner (full disclosure: min sambo och många av mina bästa vänner är lärare!). En undersökning av det här slaget kan ju till exempel inte fånga de långsiktiga negativa effekterna av att smarta studenter kanske väljer bort läraryrket på grund av låga löner.

Men det är ändå intressant att de faktorer som bäst samvarierar med nöjdhet är de enklaste och viktigaste indikatorerna – andelen som klarar grundskolan, och andelen som så att säga klarar gymnasiet. Ett index som bara bygger på de två indikatorerna får korrelationen 0.52 med nöjdhet, alltså bättre än det fullständiga indexet som ”Bästa skolkommun” bygger på. Ett sådant enkelt index skulle också vara mycket enklare att tolka än det nuvarande, vilket rimligen borde underlätta utvecklingsarbete.

Mitt stående tips när det gäller att göra kommunrankningar är att ”keep it simple” – väg inte in för många indikatorer, det leder bara till förvirring, inte bredd. Det verkar alltså stämma rätt bra också i det här fallet.

PS. Läs även Jonas Vlachos på bloggen Ekonomistas, som har undersökt om kommuner som kom väl ut i Svenskt Näringslivs rankning av företagsklimatet också upplevde minskande arbetslöshet åren därpå – det gjorde de inte.

9 thoughts on “Hänger placering i ”Bästa skolkommun” ihop med hur nöjda kommuninvånarna är med skolan?

  1. Du får nog göra den här analysen med någon form av ekonometrisk eller multivariat lösning istället. Det intressanta är väl korrelationerna GIVET de andra faktorerna? Sedan prata om förklaringsgrad och partiell förklaringsgrad istället för korrelationskoefficienter.

    • Nja, det är väl inte säkert att det är? Varför ska till exempel andelen utbildade lärare vara positivt i sig själv? Tanken är väl att det ska leda till att fler får godkänt till exempel? Ännu konstigare blir det med satsade resurser. Man kan ju tänka sig att fler satsade resurser skulle leda till bättre resultat. Men givet ett visst resultat vill man ju göra det så billigt som möjligt. Därför är det inte rimligt att lägga in allt som självständiga förklaringsfaktorer i en multipel regressionsmodell.

      Men om man ändå gör det så kvarstår resultatet – den viktigaste faktorn är andelen godkända i årskurs 9, därefter följer andelen som klarar gymnasiet inom fyra år och högskolebehörighet.

      /Anders

      • Jo men jag tänkte att det blir missvisande att visa upp alla dessa faktorer individuellt, just för att de samvarierar. I en multipel regressionsmodell är de ju just inte självständiga. Självklart kommer vissa av dem vara multikollineära, antagligen så att det blir starkt problematiskt, vilket är vatten på din (och min) kvarn beträffande indexens (bristfälliga) kvalitet.

        Jag uppskattar att du tog dig tid att göra en sådan analys. Och jag uppskattar ännu mer att forskare likt dig tar sig tid att granska kommunindex och annat trams som används felaktigt.

        Tackar!

      • Tack själv! Det är viktigt att alla hjälps åt att säga ifrån mot dåliga jämförelser, framförallt när man själv har något att tjäna på dem. De utarmar den offentliga debatten, vilket alla förlorar på i långa loppet.

        /Anders

    • Så är det, men frågan är vad det beror på. Det finns ju inget som säger att dessa föräldrar skulle vara mer nöjda, allt annat lika, snarare tvärtom: de borde ju ha högre krav. Resultaten borde ju vara, och är, bättre i kommuner med många högutbildade föräldrar.

      Den standardiserade regressionskoefficienten för SALSAs mått på föräldrarnas utbildningsnivå när den beroende variabeln är nöjdhet är 0.41. Kontrollerar man för de två resultatindikatorer som jag lyfter fram, andel som klarar målen i åk 9 och andelen som klarar högskolebehörighet sjunker beta-värdet till 0.16.

      Min gissning är alltså att folk är nöjda i kommuner med bra resultat, och kommuner med bra resultat är i stor utsträckning de med många högutbildade föräldrar. Vilket alltså innebär att man inte kan säga att kvaliteten på skolan eller skolpolitiken är bäst i de kommuner där många är nöjda. Men det är ju två frågor – hur man ska konstruera en rankning som hänger ihop i sig, och hur man konstruerar en som kan användas för att dra slutsatser om skolans eller skolpolitikens kvalitet.

      • Egentligen är nog SALSA-residualer det bästa måttet även om det inte är perfekt. Jag vänder mig dock mot att man både tar med SALSA-residualer med avseende på meritvärdet och residualerna vad gäller andelen med godkänt i alla ämnen eller dylikt. Anledningen är att betygssystemet redan via sin konstruktion lägger mycket stor vikt vid att elever kommer över F-gränsen. Att en elev går från F till E ger 10 meritpoäng medan det ger 10 meritpoäng att ta en elev från E till A. Betygssystemet är alltså redan från början kraftigt icke-linjärt. Att man vid indexkonstruktionen skulle ge ytterligare vikt åt just denna marginal är inte uppenbart.

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s