Vad lär vi oss egentligen av kommunrankningar?

Inlägget är samförfattat av Gissur Ó Erlingsson och Anders Sundell. Vi medger, inlägget har närmast karaktären av ett slags miniuppsats, därvid något längre än standardinläggen här på Politologerna. Men då inlägget utgör underlaget för vår med nödvändighet korta artikel på DN Debatt 16/5 2013, finner vi utsvävningen befogad. Med andra ord: Häng i!

1. Inledning

Det är populärt att göra så kallade ”kommunrankningar”, där landets kommuner jämförs och rangordnas i en rad olika avseenden. Exempel på sådana som fått hyggligt stort medialt genomslag är Lärarförbundets rankning av landets ”skolkommuner”, Svenskt Näringslivs rankning av ”företagsklimatet” i landets kommuner, Dagens Samhälles rankning av landets skolkommuner, och idag lanseras tidskriften Fokus stora rankning av vilken kommun det är bäst att bo i.

Det finns förstås fler exempel, men i det här inlägget ska vi uppehålla oss vid dessa fyra. De uppmärksammas på ledarsidor, inte minst i lokalpressen, där de relativa vinnarna hyllas och de relativa förlorarna smälls på fingrarna. På nyhetsplats får företrädare för kommuner som klarat sig dåligt stå till svars för dåliga placeringar, och de som klarat sig bra får försöka berätta vad det är de har gjort under året som förklarar deras goda placering. Till detta ska läggas att oppositionen i kommuner som tappar placeringar ges ett slagträ i den lokala debatten (och omvänt, om det går bra kan majoriteten hävda att de gör en massa saker rätt). Det är just på grund av rankningarnas potentiella politiska återverkningar som vi finner det angeläget att uppmärksamma några av de problem som vi uppfattar att mätningarna dras med.

2. Öppna jämförelser – i grunden något viktigt och bra

Innan vi går in och ser närmare på de respektive rankningarna är en enklare varudeklaration på plats: i grunden tycker vi att öppna jämförelser är någonting viktigt och önskvärt. Det finns nämligen goda skäl att tro att öppna jämförelser stimulerar till lärande, erfarenhetsutbyte och konkurrens. I sin tur kan man anta att detta leder till positiv utveckling för kommunsektorn som helhet. Gunnar  Wetterberg (2000) är – eller var åtminstone för dryga 10 år sedan – en anhängare av detta argument, och menade att det förhållandevis stora antalet kommuner i Sverige gett den stora svenska offentliga sektorn en viktig smidighet och flexibilitet. Kommunstrukturen gör att 290 beslutscentra – och inte bara en enda centralmakt – fattar beslut om resursanvändningen. Detta, menar han, minskar sannolikheten för misstag och felgrepp från det offentliga. Wetterberg (2000: 40) sammanfattar: ”[Genom den stora mängden beslutscentra] har självstyrelsen härmat en av marknadens mer sympatiska mekanismer. Förnyelsen hänger inte längre på ett enda beslut. Förnyarna kan vara en eller ett par pionjärer, som går före alla andra och prövar en ny lösning … Kommunerna blir varandras laboratorier”.

En sådan principiell tanke hämtar näring från Friedrich von Hayeks (1960) föreställning om att institutionell heterogenitet ger aktörer möjligheter att experimentera med olika institutionella lösningar, systematiskt jämföra sig med varandra, lära sig av andras misstag och framgångar, med följden att förnyelse och utveckling sker löpande och kontinuerligt. Ett liknande argument presenteras i Jack Knights och Jim Johnsons (2011) bok The Priority of Democracy: Political Consequences of Pragmatism (den huvudsakliga argumentationslinjen fångas lite mer lättillgängligt av Knight i detta blogginlägg). Med andra ord:  öppna jämförelser är viktiga. Men för att de ska kunna vara goda verktyg för kommunalt utvecklingsarbete krävs att de är av hög kvalitet, mäter det de verkligen utger sig för att mäta, samt att det som mäts är viktigt i något eller några substantiella avseenden. Och det är precis här vi vill väcka några frågor kring några av de mest uppmärksammade rankningarna.

3. Exempel på rankningar och deras problem

3.1 Svenskt näringslivs rankning av kommunernas företagsklimat
Låt oss börja med att säga några ord om Svenskt Näringslivs rankning av kommunernas ”företagsklimat”. Den får i regel stor medial uppmärksamhet. Dessutom finns goda skäl att tro att den får återverkningar på kommunalt utvecklingsarbete. I en debattartikel skriven för några år sedan – debatten gällde just vad deras mätning egentligen mäter – har företrädare för Svenskt Näringsliv nämligen slagit fast att: ”Vi kan konstatera att de flesta av landets kommuner använder vår enkät och vår kommunranking som ett mätinstrument för sitt interna förändringsarbete och som ett jämförelseverktyg i utvecklingen i den egna kommunen.”

Men, är det verkligen helt givet att det är bra att kommunerna använder rankningen i sitt interna förändringsarbete? En första fundering man kan ha är vad en mätning egentligen mäter där det inte är helt ovanligt att vi har ”klättrare” som kan förflytta sig nästan 100 placeringar uppåt (t.ex. nu senast, Vetlanda [+90], Upplands Bro [+94], Bräcke [+104], Lekeberg [+110], Storfors [+130]), medan andra kan rasa fullständigt igenom med över 100 placeringar (Boden [-161], Perstorp [-126], Skurup [-102]) – och detta alltså bara från ett år till ett annat. Vad är det som man på ett år kan göra rätt för att flytta sig uppåt 100 placeringar? Och vad är det för fruktansvärda fel Boden, Perstorp och Skurup gjort? Förekomsten av sådana här rejäla skutt uppåt eller katastrofala ras antyder antingen att [a] mätningen är rejält metodkänslig (vilket gör att man som kommunal aktör nog bör ta rörelserna i rangordningen med några nypor salt), eller att  [b] avstånden mellan kommunerna i grunden är så  pyttepyttesmå att riktigt små förändringar i resultat skapar stora rörelser i rankningen (vilket ändå gör att man som kommunal aktör nog inte ska oroa sig allt för mycket över stora förändringar mellan två mättillfällen).

En andraoch i en bemärkelse mer grundläggande fundering, är: vad finns det egentligen för substantiellt skäl för en kommun att bry sig om att ha ett gott företagsklimat, såsom Svenskt Näringsliv valt att definiera det? Att uppnå ett gott företagsklimat borde väl i första hand vara ett medel för någonting, inte ett mål i sig? Och ett sådant mål torde exempelvis kunna vara ”tillväxt”. De få studier som försökt ta reda på huruvida ett gott företagsklimat också hänger samman med tillväxt ger i vart fall inget självklart svar på frågan. I rapporten Regional och lokal utvecklingspolitik: Vad kan och bör offentliga aktörer göra? finner Erlingsson, Moodysson och Öhrvall (2011) inga särskilt övertygande samband mellan företagarnas subjektiva upplevelse av kommunernas bemötande å ena sidan, och tillväxt å den andra (se s 34-35). Nyligen har nationalekonomen Jonas Vlachos skrivit om rankningen och företagsklimatets inverkan på några substantiella variabler. Hans slutsats är ur detta perspektiv något nedslående för föreställningen om ”företagsklimat” som något som orsakar andra godsaker en kommun skulle vilja uppnå: ”Frågan är dock om företagsklimatet säger något om den framtida utvecklingen. Efter en enkel undersökning med hjälp av data från SCBs statistikdatabas är det tydligt att svaret på denna fråga är nej.

Som kommunpolitiker, kommunchef och näringslivsutvecklare gör man sålunda klokt i att ha ett sunt skeptiskt förhållningssätt till rankningen: ta till sig sådant som i allra högsta grad kan vara relevant och påverkbart (t.ex. att hitta goda former för dialog med de lokala företagen; att förvaltningarnas tjänstemän kanske försöker vara mer lyhörda, mer stringenta, ha tydliga regelverk och definitivt vara opartiska), och ha en klar idé över vad man inte anser vara lika viktigt i själva indexkonstruktionen. Sålunda – inte stirra sig allt för blind på hastiga rörelser uppåt eller nedåt i listan.

3.2 Lärarförbundets rankning av landets skolkommuner
I november förra året fick Lärarbundets skolrankning en hel del medialt utrymme. Det finns åtminstone tre saker som en kommunal aktör bör fundera över när man får just den rankningen i händerna. Den första synpunkten påminner om en av funderingarna ovan – vad gjorde Arvidsjaur så fruktansvärt fel under bara ett enda år som gjorde att kommunen rasade från 2011 års förstaplats till 2012 års 84:e plats? Och vad har Rättvik gjort rätt som sköt upp som en raket från 2011 års 125:e, till 2012 års 8:e plats? Vi upprepar poängen: en rankning som ser enorma förskjutningar på bara ett år har antingen mycket små avstånd mellan de ingående enheterna (så att man kan bli rejält omkörd på en variabel fast man står på oförändrad absolut nivå, bara för att ett antal andra kommuner gjort små förbättringar), eller så är det något märkligt mätfel som förklarar de stora förändringarna på så relativt kort tid. Alldeles oavsett är konsekvensen densamma: om man störtdyker rejält från ett år till ett annat, är det inte helt givet att kommunen gör en hel mängd av saker fel. Något kan finnas inbakat i själva mätningen som förklarar den hastiga rörelsen.

För det andra: Ett av rankningens kriterier handlar om resurser (kostnaden exkl lokaler/inskrivet barn i förskola samt kostnaden exkl lokaler per elev i förskoleklass och grundskola). Om vi förstår saken rätt, innebär högre kostnader automatiskt en högre placering. Är det helt rimligt att en rankning av skolkommuner ser detta som något inneboende bra? Detta skulle alltså innebära att en kommun, som tidigare ansetts vara slösaktig och som reformerar/effektiviserar sin skolverksamhet på något sätt, automatiskt faller i rankningen? Om så är fallet, och denna variabel är högt viktad, finns goda skäl att vara misstänksam mot mätningen.

För det tredje: På Lärarförbundets hemsida raljerar man närmast över kritiken att rankningen ibland har kallats för ”Bästa lärarkommun” (och alltså inte bästa skolkommun). Man skriver på sin egen hemsida: ”Några debattörer har försökt att sätta etiketten ”Bästa lärarkommun” och ”partsinlaga” på Bästa skolkommun. Men 7 av de 14 kriterier som Bästa skolkommun baseras på handlar direkt om eleverna”. Men icke desto mindre… kriterier som rör lärare viktas fortfarande väldigt högt (och, räknar inte mätningen lärarlönerna två gånger – både i ”resurser” och i ”lön”-variabeln?), samtidigt som det inte är intuitivt givet att detta hänger samman med skolkvalitet och elevresultat. Det vore intressant att undersöka närmare hur sambanden ser ut mellan höga poäng/hög rankning för de kriterier som avser lärare (t.ex. ”hälsa”, ”lön”, och ”kommunen som avtalspart”) å ena sidan, och sådana kriterier som rör elevers resultat å den andra (”meritvärde i förhållande till SALSA”, ”högskolebehörighet”, ”andel som slutfört gymnasiet inom fyra år”). Från Lärarförbundets håll förefaller det, åtminstone för oss, vara tämligen viktigt att kunna visa att det finns ett rejält samband mellan dessa ting, om man nu på allvar vill slippa en kritik om att ranka ”årets lärarkommun”.

Parentetiskt kan tyckas, men ett gott exempel på att Lärarförbundets mätning inte alldeles uppenbart avser kvaliteten på skolan ur elevernas perspektiv är Emmaboda. 2012 placerade man sig på en ytterst hedrande tredjeplats. Emmabodas placering på kriterierna för kunskapsresultat är emellertid ingalunda på topp genomgående (dock två kriterier på plats 15 och 23). Kommunen ligger på plats 140 för ”meritvärde”, plats 90 för ”meritvärde i förhållande till SALSA”, plats 98 för ”högskolebehörighet” och på plats 145 för ”andel som slutfört gymnasiet inom fyra år”. Däremot hamnar de mycket högt uppe vad gäller ”friska lärare” (plats 1) och ”kommunen som avtalspart” (3). Fallet väcker helt klart frågan om vad som i grunden bäst anses känneteckna en bra skolkommun – förhållanden för lärare, eller output i form av elever som gör goda skolresultat.

Men alltså, återigen: i grunden är det fint att kommuner jämförs med varandra. Men då måste rankingarna verkligen mäta det de säger att de ska mäta, i det här fallet: ”årets skolkommun”. Om politiker och tjänstemän inte är medvetna om rankningarnas begränsningar, finns risk för att de låter dem få politiska konsekvenser (om inte annat kan man ”köpa sig” bättre placeringar genom att bomba på med resurser [exkl lokaler] på skolområdet). Och detta är förstås, allt annat lika, inget vidare. (För fler exempel på grundläggande kritik mot denna rankning, se Johan Ingerös ledarstick).

3.3 Dagens Samhälles rankning av landets skolkommuner och deras effektivitet
I en serie artiklar har tidningen Dagens Samhälle nyligen rangordnat landets kommuner utifrån olika skolrelaterade utfall. I en artikel granskades ”effektivitet” – förhållandet mellan uppnådda resultat och några indikatorer som avser att mäta satsade resurser. I en annan artikel har man jämfört skolresultaten utifrån kommunernas politiska styre, och gör en stor poäng av att de ”50 bästa skolkommunerna” till 82 procent styrs av alliansen, medan 72 procent av de ”50 sämsta skolkommunerna” styrs av S eller V.

Den första rankningen dras med problem av samma natur som Lärarförbundets, men egentligen åt rakt motsatt håll. Medan Lärarförbundets ranking belönar kommuner som har höga kostnader oavsett resultat, belönar den här rankingen kommuner som dels har låga kostnader per elev totalt sett, men också dem som lägger pengar på annat än undervisning: Andel av kostnaden som läggs på undervisning ingår som en insatsfaktor. Givet en viss resultatnivå ökar alltså effektiviteten enligt det här måttet om pengar omfördelas från undervisning till lokaler, vilket Jonas Vlachos påpekar i ett upplysande blogginlägg. (Vlachos påpekar förövrigt också, förtjänstfullt, att Dagens Samhälle, olyckligt nog, misstolkat Skolverkets SALSA-värden).

Ett ytterligare problematiskt inslag i rankningarna som presenteras i de båda artiklarna är att det finns olika socioekonomiska förutsättningar för goda skolresultat i landets kommuner (alltså, den demografiska sammansättningen skiljer sig åt på ett sådant sätt att vissa kommuner har mer gynnsamma förutsättningar än andra). Ingen ifrågasätter egentligen detta: Eva Wittbom (FP), ordförande i Täbys grundskolenämnd, framhåller det som en av förklaringarna till att kommunen rankas som den mest effektiva skolkommunen.

Det är inte heller något fel med en rankning som beskriver hur de faktiska resultaten ser ut, oberoende av socioekonomiska förutsättningar. Problem uppstår emellertid om man vill dra slutsatser av vad det är som har orsakat variationen i resultat mellan olika kommuner. I artikeln om effektivitet pratas det om att ”få mer valuta för pengarna”, vilket antyder att skolorna på något sätt fungerar bättre, att dessa kommuner inte är lika slösaktiga, dvs. mer effektiva i att få s.k. bang for the buck. I artikeln om skillnader mellan kommuner med olika politiskt styre ställs frågan ”Varför är det blått i skoltoppen och rött i botten?”, och socioekonomins roll behandlas därefter i en diskussion som utmynnar i att den spelar roll, men inte är allt. Artikeln avslutas med ett citat från forskaren Maria Jarl där kommunledningens ansvar betonas.

Månne är det ett redaktionellt problem, men faktum kvarstår: tillsammans med rubriksättningen riskerar presentationen av data att leda till läsaren att dra slutsatsen att det politiska styret är orsaken till skillnaderna, vilket man faktiskt inte kan säga utifrån den statistik som presenteras. I ett tidigare inlägg har Anders Sundell skrivit mer om detta i detalj, där ett av huvudargumenten är att vi inte får förväxla korrelation med kausalitet. Det ska understrykas att det i båda artiklarna poängteras att socioekonomi visst spelar roll. Problemet är att den framförallt resultatdrivna statistiken presenteras i dataform, medan invändningarna om att socioekonomi spelar roll avfärdas i text. Ett bättre sätt att ta invändningarna på allvar vore att redan från början inkorporera dem i de statistiska analyserna.

Även i analysen där skolresultaten i ”blåa” och ”röda” kommuner jämförs används SALSA-värden på ett felaktigt sätt. Istället för att använda residualerna (vilket ger ett mått på över- respektive underprestation) används de modellberäknade värdena, vilka helt enkelt är ett socioekonomiskt index. Förutom att faktiska resultat är beroende av socioekonomiska förutsättningar ger man alltså i rankningen poäng för att ha en gynnsam socioekonomi, vilket alltså ytterligare förstärker problemet i Dagens Samhälles mätning. Detta poängterades också i en debattartikel av Haninges skolchef Mats Öhlin. Dagens Samhälle gick emellertid till hård mottack och kallade kritikpunkterna bland annat för ”irrelevanta” och ”direkt felaktiga” (månne inte så uppbyggligt för en konstruktiv dialog om mätningens för- och nackdelar, kan tyckas). Dagen efter skrev redan nämnde Jonas Vlachos ett inlägg som delvis understödde Öhlins kritik.

3.4 Tidskriften Fokus rankning av var det är bäst att bo
Tidskriften Fokus försöker ta ett samlat grepp om livskvaliteten i kommunerna, och väger samman en mängd olika indikatorer i sitt index. 2012 ingick 42 stycken indikatorer, varav flera i sin tur är index själva: Svenskt Näringslivs företagsklimatindex och Nöjd-Kund-Index för äldrevård och hemtjänst ingår, vilket innebär att ännu fler indikatorer ingår i bäst att bo-indexet och gör det svårare att avgöra vad det är som mäts. Vissa variabler ingår både i företagsklimatindexet och som egen komponent i Fokus index, till exempel kommunal skattesats och arbetslöshet.

Med en så stor mängd disparata variabler är det svårt att avgöra hur de olika variablerna ska vägas mot varandra. Vi har inte hittat någon annan information än att alla variabler inom varje kategori väger lika tungt, vilket innebär att in-/utflyttning i kommunen och anmälda brott väger lika tungt som andel miljöbilar, strandlängd eller andel skilda, enligt 2012 års rankning. Intuitivt känns det kanske som att vissa av indikatorerna är viktigare än andra, men det är minst lika svårt att argumentera för en specifik viktning. Syftet med indexet är att ge en helhetsbild av var det är bäst att bo, men med så många olika delkomponenter blir det också svårt att förstå vad det är som egentligen mäts.

Här tänkte vi emellertid framförallt sätta ett extra fokus på ett problem som uppmärksammats ovan: De stora förändringarna från år till år. Vi har sammanställt en datafil med kommunernas placeringar på rankningen åren 2009-2012, som finns att ladda ner från Politologernas datasida. Från datasidan finns även syntax till statistikprogrammet STATA som möjliggör replikering av alla analyser och diagram som refereras nedan.

I diagrammet nedan visas hur placeringen 2011 överensstämmer med placeringen 2012. Varje cirkel motsvarar en kommun. Den diagonala linjen motsvarar oförändrad placering, och den röda streckade linjen är en så kallad regressionslinje. Betänk här att låga värden innebär placeringar ”högt upp” på rankningen.

scatter1

Det finns helt klart ett samband: Kommuner som hade bra placeringar 2011 hade det också 2012 (nere till vänster). Många av kommunerna som låg dåligt till 2011 gör det också 2012 (uppe till höger). Men det är också tydligt att många av förändringarna i placering är direkt dramatiska, eftersom det är stor spridning kring den diagonala linjen. Många av cirklarna visar att kommuner klättrat eller rasat uppemot 100 placeringar. I diagrammet nedan redovisas spridningen av förändringar från år till år under samtliga år, med en normalfördelningskurva överlagd. Som synes motsvarar den faktiska fördelningen en normalfördelning väl. De flesta förändringarna håller sig kring noll, men det är ingalunda extremt med förändringar på uppemot hundra placeringar.

histogram1

Det här är inte ett problem i sig – om det finns tydlig systematik i förändringarna. Kommuner med visionära och handlingskraftiga ledare kanske kan åstadkomma stora förändringar och år för år förbättra sin placering på rankningen? I så fall borde vi rimligtvis se att det är samma kommuner som klättrar år efter år, medan andra kommuner år efter år rasar.

I diagrammet nedan visas sambandet mellan förändring i placering mellan 2010 och 2011 och förändring i placering mellan 2011 och 2012. Återigen: negativa värden innebär alltså att en kommun klättrat på rankningen (en kommun som 2011 låg på plats 10 medan den 2012 klättrar till plats 1 får värdet 1-10=-9). Det vi vill se är en regressionslinje som lutar snett uppåt höger, vilket skulle indikera att det finns ett positivt samband mellan förändringar år till år.

scatter2

Tvärtom ser vi ett negativt samband. De kommuner som klättrade ena året rasar nästa år. Lutningskoefficienten är -0,49, vilket innebär att för varje placering upp en kommun tar förväntas den backa 0,49 nästa år. Två steg fram och ett steg bak. Om man bara talar i termer om att förbättra eller försämra sin placering kan vi se att 64 procent av de kommuner som klättrar ett år rasar nästa, och 63 procent av de som rasar ett år klättrar året därpå. Samma mönster återfinns om vi kollar på förändringar 2009/10 och 2010/11:

scatter3

Ett tydligt negativt samband. Ungefär hälften av förändringarna från ett år till ett annat återställs nästa år. Men det här är bara på ett års sikt. Ser sambandet annorlunda ut om vi jämför förändringarna 2009/10 med förändringarna 2011/12? Resultatet framgår av diagrammet nedan.

scatter4

Här finns det istället inget som helst samband. Cirklarna bildar en svärm, och den streckade regressionslinjen är helt platt. Det finns alltså ingen systematik i att de kommuner som klättrade mellan 2009 och 2010 fortsatte att klättra mellan 2011 och 2012. En sådan här utveckling tyder sannolikt på att förändringar år till år till stor del kan förklaras av slumpen. De kommuner som på grund av slumpen förbättrar sin placering ett år förväntas därför få en försämrad placering nästkommande år. Detta fenomen kallas inom statistiken ”återgång till medelvärdet” och kan observeras när slumpen spelar roll för resultatet.

Samtidigt som det inte finns något positivt samband mellan förändringen i placering ett år och nästa finns det starka samband mellan den faktiska placeringen ett år och det förra, som kunde ses i det första diagrammet. Faktum är att sambandet mellan placeringen 2011 och 2012 är i princip lika starkt som sambandet mellan placeringen 2009 och 2012. Kommuner som låg bra till 2009 gör det 2012 också. Om hela rankningen byggde på slump skulle vi förvänta oss att sambandet mellan placering ett år och ett annat försvagades ju större avståndet i tid var mellan de två åren. Så verkar alltså inte vara fallet nu.

scatter5

Vi tolkar detta som att varje kommun ligger relativt stabilt i toppen, mitten eller botten av rankningen. Rankningen fångar alltså upp något som finns därute. En viktig förklaring till varför vissa kommuner hamnar högt och lågt är inkomstnivåer i kommunen, som ingår i flera olika indikatorer (medelinkomst, andel som har råd med villa, ekonomiskt bistånd) och kan tänkas hänga samman med många fler. En enkel regressionsanalys visar att medianinkomsten för de i åldern 20-64 år i kommunen statistiskt sett förklarar 39 procent av variationen i placeringar 2012.

Även om kommunerna på några års sikt verkar återgå till sin ungefärliga placering finns dock utrymme för stora slumpmässiga variationer år till år, utan tydlig systematik. På tio, tjugo eller trettio års sikt är det möjligt att det sett annorlunda ut, och att kommuner systematiskt kunnat avancera eller dala på rankningen. Vad orsakar de här till synes slumpmässiga förändringarna? Troligen är de ett resultat av en mängd olika faktorer med ofta små skillnader mellan kommunerna vägs samman. Fokus kommunrankning visar alltså i viss mån på verkliga skillnader mellan kommunerna. Det är emellertid inte tillräckligt precist för att man ska dra för stora växlar på förändringar från år till år, då dessa förändringar ofta återställs året därpå.

4. Sammanfattande reflektioner: Hur förhålla sig till kommunrankningar?

Det tål att upprepas: öppna jämförelser är viktiga och bra; de skapar förutsättningar för lärande, erfarenhetsbyte och konkurrens, som i sin tur kan skapa positiv utveckling i kommunsektorn. Men för att rankningar ska vara goda verktyg för kommunalt utvecklingsarbete krävs det att de är av hög kvalitet, mäter det de säger sig mäta, och att det som de mäter faktiskt är viktigt – alltså något som faktiskt har substantiell betydelse. De bekymmer vi här har uppmärksammat i några av de medialt mest uppmärksammade kommunrankningarna kokar i mångt och mycket ned till hur kommunledande aktörer förhåller sig (och kanske bör förhålla sig) till rankningarna.

En hel del av det som mäts, jämförs och rangordnas är förstås relevant. Ta t.ex. rankningen av företagsklimat. Här finns sådant som i allra högsta grad kan vara relevant och påverkbart (t.ex. att hitta goda former för dialog med de lokala företagen; att förvaltningarnas tjänstemän kanske försöker vara mer lyhörda, mer stringenta, ha tydliga regelverk och definitivt vara opartiska – dvs. inte behandla företagare på orten olika), men samtidigt bör man ha en klar idé över vad man inte anser vara lika viktigt i själva indexkonstruktionen (exempelvis saker som är ganska hårt politiserade), och därmed inte stirra sig blind på hastiga rörelser uppåt eller nedåt i listan.

Ett problem som vi emellertid ser, är när dessa mätningar mottas och refereras okritiskt: på ledarsidor, på nyhetsplats, av majoritetspartier (i kommuner som klarar sig bra), av oppositionspartier (i kommuner som klarar sig sämre). Om nu delar av den rätt så allvarliga kritik som riktats mot kommunrankningar stämmer, är det förstås inget vidare om kommunerna stressas av dem och känner sig föranledda att reformera saker för att klara sig bättre nästa i rankningarna nästa år (den norske statsvetaren Kjell Arne Rövik (2000) har skrivit utmärkt om detta i termer av socialt konstruerade politiska problem i boken Moderna organisationer: trender inom organisationstänkandet vid millennieskiftet). Man kan då prata om en variant av att de kommunala organisationerna försöker ”fix something that wasn´t broken”, med de eventuella skadliga sidoeffekter sådant okynnesreformerande kan föra med sig.

Inom samhällsvetenskapen är det dessutom välkänt att mätindikatorer efter ett tag förlorar sitt värde. Strategiska människor anpassar sig till vad som förväntas av dem, och försöker till slut uppnå bra värden på indikatorerna istället för att förbättra det indikatorerna är tänkt att mäta. Alla som någon gång försökt lista ut vad som ska komma på ett prov eller en tenta och pluggat på det förstår fenomenet, som kallas Campbells lag. Jonas Vlachos har skrivit ett inlägg om även detta.

Forskning visar att sådant beteende förekommer också i offentliga organisationer (se Bohte & Meier 2000 för en forskningsöversikt och ett exempel från skolor i USA). Överdrivet fokus på de här rankningarna skulle i värsta fall kunna leda till att kommunernas utvecklingsarbete påverkas till att handla om att förbättra sina värden på indikatorer i inflytelserika index snarare än att försöka lösa verkliga problem och intressera sig för verkliga utfall (snarare än att alltså försöka åtgärda problem som någon utifrån skapat åt dem genom ett metodkänsligt index, eller som mäter saker som kanske inte alltigenom är substantiellt relevant för det politikområde som står i centrum, som elevprestationer eller tillväxt).

En del kommuner gör nog tyvärr sitt för att legitimera och bekräfta betydelsen av dessa jämförelser. Visst, när en kommun rasar i något av indexen kan det förstås hända att de kritiserar den metod rankningarna bygger på. Men, det är sannolikt mer vanligt att kommuner toppar sina hemsidor nyheten om en fin placering i något index eller en hastig rörelse uppåt i en rankning – inte minst ser detta riktigt bra ut när kommunen marknadsför sig utåt. Och vem lyssnar egentligen på metodkritik från någon som tappat positioner? Sådana kommuner kan man definiera bort som ”dåliga förlorare”. För att kritiken mot rankningarna förmodade otillförlitlighet ska ta fäste krävs nog att också de relativa vinnarna anmärker på eventuella svagheter i termer av: ”Visst, jättekul att få utmärkelse X; men vi har ingen riktig aning om vad vi har gjort för att klättra i rankningen, och i ärlighetens namn är vi faktiskt inte riktigt säkra på att mätningen mäter det den säger sig mäta”.

Källor

Bohte, John & Kenneth J. Meier (2000). ”Goal Displacement: Assessing the Motivation for Organizational Cheating” Public Administration Review 60(2):173-82.

Hayek, Friedrich von (1960).The Constitution of Liberty. London: Routledge and Kegan Paul.

Knight, Jack & James Johnson (2011). The Priority of Democracy: Political Consequences of Pragmatism. New Jersey: Princeton University Press.

Wetterberg, Gunnar (2000). Kommunerna. Stockholm: SNS förlag.

Rövik, Kjell-Arne (2000). Moderna organisationer: trender inom organisationstänkandet vid millenieskiftet. Malmö: Liber.

Erlingsson, Gissur Ó, Jerker Moodysson & Richard Öhrvall (2011). Regional och lokal tillväxtpolitik: vad kan och bör offentliga aktörer göra. Östersund: Tillväxtanalys.

6 thoughts on “Vad lär vi oss egentligen av kommunrankningar?

  1. Ping: Input och output i tidningen Dagens Samhälle | Pontus Bäckström

  2. Utomordentligt bra. Bravo!

    Det kan dessutom vara på sin plats att påpeka att Fokus metodik att rangordna enligt ett antal observationer och sedan summera rangordningarna för att få en slutgiltig placering är matematiskt helt vansinnig, även om det hade varit rimligt att anta att de olika kriterierna har samma inbördes vikt (vilket ni ju tydligt påpekar knappast är fallet).

    Fokus misslyckas därmed både i teorin och i praktiken. Synd på en i övrigt bra tidning.

  3. Ping: Kan man mäta vad som helst? | Handelskammarens blogg om näringsliv och samhälle

  4. Ping: Bättre i Värmdö enligt tidningen Fokus - martenssonsmeningar.se

  5. Det är bra att mäta variabler men fel att summera dem till en slutsiffra och ännu värre att sedan rangordna dem och tro att man utser ”Sveriges bästa kommun”. Det är ungefär lika trovärdigt som att utse ”Sveriges bästa bil” av den enkla anledningen att våra behov och önskemål är enormt individuella. Att en öppen två-sitsig Porsche kanske är ”bäst” för en 20-åring i södra sverige innebär knappast att den är ”bäst” för en 4-barnsfamilj i glesbygd i norra Sverige. Ännu mer patetiskt blir det när man inför kategorier som ”här är det bäst att vara äldre” och försöker skriva oss på näsan vad vi ska tycka. Att Arjeplog t ex skulle vara bäst i den kategorien blir för mig helt absurt eftersom jag inte skulle kunna tänka mig att bo norr om norra skåne pga klimatskäl och annat. Samtidigt kan andra ha helt annorlunda krav. Havsutsikt kan ju vara trevligt men det innebär också ofta kallt och blåsigt. Vilket väger tyngst? Också väldig skillnad att ha havsutikt i östra Sverige vilket innebär skugga och att ha det i västra Sverige vilket innebär kvällsol och vackra solnedgångar. Däremot är det som sagt bra att mäta ett antal variabler men låt människor själva göra sin egen slutbedömning. Förstår att det är ska ge lockande rubriker med rangordningar men jag tycker det förtar det som faktiskt är bra i artikeln. Varför inte göra en enkel applikation på nätet där man själv kan välja vilka variabler man tycker är relevanta och sedan sätta en vikt på dem och därefter räkna ut en egen individuell slutsiffra vilken faktiskt skulle kunna påverka mitt beslut om var jag skulle vilja bosätta mig. Rimligen skulle det kunna ge väldigt intressant statistik om vad folk tycker.Som det är utformat nu så är det tämligen intetsägande. Synd med tanke på hur mycket arbete som måste ligga bakom.

  6. Spännande genomgång. Vill bara påpeka att frågan om huruvida lärares hälsa egentligen har någon koppling till elevernas resultat nu är löst. Vi kan visa att det finns ett samband på kommunnivå mellan lärares sjuktal och elvernas resultat: för varje procentenhet som sjuktalet stiger minskar meritpoängen i årskurs 9 med 1,4 respektive har en halv procentenhet färre 20-åringar slutfört gymnasiet om man kontrollerar för de sedvanliga socioekonomiska variablerna som förklarar skolframgång. Se http://www.lararforbundet.se/web/ws.nsf/documents/0043F665?OpenDocument&menuid=003FAAB2

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s