Har Kornhall läst vår rapport?

I ett blogginlägg i Skolvärlden går Per Kornhall till angrepp mot vår uppmärksammade rapport, där vi kvantitativt analyserar hur elever från kommunala skolor och friskolor presterade i Pisa-mätningen. Inlägget är en blandning av misstänkliggöranden och felaktiga tolkningar av rapporten. Vi tycker därför att det är viktigt att bemöta den.

Vad säger vår rapport?

Vi genomför en analys över hur elever i fristående och kommunala skolor presterade i PISA 2012, innan och efter justering görs för bakgrundsvariabler. Det visar sig att elever i fristående skolor presterar bättre än elever i kommunala skolor, även när bakgrundsfaktorer hålls konstanta. Dessutom identifieras faktorer som kan potentiellt förklara friskolornas fördel (bättre skol- och studiemiljö, mer läxor och mer läraraktivitet) och faktorer som potentiellt kan förklara varför elever i fristående skolor inte presterade ännu bättre jämfört med i kommunala skolor än vad de faktiskt gjorde (något högre elevorienterad undervisning samt mer användning av ICT i undervisningen). Vi noterar därför att fristående och kommunala skolor bör lära av varandra.

Kornhall skriver: ”När det gäller metoder finns det ingen beskrivning av metoderna de har använt så att man kan bedöma kvaliteten”. Stämmer det?

Svaret är naturligtvis nej. I rapporten, som granskats av en docent i nationalekonomi, framgår hur beräkningarna har genomförts. I flera genomgående fotnoter (se fotnoter 4, 5, 6, 8-11, 14, 18, 22 och 25) diskuterar vi detaljerna i regressionsanalysen för läsare som är intresserade. Vi använder en statistisk modell som tar hänsyn till de plausibla värden som Pisa-resultaten baseras på, viktad för elevernas urvalssannolikhet, samt tar även hänsyn till bortfall i bakgrundsvariablerna. För att vara ännu mer exakt använder vi ett tilläggsprogram till STATA, utformat för att analysera internationella undersökningar, som Pisa, Timss och Piaac.

Det är inte rimligt att Per Kornhall missleder Skolvärldens läsare genom att påstå att en rapport där metodologin beskrivs i detalj inte beskriver metoden. Vi vet inte om Kornhall har läst vår rapport och missförstått analysen, eller om han medvetet lägger dimridåer. Hur som helst är hans påstående osaklig.

Kornhall menar att vi inte ”på ett acceptabelt sätt” förklarar varför vi valt de bakgrundsfaktorer som vi inkluderar. Men variablerna som vi använder är verkligen inga konstigheter.

Att hemförhållanden påverkar elevers resultat är välkänt och vi använder OECD:s egna index som mått på socioekonomisk bakgrund. Vi justerar även för invandringsbakgrund och språket som talas hemma – samt en rad andra variabler för att ta hänsyn till hemförhållanden. Dessutom genomför vi flera olika beräkningar, där vi lägger till olika kontrollvariabler – just därför att man ska kunna se hur mycket resultaten påverkas. Per Kornhall försöker misstänkliggöra analysen – men vad är egentligen kritiken?

Den som faktiskt läser vår rapport ser att vi genomför flera olika beräkningar, där vi tar med alla och ibland vissa kontrollvariabler – just för att se om det är så att urvalet spelar stor roll för resultaten. Resultaten blir i ekonometriska termer endast mer ”precisa” medan modellernas förklaringsvärde ökar markant – detta indikerar att variablerna är högst relevanta för elevers prestationer.

Samtidigt påstår Kornhall att man inte kan ”jämföra äpplen och päron” eftersom ”fristående skolor på grundskolan har en stark positiv segregation”.

Hela poängen med analysen är att justera för hemförhållanden på ett liknande men mer genomgående sätt än vad OECD gör – och dessutom ta hänsyn till skillnader vad gäller utländsk bakgrund.

Vi kan skriva ett mycket längre svar, men vår poäng framgår förhoppningsvis för den som läser så här långt. Vi vill också förklara för Skolvärldens läsare: vi är försiktiga med att tolka våra resultat som ett orsakssamband, eftersom man inte kan vara helt säker på det i sådana här analyser.

Delvis av det skälet analyserar vi även data från Pisa 2003. I Pisa 2003 var huvudämnet liksom 2012 matematik. Mellan 2003 och 2012 minskade om något friskolornas fördel vad gäller socioekonomisk bakgrund. Samtidigt fanns inga skillnader i resultat mellan fristående och kommunala skolor i Pisa 2003 efter att vi justerar för bakgrund – i matematik hade friskolorna om något sämre resultat, även om denna skillnad inte är statistiskt signifikant.

Skillnaden till friskolornas fördel växte alltså fram mellan 2003 och 2012, trots att friskolornas fördel vad gäller sammansättning om något minskade. Det går inte att vara helt säker, men detta indikerar i varje fall att osynliga skillnader i bakgrund inte förklarar friskolornas fördel i Pisa 2012.

Vår studie stödjer också tidigare nationalekonomisk forskning som finner att friskolorna på systemnivå om något har bidragit till att minska fallet i Timss (en annan internationell jämförelse över skolresultat). Vill vi verkligen förbättra skolan måste vi faktiskt börja ta till oss den kvantitativa forskningen på området.

Nima Sanandaji, vd tankesmedjan ECEPR

Gabriel Heller Sahlgren, forskare knuten till bland annat Institutet för Näringslivsforskning och tankesmedjan ECEPR