Pisa övertolkas alltid i den politiska debatten, tycker Christian Lundahl, professor i pedagogik vid Örebro universitet.

– Man vill gärna stå där som minister och berätta hur bra det går, men man tänker kanske inte på hur försiktig man behöver vara. Man går ut med lite för stora sanningsanspråk, som egentligen inget test kan leva upp till, och Pisa 2018 för Sveriges del då kanske i ännu mindre utsträckning än normalt, säger Lundahl, som bland annat forskar om internationella jämförelser inom skolan.

I Riksrevisionens nyligen publicerade granskning av det svenska elevurvalet till Pisa 2018 slås det fast att många elever som borde genomfört provet exkluderades av skolorna. Det finns därmed en risk för att resultatet blev bättre än vad det annars skulle blivit.

Osäker exkluderingseffekt

TT: Bör resultaten dras tillbaka?

– Nej. Man kan säga att de svenska resultaten fortsatte upp i Pisa 2018, men att det kan finnas en exkluderingseffekt som äter upp hela uppgången. Då är man ärlig med det.

Vad är då problemen med Pisa i stort?

– Förutom att det mäter endast tre av grundskolans alla ämnen finns ett handlingsutrymme vid genomförandet, precis som vid alla prov, som gör att resultaten bör tolkas försiktigt, säger Christian Lundahl.

– Vi har sett samma sak i studier av de nationella proven. De genomförs på väldigt olika sätt på skolorna, hur lärarna förhåller sig till eleverna, om man svarar på elevernas frågor under provgenomförandet och så vidare.

Samma sak gäller just hur elever får exkluderas från proven.

Tar ut svängarna

En studie om Kanadas Pisaresultat 2015 hade som slutsats att landet inte hade hamnat i topp om man exkluderat enligt gängse regler – och liknande diskussioner har förts kring resultat i Finland och Norge, säger han.

– Så jag tror att många länder tar nog ut svängarna så långt de kan inom ramen för OECD:s strikta men tolkningsbara regelverk.

Detta sammantaget för med sig en osäkerhet som bör beaktas. Har man lite tålamod är dock Pisa ett bra verktyg, framför allt om man tittar på resultaten tillsammans med andra internationella kunskapsstudier som Timss och Pirls, säger han.

– Gör man det har man en ganska bra indikator, och någon bättre finns inte trots bristerna.

Stefan Johansson, docent vid institutionen för pedagogik och specialpedagogik på Göteborgs universitet, arbetar just nu med en studie som bland annat undersöker elevers motivation till att genomföra Pisa. Han instämmer i det Christian Lundahl säger.

– Tillsammans med andra internationella mätningar är Pisa ett bra verktyg för att se hur kunskaperna utvecklas. Det finns inget bra komplement än, vi har inte den typen av nationella utvärderingar som kan jämföra kunskaper över tid på samma sätt.

För stora växlar

Han tycker också, trots det, att det politiskt ofta dras för stora växlar av Pisa.

– Det har man gjort i andra länder också, där Pisa sägs ligga bakom olika reformer. Det bör i stället ses som ett bidrag som tas med tillsammans med allt annat i diskussionen om skolsystemets utveckling.

Inte heller Johansson anser att Pisa 2018 bör "dras tillbaka". Hur mycket exkluderingen påverkade kan man inte med säkerhet veta, säger han och påpekar att det dessutom fanns elever som skulle ha skrivit Pisa men inte dök upp.

– Det är rimligt att tro att de som inte presterar så bra utgjorde bortfall, men det vet man inte. Det kan även vara bortfall bland högpresterande elever.

TT: Tycker du att Riksrevisionens rapport påverkar förtroendet för Pisa?

– Det tycker jag egentligen inte att den gör. Det jag läser in är att revisionen anser att Skolverket kan bli tydligare i sina instruktioner och följa upp skolans exkluderingar, till exempel.

Båda forskarna hoppas att Sverige tar fram egna prov som kan användas för att mäta utvecklingen över tid.

– Man ska inte lägga alla ägg i en korg. Vi behöver något utöver OECD och det är viktigt att Sverige som nation utvecklar egna instrument, säger Christian Lundahl.