Ranking. Igen.

Metro hade idag en artikel om debatten kring ranking. I artikeln får Pär Gustafsson, ordförande för Liberala studenter, och Moa Neuman, ordförande för Sveriges Förenade Studentkårer, uttala sig för respektive mot rankingsystem.

I intervjun kommenterar Pär Gustsfsson det hela bland annat så här:

– Jag tror att Högskoleverket kan göra rankningen på ett bra sätt och jag är faktiskt inte så intresserad av hur.

Och därmed har han gjort precis det misstag jag är rädd för när man talar om ranking. Att mäta kvaliteten på en utbildning eller en utbildningsmiljö kan vara en bra idé eftersom det kan ge indikatorer på var brister kan tänkas finnas och inom vilka områden excellens uppnås. Men då krävs det att man vet vad det är man faktiskt mäter. Vilken statistiker som helst kan intyga att statestik tagen ur sin kontext blir meningslös.

Ett tack till Moa Neuman som gör sitt jobb att försöka representera alla studenter och itne bara de med en viss, smal politisk inriktning…

 

Det här med rankinglistor igen

Ja, jag får väl återkomma till ämnet igen. Ranking av högskolor och lärosäten är ju på tapeten så fort det kommer en ny lista. Särskillt medialt blir det ju när det är en inhemsk lista så att alla småhögskolor får vara med. Då är det kanske inte så konstigt att något så perifert som Sydsvenska handelskammarens rankinglista väcker uppståndelse i Örebro, Karlskrona, Östersund, Uppsala och många andra ställen.

Jag skrev ett inlägg om detta i juni som fortfarande känns relevant. Dessutom har en god vän till mig gjort ett mycket bra inlägg nyligen.

Man kan få en rankinglista att visa vad som helst. Inte så konstigt kanske, det är ju bara statistik. Även om jag känner mig mycket kritisk till hela konceptet så finns det de som tänker åt rätt håll. Urank kom nyligen med sin egen ranking. Lovvärt är att Urank uttryckligen talar om problemen med rankinglistor, och gör en god analys av var felen ligger. Nu när HSV ska göra en svensk standardranking är det nog på sin plats att vara självkritisk.

 

Anatomy of a Ranking

Så var det dags igen – att hitta ett enkelt, mätbart värde för precis hur bra ett lärosäte eller en utbildning är. Dags att hitta hur mycket av SI-enheten Kvalitet (förkortat: Bra) man kan uppmäta. Är det 23 Bra eller bara 14,7 Bra?

Sydsvenska Industri- och Handelskammaren har precis publicerat sin rankinglista. Alla måste kommentera detta! Skövde ligger högt, Blekinge Tekniska Högskola klättrar, Högskolan Väst är näst sist, Lund går om Uppsala – och så vidare. Det viktiga är var man hamnar på listan.

Men inte i någon av ovan nämnda artiklar går man på djupet och analyserar vad rankingen faktiskt mäter. Vilket, som jag påpekat förr, är det viktiga. Därför tänkte jag nu visa hur ett avancerat rankingsystem fungerar.

Handelskammaren använder 8 olika faktorer (7 för de lärosäten som inte har forskarutbildning). Var och en av dessa normeras inom sig själv gämtemot riks-genomsnittet och läggs sedan samman med lika viktning mellan samtliga indikatorer. Alltså anser Handelskammaren att dessa indikatorer alla är exakt lika värdefulla för att visa på kvaliteten hos lärosätet. Någon motivering till det finns inte, så jag har svårt att ifrågasätta det ytterligare.

Innan jag går in ytterligare på de indikatorer som används vill jag påpeka att rankingen bara mäter lärosäten i det här fallet. Det betyder att det per definition är bättre att driva en enda utbildning med extremt höga värden än det är att driva 10 med nästan lika höga och en med dåliga värden. Att utbildningarna iallafall kan ha utbyte av varandra eller att vissa profiler har svårare att hävda sig i vissa indikatorer är inte något man tar hänsyn till. Istället drar man slutsatsen att det ska fungera så som metoden bygger på att det ska göra.

Indikator 1: Effektivitet i grundutbildningen. Ordet ”effektivitet” skrämmer mig en aning här, men låt oss inte hänga upp oss på ord utan titta på vilken data som används. Det här är egentligen två värden som vägs samman. Hur framfår inte av rapporten.

Det första värdet för indikatorn är ”examinationsgraden” – antalet studenter som börjar en utbildning delat med antalet som tar ut examen. Att många studenter på fristående kurser antningen inte ämnar ta ut examen eller väljer att inte göra trots möjlighet, är inget Handelskammaren problematiserar. Man bör ha korta program-utbildningar för att komma högt här.

Det andra värdet för den första indikatorn handlar om antalet poäng en student på lärosätet igenomsnitt har efter tre år. Precis som det första värdet så ökar lärosätets Bra-värde om man inte är så noggrann med att studenterna ska göra något för att få ut sina poäng. Detta är något som rapporten nämner (sidan 26), men bara konstaterar att man ”upprepat mätningen över sex år” och därför har ”modellen kvalitetsäkrats”. Jag frågar mig om det är den kvalitetsäkringen som gjort att man så noga kommit fram till att indikatorn ska viktas lika med övriga indikatorer…

Indikator 2: Studentattraktivitet. Här är det antalet studenter som väljer lärosätet i första hand vid ansökning. Lärosäten med få konkurenter i närheten missgynnas, medan de lärosäten som har ett stort rekryteringsområde. En tydlig marknadsföring är vägen till att öka i Bra. En risk är att de med rykte om sig att vara enkla ges bättre värde.

Indikator 3: Pedagogiska resurser. Helt enkelt antal lärare per student. Här missgynnas per automatik de som har en profil åt de områden med lägre resurstilldelning – humaniora och samhällsvetenskap. Teknik, medecin eller allra helst specialuppdrag (så som Sveriges Lantbruksuniversitet, SLU) eller det konstnärliga området hamnar högt upp! Dessutom bör man akta sig för att ha proffessorer med lite undervisning och mycket forskning i sin tjänst. Adjunkter är det som ska sköta undervisningen – och helst dåligt betalda sådana.

Indikator 4: Lärarkvalifikationer. Är liktydigt med andelen disputerade lärare. Här kompenserar vi lite för risken med ovanstående indikator. Lärare ska nu vara disputerade, men för att inte sänka den ovanstående indikatorn bör de vara lektorer och inte mer. Det finns ingen indikator i rankingsystemet som tar hänsyn till pedagogisk skicklighet.

Indikator 5: Internationellt utbyte. Är definierat som antalet in- och utresande inom ramen för utbytesprogram. De internationella studenterna som är utanför programmen (vilket är de allra flesta på master-nivå) räknas inte. Inte heller räknas internationellt forskarutbyte. Eller utländska föreläsare. Eller joint-programmes. Eller en massa andra indikatorer. Att befinna sig nära en gräns torde dock vara bra.

Indikator 6: Attraktiv forskning från företag. Detta är detsamma som mängden externa medel. Här gynnas generellt teknik och medicin kraftigt. Att bedriva cancerforskning är till exempel mycket attraktivt för externa finansiärer.

Indikator 7: Effektivitet i forskarutbildningen. Detta är den indikator som inte finns för de som inte har forskarutbildning – vilket jag förstår som att deras resultat inte påverkas av att de inte har det. Detta är liktydigt med det första värdet för indikator 1 – fast för forskarutbildningen och har samma problem som den indikatorn.

Indikator 8: Forskningsproduktivitet. Här har rapporten ett föredömligt långt resonomang om svårigheterna med att mäta produktiviteten. Den bestämmer sig ändå slutligen för att man ska använda antalet publicerade artiklar i de vetenskapliga tidskrifter som finns i databaserna hos Thomson Scientific. Detta rör mestadels tekniska, naturvetenskapliga och medecinska tidskrifter – så de områdena gynnas. Dessutom tenderar många humanister och samhällsvetare att fokusera på mer närliggande områden vilket gör att de missgynnas.

Så vad ska man då göra för att vara ett lärosäte av Kvalitet. Hur är finns det mycket Bra hos en? Jo, vi kan se några tendenser…

Man ska fokusera på medicin (Karolinska toppar listan), eller teknik (KTH på fjärde plats, Chalmers på femte). Man bör ha en specialinriktning som är lätt att marknadsföra och där ingen utökad verksamhet riskerar att dra ned värdet (SLU på andra plats) – vilket ses som en slutsats av Handelskammaren, inte ett resultat av metoden. Man bör vara ett gammalt, etablerat lärosäte som hunnit göra sig ett namn på den internationella arenan – i synnerhet forskningsmässigt (Lund på sjätte plats, Uppsala på sjunde. Listan fortsätter med de som är väl integrerade med omgivande näringsliv, vilket jag kan se en poäng i, men det är ofta delvis ett resultat av deras geografiska placering. Jag tänker inte ge exempel på lärosäten som kan tänkas ta sig mot toppen på listan genom att sänka sina kvallitetskrav för att öka lärartäthet, prestationsgrad och locka studenter till en enkel utbildning.

Mot botten av listan hittar vi lärosäten med en tydlig humanistisk eller samhällsvetenskaplig profil (Gotland är sist), man kan hitta de som skulle levt på interaktion med lokalt näringsliv men har hård konkurens från andra lärosäten (Kristianstad som har Lund på ena sidan och BTH på andra).

Detta är vad rankingen faktiskt innebär – en godtycklig sammanvägning av godtyckligt utvalda parametrar som inte mäter varesig god pedagogik, anställningsbarhet, eller någon av de andra hundratals tänkbara och svåravgjorda variabler som vissa personer eventuellt ser som en del av sin bild av Kvalitet.

Gör separata listor för varje indikator nästa gång, tack. Och berätta vad ni mäter – försök inte lura folk att tro att Lund är 112,0 Bra.

 

Det bästa inlägget

Även om andra mycket adekvat redan talat om detta känner jag ett behov av att lägga min röst till debatten och klaga på hur regeringen tänker.

Om man vill bedöma hur bra olika högskolor och universitet är så vore det väl smidigt om det fanns en lista som helt enkelt berättar vilka som är bättre och vilka som är sämre. Det måste vara så regeringen har tänkt då de givit högskoleverket i uppdrag att ta fram ett rankingsystem för Sverige.

Somliga håller med Lejionborg om att rankingen skulle skapa tydlighet, medens andra tror att rankingen kommer öka lärosätenas strävan efter kvalitet.

Men problemet i det hela är att man alltid måste tänka på vad man mäter. Somliga internationella system mäter till exempel utbildnings kvalitet helt på antalet forskare som vunnit nobelpris. Knappast en god indikator. Andra mäter helt pengar/student – men det gör automatiskt utbildning som kräver dyr laboratorieutrustning mer kvalitativ och helt oavsett skulle det inte fungera med den svenska tilldelningsmodellen.

Om rankingen bygger på forskningspriser – är det vad vi vill berätta för blivande studenter? Om den mäter pengar/student så kommer alla lärosäten att sträva efter att bara ha teknologer, läkare eller konstnärer eftersom det skulle ge högst ranking.

En ranking mäter inte kvalitet. Den mäter siffror som någon tog fram för att man ville ha siffror. Verkligheten är inte riktigt så enkel. Att tro att världen fungerar på ett enkelt mätbart sätt är en förbryllande korkad idé.

Tacka vet jag det här inlägget – det är ändå det bästa inlägget. Det är ju det som är skrivet närmast idag, och det är grunden för min ranking.

 

Bäst, sämst eller mittemellan

Varför är universitetsvärlden så vansinnigt fokuserad på rankinglistor?

Årligen kommer det från olika delar av världen en handfull rankingar av denna jordens alla universitet (i alla fall de som är tillräckligt ”bra”). En rankinglista är ju något så simpelt som en uppräkning av alla universitets namn på så sätt att man antar att den som står först är bäst och den som står sist är sämst. Allt väl så långt. Men vad ska man då tro när olika rankingar säger olika saker. Kan mer än en vara bäst?!

Regeringen beslutade i förra veckan att uppdra åt Högskoleverket att utreda ”kartlägga och analysera system för rankning av universitet och högskolor”, eller som universitetskansler Anders Flodstöm uttrycker det – Vi ska ranka rankingarna. Detta är naturligtvis påkallat eftersom det uppenbarligen finns ett stort intresse i akademin att ranka, men ingen vet hur man ska göra eller vem man ska lyssna på. Det finns en förhoppning, både hos mig och akademin, att rankingen ska säga något om kvaliteten på lärosätenas utbildning och forskning. Min erfarenhet efter att ha deltagit i Lunds universitets kvalitetsarbete i snart ett år är dock att man egentligen har en ganska dålig koll på vad som är kvalitet. Detta är ett klassiskt statistiskt-byråkratiskt problem:

– Kan vi få in de här mycket specifika uppgifterna?

– Det är ganska svårt att ta fram dem. Vad ska ni ha dem till?

– Det ska bli en statistisk analys.

– Jaha, men hur kommer detta till nytta? Vad är det ni mäter?

– Det vet vi inte. Men vi vet att det GÅR att mäta.

För några år sedan, när jag var ung och oförstörd och inte hade läst på universitetet, hade jag hållt med statistikern. Det är sjukt lockande för mig som naturvetare att plocka fram alla data jag kan hitta och sätta mig och vrida och vända på dem tills jag har fått fram resultat. Nu när jag har plockat på mig lite erfarenhet har jag insett att man måste ha en idé om vad man vill mäta innan man mäter det. Det är en dödsynd i sammanhanget att falla för att bara mäta det som är lätt att mäta. Gerd Lindgren, prorektor vid Karlstad universitet, sätter tydligt fingret på detta.

Det lärosäte i Sverige som oftast kommer högst på internationella rankinglistor är Karolinska institutet i Stockholm (KI). KI är också ett av sex lärosäten i Sverige som ger läkarutbildning, och naturligtvis har läkarutbildningen på KI högst anseende i Sverige. Förra året genomförde HSV en utvärdering av alla läkarutbildningar i Sverige, och KI fick sämst betyg av alla. Finns det anledning för studenterna vid KI att vara oroliga? Nej, knappast! Det finns fyra skäl till detta:

• Studenterna vid KI tror att KI är bäst
• Lärarna vid KI tror att KI är bäst
• Studenterna vid andra lärosäten tror att KI är bäst
• Arbetsgivarna tror att KI är bäst

Det finns alltså goda skäl för universiteten att komma högt upp i rankinglistorna, psykologiskt. Finns det andra skäl? Knappast.

Regeringen, med högskole- och forskningsminister Lars Leijonborg i spetsen motiverar beslutet att utreda rankingsystem med att ”blivande studenter behöver få kännedom om kvalitetsskillnader mellan lärosäten för att på så sätt stimulera konkurrens och ge studenterna bättre besluts-information när de ska välja lärosäten och utbildning. Även företag och arbetsgivare har setts som en målgrupp då rankning kan vara ett hjälpmedel för att rekrytera studenter från de lärosäten som har högst kvalitet.” Ja, kan HSV presentera en jättejättebra rankinglista så kommer säkert alla de fördelar som nämns här till sin rätt. Men ingenstans i världen har ännu en sådan lista som har samfundets stöd presenterats.

Hmm, undrar varför Sverige vill ha ett eget system för att ranka lärosäten…