UKÄs utvärdering av D-programmet

Universitetskanslersämbetet (UKÄ), tidigare Högskoleverket (HSV), har 2012-2013 utvärderat Sveriges ingenjörsutbildningar, däribland Datateknikprogrammet. Utvärderingsresultatet blev överraskande "Bristande kvalitet". I denna text förklaras utvärderingsprocessen och vad detta utvärderingsresultat betyder. Dessutom spekulerar författaren om hur omdömet kunde bli så.

I mars 2015 beslutade UKÄ att Datateknikprogrammet nu håller hög kvalitet.

Utvärderingsprocessen

(Citerat från UKÄ-utvärderingsrapporten 2013-10-28.)

Universitetskanslerämbetets (sic!) system för utvärdering av måluppfyllelse utgår från utbildningarnas resultat snarare än utbildningens förutsättningar och processer.

Processen vid utvärderingen har varit att först välja ett urval av högskoleförordningens mål att granska, definierat kriterier samt tillämpat dessa vid granskning och därefter gjort bedömningar av självvärderingarna kompletterad med intervjuer.

Kombinationen av att först granska självständiga arbeten och sedan självvärderingarna tillsammans med det faktum att omdömena till överväldigande del ska baseras på de självständiga arbetena ger denna utvärdering sin speciella karaktär. Det förtjänar dessutom att påpekas att de självständiga arbetena inte granskas på samma sätt som inför examination. Snarare ska de ses som underlag för att granska måluppfyllelse av de valda examensmålen i högskoleförordningen.

Som stöd för gränsdragning mellan bristande och hög måluppfyllelse för bedömning av underlaget självständiga arbeten har Universitetskanslersämbetets riktlinjedokument ”Stöddokument för gränsdragning mellan bristande och hög måluppfyllelse i matriser för självständiga arbeten” (reg. Nr 111-5-13) används som utgångspunkt. Om andelen självständiga arbeten med bristande måluppfyllelse överstiger en tredjedel så erhåller målet omdömet bristande måluppfyllelse. För gränsdragningar mellan hög och mycket hög kvalitet har riktlinjen varit att om minst hälften av bedömningarna för ett mål visar på mycket hög kvalitet ges omdömet mycket hög kvalitet. Samma utgångspunkter har använts av samtliga kluster. Viktigt att påpeka är dock att detta har setts som just utgångspunkter och att om fördelningen av bristande arbeten ligger närmare gränsvärdet har även självvärdering och intervjuer använts för att komma till en säkrare bedömning.

Ingen viktning har skett mellan de olika examensmålen utan alla har bedömts lika viktiga. Däremot har viss viktning skett på delmålsnivå. När det gäller bedömningen av skriftlig och muntlig förmåga har den skriftliga förmågan vägt tyngre än den muntliga förmågan. Delmålen som inbegriper att ta hänsyn till samhälleliga och etiska aspekter har överlag varit svåra att kunna bedöma utifrån de självständiga arbetena men ibland även utifrån självvärderingarna. Självvärdering och intervjuer har därför generellt spelat en viktig roll i bedömningen av dessa delmål. Bedömargruppen har lämnat förslag till samlat omdöme för varje utbildning på en tregradig skala. Av förslaget har framgått hur väl studenterna bedöms ha nått de mål som utbildningen utvärderas mot med följande formulering:

• Omdömet bristande kvalitet ska ges om underlagen visar på bristande måluppfyllelse för något av examensmålen.
• Omdömet hög kvalitet ska ges om underlagen inte visar på bristande måluppfyllelse för något av examensmålen och förutsättningar saknas för att ge omdömet mycket hög kvalitet.
• Omdömet mycket hög kvalitet ska ges om underlagen visar på mycket hög måluppfyllelse för minst hälften av examensmålen och på hög måluppfyllelse för de övriga examensmålen.

Material som bedömdes i utvärderingen

Styrgruppen för utvärderingen valde ut sex stycken av högskoleförordningens mål för civilingenjörsutbildningen (mål 1, 2, 3, 7, 9 och 11) att utvärdera. Övriga sex mål har inte utvärderats.

Ett antal exjobb (samma sak som självständiga arbeten) utförda närmaste året före utvärderingens början har slumpats ut, anonymiserats och därefter granskats av expertbedömare, en bedömare per exjobb. Varje bedömare har fått avgöra för varje mål om det i exjobbet finns belägg för att det målet uppfyllts eller inte. Om minst en tredjedel av bedömningarna av ett mål blivit bristande kvalitet har hela målet fått omdömet bristande kvalitet. Om det har varit svårt att utläsa kvaliteten för något mål har en självvärdering gjord av lärosätet använts som komplement till exjobbsbedömningarna.

Utvärderingsresultat för civilingenjörsprogrammet Datateknik vid KTH

För D-programmet valdes 19 exjobb ut. För första målet fick sju stycken omdömet bristande kvalitet, alltså precis en tredjedel, vilket exakt var nivån för att bristande kvalitet skulle ges för målet. Övriga fem mål fick omdömet hög kvalitet.

Det föranledde bedömargruppen att avge följande omdöme:

Bedömargruppens förslag till samlat omdöme: Bristande kvalitet

Sammantaget visar underlagen på bristande måluppfyllelse för målen:

• visa kunskap om det valda teknikområdets vetenskapliga grund och beprövade erfarenhet samt insikt i aktuellt forsknings- och utvecklingsarbete;

Vad gäller övriga mål visar underlagen på hög måluppfyllelse. Den samlade bedömningen är att utbildningen håller bristande kvalitet. Utvärderade examensmål:

Viggos spekulationer

Urvalet av dom 19 exjobben var inte representativt för den utbildning som utvärderades, alltså det femåriga datateknikprogrammet som startade 2007. Av dom 19 exjobbarna var bara tre stycken antagna 2007 eller senare. Övriga 16 var antagna till det gamla 4,5-åriga programmet som hade ganska annorlunda mål. Speciellt fanns då inget mål om "insikt i aktuellt forsknings- och utvecklingsarbete", alltså det som bedömargruppen i första hand klagade på. Till exempel har en kurs i vetenskapsteori och forskningsmetodik lagts till i den femåriga utbildningen, varför antagna efter 2007 har blivit tränade i detta.

Den som antogs 2006 eller tidigare har kunnat välja en ograderad exjobbskurs med lägre krav än den som antagits till det femåriga programmet. I urvalet tillhörde bara ett exjobb den nya graderade exjobbskursen i datalogi och 14 tillhörde det gamla ograderade exjobbet. Fyra exjobb var gjorde på andra skolor än CSC och i andra ämnen än datalogi. Urvalet var snett även med tanke på den totala mängd exjobb som fanns till förfogande att välja bland. Sannolikheten för att ett korrekt slumpat urval skulle bli så snett är bara en på tusen, se konferensartikeln Blir exjobbsurvalet representativt?.

Det finns alltså inga belägg i utvärderingen för att exjobben gjorda av D-teknologerna på det nuvarande femåriga programmet skulle ha bristande kvalitet.

Vad händer nu?

Ett år efter att utvärderingsresultaten presenterades, alltså i slutet av oktober 2014, kommer UKÄ att vilja veta vilka åtgärder KTH har satt in för att komma tillrätta med "kvalitetsproblemen". Programansvarig för Datateknik och Grundutbildningsansvarig för CSC kommer att ta fram ett "åtgärdspaket" som kan presenteras och genomföras. Det är bara bra och naturligt att man arbetar med utveckling av kvaliteteten i programmet. UKÄ kommer i slutet av 2014 att avgöra ifall bedömningen ska ändras till "hög kvalitet", och om den gör det kommer allt att vara bra igen. Sannolikheten för ett nytt snedurval av samma dignitet skulle jag säga är försumbar.

Denna text är skriven av Viggo Kann 7 november 2013. Spekulationer och åsikter i texten är författarens egna.

Tillägg i mars 2015

UKÄ har efter att ha låtit granska åtgärdspaketet kommit fram till att Datateknikutbildningen håller hög kvalitet. Länk till beslutet.