Kursanalys adk20

Kursanalysen är för kursomgången augusti 2020-januari 2021. Kursledare var Viggo Kann och Stefan Nilsson.

Beskrivning av kursanalysprocessen

Trots upprepade uppmaningar och vädjanden var det tyvärr inga studenter på kursen som anmälde sig som kursrepresentanter.

Eftersom kursen gavs på distans istället för på campus på grund av Coronapandemin så var det extra viktigt med återkoppling. Därför höll kursledarna kontinuerlig kontakt med assistenter under kursen och försökte pejla studenternas åsikter under föreläsningarna. Efter kursens slut (dagen efter teoritentan) genomfördes en kursenkät via KTH:s ordinarie kursenkätsystem. Via årskursrepresentanter för datateknik årskurs 3 kunde vi hitta några studenter som fick tillgång till sammanställningen av kursenkätsvaren, en sammanställning av resultatdata och en preliminär kursanalys och som kunde komma till kursmötet den 1 mars 2021 och diskutera kursens genomförande och kursutveckling tillsammans med kursledarna, tre av fyra övningsassistenter och en stor del av övriga assistenter på kursen. Viggo hade därefter ett separat möte med den fjärde övningsassistenten.

Resultatdata för adk20

Kursenkät för adk20 (59 svar)

Kursmöte för kursens lärare och assistenter och studentrepresentanter

Beskrivning av kursomgångens genomförande och utveckling sedan föregående kursomgång

Kursomgången adk20 hösten 2020 utmärkte sig genom att all undervisning och examination gavs digitalt på distans istället för på campus. Mycket kursutvecklingsarbete gjordes under sommaren 2020 för att detta skulle vara möjligt. Föreläsningsbilderna digitaliserades, nya quiz togs fram för labbteoriredovisningar, övningsmästarprovsredovisningar och tentaförberedelse, digitala bedömningsprotokoll utvecklades. Alla föreläsningar utom en spelades in och inspelningarna gjordes tillgängliga under 3 dagar efter föreläsningen samt inför mästarprov och tenta, totalt 14 dagar för att vi inte skulle bryta mot tillgänglighetslagstiftningen. 

Se kursöversikten och en lista över kursutvecklingen som gjordes.

Några observationer från resultaten i adk20 jämfört med tidigare år

• Betydligt fler kursdeltagare (256 mot 212 i adk19)
• Samma examinationsgrad (dvs andel studenter klara med hela kursen: 66%)
• Sämre resultat på varje delmoment, alltså sämre prestationsgrad (72% mot 83%)
• Sämre medelbetyg, speciellt på mästarprov 1 (1,7 mot 2,2, alltså ett halvt betygssteg lägre)
• Fler redovisade labbar i tid och redovisade labbteoriuppgifterna

Tolkning: Det finns en grupp studenter som klarat mycket få moment i kursen. Motsvarande grupp studenter har tidigare år klarat flera men inte alla moment. Det kan vara studenter som har svårt för att studera på distans.

Några kommentarer till kursenkäten

Rättningen av tentan ansågs hård och en grupp studenter har svarat lågt på frågan om ifall bedömningen i kursen var rättvis.
Enkäten släpptes dagen efter tentan, så studenterna hade tentarättningssessionen i färskt minne.
Rättningen var inte hårdare än vanligt, och 88% av tentanderna fick godkänt på tentan. Ur lärarnas perspektiv var problemet att många studenter skrev i chatten under tentarättningssessionen och klagade på att rättningsmallen var för hård, framför allt i frågorna där det gällde att ge en definition av ett begrepp. Det gav tentanderna uppfattningen att rättningen inte var rättvis, även om dom själva blev godkända. 
Nästa år tänker vi uppmana studenterna att studera rättningsmallen för föregående års tenta i förväg. Vi kommer dessutom att utforma ett Canvasquiz som visar på felaktiga och korrekta definitioner av begrepp och fullständiga och ofullständiga motiveringar av påståenden, som därmed visar vad som krävs av en definition och en motivering. Om rättningssessionen genomföras digitalt kommer chatten att vara avstängd.

Vissa studenter tycker att labbkursen är väldigt krävande medan andra tycker att labbkursen är för enkel. Labbarna är utformade för att belysa teorin i kursen och samtidigt träna på några autentiska situationer för en programutvecklare. Labbkursen är 4 hp vilket motsvarar 107 arbetstimmar för 5 labbar och görs i par. Ingen labb kräver att man skriver mycket programkod. Det finns labbteoriuppgifter som hjälper studenterna att angripa labbarna på rätt sätt. Labbinstruktionerna är noggrant formulerade och utprovade under många år. Mästarprovsinstruktionerna kontrolleras av både lärarna och flera assistenter innan dom publiceras. Ändå är ett förbättringsförslag i kursenkäten: "Be någon men kunskaper i svenska läsa igenom labblydelser, mästarprovsuppgifter, tentafrågor etc, 80% av tiden ska inte gå till att försöka förstå vad ni försöker säga." Kanske har distansundervisningen gjort att svaga studenter inte fått stöd från andra studenter och lärare med att förstå instruktionerna på samma sätt som tidigare.

Den som uppfyller behörighetskraven för kursen borde inte ha problem att förstå instruktionerna eller att göra labbuppgifterna. Vad är det som brister?

Kommentaren "Föreläsningarna borde vara mer förankrade i det praktisk arbete vi gör." tyder på en uppfattning att labbkursen är det viktiga i kursen och att undervisningen borde gå ut på att stödja studenterna i arbetet med den. I själv verket är labbkursen främst införd för att stödja studenterna med att ta till sig det teoretiska innehållet i kursen. Internationellt sett är kurser i algoritmer och komplexitet rent teoretiska, vilket gör att studenter har svårt att motivera sig och att tillämpa teorin vid programutveckling. För varje labb i kursen finns det angivet vilka föreläsningar och vilka sidor i kursboken som den bygger på. Tio av kursens föreläsningar är direkt kopplade till labbkursen. Sexton av kursens föreläsningar är kopplade till mästarproven. Även för tentauppgifterna var det i år angivet vilka föreläsningar dom var kopplade till, i år totalt 8 föreläsningar. Förutom repetitionsföreläsningar var det bara 6 av kursens 33 föreläsningar som inte var direkt kopplade till examinationen i år. Vid teoritentan görs av platsskäl ett urval av vilken teori som tas upp.

Flera kommentarer kritiserar att föreläsningar ligger klockan 12-13 ("lunchföreläsningar"). Anledningen till detta är att schemaläggningen har ont om stora föreläsningssalar och att entimmesföreläsningar gärna bokas in 12-13 för att det finns plats i salarna då. Vi har skrivit i schemaunderlaget att om föreläsningar bokas in 12-13 så måste det vara ledigt för studenterna antingen 10-12 eller 13-15. Kursen läses dock av många studentgrupper, och framför allt studenter som gått öppen ingång och sedan börjat på datateknik i årskurs 2 har haft undervisning både före och efter lunch. Om föreläsningen legat en annan tid hade studenterna å andra sidan troligen haft schemakrock istället. Hösten 2020 gavs kursen helt på distans så det fanns egentligen inget salsbokningsskäl för att föreläsningarna måste ligga 12-13. Dock var schemat lagt långt innan beslutet om distansundervisning togs.

Kursutveckling till nästa kursomgång

• Ny större korpus till labb 1.
• Uppdatera instruktionerna till labb 5 och extralabben, peka på vad lokalsökning är och ta upp det på samma sätt i heuristikföreläsningen.
• Erbjud mästarprovsredovisningar både fysiskt och digitalt.
• Ha olika långa mästarprovsredovisningar beroende på hur många uppgifter som ska redovisas.
• Gör tentaförberedelsequizfrågor som övar på vad som är en godkänd definition och vad som är en övertygande motivering (med kryssfrågor).
• Påminn på föreläsningar och övningar om att ADK-kursens fokus inte är programmering utan teoretisk algoritmdesign.
• Tillgänglighetsanpassa alla föreläsningsbilder.
• Fundera på diskussionsforum för kursen (Discord/Slack/Canvas), helst där man kan ställa frågor anonymt.
• Om föreläsningarna ska ges i Zoom, fundera på hur textning kan genomföras.
• Dela upp videorna till existerande omvända föreläsningarna om reduktioner och intro till komplexitet i mindre delar och inför instuderingsfrågor till dessa.
• Fundera på om fler föreläsningar ska vändas (förinspelade videor med instuderingsfrågor). 
• Ta upp pseudopolynomi mer (för högre betyg).
• Lägg till exempel på när stopproblemet kan vara svårt.
• Lägg in en timme före varje omvänd föreläsning då studenter kan titta på videor och göra förberedelseuppgifter.