FID3024 System för skalbar maskininlärning 7,5 hp
Under de senaste åren har vi bevittnat framsteg inom hårdvaru- och programvarusystem vilka gjorde det möjligt för oss att träna komplexa maskinlärningsmodeller (ML) på massiva datamängder. För att nämna några av dessa hårdvaru- och programvarusystem kan vi hänvisa till ny generation av GPU:er, liksom öppna mjukvaruramverk som Apache Spark, TensorFlow och Ray. Dessutom har framstegen inom parallellisering, jobbschemaläggning och robusthet gjort det möjligt för oss att bygga komplexa ML-modeller mer effektivt och i skala. I denna kurs kommer vi att ge en omfattande kartläggning av de senaste trenderna i ML-systemdesign och presentera olika tekniker för att bygga sådana system. Kursen täcker huvudkomponenterna i ML-system, från grundläggande begrepp för ML till mer avancerade ämnen som parallellisering och robusthet i utformningen av ML-system. Deltagarna i kursen kommer att behöva reflektera över arrangemanget av olika tekniker, regler och riktlinjer för att bygga ML-system och föreslå möjliga förlängningar av tekniken från sina egna forskningsdomäner.
Information för forskarstuderande om när kursen ges
Period P1
Innehåll och lärandemål
Kursupplägg
Kursen består av sex moduler, där varje modul täcker ett annat forskningsområde inom ML-system. Varje modul har två sessioner, en föreläsningssession och en diskussionssession. Under lektionen för varje modul introducerar läraren sammanhanget och ger en översikt över veckans läsematerial. Studenterna har sedan en vecka att studera ämnet och gå igenom lässtoffet. De måste också lämna in en detaljerad granskning av de utvalda artiklarna. Sedan, under diskussionen för varje modul, granskar de och diskuterar ämnet och artiklarna i djupet. Målet med detta format är att både bygga en behärskning av materialet och att utveckla en djupare förståelse för hur man ska utvärdera och granska forskning och förhoppningsvis ge insikt i hur man skriver bättre artiklar, kan identifiera öppna forskningsfrågor och behöver ytterligare forskning.
Kursinnehåll
Kursen täcker följande ämnen i samma ordning
- Grundläggande ML, t.ex. generalisering, back-propagering, etc.
- Parallellisering, t.ex. dataparallell, modellparallell
- AutoML, t.ex. hyperparameteroptimering, meta-inlärning och Neural Architecture Search (NAS)
- Schemaläggning och optimering, t.ex. modellkomprimering, gradientkomprimering etc.
- Robust inlärning, till exempel byzantin-elastiskt lärande
- ML-plattformar, t.ex. TensorFlow, Ray, Mllib
Lärandemål
Efter godkänd kurs ska studenten kunna:
- Visa systematisk förståelse av ML-system och förmåga att vetenskapligt analysera och kritisera deras komponenter.
- Reflektera över idéer och tekniker relaterade till ML-system med insikt om deras möjligheter och begränsningar.
- Undersök hur ML-system för närvarande används och utvärdera hur de kan användas för nya ändamål och under olika applikationsdomäner.
- Identifiera behovet av ytterligare kunskap för att förbättra ML-system.
Kurslitteratur och förberedelser
Särskild behörighet
Registrerad som doktorand.
Rekommenderade förkunskaper
Kursens målstudenter är huvudsakligen doktorander i datavetenskap, informations- och kommunikationsteknologi, doktorander inom elektroteknik. Men även andra doktorander vilka är intresserade av att lära känna till arkitekturen och grunderna i moderna ML-system är välkomna. Studenterna ska vara bekanta med grunderna för ML, distribuerade system och ha god programmeringskunskap, särskilt i Python eller Scala.
Utrustning
Ingenting
Kurslitteratur
The course in mainly based on the research papers.
Examination och slutförande
När kurs inte längre ges har student möjlighet att examineras under ytterligare två läsår.
Betygsskala
Examination
- EXA1 - Examination, 7,5 hp, betygsskala: P, F
Examinator beslutar, baserat på rekommendation från KTH:s handläggare av stöd till studenter med funktionsnedsättning, om eventuell anpassad examination för studenter med dokumenterad, varaktig funktionsnedsättning.
Examinator får medge annan examinationsform vid omexamination av enstaka studenter.
Övriga krav för slutbetyg
Kursen bedöms med godkänt betyg/godkänt, baserat på aktivt deltagande i diskussionsmötena samt en vetenskapligt sund granskningsrapport varje vecka. Utöver detta måste en godkänd student delta i minst 75% av alla föreläsningar och 75% av alla studentpresentationssessioner.
Möjlighet till komplettering
Möjlighet till plussning
Examinator
Etiskt förhållningssätt
- Vid grupparbete har alla i gruppen ansvar för gruppens arbete.
- Vid examination ska varje student ärligt redovisa hjälp som erhållits och källor som använts.
- Vid muntlig examination ska varje student kunna redogöra för hela uppgiften och hela lösningen.