1. Databegränsade situationer
- Relevanta icke-linjära transformationer
- Kernel-tricket och kernel-regression
- Samband med Support Vector Machine
- Slumpmässiga särdrag (features) och neuronnät
- Few-shot lärande
2. Implementeringsfrågor och strategier i djupa neuronnät
- Icke-konvexa problem, gradientsökning och bakåtpropagering,
- Träningsfrågeställningar för djupa neurala nätverk, försvinnande och exploderande gradientproblem
- Träning i att använda olika optimeringsmetoder, t.ex. stokastiska gradientmetoder, RMSprop, AdaDelta, Adam, Dropout, dataförstärkning, etc.
- Obalanserade dataproblem och användbara trick, såsom dataförstärkning
- Korsvalideringstekniker och modelloptimering för att bemöta överanpassning, exempelvis rutnätssökning, slumpmässig sökning, k-fold, stratifierat k-fold, drop-out, bias-variansavvägning för modelluppföljning.
3. Strukturerade djupa neuronnät
- AlexNet, VGG-16, U-Net, ResNet, DenseNet, SciNet, etc.
4. Generativa modeller.
- Implicita och explicita modeller
- Generativa rivaliserande (adversarial) nätverk (GAN)
- Avkodare, såsom variational auto-encoder (VAE), denoising auto-encoder
- DC GAN, Cycle GAN
- Normaliserade flödesmodeller och likelihood-beräkning
- Verkliga NVP- och Glow-modeller
- Blandade strömningsmodeller med expectation-maximization och gradientsökning
5. Djupa neuronnät för dynamiska signaler
- Rekursiva neuronnät (RNN), t.ex. LSTM, reservoir computing,
- Gömda Markovmodeller (HMM)
- HMM baserad på normaliserad strömning
- Uppmärksamhetsmekanismen
6. Inkrementellt lärande, överföringslärande
- Lärande utan att glömma, inkrementellt lärande
- Överföringslärande via förträning, överföringslärande med GAN
EP232U Djupa neuronnät 5,0 hp
Denna kurs är avvecklad.
Sista planerade examination: VT 2025
Avvecklingsbeslut:
Ingen information tillagdInformation per kursomgång
Kursomgångar saknas för aktuella eller kommande terminer.
Kursplan som PDF
Notera: all information från kursplanen visas i tillgängligt format på denna sida.
Kursplan EP232U (HT 2020–)Innehåll och lärandemål
Kursinnehåll
Lärandemål
Efter godkänd kurs ska studenten kunna
- redogöra för idéerna bakom träning och testning av djupa neuronnät
- förklara när neuronnät kan och inte kan användas
- välja lämpligt neuronnät för olika praktiska problem.
Kurslitteratur och förberedelser
Särskild behörighet
- Kunskaper i envariabelanalys motsvarande IX1304 Matematik 7,5 hp
- Kunskaper i linjär algebra motsvarande SF1672 Linjär algebra 7,5 hp
- Kunskaper i sannolikhetsteori motsvarande SF2940 Sannolikhetsteori 7,5 hp
- Kunskaper i programmering motsvarande DD1315 Programmering och Matlab 7,5 hp
- Gymnasiekursen Engelska B/6
Rekommenderade förkunskaper
Utrustning
Kurslitteratur
Examination och slutförande
När kurs inte längre ges har student möjlighet att examineras under ytterligare två läsår.
Betygsskala
Examination
- DEL1 - Workshop, 1,0 hp, betygsskala: P, F
- INL1 - Inlämningsuppgifter, 4,0 hp, betygsskala: P, F
Examinator beslutar, baserat på rekommendation från KTH:s handläggare av stöd till studenter med funktionsnedsättning, om eventuell anpassad examination för studenter med dokumenterad, varaktig funktionsnedsättning.
Examinator får medge annan examinationsform vid omexamination av enstaka studenter.
Övriga krav för slutbetyg
Närvaro och presentation vid avslutande workshop är obligatoriskt för att få godkänt på kursen. Workshopen arrangeras på ett virtuellt sätt. Om en student ej kan delta i workshopen måste hen skicka sin presentation och läraren kommer att göra en kort muntlig examination.
Möjlighet till komplettering
Möjlighet till plussning
Examinator
Etiskt förhållningssätt
- Vid grupparbete har alla i gruppen ansvar för gruppens arbete.
- Vid examination ska varje student ärligt redovisa hjälp som erhållits och källor som använts.
- Vid muntlig examination ska varje student kunna redogöra för hela uppgiften och hela lösningen.