EP235U Djupa neuronnät 5,0 hp

1. Databegränsade situationer

• Relevanta icke-linjära transformationer
• Kernel-tricket och kernel-regression
• Samband med Support Vector Machine
• Slumpmässiga särdrag (features) och neuronnät
• Few-shot lärande

2. Implementeringsfrågor och strategier i djupa neuronnät

• Icke-konvexa problem, gradientsökning och bakåtpropagering,
• Träningsfrågeställningar för djupa neurala nätverk, försvinnande och exploderande gradientproblem
• Träning i att använda olika optimeringsmetoder, t.ex. stokastiska gradientmetoder, RMSprop, AdaDelta, Adam, Dropout, dataförstärkning, etc.
• Obalanserade dataproblem och användbara trick, såsom dataförstärkning
• Korsvalideringstekniker och modelloptimering för att bemöta överanpassning, exempelvis rutnätssökning, slumpmässig sökning, k-fold, stratifierat k-fold, drop-out, bias-variansavvägning för modelluppföljning.

3. Strukturerade djupa neuronnät

• AlexNet, VGG-16, U-Net, ResNet, DenseNet, SciNet, etc.

4. Generativa modeller.

• Implicita och explicita modeller
• Generativa rivaliserande (adversarial) nätverk (GAN)
• Avkodare, såsom variational auto-encoder  (VAE), denoising auto-encoder
• DC GAN, Cycle GAN
• Normaliserade flödesmodeller och likelihood-beräkning
• Verkliga NVP- och Glow-modeller
• Blandade strömningsmodeller med expectation-maximization och gradientsökning

5. Djupa neuronnät för dynamiska signaler

• Rekursiva neuronnät (RNN), t.ex. LSTM, reservoir computing,
• Gömda Markovmodeller (HMM)
• HMM baserad på normaliserad strömning
• Uppmärksamhetsmekanismen

6. Inkrementellt lärande, överföringslärande

• Lärande utan att glömma, inkrementellt lärande
• Överföringslärande via förträning, överföringslärande med GAN

Efter godkänd kurs ska studenten kunna

• redogöra för idéerna bakom träning och testning av djupa neuronnät
• förklara när neuronnät kan och inte kan användas
• välja lämpligt neuronnät för olika praktiska problem.

• Kunskaper i envariabelanalys motsvarande IX1304 Matematik 7,5 hp
• Kunskaper i linjär algebra motsvarande SF1672 Linjär algebra 7,5 hp
• Kunskaper i sannolikhetsteori motsvarande SF2940 Sannolikhetsteori 7,5 hp
• Kunskaper i programmering motsvarande DD1315 Programmering och Matlab 7,5 hp
• Gymnasiekursen Engelska B/6

• INL1 - Inlämningsuppgifter, 4,0 hp, betygsskala: P, F
• DEL1 - Workshop, 1,0 hp, betygsskala: P, F

Examinator beslutar, baserat på rekommendation från KTH:s handläggare av stöd till studenter med funktionsnedsättning, om eventuell anpassad examination för studenter med dokumenterad, varaktig funktionsnedsättning.

Examinator får medge annan examinationsform vid omexamination av enstaka studenter.

När kurs inte längre ges har student möjlighet att examineras under ytterligare två läsår.

Närvaro och presentation vid avslutande workshop är obligatoriskt för att få godkänt på kursen. Workshopen arrangeras på ett virtuellt sätt. Om en student ej kan delta i workshopen måste hen skicka sin presentation och läraren kommer att göra en kort muntlig examination.

• Vid grupparbete har alla i gruppen ansvar för gruppens arbete.
• Vid examination ska varje student ärligt redovisa hjälp som erhållits och källor som använts.
• Vid muntlig examination ska varje student kunna redogöra för hela uppgiften och hela lösningen.