Hoppa till huvudinnehållet

EL2810 Maskininlärningsteori 7,5 hp

Kursen introducerar de grundläggande begreppen och matematiska verktyg som utgör grunden för teorin om maskininlärning (ML). Kursen täcker särskilt teoretiska aspekter av inlärningsteori (PAC­ inlärbarhet, VC-teori) och de viktigaste ML-delområdena, inklusive övervakad inlärning Oinjär klassificering och regression, SVM och djupinlärning), oövervakad inlärning (kluster) och aktiv inlärning.

Välj termin och kursomgång

Välj termin och kursomgång för att se aktuell information och mer om kursen, såsom kursplan, studieperiod och anmälningsinformation.

Rubriker med innehåll från kursplan EL2810 (VT 2021–) är markerade med en asterisk ( )

Innehåll och lärandemål

Kursinnehåll

Ämne 1. Introduktion
Huvudtyper av lärande: väglett lärande, icke-väglett lärande och förstärkningslärande, och deras matematiska formalisering (inmatnings- och etikettutrymmen, hypotesklasser, förlustfunktion).
Ämne 2. PAC ram och empirisk riskminimering
Konceptet förmodligen ungefär korrekt (Probably Approximately Correct, PAC) lärbarhet. Orakelojämlikhet och avvägning mellan bias-varians. Empirisk riskminimeringsprincip. Överanpassning och No-Free-Lunch-satsen. Enhetlig konvergens.
Ämne 3. Koncentrationsskillnader
Markov-, Chebyshev- och Chernoff-gränser. Sub-gaussiskt slumpmässiga variabler. Hoeffdings lemma och ojämlikhet. Gränsskillnad (McDiarmid) ojämlikhet.
Ämne 4. Vapnik-Chervonenkis (VC) Teori
PAC-inlärbarhet för ändliga hypotesklasser. Splittring och VC-dimension. Sauer-Shelahs lemma. Rademachers komplexitet. Grundläggande teorem om PAC-lärande.
Ämne 5. Linjär klassificering och regression
Linjära prediktorer. Linjär klassificering. Perceptronalgoritmer. Tillämpning av VC-teori på flerlagriga neurala nätverk. Logistisk och linjär regression.
Ämne 6. Regularisering, stabilitet och optimering
Regulariserad riskminimering. Algoritmisk stabilitet och dess tillämpning på generaliseringsgränser för regulariserad riskminimering. Algoritmer för konvex inlärning: gradientnedstigning, nedgradering och stokastisk nedstigning.
Ämne 7. Stödvektormaskiner och kärnmetoder
Introduktion till SVM med hårda och mjuka marginaler. Prestationsgränser för SVM med hård och mjuk marginal. Inlärningsalgoritmer för SVM. Kärnmetoder; linjär separering med hjälp av inbäddningar. Kärntrick och representantens teorem; tillåtna kärnor.
Ämne 8. Djupa neurala nätverk
Neurala nätverk och representationssatser. Träning av neurala nät med backpropagation. Bortfall som en regulariseringsmetod. Nya resultat om förlustytan och lokala minima för neurala nätverk. Ny teoretisk utveckling som motiverar djupt lärande.
Ämne 9. Kluster. Klustervalidering och -algoritmer
Prestandamätvärden för kluster. Moderna klusteralgoritmer. Klustervärdering. K-medel och dess prestandagarantier. EM-algoritmen och dess prestanda för Gaussiska blandningar. Spektralkluster, slumpmässig matristeori och koncentration.
Ämne 10. Aktiv inlärning, onlineoptimering och sekventiellt beslutsfattande
Introduktion till banditproblem och förstärkningslärande. Avvägning mellan prospektering och exploatering. Grundläggande gränser via argumenten för måttändring. Exempel på algoritmer och deras garantier. Bästa policyidentifiering mot ångerminimering.

Lärandemål

Efter godkänd kurs ska studenten kunna

  • härleda och applicera de grundläggande teoretiska verktygen som används vid modern maskininlärning
  • beskriva kända prestationsgarantier för viktiga maskininlärningsalgoritmer.

Kursupplägg

Ingen information tillagd

Kurslitteratur och förberedelser

Särskild behörighet

Ingen information tillagd

Rekommenderade förkunskaper

Följande är rekommenderade förkunskaper, dock inget krav för att få läsa kursen

  • flervariabel analys, till exempel SF 1626 eller motsvarande
  • sannolikhetsteori och statistik, till exempel SF 1924 eller motsvarande
  • grundläggande numeriska metoder, till exempel SF1516 eller motsvarande

Utrustning

Ingen information tillagd

Kurslitteratur

Ingen information tillagd

Examination och slutförande

När kurs inte längre ges har student möjlighet att examineras under ytterligare två läsår.

Betygsskala

A, B, C, D, E, FX, F

Examination

  • HEM1 - Hemuppgift, 1,0 hp, betygsskala: P, F
  • HEM2 - Hemuppgift, 1,0 hp, betygsskala: P, F
  • LAB1 - Laboration, 1,0 hp, betygsskala: P, F
  • LAB2 - Laboration, 1,0 hp, betygsskala: P, F
  • TEN1 - Skriftlig tentamen, 3,5 hp, betygsskala: A, B, C, D, E, FX, F

Examinator beslutar, baserat på rekommendation från KTH:s handläggare av stöd till studenter med funktionsnedsättning, om eventuell anpassad examination för studenter med dokumenterad, varaktig funktionsnedsättning.

Examinator får medge annan examinationsform vid omexamination av enstaka studenter.

Möjlighet till komplettering

Ingen information tillagd

Möjlighet till plussning

Ingen information tillagd

Examinator

Etiskt förhållningssätt

  • Vid grupparbete har alla i gruppen ansvar för gruppens arbete.
  • Vid examination ska varje student ärligt redovisa hjälp som erhållits och källor som använts.
  • Vid muntlig examination ska varje student kunna redogöra för hela uppgiften och hela lösningen.

Ytterligare information

Kurswebb

Ytterligare information om kursen kan hittas på kurswebben via länken nedan. Information på kurswebben kommer framöver flyttas till denna sida.

Kurswebb EL2810

Ges av

Huvudområde

Datalogi och datateknik, Elektroteknik

Utbildningsnivå

Avancerad nivå

Påbyggnad

Ingen information tillagd