Seminarier med en föreläsningsdel och en problemlösningsdel
FEO3350 Informationsteori för statistik och lärande 12,0 hp
Informationsteori, maskininlärning och artificiell intelligens har varit överlappande områden under den tid de existerat som akademiska discipliner. Dessa ämnen överlappar i sin tur med teoretisk och tilläpad statistik. Denna kurs kommer gå igenom hur informationsteoretiska metoder kan användas för att förutsäga prestanda och gränser i statistisk beslutsteori och i metoder som lär algoritmer från data. Flera av de metoder kursen behandlar utvecklades ursprungligen för teoretiska studier av digital kommunikation men har nyligen funnit nya och/eller återupptäckta tillämpningar i teoretisk statistik. Kursens mål är att ge forskarstuderande inom regler- och beslutsteori, maskininlärning, AI, nätverksanalys samt informationsteori en solid introduktion till hur informationsteoretiska koncept och metoder kan tillämpas på problem inom statistik, beslutsteori och inlärande bortom deras mer traditionella användande inom kommunikationsteorin.
Information för forskarstuderande om när kursen ges
Första gången HT 2020. Sedan vart annat år.
Välj termin och kursomgång
Välj termin och kursomgång för att se aktuell information och mer om kursen, såsom kursplan, studieperiod och anmälningsinformation.
Kursval
Gäller för kursomgång
HT 2023 Start 2023-10-30 programstuderande
Anmälningskod
50960
Rubriker med innehåll från kursplan FEO3350 (HT 2020–) är markerade med en asterisk ( )
Innehåll och lärandemål
Kursupplägg
Kursinnehåll
Föreläsning 1: Grunder inom informationsteorin: Entropi, ömsesidig information, relativ entropi och f-divergens. Total variation och andra avståndsmetriker. Olikheter
Föreläsning 2: Rate-distortion teori: Kostnad vs information. Gränser. Blahutalgoritmen.
Föreläsning 3: Gränser på informationsflöde och behandling: Betingad ömsesidig information och relativ entropi. Dataprocessningsolikheter. Tillräcklig statistik och informationsflaskhalsen. Rate-distortion tolkning.
Föreläsning 4: Grunder inom statistisk beslutsteori: Parameterskattning. Bayes och minimax. Binära hypotestest.
Föreläsning 5: Informationsgränser på felsannolikhet och risk: Sampelkomplexitet. Informationsmetoden och rate-distortion. Fano olikheter.
Föreläsning 6: Maskinlärande och generalisering: Informationsgränser. VC-dimension och komplexitet.
Föreläsning 7: Klassisk skattningsteori. ML, Fischerinformation, informationsgränser, Cramer-Rao, Hammersley-Chapman-Robbins.
Föreläsning 8: Packning, täckning, Fano & minimax risk, metrisk entropi
Föreläsning 9: Le Cams method, informationsmetoden fortsatt. Densitetsestimering. Funktionsestimering.
Föreläsning 10: Dimensionskompression och avbrusning: Gles avbrusning, komprimerad sensing, nästan felfri analog kompression.
Föreläsning 11: Variationsmetoder: Variationsdefinition av divergens, Donsker-Varadhan. Variationsinferens och ELBO.
Föreläsning 12: Typmetoden.
Föreläsning 13: Informationsteori och storavvikelse: Informationsgeometri, informationsprojektioner, iterativa metoder, E-M
Lärandemål
För att bli godkänd i kursen skall studenten kunna:
- förstå vilka koncept inom informationsteori som är mest relevanta inom statistisk beslutsteori, signalbhandling och maskinlärande
- förstå och återge flera av de mest betydelsefulla bevisen som bygger upp teorin
- tillämpa och kombinera bevisteknikerna och tillvägagångssätten för att lösa fundamentala problem
- tillgodogöra, presentera och diskutera kunskap inhämtad från avancerade artiklar inom området
Kurslitteratur och förberedelser
Särskild behörighet
Ingen information tillagd
Rekommenderade förkunskaper
Krav: God förmåga (på avancerad nivå) inom analys, linjär algebra och sannolikhetsteori
Rekommenderad: Informationsteori motsvarande FEO3210; (måtteoretosk) sannoliketslära motsvarande FEO3230, optimeringsteori motsvarande SF3847
Utrustning
Ingen information tillagd
Kurslitteratur
Ett flertal böcker, föreläsningsanteckningar och artiklar inom området. Kursledarnas slides som görs tillgängliga via kursens hemsida.
Examination och slutförande
När kurs inte längre ges har student möjlighet att examineras under ytterligare två läsår.
Betygsskala
P, F
Examination
- EXA1 - Skriftlig examination, 12,0 hp, betygsskala: P, F
Examinator beslutar, baserat på rekommendation från KTH:s handläggare av stöd till studenter med funktionsnedsättning, om eventuell anpassad examination för studenter med dokumenterad, varaktig funktionsnedsättning.
Examinator får medge annan examinationsform vid omexamination av enstaka studenter.
Tickning i problemlösningsseminarier: Studenterna måste ange vilka problem de är beredda att lösa inför klassen. Lösningen diskuteras i seminariet mellan läraren och studenterna.
Muntlig examination angående grundläggande koncept inom kursen.
Övriga krav för slutbetyg
Studenten måste “ticka” minst 70% av problemen och dessutom presentera en godkänd lösning när man kallas fram. Tillräcklig kunskap visad vid muntliga förhör.
Möjlighet till komplettering
Ingen information tillagd
Möjlighet till plussning
Ingen information tillagd
Examinator
Etiskt förhållningssätt
- Vid grupparbete har alla i gruppen ansvar för gruppens arbete.
- Vid examination ska varje student ärligt redovisa hjälp som erhållits och källor som använts.
- Vid muntlig examination ska varje student kunna redogöra för hela uppgiften och hela lösningen.
Ytterligare information
Kursrum i Canvas
Registrerade studenter hittar information för genomförande av kursen i kursrummet i Canvas. En länk till kursrummet finns under fliken Studier i Personliga menyn vid kursstart.
Ges av
Huvudområde
Denna kurs tillhör inget huvudområde.
Utbildningsnivå
Forskarnivå
Påbyggnad
Ingen information tillagd
Kontaktperson
Mikael Skoglund (skoglund@kth.se)