FEP3260 Grunderna i maskininlärning över nätverk 10,0 hp

Fundamentals of Machine Learning Networks

Kursen täcker grunderna för maskininlärning över nätverk (MLoNs). Den startar från en konventionell single-agent-inställning där en server kör ett konvex / nonconvex optimeringsproblem för att lära sig en okänd funktion. Vi presenterar flera sätt att ta itu med detta till synes enkla men grundläggande problem. Vi presenterar en abstrakt form av MLoNs, presenterar centraliserade och distribuerade lösningsmetoder för att lösa detta problem och exemplifierar via träning ett djupt neural nätverk över ett nätverk. Kursen omfattar olika viktiga aspekter av MLoNs, inklusive optimitet, beräkningskomplexitet, kommunikationskomplexitet, säkerhet, storskoleinlärning, online-inlärning, MLoN med partiell information och flera applikationsområden. Eftersom de flesta av dessa ämnen är under tunga undersökningar numera bygger inte kursen på en enda lärobok men bygger på en rad viktiga publikationer inom området.
  • Utbildningsnivå

    Forskarnivå
  • Huvudområde

  • Betygsskala

    P, F

Kurstillfällen/kursomgångar

VT19 för programstuderande

  • Perioder

    VT19 P3 (10,0 hp)

  • Anmälningskod

    61478

  • Kursen startar

    2019-01-15

  • Kursen slutar

    2019-03-15

  • Undervisningsspråk

    Engelska

  • Studielokalisering

    KTH Campus

  • Undervisningstid

    Dagtid

  • Undervisningsform

    Normal

  • Antal platser

    Ingen begränsning

Information för forskarstuderande om när kursen ges

period 3

Lärandemål

·        ge nya verktyg och träning för att modellera grundläggande ML-problem genom optimering

·        presentera grundläggande teorier av storskalig ML, distribuerad ML och MLoNs

·        ge en grundlig förståelse för hur sådana problem löses, fördelar och nackdelar med olika tillvägagångssätt, och viss erfarenhet av att lösa dem

·        granskning om aktuella ämnen i ML och MLoNs, inklusive kommunikationseffektivitet, säkerhet och MLoNs med partiell kunskap

·        ge eleverna bakgrund och färdigheter som krävs för att göra forskning inom detta växande område

Kursens huvudsakliga innehåll

·        Föreläsning 1: Introduktion

·        Föreläsning 2: Centraliserad konvex ML

·        Föreläsning 3: Centraliserad Nonconvex ML

·        Föreläsning 4: Distribuerad ML

·        Föreläsning 5: ADMM, gästföreläsare

·        Föreläsning 6: Kommunikationseffektivitet

·        Föreläsning 7: Deep Neural Networks

·        Föreläsning 8: Datoruppdragssession och hemläxa

·        Föreläsning 9: Särskilt ämne 1: Storskalig ML

·        Föreläsning 10: Särskilt ämne 2: Säkerhet i MLoNs

·        Föreläsning 11: Särskilt ämne 3: Online MLoNs

·        Föreläsning 12: Särskilt ämne 4: MLoNs med partiell kunskap

·        Föreläsning 13: Särskilt ämne 5: Användningsområden och öppna forskningsproblem

Kursupplägg

Föreläsningar, läxproblem, datoruppgifter, presentationer av utvalda ämnen av deltagarna och slutprojekt

Behörighet

Grundläggande kunskaper om konvex optimering och sannolikhetsteori krävs för att följa kursen.

Litteratur

[1]        Bubeck, Sébastien. "Convex optimization: Algorithms and complexity." Foundations and Trends in Machine Learning, vol. 8, no.3-4 (2015): 231-357.

[2]        L. Bottou, F. Curtis, J. Norcedal, “Optimization Methods for Large-Scale Machine Learning”, SIAM Rev., 60(2), 223–311.

[3]        Boyd, Stephen, et al. "Distributed optimization and statistical learning via the alternating direction method of multipliers." Foundations and Trends in Machine learning 3.1 (2011): 1-122.

[4]        Goodfellow, Y. Bengio, A. Courville, “Deep Learning”, MIT press 2016

[5]        Jordan, Michael I., Jason D. Lee, and Yun Yang. "Communication-efficient distributed statistical inference," Journal of the American Statistical Association, 2018.

[6]        Smith, Virginia, et al. "CoCoA: A general framework for communication-efficient distributed optimization." Journal of Machine Learning Research 18 (2018): 230.

[7]        Alistarh, Dan, et al. "QSGD: Communication-efficient SGD via gradient quantization and encoding." Advances in Neural Information Processing Systems. 2017.

[8]        Schmidt, Mark, Nicolas Le Roux, and Francis Bach. "Minimizing finite sums with the stochastic average gradient." Mathematical Programming 162.1-2 (2017): 83-112.

[9]        Boyd, Stephen, et al. "Randomized gossip algorithms," IEEE Transactions on Information Theory, 2006.

[10]     Scaman, Kevin, et al. "Optimal algorithms for smooth and strongly convex distributed optimization in networks," ICML, 2017.

Utrustningskrav

Personal laptop/computer

Examination

  • EXA1 - Examination, 10,0, betygsskala: P, F

·       

Krav för slutbetyg

·        Delta i minst 11 föreläsningar (av 13)

·        45 min muntlig presentation av ett valt ämne i en särskild ämnesföreläsning

·        80% på läxor och datoruppdrag

·        Projekt (helst på problem med studentens egen forskning)

Ges av

EECS/Nätverk och systemteknik

Examinator

Carlo Fischione <carlofi@kth.se>

Versionsinformation

Kursplan gäller från och med VT2019.
Examinationsinformation gäller från och med VT2019.