DD2437 Artificiella neuronnät och djupa arkitekturer 7,5 hp

Artificial Neural Networks and Deep Architectures

Kursen fungerar som en grundläggande introduktion till artificiella neuronnät (ANN) och ger mer detaljerade insikter om ANNs generaliseringskapacitet, beräkningsegenskaper av både övervakad och oövervakad inlärning algoritmer i olika nätverkstyper, och djupinlärning. Kursen erbjuder en möjlighet att utveckla den konceptuella och teoretiska förståelsen av beräkningsförmågan hos ANNs med utgångspunkt i enklare system för att sedan gradvis studera mer avancerade arkitekturer. Ett viktigt kursmål är att studenterna ska erhålla praktisk erfarenhet av att välja, utveckla, tillämpa och validera lämpliga nätverk och algoritmer för att effektivt kunna hantera en bred klass av regression, klassificering, temporal prediktion, datamodellering, explorativ dataanalys och klustringsproblem.

Visa kursinformation utifrån vald termin och kursomgång:

Kursomgång och genomförande

Ingen kursomgång är vald

Välj termin och kursomgång ovan för att få information från rätt kursplan och kursomgång.

Kursinformation

Innehåll och lärandemål

Kursinnehåll *

Kursen berör beräkningsproblem i massivt parallella artificiella neurala nätverksarkitekturer (ANN), som bygger på distribuerade enkla beräkningsnoder och robusta inlärningsalgoritmer som iterativt anpassar ansutningarna mellan noderna genom att i stor utsträckning använda tillgängliga data. Inlärningsregeln och nätverksarkitekturen avgör ANNs specifika beräkningsegenskaper. Kursen erbjuder en möjlighet att utveckla den konceptuella och teoretiska förståelsen av beräkningsförmågan hos ANNs med utgångspunkt i enklare system för att sedan gradvis studera mer avancerade arkitekturer. Därmed studeras en stor bredd av inlärningstyper – från strikt övervakade till rent explorativt oövervakade lägen. Kursens innehåll inkluderar därför bl.a. multi-layer perceptrons (MLPs), self-organising maps (SOMs), Boltzmann-maskiner, Hopfield-nätverk och state-of-the-art djupa neurala nätverk (DNNs) tillsammans med motsvarade inlärningsalgritmer. Ett viktigt kursmål är att studenterna ska erhålla praktisk erfarenhet av att välja, utveckla, tillämpa och validera lämpliga nätverk och algoritmer för att effektivt kunna hantera en bred klass av regression, klassificering, temporal prediktion, datamodellering, explorativ dataanalys och klustringsproblem. Slutligen ger kursen avslöjande insikter i principerna om ANNs generaliseringskapacitet, vilka ligger till grund för dess prediktiva kraft.

Lärandemål *

Efter kursen ska studenten kunna 

  • beskriva strukturen och funktionen hos de vanligaste artificiella neurala nätverkstyperna (ANN), t.ex. (framåtkopplade) multi-layer perceptron, rekurrenta nätverk, self-organising maps, Boltzmann-maskin, deep nelief networks, autoencoder, och ge exempel på deras tillämpningar
  • förklara mekanismer för övervakat(supervised)/oövervakat(unsupervised) lärande från data- och informationsbehandling i olika ANN-arkitekturer, samt redogöra för derivat av de grundläggande ANN-algoritmer som diskuteras i kursen
  • visa när och hur djupa arkitekturer leder till ökad prestanda i mönsterigenkänning och datautvinningsproblem
  • kvantitativt analysera processen och resultaten av lärandet i ANN, och redogöra för deras brister och begränsningar
  • tillämpa, validera och utvärdera föreslagna typer av ANN i typiska mindre problem inom regression, förutsägelse, mönsterigenkänning, schemaläggning och optimering
  • utforma och implementera ANN-metoder för utvalda problem i mönsterigenkänning, systemidentifikation eller prediktiv analys med hjälp av allmänt tillgängliga utvecklingsverktyg och kritiskt granska deras användbarhet

för att studenten ska

  • erhålla en förståelse för den tekniska potentialen samt fördelar och begränsningar i dagens lärande, adaptiva och självorganiserande system,
  • förvärva ANN-utövarens praktiska kompetens att tillämpa och utveckla ANN-baserade lösningar på dataanalysproblem.

Kursupplägg

Ingen information tillagd

Kurslitteratur och förberedelser

Särskild behörighet *

Ingen information tillagd

Rekommenderade förkunskaper

Motsvarande de för D, E eller F obligatoriska kurserna i matematik, numeriska metoder och datalogi.

Utrustning

Ingen information tillagd

Kurslitteratur

[1] Stephen Marsland. Machine Learning, an Algorithmic Perspective, 2009, CSC-Press.

[2] Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep learning., 2016, MIT press.

Ytterligare rekommenderad läsning kommer att tillkännages på kursens hemsida.


Ytterligare rekommenderad läsning kommer att tillkännages på kursens hemsida.

Examination och slutförande

Betygsskala *

A, B, C, D, E, FX, F

Examination *

  • LAB2 - Laborationsuppgifter, 4,0 hp, betygsskala: P, F
  • TEN2 - Tentamen, 3,5 hp, betygsskala: A, B, C, D, E, FX, F

Examinator beslutar, baserat på rekommendation från KTH:s samordnare för funktionsnedsättning, om eventuell anpassad examination för studenter med dokumenterad, varaktig funktionsnedsättning.

Examinator får medge annan examinationsform vid omexamination av enstaka studenter.

Möjlighet till komplettering

Enskilda laborationer kan tillgodoräknas senare kursomgångar så länge laborationsuppgiften är oförändrad (inga bonuspoäng för andra laborationer räknas).

Möjlighet till plussning

Om tentamen/omtentamen genomförs i senare kursomgångar ska alla bonuspoäng avräknas.

Examinator

Erik Fransén

Pawel Herman

Ytterligare information

Kurswebb

Ytterligare information om kursen kan hittas på kurswebben via länken nedan. Information på kurswebben kommer framöver flyttas till denna sida.

Kurswebb DD2437

Ges av

EECS/Intelligenta system

Huvudområde *

Datalogi och datateknik, Informationsteknik

Utbildningsnivå *

Avancerad nivå

Påbyggnad

Ingen information tillagd

Kontaktperson

Pawel Herman e-post: paherman@kth.se

Etiskt förhållningssätt *

  • Vid grupparbete har alla i gruppen ansvar för gruppens arbete.
  • Vid examination ska varje student ärligt redovisa hjälp som erhållits och källor som använts.
  • Vid muntlig examination ska varje student kunna redogöra för hela uppgiften och hela lösningen.

Övrig information

I denna kurs tillämpas EECS hederskodex, se:
http://www.kth.se/eecs/utbildning/hederskodex