FDD3437 Artificiella neuronnät och djupa arkitekturer 7,5 hp

Kursen berör beräkningsproblem i massivt parallella artificiella neurala nätverksarkitekturer (ANN), som bygger på distribuerade enkla beräkningsnoder och robusta inlärningsalgoritmer som iterativt anpassar ansutningarna mellan noderna genom att i stor utsträckning använda tillgängliga data. Inlärningsregeln och nätverksarkitekturen avgör ANNs specifika beräkningsegenskaper. Kursen erbjuder en möjlighet att utveckla den konceptuella och teoretiska förståelsen av beräkningsförmågan hos ANNs med utgångspunkt i enklare system för att sedan gradvis studera mer avancerade arkitekturer. Därmed studeras en stor bredd av inlärningstyper – från strikt övervakade till rent explorativt oövervakade lägen. Kursens innehåll inkluderar därför bl.a. multi-layer perceptrons (MLPs), self-organising maps (SOMs), Boltzmann-maskiner, Hopfield-nätverk och state-of-the-art djupa neurala nätverk (DNNs) tillsammans med motsvarade inlärningsalgritmer. Ett viktigt kursmål är att studenterna ska erhålla praktisk erfarenhet av att välja, utveckla, tillämpa och validera lämpliga nätverk och algoritmer för att effektivt kunna hantera en bred klass av regression, klassificering, temporal prediktion, datamodellering, explorativ dataanalys och klustringsproblem. Slutligen ger kursen avslöjande insikter i principerna om ANNs generaliseringskapacitet, vilka ligger till grund för dess prediktiva kraft

Kursupplägg

12 föreläsningar, 4 laborationer, 1 projekt och examination

Kurslitteratur

1. Stephen Marsland. Machine Learning, an Algorithmic Perspective, 2009,CSC-Press.
2. Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep learning., 2016, MIT press.

Ytterligare rekommenderad läsning kommer att tillkännages på kursens hemsida.

Efter kursen ska studenten kunna

• beskriva strukturen och funktionen hos de vanligaste artificiella neurala nätverkstyperna (ANN), t.ex. (framåtkopplade) multi-layer perceptron, rekurrenta nätverk, self-organising maps, Boltzmann-maskin, deep nelief networks, autoencoder, och ge exempel på deras tillämpningar
• förklara mekanismer för övervakat(supervised)/oövervakat(unsupervised) lärande från data- och informationsbehandling i olika ANN-arkitekturer, samt redogöra för derivat av de grundläggande ANN-algoritmer som diskuteras i kursen
• visa när och hur djupa arkitekturer leder till ökad prestanda i mönsterigenkänning och datautvinningsproblem
• kvantitativt analysera processen och resultaten av lärandet i ANN, och redogöra för deras brister och begränsningar
• tillämpa, validera och utvärdera föreslagna typer av ANN i typiska mindre problem inom regression, förutsägelse, mönsterigenkänning, schemaläggning och optimering
• utforma och implementera ANN-metoder för utvalda problem i mönsterigenkänning, systemidentifikation eller prediktiv analys med hjälp av allmänt tillgängliga utvecklingsverktyg och kritiskt granska deras användbarhet

för att studenten ska

• erhålla en förståelse för den tekniska potentialen samt fördelar och begränsningar i dagens lärande, adaptiva och självorganiserande system,
• förvärva ANN-utövarens praktiska kompetens att tillämpa och utveckla ANN-baserade lösningar på dataanalysproblem.

Doktorander vid KTH

Motsvarande de för D, E eller F obligatoriska kurserna i matematik, numeriska metoder och datalogi rekommenderas.

När kurs inte längre ges har student möjlighet att examineras under ytterligare två läsår.

• EXA1 - Tentamen, 7,5 hp, betygsskala: P, F

Examinator beslutar, baserat på rekommendation från KTH:s handläggare av stöd till studenter med funktionsnedsättning, om eventuell anpassad examination för studenter med dokumenterad, varaktig funktionsnedsättning.

Examinator får medge annan examinationsform vid omexamination av enstaka studenter.

För godkänt krävs att studenten slutför samtliga examinationsmoments:

• godkänt skriftlig tentamen (TEN1: A-F, 2 hp)
• godkänd labmoment: genomförande av 4 laborationer (varje laboration består av skriftlig labreport och presentation av labbarbete) (LAB1: P/F, 4 hp)
• genomförande av projekt: skriftlig report (PRO1: P/F, 1.5 hp)

Passed written exam (TEN1: 2hp), 4 lab assignments (LAB1: 4hp) and 1 project (PRO1: 1.5 hp) passed (approved)

Pawel Herman

• Vid grupparbete har alla i gruppen ansvar för gruppens arbete.
• Vid examination ska varje student ärligt redovisa hjälp som erhållits och källor som använts.
• Vid muntlig examination ska varje student kunna redogöra för hela uppgiften och hela lösningen.