Hoppa till huvudinnehållet

DD2437 Artificiella neuronnät och djupa arkitekturer 7,5 hp

Kursen fungerar som en grundläggande introduktion till artificiella neuronnät (ANN) och ger mer detaljerade insikter om ANNs generaliseringskapacitet, beräkningsegenskaper av både övervakad och oövervakad inlärning algoritmer i olika nätverkstyper, och djupinlärning. Kursen erbjuder en möjlighet att utveckla den konceptuella och teoretiska förståelsen av beräkningsförmågan hos ANNs med utgångspunkt i enklare system för att sedan gradvis studera mer avancerade arkitekturer. Ett viktigt kursmål är att studenterna ska erhålla praktisk erfarenhet av att välja, utveckla, tillämpa och validera lämpliga nätverk och algoritmer för att effektivt kunna hantera en bred klass av regression, klassificering, temporal prediktion, datamodellering, explorativ dataanalys och klustringsproblem. 

Välj termin och kursomgång

Välj termin och kursomgång för att se aktuell information och mer om kursen, såsom kursplan, studieperiod och anmälningsinformation.

Kursval

Gäller för kursomgång

HT 2024 annda224 programstuderande

Anmälningskod

50266

Rubriker med innehåll från kursplan DD2437 (VT 2024–) är markerade med en asterisk ( )

Innehåll och lärandemål

Kursinnehåll

Kursen berör beräkningsproblem i massivt parallella artificiella neurala nätverksarkitekturer (ANN), som bygger på distribuerade enkla beräkningsnoder och robusta inlärningsalgoritmer som iterativt anpassar ansutningarna mellan noderna genom att i stor utsträckning använda tillgängliga data. Inlärningsregeln och nätverksarkitekturen avgör ANNs specifika beräkningsegenskaper. Kursen erbjuder en möjlighet att utveckla den konceptuella och teoretiska förståelsen av beräkningsförmågan hos ANNs med utgångspunkt i enklare system för att sedan gradvis studera mer avancerade arkitekturer. Därmed studeras en stor bredd av inlärningstyper – från strikt övervakade till rent explorativt oövervakade lägen. Kursens innehåll inkluderar därför bl.a. multi-layer perceptrons (MLPs), self-organising maps (SOMs), Boltzmann-maskiner, Hopfield-nätverk och state-of-the-art djupa neurala nätverk (DNNs) tillsammans med motsvarade inlärningsalgritmer. Ett viktigt kursmål är att studenterna ska erhålla praktisk erfarenhet av att välja, utveckla, tillämpa och validera lämpliga nätverk och algoritmer för att effektivt kunna hantera en bred klass av regression, klassificering, temporal prediktion, datamodellering, explorativ dataanalys och klustringsproblem. Slutligen ger kursen avslöjande insikter i principerna om ANNs generaliseringskapacitet, vilka ligger till grund för dess prediktiva kraft.

Lärandemål

Efter kursen ska studenten kunna 

  • beskriva strukturen och funktionen hos de vanligaste artificiella neurala nätverkstyperna (ANN), t.ex. (framåtkopplade) multi-layer perceptron, rekurrenta nätverk, self-organising maps, Boltzmann-maskin, deep nelief networks, autoencoder, och ge exempel på deras tillämpningar
  • förklara mekanismer för övervakat(supervised)/oövervakat(unsupervised) lärande från data- och informationsbehandling i olika ANN-arkitekturer, samt redogöra för derivat av de grundläggande ANN-algoritmer som diskuteras i kursen
  • visa när och hur djupa arkitekturer leder till ökad prestanda i mönsterigenkänning och datautvinningsproblem
  • kvantitativt analysera processen och resultaten av lärandet i ANN, och redogöra för deras brister och begränsningar
  • tillämpa, validera och utvärdera föreslagna typer av ANN i typiska mindre problem inom regression, förutsägelse, mönsterigenkänning, schemaläggning och optimering
  • utforma och implementera ANN-metoder för utvalda problem i mönsterigenkänning, systemidentifikation eller prediktiv analys med hjälp av allmänt tillgängliga utvecklingsverktyg och kritiskt granska deras användbarhet

för att studenten ska

  • erhålla en förståelse för den tekniska potentialen samt fördelar och begränsningar i dagens lärande, adaptiva och självorganiserande system,
  • förvärva ANN-utövarens praktiska kompetens att tillämpa och utveckla ANN-baserade lösningar på dataanalysproblem.

Kurslitteratur och förberedelser

Särskild behörighet

Kunskaper och färdigheter i programmering, 6 hp, motsvarande slutförd kurs DD1337/DD1310-DD1319/DD1321/DD1331/DD100N/ID1018.

Kunskaper i linjär algebra, 7,5 hp, motsvarande slutförd kurs SF1624/SF1672/SF1684.

Kunskaper i flervariabelanalys, 7,5 hp, motsvarande slutförd kurs SF1626/SF1674.

Kunskaper i sannolikhetslära och statistik, 7,5 hp, motsvarande slutförd kurs SF1910-SF1924/SF1935.

Rekommenderade förkunskaper

Motsvarande de för D, E eller F obligatoriska kurserna i matematik, numeriska metoder och datalogi.

Utrustning

Ingen information tillagd

Kurslitteratur

[1] Stephen Marsland. Machine Learning, an Algorithmic Perspective, 2009, CSC-Press.

[2] Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep learning., 2016, MIT press.

Ytterligare rekommenderad läsning kommer att tillkännages på kursens hemsida.

Examination och slutförande

När kurs inte längre ges har student möjlighet att examineras under ytterligare två läsår.

Betygsskala

A, B, C, D, E, FX, F

Examination

  • KON1 - Kontrollskrivning, 1,5 hp, betygsskala: P, F
  • LAB2 - Laborationsuppgifter, 4,0 hp, betygsskala: P, F
  • TEN3 - Skriftlig tentamen, 2,0 hp, betygsskala: A, B, C, D, E, FX, F

Examinator beslutar, baserat på rekommendation från KTH:s handläggare av stöd till studenter med funktionsnedsättning, om eventuell anpassad examination för studenter med dokumenterad, varaktig funktionsnedsättning.

Examinator får medge annan examinationsform vid omexamination av enstaka studenter.

Möjlighet till komplettering

Enskilda laborationer kan tillgodoräknas senare kursomgångar så länge laborationsuppgiften är oförändrad (inga bonuspoäng för andra laborationer räknas).

Möjlighet till plussning

Om tentamen/omtentamen genomförs i senare kursomgångar ska alla bonuspoäng avräknas.

Examinator

Etiskt förhållningssätt

  • Vid grupparbete har alla i gruppen ansvar för gruppens arbete.
  • Vid examination ska varje student ärligt redovisa hjälp som erhållits och källor som använts.
  • Vid muntlig examination ska varje student kunna redogöra för hela uppgiften och hela lösningen.

Ytterligare information

Kursrum i Canvas

Registrerade studenter hittar information för genomförande av kursen i kursrummet i Canvas. En länk till kursrummet finns under fliken Studier i Personliga menyn vid kursstart.

Ges av

Huvudområde

Datalogi och datateknik, Informationsteknik

Utbildningsnivå

Avancerad nivå

Påbyggnad

Ingen information tillagd

Kontaktperson

Pawel Herman e-post: paherman@kth.se

Övergångsbestämmelser

Den tidigare skriftliga tentamen TEN2 (3,5 hp) ersätts av skriftliga tentamen TEN3 (2 hp) och tre kontrollskrivningar som kombineras till momentet KON1 (1,5 hp). Examination kan under läsåret 2022/2023 genomföras inom ramen för tidigare tillfällen (med TEN2) eller den nya modellen med TEN3 och KON1 (som tillsammans kan behandlas som tidigare moment TEN2).

Övrig information

I denna kurs tillämpas EECS hederskodex, se:
http://www.kth.se/eecs/utbildning/hederskodex