IL2230 Hårdvaruarkitekturer för djupinlärning 7,5 hp

Hardware Architectures for Deep Learning

Kursen fokuserar på specialiserade hårdvaruarkitekturer för implementering av djupinlärningsalgoritmer på resursbegränsade tillförlitliga inbyggda system. Den diskuterar också systemarkitekturer som använder djupinlärning.

Visa kursinformation utifrån vald termin och kursomgång:

Kursomgång och genomförande

Ingen kursomgång är vald

Välj termin och kursomgång ovan för att få information från rätt kursplan och kursomgång.

Kursinformation

Innehåll och lärandemål

Kursinnehåll *

Kursen består av två moduler. Modul I introducerar grundläggande kunskaper i maskininlärning och algoritmer för djupinlärning. Modul II fokuserar på specialiserade hårdvaruimplementeringsarkitekturer för djupinlärningsalgoritmer och nya hjärnliknande datorsystemarkitekturer. Förutom att presentera relevant informativ kunskap innehåller kursen laboratorie- och projektuppgifter för att skapa förståelse för de relaterade algoritmerna, att tillämpa algoritmerna för att ta itu med verkliga problem och att kontrastera och utvärdera alternativa implementeringsarkitekturer med avseende på prestanda, kostnad och tillförlitlighet.

Modul I: Algoritmer för djupinlärning

Modul I introducerar grundläggande maskininlärningsalgoritmer, grundläggande neurala nätverksalgoritmer och algoritmer för djupinlärning. Från ett antal maskininlärningsalgoritmer introducerar denna modul de algoritmer som linjär regression, polynomregression, logistisk regression, som är fundamentala och mest relevanta för neurala nätverk. För neurala nätverk tittar vi på perceptronen, multi-lager-perceptroner och i synnerhet back-propagationalgoritmen. Efter att ha gått igenom grunderna i traditionell statistisk inlärning, maskininlärning och neurala nätverk, diskuterar denna modul vidare exempel på djupinlärningsalgoritmer, specifikt Convolutional Neural Networks (CNN) och Recurrent Neural Networks (RNN).

Modul II: Arkitekturer specialiserade på djupinlärning

Modul II undersöker specialiserade hårdvarubaserade implementeringsarkitekturer för djupinlärningsalgoritmer. Från ett brett spektrum av potentiella hårdvaruarkitekturer presenteras designalternativen GPGPU:er, domänspecifika processorer, FPGA/ASIC-baserade acceleratorer, tillsammans med deras fördelar och nackdelar. I synnerhet kommer begränsningar och designalternativ för att använda djupinlärningalgoritmer i inbyggda resursbegränsade system att diskuteras. Dessutom kommer denna modul att diskutera nya arkitekturer inom djupinlärning för datorsystemdesign, såsom hjärninspirerad datorsystemarkitekturer. En fallstudie med analys, utvärdering och tillämpning av en djupinlärningsarkitektur kommer att genomföras.

Lärandemål *

Efter godkänd kurs ska studenten kunna

  • beskriva och förklara grundläggande neurala nätverk och djupinlärningsalgoritmer och deras relationer
  • förklara och motivera designutrymmet för hårdvara för djupinlärningsalgoritmer
  • välja och tillämpa en lämplig djupinlärningsalgoritm för att lösa verkliga problem med artificiell intelligens i inbyggda system
  • analysera och utvärdera alternativ för programvaruimplementering för djupinlärningsalgoritmer
  • föreslå och motivera en implementeringsarkitektur för tillämpningar med djupinlärning i inbyggda resursbegränsade system
  • diskutera och kommentera nya hårdvaruimplementeringsarkitekturer för djupinlärning och nya hjärnliknande datorsystemarkitekturer som utnyttjar nya enheter och nya koncept

i syfte att

  • förstå nödvändigheten, betydelsen och potentialen för att accelerera djupa inlärningsalgoritmer med låg strömförbrukning genom specialiserade hårdvaruarkitekturer
  • diskutera, föreslå och utvärdera specialiserade hårdvaruarkitekturer för att implementera djupa inlärningsalgoritmer eller utnyttja djupa inlärningskoncept i resursbegränsade pålitliga system.

Kursupplägg

Ingen information tillagd

Kurslitteratur och förberedelser

Särskild behörighet *

  • Grundläggande digitalteknik motsvarande IE1204 Digital Design.
  • Grundläggande kunskaper om mikroprocessorers uppbyggnad och instruktionsexekvering motsvarande IS1200 Datorteknik, grundkurs.
  • Grundläggande kunskaper i dator mjukvara och programmeringsfärdigheter motsvarande DD1345 Grundläggande programmering och datalogi.
  • Kunskaper om hårdvaruteknik motsvarande IS2202 Datorsystemarkitektur eller IL2225 Hårdvarukonstruktion i ASIC och FPGA för inbyggda system eller IL2236 Arkitekturer för inbyggda mångkärniga system.

Rekommenderade förkunskaper

Ingen information tillagd

Utrustning

Studenten förväntas använda en egen bärbar dator under laborationerna.

Kurslitteratur

Uppgift om kurslitteratur meddelas i kurs-PM.

Examination och slutförande

När kurs inte längre ges har student möjlighet att examineras under ytterligare två läsår.

Betygsskala *

A, B, C, D, E, FX, F

Examination *

  • LAB1 - Laborationer, 3,0 hp, betygsskala: P, F
  • TEN1 - Skriftlig tentamen, 4,5 hp, betygsskala: A, B, C, D, E, FX, F

Examinator beslutar, baserat på rekommendation från KTH:s samordnare för funktionsnedsättning, om eventuell anpassad examination för studenter med dokumenterad, varaktig funktionsnedsättning.

Examinator får medge annan examinationsform vid omexamination av enstaka studenter.

Examinator beslutar, i samråd med KTH:s samordnare för funktionsnedsättning (Funka), om eventuell anpassad examination för studenter med dokumenterad, varaktig funktionsnedsättning. Examinator får medge annan examinationsform vid omexamination av enstaka studenter.

Möjlighet till komplettering

Ingen information tillagd

Möjlighet till plussning

Ingen information tillagd

Examinator

Zhonghai Lu

Etiskt förhållningssätt *

  • Vid grupparbete har alla i gruppen ansvar för gruppens arbete.
  • Vid examination ska varje student ärligt redovisa hjälp som erhållits och källor som använts.
  • Vid muntlig examination ska varje student kunna redogöra för hela uppgiften och hela lösningen.

Ytterligare information

Kurswebb

Ytterligare information om kursen kan hittas på kurswebben via länken nedan. Information på kurswebben kommer framöver flyttas till denna sida.

Kurswebb IL2230

Ges av

EECS/Elektroteknik

Huvudområde *

Datalogi och datateknik, Elektroteknik

Utbildningsnivå *

Avancerad nivå

Påbyggnad

Ingen information tillagd

Kontaktperson

Zhonghai Lu

Övrig information

I denna kurs tillämpas EECS hederskodex, se: http://www.kth.se/eecs/utbildning/hederskodex.