Nätverksfunktioner. Virtualisering. Kernel bypass-tekniker (t.ex. DPDK) för nätverk med över 100 gigabit per sekund. Avlastning till Smart Network Interface Cards (SmartNIC). Snabbt nätverk med liten eller ingen CPU-inblandning med hjälp av direkt fjärrminnesåtkomst (RDMA). Nätverksaspekter av maskininlärningsslutledning med hjälp av grafiska processorer (GPU). Lastuppskattning och belastningsutjämning. Begäran om utskick och schemaläggning. Effektiv, storskalig maskininlärningsslutledning. Slutledning med stora språkmodeller (LLM).
IK2221 Nätverkssystem för maskininlärning 7,5 hp
Maskininlärningens inferens (modellservering) blir allt viktigare för alla aspekter av samhället. Tyvärr kan inferens ha mycket snäva latensgränser och kräva ohållbara mängder resurser. Kursen lär eleverna de senaste teknikerna för att effektivt betjäna maskininlärningsarbetsbelastningar med datacenter.
Välj termin och kursomgång
Välj termin och kursomgång för att se aktuell information och mer om kursen, såsom kursplan, studieperiod och anmälningsinformation.
Kursval
Gäller för kursomgång
VT 2025 Start 2025-03-17 programstuderande
Anmälningskod
60061
Rubriker med innehåll från kursplan IK2221 (VT 2025–) är markerade med en asterisk ( )
Innehåll och lärandemål
Kursinnehåll
Lärandemål
Efter godkänd kurs ska studenten kunna
- beskriva komponenterna i virtualiserade nätverksfunktioner och hur de samarbetar
- konfigurera ett exempel på en tjänst med användning av virtualisering av nätverksfunktioner (NFV)
- förklara i detalj de viktiga fördelarna med direkt fjärrminnesåtkomst (RDMA) och hur det fungerar
- analysera metoder för in- och utmatning i nätverkdirekt till/från grafikprocessorer (GPU)
- i detalj förklara metoder för att förbättra slutledningsfördröjning
- beskriva lastbalanseringens roll för servrar
- ge exempel på och beskriva aktuella forskningsproblem inom betjäning av maskininlärningsberäkningar i datacenter.
Kurslitteratur och förberedelser
Särskild behörighet
Kunskaper i avancerad internetteknik, 7,5 hp, motsvarande slutförd kurs IK2215. Kunskaper och färdigheter i programmering i C++, Java eller Python, 6 hp, motsvarande slutförd kurs DD1310-DD1319/DD1331/DD1337/DD100N/ID1018.
Rekommenderade förkunskaper
Ingen information tillagd
Utrustning
Ingen information tillagd
Kurslitteratur
Ingen information tillagd
Examination och slutförande
När kurs inte längre ges har student möjlighet att examineras under ytterligare två läsår.
Betygsskala
A, B, C, D, E, FX, F
Examination
- PRO1 - Projektuppgifter, 2,5 hp, betygsskala: A, B, C, D, E, FX, F
- SEM1 - Rapportsammanfattningar, 2,5 hp, betygsskala: A, B, C, D, E, FX, F
- TEN1 - Skriftlig tentamen, 2,5 hp, betygsskala: A, B, C, D, E, FX, F
Examinator beslutar, baserat på rekommendation från KTH:s handläggare av stöd till studenter med funktionsnedsättning, om eventuell anpassad examination för studenter med dokumenterad, varaktig funktionsnedsättning.
Examinator får medge annan examinationsform vid omexamination av enstaka studenter.
Möjlighet till komplettering
Ingen information tillagd
Möjlighet till plussning
Ingen information tillagd
Examinator
Ingen information tillagd
Etiskt förhållningssätt
- Vid grupparbete har alla i gruppen ansvar för gruppens arbete.
- Vid examination ska varje student ärligt redovisa hjälp som erhållits och källor som använts.
- Vid muntlig examination ska varje student kunna redogöra för hela uppgiften och hela lösningen.
Ytterligare information
Kursrum i Canvas
Registrerade studenter hittar information för genomförande av kursen i kursrummet i Canvas. En länk till kursrummet finns under fliken Studier i Personliga menyn vid kursstart.
Ges av
Huvudområde
Datalogi och datateknik
Utbildningsnivå
Avancerad nivå
Påbyggnad
Ingen information tillagd