Till innehåll på sidan

Reliable and Efficient Distributed Machine Learning

Tid: To 2022-04-28 kl 13.30

Plats: F3, Lindstedtsvägen 26 & 28, Stockholm

Språk: Engelska

Ämnesområde: Elektro- och systemteknik

Respondent: Hao Chen , Optical Network Laboratory (ON Lab)

Opponent: Professor Yan Zhang,

Handledare: Ming Xiao, Skolan för elektroteknik och datavetenskap (EECS); Mikael Skoglund, Skolan för elektroteknik och datavetenskap (EECS)

Exportera till kalender

QC 20220404

Abstract

Med ökat genomslag och spridning av olika smarta Internet of Things (IoT) applikationer, förväntas maskininlärning (ML) bli en nyckelteknik för modellering ochanalys av stora data mängder. Eftersom data från dessa IoT enheter vanligtvis sparaslokalt har ML på nätverksnivå, t.ex. distribuerad maskininlärning (DML), blivit en lovande ny paradigm, särskilt för storskalig modellträning. I denna avhandling utforskarvi optimeringen och designen av DML algoritmer under olika förutsättningar i nätverken. Vår huvudsakliga forskning i hänseende till DML är fördelad i fyra papper,beskrivna enligt nedan.I första delen av denna avhandling tittar vi på fullt decentraliserad ML genom nyttjandet av älternating direction method of multipliers"(ADMM). Mer specifikt föreslårvi en "error-control-coding-baserad stochastic incremental ADMM"(csl-ADMM) föratt tackla de två mest kritiska utmaningarna i DML system, dvs. flaskhalsar i kommunikation och eftersläpare (noder/enheter med långsam respons). Givet en lämpligmini-batch storlek visar vi att den föreslagna csl-ADMM metoden konvergerar medO(1/√k) med en kommunikationskostnad på O(1/µ2), där k är antalet iterationer ochv är sökt noggrannhet. Vi ger även en teoretisk och experimentell analys av sambandetmellan konvergenshastighet och antalet eftersläpare samt sambandet mellan mini-batchstorlek och antalet eftersläpare.I avhandlingens andra del undersöker vi den asynkrona hanteringen av fullt decentraliserad kollaborativ inlärning (FL, eng. Federated Learning). Specifikt föreslår vi enalgoritm för äsynchronous parallel incremental block-coordinate descent"(API-BCD),där flera enheter/noder är asynkront aktiva för att öka konvergens hastigheten. Vi gerteoretiskt bevis för API-BCD lösningens konvergens samt visar simuleringar som demonstrerar dess överlägsna prestanda i termer av både hastighet och kommunikationskostnader jämfört med state-of-the-art algoritmer.Avhandlingens tredje del är en studie i att simultant optimera kommunikations effektivitet och hanteringen av trådlösa resurser för FL över trådlösa nätverk. Ett övergripande optimeringsproblem formuleras, som delas upp i två delproblem, schemaläggning av klienter och ett resursallokerings problem. För att reducera kommunikationskostnaderna, föreslås en effektiv kommunikations policy för schemaläggning av klienter som begränsar kommunikation och återanvändandet av lokala modeller som blivitmindre relevanta med tiden. För att optimera resurs allokeringen i varje kommunikations runda av FL träning, härleds en optimal lösning baserad på en linjär sök metod.Den föreslagna kommunikationseffektiva FL (CEFL, eng. Communication EfficientFL) algoritmen utvärderas både analytiskt och med simulering.Den sista delen av avhandlingen är en fallstudie där FL implementeras i satellitkommunikationsnätverk i låg omloppsbana (LEO, eng. Low Earh Orbit). Vi undersökerfyra möjliga arkitekturer för kombinering av ML i satellitburna datornätverk. Prestandan av de föreslagna strategierna utvärderas via simuleringar och resultaten visar attFL-baserade datornätverk kan anmärkningsvärt minska kommunikationsoverhead ochlatens.

urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-310374