Towards Efficient Distributed Intelligence
Cost-Aware Sensing and Offloading for Inference at the Edge
Tid: Fr 2026-01-16 kl 10.00
Plats: Salongen, Osquars backe 31, Stockholm
Videolänk: https://kth-se.zoom.us/s/61617488895
Språk: Engelska
Ämnesområde: Elektro- och systemteknik
Respondent: Vishnu Narayanan Moothedath , Teknisk informationsvetenskap
Opponent: Professor Ganesh Ayalvadi, University of Bristol, Bristol, United Kingdom
Handledare: Professor James Gross, Teknisk informationsvetenskap; Professor György Dán, Nätverk och systemteknik
QC 20251127
Abstract
Den pågående spridningen av intelligenta system, drivna av artificiell intelligens (AI) och 6G, leder till en ökning av återkopplade inferensuppgifter som utförs på distribuerade beräkningsnoder. Dessa system verkar under strikta krav på latens och energiförbrukning, vilket gör att utmaningen inte enbart handlar om att uppnå hög noggrannhet utan också om att möjliggöra snabb och energieffektiv inferens. Denna avhandling undersöker hur distribuerad inferens kan optimeras genom två centrala beslut: när miljön ska samplas och när beräkningar ska avlastas till en mer exakt, fjärrbelägen modell. Dessa beslut styrs av miljöns semantiska egenskaper och de kostnader som är förknippade med dessa. Semantiken hålls på en abstrakt nivå, och förtränade inferensmodeller används, vilket möjliggör en plattformsoberoende formulering som är anpassningsbar till den snabba utvecklingen inom distribuerad intelligens och trådlös kommunikation.
Angående sampling studerades avvägningen mellan samplingskostnad och detektionsfördröjning i händelsedetekteringssystem som saknar tillräcklig lokal inferenskapacitet. Ett optimeringsproblem över samplingstidpunkter formuleras för stokastiska händelser och analyserades på olika nivåer av modelleringskomplexitet, från periodisk till aperiodisk sampling. Slutna, algoritmiska, och approximativa lösningar utvecklades, varav vissa resultat även är av allmänt matematiskt intresse. Simuleringar i realistiska system visade tydliga effektivitetsvinster jämfört med system som bortser från händelsernas semantik. Särskilt aperiodisk sampling uppnådde en stabil förbättring på cirka 10% jämfört med periodiska strategier över olika systemparametrar.
Angående avlastning introducerades ett nytt ramverk för hierarkisk inferens (HI), som fattar sekventiella avlastningsbeslut mellan en lokal modell med låg fördröjning och energiförbrukning, och en fjärrmodell med högre noggrannhet, baserat på lokala konfidensmått. Vi föreslog HI-algoritmer baserade på tröskelvärden och ambiguitetsregioner som lärs in online genom att utvidga metoder för expertbaserad prediktion (Prediction with Expert Advice, PEA) till kontinuerliga expertrum med partiell återkoppling. HI-algoritmerna minimerar den förväntade kostnaden över flera inferensomgångar genom att kombinera kostnader för avlastning och felklassificering, och uppnår O(T2/3) sublinjär ånger. De föreslagna algoritmerna är oberoende av modellarkitektur och kommunikationssystem, kräver ingen ändring av modellträningen, och stödjer modelluppdateringar under drift. Jämförelser på standardiserade klassificeringsuppgifter med softmax-värde som konfidensmått visade att HI fördelar inferens adaptivt beroende på avlastningskostnader och når resultat nära det offline-optimum som beräknats i efterhand. HI visade sig dessutom öka robustheten mot distributionsförändringar och modellavvikelser, särskilt i fall med asymmetriska felklassificeringskostnader.
Sammanfattningsvis presenterar avhandlingen effektiva metoder för sampling och avlastning av inferensuppgifter där olika prestandamått kombineras i en gemensam kostnadsstruktur. Arbetet sträcker sig bortom konventionella inferensproblem till områden med liknande avvägningar, och bidrar till utvecklingen av effektiv distribuerad intelligens som tar beslut vid rätt tidpunkt och på rätt plats. Framtida arbete inkluderar konceptuella utvidgningar såsom gemensam design av sampling och avlastning, samt integration med kollaborativa modellträningsarkitekturer.