Low-Rank Structures for Reinforcement Learning

QC 20261016

Abstract

Förstärkningsinlärning har uppnått anmärkningsvärda empiriska framgångar, men att skala algoritmer till högdimensionella tillstånds- och aktionsrum förblir en grundläggande beräkningsmässig och statistisk utmaning. Även om verkliga miljöer ofta uppvisar rika lågdimensionella latenta strukturer, återstår det att förstå hur man kan uppnå bevisad dataeffektivitet och robust generalisering utan att förlita sig på kända representationsfunktioner. Denna avhandling undersöker hur utnyttjande av lågrankstruktur i sekventiella beslutsproblem kan bidra till att hantera dessa utmaningar genom att förena idéer från spektral matrisestimering, representationsinlärning och förstärkningsinlärning.

Avhandlingens bidrag omfattar tre successivt mer komplexa miljöer. Den första delen behandlar lågrankade banditproblem, där latent struktur i belöningsfunktioner kan utnyttjas för att förbättra statistisk effektivitet. Vi utvecklar förfinade spektrala estimeringsmetoder som går bortom traditionella globala felmått och etablerar noggranna garantier för elementvisa fel samt återvinning av singulära delrum. Dessa resultat möjliggör effektiva algoritmer för matrisbanditer och kontextuella lågrankade banditer, med förbättrade garantier för policyutvärdering, identifiering av bästa policy och regret-minimering.

Den andra delen undersöker hur lågrankstruktur kan utnyttjas i förstärkningsinlärning, där de inlärda representationerna ytterst måste stödja beslutsfattande. Vi studerar lågrankade övergångsmodeller, värdefunktioner och successor measures, och visar att de estimeringsgarantier som krävs för kontroll är betydligt starkare än de som vanligtvis studeras inom matrisestimering. Genom att utveckla spektrala metoder med detaljerad felkontroll etablerar vi dataeffektiva algoritmer för belöningsfri modellbaserad förstärkningsinlärning samt modellfri inlärning med lågrankade värdefunktioner. Vidare studerar vi när lågrankade successor-representationer uppstår naturligt från miljöns dynamik och identifierar villkor under vilka förskjutna successor measures med god noggrannhet kan approximeras med lågrankmodeller.

Den tredje delen undersöker hur lågrankade successor-representationer kan möjliggöra överföring och generalisering mellan olika uppgifter. Vi introducerar switching successor measures, ett ramverk som utvidgar successor-representationer till hierarkiskt beslutsfattande genom att tillåta policyer att temporärt byta beteende innan de återgår till den ursprungliga policyn. Baserat på detta ramverk utvecklar vi en hierarkisk metod för förstärkningsinlärning utan ytterligare träning (zero-shot reinforcement learning), där både högnivåplanering och lågnivåkontroll härleds från en gemensam successor-representation. Metoden möjliggör generalisering till tidigare osedda belöningsfunktioner.

Sammantaget visar avhandlingens bidrag hur spektral geometri och strukturella antaganden kan mildra de statistiska och beräkningsmässiga utmaningarna inom sekventiellt beslutsfattande. Genom att koppla samman teori för lågrankad estimering med representationer för förstärkningsinlärning ger detta arbete både rigorösa teoretiska garantier och nya perspektiv på hur intelligenta agenter kan lära sig kompakta och återanvändbara representationer från komplexa miljöer.

Link to DiVA