Transfer Learning using low-dimensional Representations in Reinforcement Learning
Tid: Ti 2020-09-22 kl 10.00
Plats: 304, Teknikringen 14, Stockholm (English)
Ämnesområde: Datalogi
Licentiand: Isac Arnekvist , Robotik, perception och lärande, RPL
Granskare: Docent Christos Dimitrakakis, Chalmers tekniska högskola
Huvudhandledare: Professor Danica Kragic, Numerisk analys och datalogi, NADA, Robotik, perception och lärande, RPL, Centrum för autonoma system, CAS; Johannes Andreas Stork, Robotik, perception och lärande, RPL
Abstract
Framgångsrik inlärning av beteenden inom ramen för Reinforcement Learning (RL) sker ofta tabula rasa och kräver stora mängder observationer och interaktioner. Att använda RL-algoritmer utanför simulering, i den riktiga världen, är därför ofta inte praktiskt utförbart. Detta har motiverat studier i Transfer Learning för RL, där inlärningen accelereras av erfarenheter från tidigare inlärning av liknande uppgifter. I denna licentiatuppsats utforskar jag hur vi kan vi kan åstadkomma transfer från en enklare manipulationspolicy, till en större samling omarrangeringsproblem. Jag fortsätter sedan med att beskriva hur vi kan modellera hur olika inlärningsproblem skiljer sig åt med hjälp av en lågdimensionell parametrisering, och på så vis effektivisera inlärningen av nya problem. Beroendet av bra funktionsapproximation är ibland problematiskt, särskilt inom RL där statistik om målvariabler inte är kända i förväg. Jag presenterar därför slutligen observationer, och förklaringar, att små varianser för målvariabler tillsammans med momentum-optimering leder till dying ReLU.