Till innehåll på sidan
Till KTH:s startsida

Learning for Task-Oriented Grasping

Tid: To 2020-10-22 kl 14.00

Plats: F3, Lindstedtsvägen 26, Stockholm (English)

Ämnesområde: Datalogi

Respondent: Mia Kokic , Datavetenskap, Centrum för autonoma system, CAS, Robotik, perception och lärande, RPL, Robotics, Perception and Learning

Opponent: Professor Barbara Caputo,

Handledare: Danica Kragic, Numerisk analys och datalogi, NADA, Robotik, perception och lärande, RPL, Centrum för autonoma system, CAS

Exportera till kalender

Abstract

Uppdragsorienterad greppning refererar till problemet av att räkna fram stabila grepp på objekt som tillåter efterföljande exekvering av ett uppdrag. Trots att fatta objekt på ett uppdragsorienterat kan vara naturligt för människor, är det fortfarande väldigt utmanande för robotar. Ta exemplet av en servicerobot i ett hushåll. Denna sorts robot borde kuna utföra komplexa uppådrag som möjligtvis innefattar att hacka en banan eller vända på en pannkaka. För att kunna göra detta, måste roboten veta hur och vad den ska greppa så att uppdraget kan utföras. Det finns flera utmaningar gällande detta. Först, måste roboten kunna välja ett passande objekt för uppdraget. Detta tillhör till teorin om \emph{överkomlighet}.Efter detta, måste den veta hur den ska placera handen så att uppdraget kan utföras, till exempel att greppa en kniv vid skaftet när någonting ska skäras. Sist, algoritmer för uppdragsorienterad greppning bör vara uppskalningsbara och ha hög generaliseringsförmåga över många objektklasser och uppdrag. Detta är utmanande eftersom det finns inga tillgängliga dataset som innehåller information om ömsesidiga relationer mellan objekt,  uppdrag, och fattningar.I denna avhandling, presenterar vi metoder och algoritmer för uppdragsorienterad greppning som baseras på djup maskininlärning. Vi använder djup maskininlärning för att detektera objekters \emph{överkomlighet}, förutspå uppdragsorienterade grepp på nya objekt och analysera mänsklig aktivitetsdataset för ändamålet av att överföra denna kunskap till en robot. För att lära oss \emph{överkomlighet}, presenterar vi en metod för att detektera funktionella delar givet en visuell observation av ett objekt och ett uppdrag. Vi använder de detekterade \emph{överkomligheter} tillsammans med andra objektegenskaper för att planera ett stabilt, uppdragsorienterat grepp på nya objekt. För uppdragsorienterad greppning, presenterar vi ett system för att förutspå greppbetyg som tar hänsyn till både uppdraget och stabiliteten. Dessa grepp utförs sedan på en fysisk robot och är förfinade med hjälp av bayesisk optimering. Sedan, för att analysera mänskliga aktivitetsdataset, presenterar vi en algoritm för estimering av hand och objektposer och former från 2 dimensioner och utöka det till 3 dimensioner så att information om kontaktpunkter och relativa handplaceringar kan extraheras. Vi demonstrerar  att vi kan använda information vi har fått med denna metod att lära en robot uppdragsorienterade grepp genom att utföra experiment med en fysisk robot på nya objekt. 

urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-282832