Till innehåll på sidan

Topics on Generative Models in Machine Learning

Tid: Må 2021-06-14 kl 13.00

Plats: Via Zoom: https://kth-se.zoom.us/webinar/register/WN_i5n8HpJgS0Wh2YpQ_uOCfw, (English)

Respondent: Carl Ringqvist , Matematisk statistik

Opponent: Professor Thomas Schön, nst för informationsteknologi, Uppsala universitet, Uppsala

Handledare: Professor Henrik Hult, Matematisk statistik

Exportera till kalender

Abstract

Modeller med latenta variabler har studerats intensivt inom maskininlärning de senaste åren. Speciellt i kombination med neurala nätverkhar dessa visat sig kapabla inom ett antal områden; exempelvis generering av syntetisk data, klustring, feature-identifiering och interpolation.Den här avhandlingen består av fyra artiklar, vilka behandlar olika delområden i denna kontext. I artikel A applicerar vi Infinite Swappingalgoritmen till begränsade Boltzmann-maskiner. Infinite Swapping ären utveckling av Parallel Tempering, en algoritm utvecklad för attsnabba upp konvergensen av Markovkedjor. Då Boltzmann-maskinenkräver sampling från dess komplexa fördelning under träning, är dessa metoder relevanta. I litteraturen har det tidigare demonstreratsatt Parallel Tempering signifikant förbättrar träningen av Boltzmannmaskinen. Artikel A fortsätter i samma anda, genom att anpassa Infinite Swapping-algoritmen till Boltzmann-maskinen. De resterande treartiklarna behandlar olika aspekter av Variational Autoencoders. I artiklarna B och C introduceras och undersöks metoder för stokastisk interpolation. I den här kontexten menar vi med interpolation uppgiftenatt producera en rimlig transformation från en observation till en annan. Inom bildanalys innebär detta en trovärdig visuell transformationfrån ett objekt till ett annat objekt. Tidigare metoder för interpolationinom området har uteslutande fokuserat på deterministisk interpolation. Deterministisk interpolation avser finna en ’korrekt’ eller i någonmån ’optimal’ interpolationsväg. I artikel B och C introduceras ett annat synsätt, där ett antal ’korrekta’ interpolationsvägar karaktäriserasav en fördelning vilken är möjlig att simulera från. Bevis för att simuleringar dragna från de föreslagna fördelningarna ligger i den mångfaldsom specificeras av apriori-fördelningen presenteras; vilket ger teoretiskt stöd till att metoden generellt producerar rimliga observationer.I artikel D används Variational Autoencoders inom klustring. Ett probabilistiskt perspektiv intas, där varje lokalt maxima hos en fördelningantas representera ett kluster. En observation tillskrivs ett kluster genom att följa dess fördelnings-gradient till första lokala maxima. Eneffektiv metod för att skatta gradienten för Variational Autoencoderspresenteras, och implementeras praktiskt för empiriska test. Vidare introduceras en metod för att estimera ett naturligt antal kluster för endatamängd. Det påvisas att denna metod presterar signifikant bättrenär den appliceras till data behandlad med gradienten, i jämförelsemed när den appliceras till data i originalformat

urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-295220