When details count
Input representations and evaluation for neural text-to-speech synthesis of complex text
Tid: Fr 2026-11-13 kl 14.00
Plats: Kollegiesalen, Brinellvägen 8, Stockholm
Videolänk: https://kth-se.zoom.us/j/66813631609
Språk: Engelska
Ämnesområde: Tal- och musikkommunikation
Respondent: Doktorand Christina Tånnander , Tal, musik och hörsel, Myndigheten för tillgängliga medier, MTM, Malmö Sweden
Opponent: Associate Professor Catherine Lai, University of Edinburgh, Edinburgh, United Kingdom
Handledare: Professor Joakim Gustafsson, Tal, musik och hörsel; Jonas Beskow, Tal, musik och hörsel
QC 20261021
Abstract
För somliga är syntetiskt tal ett bekvämt alternativ för att ta till sig text. För personer med syn- eller läsnedsättning kan det i stället vara det huvudsakliga sättet att ta del av skriftspråk, inklusive långa och komplexa texter som ställer särskilda krav på text-till-talsyntes (TTS, talsyntes).Att utveckla talsyntes för olika användare och användningsområden innebär att man måste göra vissa val om hur språklig information representeras i systemen och hur de utvärderas.
Utvecklingen av ett talsyntessystem kräver att man gör vissa abstraktioner. Språklig information kan representeras på många olika sätt, men det är inte möjligt att explicit representera alla distinktioner som kan påverka talet. På motsvarande sätt innebär utvärdering att man gör abstraktioner, eftersom en komplex lyssningsupplevelse måste beskrivas utifrån ett begränsat antal aspekter. Vilka detaljer som är viktiga, både när språklig information representeras i systemet och vid utvärderingen, beror på vad som undersöks, vad systemet ska användas till och på texten, lyssnaren, uppgiften och lyssningssituationen.
Den här avhandlingen undersöker några av dessa val och deras konsekvenser för neurala talsyntessystem. En grupp studier undersöker explicita representationer av fonetisk, fonologisk och prosodisk information, främst på ordnivå och delordsnivå, och hur dessa påverkar det syntetiska talets egenskaper. Resultaten visar att valet av representation påverkar både det syntetiska talet och möjligheterna att styra specifika egenskaper hos talet. Två studier handlar om talsyntes med engelska inslag i svensk text och undersöker hur olika representationer kan användas för att styra graden av engelsk brytning, samt hur denna variation uppfattas av lyssnare.
Avhandlingen utforskar också hur syntetiskt tal och talsyntesmodeller kan användas som experimentella verktyg för att studera tal. Genom att systematiskt manipulera språkliga representationer och analysera det resulterande talet och lyssnarnas bedömningar av det, undersöker några av studierna fonetiska och fonologiska fenomen med metoden analys genom syntes. Resultaten visar hur kontrollerad manipulation av syntetiskt tal kan ge kunskap om hur modellen har lärt sig variation från träningsdata och hur denna variation, tillsammans med explicit representerad information, påverkar det syntetiska talet och hur det uppfattas.
Ytterligare två studier handlar om hur resultat från lyssningstest kan påverkas av hur experimenten utformas.Den ena studien undersöker hur bedömningen av samma syntetiska tal varierar beroende på hur lyssningen presenteras och vilken uppgift lyssnaren får. Den andra använder ett Audience Response System (ARS) för att samla in bedömningar fortlöpande under lyssningen. Detta gör det möjligt att följa hur bedömningarna förändras när man lyssnar på längre, sammanhängande tal och att koppla dem till specifika delar i talet.Studierna visar att det en utvärdering kan fånga upp beror på både lyssningssituationen och den metod som används.
Sammantaget visar de åtta studierna att detaljer spelar roll på olika sätt inom forskning och utveckling av talsyntes: vilken information som representeras, vilka egenskaper hos talet som kan styras och undersökas och vilka aspekter av lyssningsupplevelsen som fångas i utvärderingen.Det finns därför inte en enda lämplig detaljnivå: vilka detaljer som spelar roll beror på vad systemet eller studien ska uppnå.