Mitigating Harm in Online Information Systems

Abstract

Informationssystem på nätet förmedlar i allt högre grad vad individer läser, möter, tror på och diskuterar. Plattformar som X, tidigare Twitter, formar tillgången till nyheter och samhällsdebatt genom sofistikerade rekommendationsalgoritmer. På senare tid har stora språkmodeller (LLM) också blivit en grund för system som hjälper användare att få tillgång till och sammanställa kunskap. Dessa system kan emellertid medföra betydande skador. Deras algoritmiska utformning kan bidra till ensartad exponering, politisk polarisering, ensidig nyhetsbevakning och otillförlitlig genererad information. Följaktligen kan systemen begränsa individers exponering för varierat innehåll och olika perspektiv, samtidigt som de förstärker befintliga fördomar. I denna avhandling strävar vi efter att fördjupa förståelsen av dessa utmaningar genom att undersöka de designval som gör informationssystem snäva, polariserande, ofullständiga eller otillförlitliga. Vi formaliserar de underliggande beräkningsproblem som uppstår i komplexa verkliga sammanhang, analyserar de designval som leder till skadliga utfall och utvecklar effektiva algoritmer för att mäta, mildra eller hantera dem.

Avhandlingen undersöker hur skador kan representeras explicit i målfunktionerna för de system som ger upphov till dem. Våra bidrag omfattar tre sammanlänkade områden: rekommendation, nätbaserade medier och informationsåtkomst baserad på språkmodeller. För rekommendationssystem utvecklar vi en differentierbar och modellagnostisk målfunktion för att under träningen gemensamt optimera relevans och mångfald på uppsättningsnivå.För nätbaserade medier introducerar vi en modell för opinionsdynamik som kopplar den aggregerade sammansättningen av tidslinjer till polarisering på nätverksnivå, tillsammans med en skalbar konvex optimeringsmetod för att minska det resulterande oenighets–polariseringsindexet. Vi visar vidare att källmångfald är en otillräcklig proxy för mångfald av ståndpunkter i nyhetsaggregering och formulerar kalibrerad täckning av ståndpunkter som ett urvalsproblem med bivillkor. För språkmodeller använder vi kontextkontrollerade utvärderingar för att visa att vilseledande kontext kan framkalla självsäkra fel som osäkerhet på tokennivå inte tillförlitligt upptäcker. Prober av dolda tillstånd ger en starkare signal för att identifiera sådana otillförlitliga svar. Sammantaget hävdar avhandlingen att minskning av informationsrelaterade skador kräver målfunktioner och utvärderingar som direkt representerar den relevanta samhälleliga egenskapen, snarare än att enbart förlita sig på proxyvariabler såsom predikterad relevans.

Samtliga experiment i avhandlingen genomförs på verklighetsbaserade dataset under rigorösa utvärderingsförhållanden, och de föreslagna metoderna jämförs med flera baslinjemetoder. Implementationer av de föreslagna metoderna, tillsammans med de dataset som har offentliggjorts som en del av arbetet, är allmänt tillgängliga.

Link to DiVA