Diffusion-Based Learning and Foundation Model Adaptation for Robust Dense Prediction in Earth Observation

QC 20260427

Abstract

Täta prediktionsuppgifter såsom semantisk segmentering, förändringsdetektion ochkartläggning av brända områden vid skogsbränder är centrala inom jordobservation. Samtidigt försämras ofta prestandan hos djupinlärningsmodeller som tränats för dessauppgifter när de möter geografiska, temporala eller spatio-temporala distributionsskiftsom uppstår i verkliga tillämpningar. Denna avhandling undersöker hur diffusionsbaserat lärande och parameter-effektiv anpassning kan förbättra robusthet och generaliseringsförmåga hos modeller för tät prediktion inom jordobservation, med särskiltfokus på övervakning av skogsbränder med hjälp av Sentinel-2-satellitbilder.

Tre kompletterande studier presenteras i denna avhandling. Den första introducerarNoise2Map, en diskriminativ diffusionsmodell som återanvänder strukturerat brus somen övervakningssignal för semantisk segmentering och förändringsdetektion. Till skillnad från tidigare diffusionsmetoder som kräver iterativ sampling utför Noise2Map inferens i ett enda steg, samtidigt som modellen uppnår bästa resultat (rank-1) på trebenchmark-dataset och är 13,5 gånger snabbare än den närmaste diffusionsbaseradebaslinjen. Den andra studien föreslår en diffusionsbaserad dekoder som arbetar i representationsrymden hos frysta geospatiala foundation-modeller (GFMs) för att förbättra nollskotts-generaliseringsförmågan vid kartläggning av brända områden efterskogsbränder. Diffusionsdekodern förbättrar resultaten i 14 av 16 kombinationer avbackbone, protokoll och region, med förbättringar på upp till +4,8 i F1-mått, och generaliserar även till europeiska skogsbränder utanför träningsdistributionen. Den tredje studien utvärderar systematiskt olika anpassningsstrategier för GFMs (full finjustering, finjustering endast av dekodern samt Low-Rank Adaptation (LoRA)) för storskalig kartläggning av skogsbränder i Nordamerika. LoRA överträffar konsekvent alla alternativa metoder och förbättrar IoU med upp till +9,35 jämfört med full finjusteringför Prithvi-v2, samtidigt som mer än 99 % av backbone-parametrarna förblir frysta.

Tillsammans visar dessa studier att begränsningar i hur modeller lär sig – genom strukturerat brus, frysta enkodrar eller låg-rank-uppdateringar – kan ge bättre generalisering än att träna fler parametrar. Diffusionsbaserat lärande och parameter-effektiv anpassning erbjuder därmed praktiska och kompletterande vägar mot mer robusta mo-deller för jordobservation.

Link to DiVA