Användning av AI och visualisering ger kunskapsinsikter
Hur kan AI bli ett verktyg i utbildningen av nya hjärnkirurger? Och kan operationssalar bli mer sterila med hjälp av visualisering? Mario Romeros forskning är både mångfacetterad och ofta överraskande.
Tidigt i karriären utvecklade Mario Romero ett tangentbord för blinda mobilanvändare: BrailleTouch. Den första versionen lanserades 2013 och gjorde det möjligt att använda brailleskrift för att skriva sms och mejl på sin smartphone. Appen fick stor spridning och snart kopierades både design och funktion för att bli en del av telefonens operativsystemen.
– Vi patenterade aldrig vår innovation eftersom vi inte ville tjäna pengar på den stora gruppen synskadade. Men vi ville göra en skillnad och det lyckades. Utvecklingen gav oss också meriter som tog oss vidare i våra akademiska karriärer, säger Mario Romero, lektor i visualisering och interaktiv grafik på KTH.
Bygger utbildningsplattform för hjärnkirurgi i 3D-simulering
Den senaste tiden har han fokuserat på att hjälpa sjukvården att utbilda fler hjärnkirurger. Att förmedla kunskaper från erfarna hjärnkirurger till nya kirurger är inte enkelt. Mycket av kunskaperna är praktiska och baserade på erfarenheter där flera sinnen är inblandade. Dessutom höjs kompetenskraven av att felmarginalerna vid operationer är mycket små.
– Detta är kunskaper som tar mycket lång tid att lära; de flesta studerar minst fem år innan de får göra sin första operation. Förutom teori bygger studierna på observationer och handledning av redan erfarna kirurger, säger Romero.
Men det är brist på erfarna kirurger och därför sätts hoppet till utvecklingen av nya former av utbildningsplattformar som baseras på simuleringar och 3D-visualisering.
Forskningen drivs i samarbete med Karolinska Universitetssjukhuset och har inneburit skapandet av 3D-modeller av verkliga patienter baserade på medicinska bilder. Modellerna har sedan använts av de mer erfarna kirurgerna för att simulera verkliga operationer.
– Med hjälp av sensorer kan vi fånga upp varje rörelse kirurgen gör, till exempel hur de håller instrumenten, var de placerar sina händerna, och även var de riktar blicken. Allt in i minsta detalj, säger Romero.
Resultatet blir en komplett simulering av en operation som går att uppleva i 3D. Här kan en student stanna upp och repetera varje rörelser eller förlopp, och även zooma in på olika detaljer för att få en bättre bild. Målet är att skapa en plattform som kan komplettera dagens utbildningsmetoder.
Simuleringen gör det även möjligt för studenterna att genomföra en operation tillsammans med de inspelade kirurgerna. Det blir då möjligt att jämföra hur de själva placerar instrument eller händer och lära sig av skillnaderna.
Nästa steg är att använda maskininlärning och AI för att skapa en artificiell expertlärare. AI-läraren kan tränas upp med hjälp av de erfarna kirurgernas arbete. Och sen kan den observera studenterna och dra slutsater kring vad de behöver träna ytterligare på. På så sätt kan lärandet anpassas individuellt efter varje student.
– Vi vill inte ersätta de erfarna kirurgerna och experterna utan komplettera dem genom att ge dem fler verktyg för att dela sina kunskaper, säger Romero.
Minskar antalet vårdrelaterade infektioner
Romero driver även ett forskningsprojekt tillsammans med Danderyds sjukhus för att visualisera hur partiklar rör sig i luften i en operationssal. Här är målet att skapa en mer steril miljö som kan bidra till att minska vårdrelaterade infektioner. Hela 98 procent av bakterierna i kirurgiska sår har nämligen visat sig komma från luften.
Många av bakterier i luften i en operationssal kommer från människorna som befinner sig i rummet. Trots munskydd och sterila kläder sprids partiklar och bakterier från utandningsluften och huden. Men genom att anpassa ventilation, placeringen av utrustning och kirurgteamets rörelser är det möjligt att bättre skydda patienterna.
Genom att bygga en datormodell av en operationssal kan forskarna visa hur partiklarna rör sig. I modellen tar man hänsyn till allt från ventilationssystem, till partikelstorlek, rummets värmesystem, placeringen av utrustningen och det kirurgiska teamets arbete. Till och med kroppsvärmen från både kirurg och patient ingår i beräkningsmodellerna.
– På längre sikt är målet att förbättra metoder och procedurer kring operationen, till exempel genom att förbättra ventilationen, för minska antalet vårdrelaterade infektioner. I framtiden ska du ska kunna kliva in en verklig operationssal och med hjälp av AR-glasögon se exakt hur luften rör sig i rummet omkring de fysiska objekten och människorna, säger Romero.
Forskningen har en utlöpare i ett projekt vid KTH Live in Lab för att studera hur ventilationssystem ska utformas för att minimera spridningen av virus och bakterier.
Knuffar fram gränserna för dagens teknik
Mario Romeros forskning handlar om att ständigt knuffa fram gränserna när det gäller användningen av dagens teknik. Är det möjligt att använda den för att visualisera verkliga situationer och miljöer så nära realtid som möjligt?
– Vi ger människor verktyg och metoder som kan öka deras förståelse och deras kunskap om verkligheten. Och sättet vi gör det på är att fokusera på deras verklighet, utvinna rätt data för att analysera den och visualisera resultatet på sätt som kan fördjupa deras kunskap, säger Romero.
Och samarbetet med hälso- och sjukvården menar han är särskilt belönande.
– Inom vården arbetar människor som hela tiden strävar efter att förbättras. De vill ständigt utvecklas för att göra en skillnad för sina medmänniskor. Det skapar en mycket inspirerande miljö, avslutar Romero.
Kontakt:
