Till innehåll på sidan

Ny teknik gör det möjligt att musicera ihop på distans

Bilden föreställer en gitarrist som spelar musik över nätet med en basist och en trummis.
KTH-professorn Carlo Fischione och företaget Elk, där han är medgrundare, har utvecklat ett system som gör det möjligt att musicera tillsammans på distans.
Publicerad 2020-10-21

Nu är det möjligt för musiker att, trots att de befinner sig på olika platser, spela tillsammans med en känsla av att de befinner sig i samma rum. KTH-forskare har tillsammans med det nya företaget Elk tagit fram ett supersnabbt system som drastiskt minskar fördröjningen när ljudsignaler överförs via nätet. En perfekt lösning för repetitioner, jam sessions, inspelningar och musikundervisning i pandemitider.

Det nya coronaviruset har lett till stora problem för musiker, orkestrar, körer och musiklärare i deras musikutövning. Restriktioner när det gäller resor och publik gör det svårt att genomföra repetitioner och konserter. Och verktyg för videokonferenser som Zoom och Teams har en fördröjning av ljudsignalerna som gör dem i princip omöjliga att använda för musiker.

Porträttbild på ​ Carlo Fischione.
​ Carlo Fischione, professor vid avdelningen för nätverk och systemteknik på KTH.

Men nu har Carlo Fischione , professor vid avdelningen för nätverk och systemteknik på KTH, bidragit till en lösning på problemet. Tillsammans med sin tidigare post-doc Luca Turchet, en före detta masterstudent från KTH och tre andra personer har han grundat företaget Elk . Företaget har utvecklat ett system som gör att musiker kan spela tillsammans på distans, med mycket låg latency (fördröjning). Med den här lösningen upplever musikerna det som om de befinner sig i samma rum.

– Första gången vi demonstrerade tekniken var på Mobile World Congress i Barcelona i maj 2019. Då visade vi tillsammans med Ericsson att man kan använda 5G för att koppla ihop musikinstrument och spela tillsammans, trots att man befinner sig på olika platser, säger Carlo Fischione.

Redan för några år sedan hade han och hans kollega, den italienska gitarrbyggaren Michele Benincaso, en vision om musicerande över internet, då med en smart gitarr som var uppkopplad mot nätet. Men problemet med fördröjning i ljudöverföringen satte käppar i hjulet.

Ett nytt nätverk för snabb ljudöverföring

Det är två saker som nu gör att det har blivit möjligt att spela musik tillsammans via internet. Det första är ett nätverk som erbjuder mycket låg fördröjning av ljudöverföringen, som Carlo Fischione och hans kollegor på KTH har bidragit till att utveckla – och som beskrivs i en artikel i den vetenskapliga tidskriften IEEE . Men det i sig räcker inte till, konstaterar han.

– Musikinstrument som kopplas upp på internet måste också ha ett operativsystem med mycket snabb ljudöverföring. Och i vanliga operativsystem som MacOS och Windows tar det alldeles för lång tid att ta in ljud, behandla data och skicka ljud vidare, säger han.

Även mycket avancerade produkter för musik som finns på marknaden idag bearbetar ljud och musik för långsamt, enligt Carlo Fischione. Därför har Elk Audio nu tagit fram ett nytt operativsystem specifikt anpassat för ljud, som två masterstudenter på KTH har bidragit till att optimera.

– Vårt nya operativsystem Elk är supersnabbt. Det bearbetar ljud och musik på mindre än en millisekund, säger Carlo Fischione.

Vill du vara med och utveckla framtidens datorsystem?

Är du sugen på att jobba med liknande saker som Carlo Fischione och de som jobbar på företaget Elk? Kanske utveckla ännu snabbare lösningar för musik över nätet? Då kanske civilingenjörsprogrammet i datateknik  är något för dig. 

En fungerande prototyp

Den prototyp företaget använder för demonstrationer och användartester består av en liten minidator, en så kallad Raspberry Pi, där det nya operativsystemet har byggts in. Datorn har ingångar för instrument och mikrofoner och portar för uppkoppling mot nätverk och mot internet och 5G-nätet. När musiker spelar tillsammans över internet har var och en sådan dator.

Det finns videor på YouTube där musiker spelar tillsammans på flera hundra kilometers avstånd från varandra. På Elks webbplats finns en video där den världsberömda harpisten och sångerskan Hattie Webb spelar Leonard Cohens Hallelujah tillsammans med basisten Andrea Resce . De och andra användare av systemet upplever det som om de är i samma rum när de spelar, berättar Carlo Fischione.

– Om Vivaldi, Mozart, Haydn eller någon av de andra stora klassiska kompositörerna skulle funnits idag skulle de inte ha upplevt någon fördröjning, säger han.

Nytt forskningsområde: machine learning over networks

Den fysikaliska lagen om ljusets hastighet sätter dock vissa begränsningar för hur långt ifrån varandra musikerna kan vara. Upp till 200 kilometer fungerar precis som att befinna sig i samma rum. 700 kilometers avstånd har visat sig fungera om musikerna spelar långsamt, enligt Carlo Fischione. Men han och forskarkollegorna har bidragit till utveckla ett nytt forskningsområde, machine learning over networks. Bland annat undersöker de om AI och maskininlärning kan användas för att kompensera fördröjningen och därmed göra det möjligt för musiker att spela tillsammans på ännu större avstånd ifrån varandra.

– Vem vet, kanske kan vi övervinna ljudets hastighet om AI kan förutsäga musikerns musikaliska uttryck på några hundra millisekunder och i realtid. I framtiden kanske musiker i New York och i Stockholm kan spela tillsammans samtidigt utan att de upplever någon fördröjning, säger Carlo Fischione.

Håkan Soold

Elk – ett företag vars teknologi bygger på forskning vid KTH

Elk är ett stockholmsbaserat ljudteknikföretag Företaget grundades 2015 av Carlo Fischione, professor i Internet of things på KTH, Michele Benincaso, Stefano Zambon, Raffaele Curci, Luca Turchet (tidigare post-doc hos Carlo Fischione på KTH) och Matteo Monari (tidigare mastersstudent på KTH).

Inom ett eller ett par år kommer det att finnas en minidator på marknaden med operativsystemet Elk inbyggt. Då lanseras även Aloha, ett tillägg till Elk som är som en sorts Zoom för musiker och gör att användarna kan se varandra när de spelar tillsammans på distans.

Carlo Fischiones forskning på KTH, som har bidragit till Elks teknologier, handlar bland annat om maskininlärning i nätverk och Internet of things. Nyligen presenterade han tillsammans med två andra forskare en artikel med titeln ”Towards Real-Time Detection of Symbolic Musical Patterns: Probabilistic vs. Deterministic Methods” vid konferensen 2020 IEEE 27th Conference of Open Innovations Association. Här är en video från presentationen . En populärvetenskaplig beskrivning av musik och Internet of things finns i den här artikeln  av Carlo Fischione och kollegor.

Innehållsansvarig:redaktion@kth.se
Tillhör: Om KTH
Senast ändrad: 2020-10-21