Evigt väntande…

När man håller på att syssla med Big Data så tar det ett tag att gå igenom miljarder av rader för att kunna processera den informationen man behöver och för att kunna få fram träningsexempel, metrics eller liknande.

På Spotify så är detta just situationen jag sitter i. Jag måste vänta upp till en timme för att generera träningsexempel, och mycket, mycket längre för att kunna träna en modell som kan göra awesome predictions.

För tillfället så väntar jag på att mitt jobb ska bli klart på big data klustret så att jag kan fortsätta jobba. Det gäller att vara försiktig här med, varenda kodrad kostar både tid och pengar, så när man har något fel och behöver generera om all data så behöver det nödvändigtvis inte vara kört men man förlorar rätt mycket tid på sina misstag. Inget man behöver tänka på när man kodar med datasets som är runt 10k rader, här snackar vi miljarder 😉

2 reaktion på “Evigt väntande…

  1. Mohammed

    Vad gör ni medans ni väntar på att datan ska genereras? Är det bara dötid eller gör ni något annat produktivt under tiden?

  2. Oktay Bahceci Inläggsförfattare

    En riktigt bra fråga! Man håller sig sysselsatt med vad man tycker är lämpligt, antar jag. När jag kör ett stort jobb som ska ta lång tid så brukar jag planera inför framtiden och försöka adaptera min kod till att stödja vad det än jag försöker åstadkomma, typ refactoring eller liknande. Läser artiklar om nya teknologier, nytt research och liknande. Annars så diggar jag att sitte på reddit, feber och facebook som alla andra haha 🙂

Kommentarer inaktiverade.