Miljarden streams omgezet in bruikbare inzichten met een nieuw data- en analytics platform

Naast financiële gegevens ontvangt Merlin niet-financiële informatie over gebruikstrends van digitale dienstverleners wereldwijd. Het combineren en analyseren van deze gegevens is van onschatbare waarde voor de leden van Merlin. Maar hoe verzamel, structureer en combineer je de gegevens van meer dan één miljard streams, royalty's en luistergedrag, per dag? En hoe haal je hier bruikbare inzichten uit?

Merlin schakelde onze hulp in om een dataplatform te ontwerpen waar al deze gegevens samenkomen. Een bijzondere uitdaging bij het ontwerp en de ontwikkeling was het enorme volume aan streaminggegevens dat moest worden verzameld en gestructureerd. Een andere uitdaging was dat het oude systeem verschillende cloudproviders gebruikte.

Veertig bronnen moesten worden aangesloten op het nieuwe systeem, waarbij Spotify verreweg de grootste was. Ter illustratie: voor alleen Spotify worden dagelijks bijna 1 miljard rijen gegevens verwerkt.

Aanpak

We deelden dit project op in twee fases.

1. Discovery phase

We begonnen met een discovery phase waarin we alle technische en zakelijke vereisten van de stakeholders verzamelden. We deden verschillende concrete aanbevelingen en zette een architectuur op inclusief tool stack. We kozen voor een architectuur met een datalake. De open structuur hiervan sloot goed aan bij het bestaande platform, waardoor risico's werden verminderd. Zoals te zien is in de onderstaande afbeelding, brachten we de analytische- en financiële pipelines samen op één platform.

2. Implementatiefase

Als onderdeel van de migratie moesten we veel pipelines van het cloudplatform en de orchestrator overzetten. We sloten vele nieuwe bronnen aan en migreerden historische data naar het nieuwe platform. Hierbij liepen we tegen verschillende uitdagingen aan. Denk hierbij aan een datamodel dat in de loop der tijd veranderde of een pipeline die praktisch uit zijn voegen barstte. We losten dit meteen op in samenwerking met de stakeholders.

Platforms zoals deze, die dagelijks terabytes aan gegevens verwerken, halen aanzienlijke voordelen uit een robuuste opzet. De keuze van tools speelt een cruciale rol, evenals een goede opzet van Continuous Integration/Continuous Deployment (CI/CD). Hierbij is het essentieel om een hoge testdekking van functionele code te hebben en geautomatiseerde kwaliteitstests uit te voeren op alle gegevens binnen het ETL/ELT-proces.

Negen maanden lang werkten we, in nauwe samenwerking met Merlin, aan de implementatie van het nieuwe platform. De eerste fase omvatte de implementatie van het platform met behulp van Infrastructure as Code (IaC) en het implementeren van Dremio, de query-engine. Daarna integreerden we de pipelines en stelden we de datalagen binnen het data lakehouse vast. We voerden de pipelines uit op Python-code binnen Airflow, en zetten de tabellen modulair op met behulp van dbt en SQL.

Resultaat

Het nieuwe platform stelt Merlin in staat om financiële en niet-financiële data te koppelen over verschillende partners. Nu kan Merlin diepere inzichten verwerven in trends, zowel intern als voor haar leden. Merlin kan steeds beter antwoord geven op vragen als 'Wat is de beste dag om een nieuwe single uit te brengen in een specifieke markt voor een artiest in country of pop?' of 'Hoe verhoudt de populariteit van artiesten en genres zich tot verschillende muziekplatforms?'

Het geconsolideerde systeem heeft ook de operationele last voor het Analytics Team van Merlin aanzienlijk verminderd. Alle gegevens zijn nu beschikbaar binnen hetzelfde datawarehouse.

Omdat Merlin samenwerkt met labels, distributeurs en rechthebbenden over de hele wereld, beschikt het over een unieke variëteit aan data die zeer veelzijdig en gedetailleerd is. Het nieuwe platform biedt Merlin de mogelijkheid om unieke, nieuwe inzichten te bieden aan haar leden.

1x per maand data insights, praktijkcases en een kijkje achter de schermen ontvangen?

Meld je aan voor onze maillijst en blijf 'up to data':