Een schaalbaar dataplatform in Azure
TM Forum
- Klantcase
- Data Engineering
- Dataprojecten
- Analytics Engineering
TM Forum, een alliantie van meer dan 850 wereldwijde bedrijven, schakelde onze hulp in als datapartner om data gerelateerde uitdagingen te identificeren en op te lossen.
De organisatie had uitdagingen met hun data-invoer proces. De tool die ze gebruikten was een low-code oplossing met beperkte beschikbare middelen, en de meeste Data Engineers waren er niet mee bekend. Bovendien werd de tool niet gebruikt in andere afdelingen binnen TM Forum, waardoor het moeilijk was om kennis over te dragen.
Om deze problemen aan te pakken, hebben we samen met TM Forum een schaalbaar en toekomstbestendig dataplatform opgezet in Microsoft Azure. Deze cloud provider was al in gebruik bij verschillende afdelingen binnen TM Forum, en Azure heeft goede integraties met Databricks voor big dataverwerking via Spark. De data ingestion en dataverwerking hebben we opgezet met Python code, wat overdraagbaar is en aansluit bij de vaardigheden van de gebruikers van het platform.
Aanpak
De data had betrekking op klantgegevens, events en trainingdeelname. Onze aanpak omvatte een Proof of Concept, waarbij we één van de data pipelines in Microsoft Azure opnieuw opbouwden om de haalbaarheid van onze oplossing te testen. Binnen enkele weken konden we alle functionaliteit van deze data pipeline opnieuw bouwen en een toekomstbestendige structuur opzetten.
In dit proces gebruikten we infrastructure as code viaTerraform om herbruikbare modules te creëren. Deze aanpak zorgde voor beter inzicht in de status van het platform, duidelijke documentatie en versiebeheer. Ook maakte het gemakkelijke rollbacks mogelijk in geval van pipeline-falen. Meer details over de voor- en nadelen van Infrastructure as Code vind je in onze blog.
We bouwden de data pipelines in vier stappen:
- Data inladen: via een standaard integratie (Salesforce) of een custom API-verbinding (Python code in Databricks) laadden we de data in
- Data transformeren: we verrijkten de data, trokken definities gelijk en hernoemden kolommen
- Datakwaliteit checken: we implementeerden datakwaliteitscontroles op basis van klantdefinities, zodat alleen gegevens die aan de kwaliteitsnormen voldeden in het platform werden opgenomen.
- Data pushen naar het datawarehouse in Snowflake: Analisten van TM Forum konden aan de slag met de data en waardevolle inzichten brengen
Resultaat
Alle data pipelines zijn nu geborgd in Azure en worden beheerd en gemonitord via Data Factory. De tool controleert dagelijks of alle data goed is opgehaald, getransformeerd en geverifieerd. Dit zorgt ervoor dat analisten toegang hebben tot hoogwaardige data in Snowflake en dat ze er relevante inzichten uit kunnen halen.
Toekomst
In de toekomst zullen we samen met TM Forum nagaan welke functies in het cloudplatform kunnen worden gebruikt voor analyses en welke inzichten ze willen halen uit dashboards. We zullen ook het beheer van het platform gemakkelijk overdraagbaar maken aan de interne organisatie, zodat zij het zelf kunnen onderhouden en uitbreiden.
Meer weten?
Joachim gaat graag met je in gesprek over wat we als datapartner voor jou en je organisatie kunnen betekenen.
Business Manager020 308 43 9006 23 59 83 71joachim.vanbiemen@digital-power.com
1x per maand data insights, praktijkcases en een kijkje achter de schermen ontvangen?
Meld je aan voor onze maillijst en blijf 'up to data':
Dit vind je misschien ook interessant:
Jouw Technical Web Analytics partner
Implementeer online analytics en andere digitale tracking om te kunnen meten wat je wilt weten.
Wat te doen met defecte Looker Studio dashboards?
Is jou vorige week misschien het volgende overkomen? Onder het genot van een lekker bakje koffie keek je nog eens naar wat je met veel zweet en tranen bouwde: een prachtig Looker Studio dashboard gebouwd met de GA4 connector. Je wreef de slaap uit je ogen en zag tot je schrik dat alle grafieken het niet meer deden. Collega’s belden je in paniek op. Wat is er allemaal gaande? In dit artikel leggen we je uit wat de gevolgen zijn van de door Google ingevoerde quota op de Google Analytics Data API.
Google Analytics 4 versus Google Analytics 3: wat zijn de voor- en nadelen?
Wanneer je gratis statistieken over websitebezoekers en hun gedrag op je website wilt bijhouden, kom je al snel uit bij Google Analytics. Het kost met de gratis versie Universal Analytics (beter bekend als GA3) maar een paar minuten om basismetingen als gebruikers, sessies en paginaweergaven in te richten. Voor uitgebreidere analyses is er de betaalde versie Google Analytics 360. Vanaf juli 2023 wordt GA3 niet meer ondersteund door Google. Tijd om over te stappen op het nieuwe GA4. Lees alles over de voor- en nadelen van het nieuwe Google Analytics in dit artikel.
Integratie web- en appdata draagt bij aan 360 graden klantbeeld
Univé is een Nederlandse verzekeraar die verzekeringen, financiële producten en diensten aanbiedt voor consumenten en bedrijven. Het bedrijf richt zich op het bieden van een hoogwaardige service en het helpen van klanten bij het maken van verantwoorde financiële beslissingen. Sinds 2014 werken we intensief samen met Univé.
Implementatie van Google Analytics 4
Een belangenvereniging voor woningeigenaren biedt op haar website een ruim aanbod aan content en diensten die online afgesloten kunnen worden. Om haar websitebezoekers zo goed mogelijk te kunnen bedienen, moeten interacties met de diensten, funnels en contentpagina’s goed gemeten worden. Dit deden ze al met onze ondersteuning, met Universal Analytics (GA3). Om goed voorbereid te zijn op de toekomst, vroegen ze ons Google Analytics 4 te implementeren.
