Betere analyses door data standaardisatie en automatisering
Schiphol
- Klantcase
- Analytics Engineering
- Data Analytics
Schiphol had behoefte aan extra ondersteuning op het gebied van data en schakelde hiervoor de hulp in van Digital Power. Al snel zagen we dat de data complex was, met veel verschillende eventnamen en parameters. Voor elke analyse moesten handmatige stappen worden doorlopen, zoals het uitpakken en opschonen van data. Vooral het koppelen van verschillende platforms zoals app (iOS en Android) en web was een uitdaging. Dit leidde tot een tijdrovend en foutgevoelig proces, met veel repetitieve taken.
Om dit proces te verbeteren, adviseerden we dbt te gebruiken voor standaardisatie en automatisering. Dit zou niet alleen de datakwaliteit verhogen, maar ook meer tijd vrijmaken voor diepgaandere analyses met echte impact. Schiphol herkende de waarde hiervan, en zo zijn we van start gegaan.
Aanpak
Plan van aanpak: We begonnen met het identificeren van de grootste bottlenecks. Deze zaten vooral in het uitpakken, opschonen en standaardiseren van data. We maakten een plan om dit aan te pakken, met als doel om bruikbare, kant-en-klare datasets te hebben voor analyses. Vervolgens deelden we het plan op in kleinere stappen en keken we hoe we de kennis over het proces konden overdragen aan het team van Schiphol. Om klein te beginnen, besloten we een Proof of Concept (POC) te bouwen. Hierin focusten we ons op twee Google Analytics (GA) properties om te standaardiseren. Als het concept geslaagd is, kunnen we de andere properties gaan toevoegen.
Technische uitvoering: We startten met het bouwen van een generiek framework om GA data te verwerken middels dbt. Zo konden we de code hergebruiken voor toekomstige properties. De stappen bestonden uit: data uitpakken, opschonen, en standaardiseren. Om de datakwaliteit te waarborgen, bouwden we ook tests in om onze assumpties te checken.
Kennisdeling en documentatie: Naast de technische kant creëerden we documentatie en slides om kennis over te dragen aan het team van Schiphol. We gaven ook kennissessies om hen op weg te helpen met dbt. Daarnaast organiseerden we hackathons, waaruit bleek dat er behoefte was aan een cheatsheet—een samenvatting van de belangrijkste stukjes code.
Resultaat
Na afronding van de POC werd de data automatisch gestandaardiseerd en konden we direct met de analyses aan de slag. We hoefden geen tijd meer te besteden aan het (opnieuw) opschonen van de data, maar we konden direct waarde toevoegen door te focussen op de diepte van de analyses.
Verder kwamen er tijdens het proces enkele datakwaliteitsproblemen naar voren die eerder niet opgemerkt waren omdat er niet op getest en gecontroleerd werd. Deze problemen losten we vervolgens ook op. Zo zorgden we ook voor meer accurate data.
De nieuwe dashboards gebruiken nu allemaal de dbt-gestandaardiseerde data. Uiteindelijk zorgt dit proces voor: tijdsbesparing, makkelijker te analyseren data, meer accurate analyses, en een centraal proces dat eenvoudig overgedragen kan worden.
Toekomst
Nu Schiphol een framework heeft om data vanuit verschillende GA properties te standaardiseren met dbt, gaan we dit uitbreiden naar meer properties. De data wordt dan automatisch opgeschoond en klaargezet. Daarnaast zullen we de andere datastromen migreren naar dbt en zorgen dat de bijbehorende berekeningen voor dashboard ook worden geüpdatet. Uiteindelijk zal alles gecentraliseerd, gestandaardiseerd, en geautomatiseerd zijn. Zo waarborgen we de kwaliteit en kunnen de analisten écht de diepte in duiken.
Meer weten?
Naomi gaat graag met je in gesprek over wat we als datapartner voor jou en je organisatie kunnen betekenen.
Business Manager+31(0)20 308 43 90+31(0)6 29 52 69 63naomi.deboer@digital-power.com
1x per maand data insights, praktijkcases en een kijkje achter de schermen ontvangen?
Meld je aan voor onze maillijst en blijf 'up to data':