De kracht van Analytics Engineering

Analytics Engineering bevindt zich op het snijvlak van business, Data Engineering en Data Analytics. Ze begrijpen de zakelijke behoeften van een organisatie en zijn tegelijkertijd in staat om gestructureerde en getransformeerde data op te leveren die klaar zijn voor analyse. Ze zijn vertrouwd met softwareprincipes zoals testen, versiebeheer en continue integratie. Het datawarehouse is hun domein. Ze zorgen ervoor dat het gestructureerd, georganiseerd en gedocumenteerd blijft. Dataconsumenten kunnen gerust zijn, wetende dat de datakwaliteit behouden blijft terwijl ze de ideale structuur hebben voor visualisaties, rapporten of als invoer voor hun Data Science-modellen.

De oorsprong van Analytics Engineering

Sinds 2012 hebben zich belangrijke ontwikkelingen voorgedaan in de datatooling-stack, die hebben bijgedragen aan de opkomst van Analytics Engineering:

1. Cloud gebaseerde datawarehouses hebben de opslag en verwerking van data goedkoper en efficiënter gemaakt, wat heeft geleid tot een verschuiving van ETL (Extract, Transform, Load) naar ELT (Extract, Load, Transform).
2. Data pipline-diensten hebben data-extractie vereenvoudigd en gestandaardiseerd voor talloze bronnen.
3. Business Intelligence-tools hebben dataconsumenten in staat gesteld het maximale uit hun data te halen.

Met deze veranderingen werd duidelijk dat data nu vrij eenvoudig kan worden verzameld en geladen in een datawarehouse. Daarnaast kunnen rapporten en visualisaties snel worden gebouwd, waardoor het proces van het verstrekken van inzichten werd versneld. Beide ontwikkelingen benadrukten het belang van datamodellering en datakwaliteit.

Datateams, bestaande uit Data Engineers en Analisten, zijn verantwoordelijk voor deze taken. Data Engineers hebben echter niet de domeinkennis om de behoeften van de business volledig te begrijpen, en Data Analisten missen de technische kennis om zelf de datatransformaties uit te voeren.

Ten slotte werden er nieuwe tools ontwikkeld die zich richtten op de transformatielaag. Deze tools bieden ofwel complete dataplatforms waar data-extractie hand in hand gaat met datamodellering (zoals Fivetran of Stitch), of specifieke frameworks met krachtige tools voor datamodellering (zoals dbt).

Naarmate de vraag naar vakkundige personen die goed zijn in datatransformaties steeg, samen met de beschikbaarheid van geschikte instrumenten, ontstond het concept van Analytics Engineering.

De verantwoordelijkheden van een Analytics Engineer

Zoals hierboven vermeld, vereist een Analytics Engineer vaardigheden op het gebied van datamodellering en het behouden van datakwaliteit. Verder houden ze zich bezig met het bijhouden van de behoeften van de business en richten zich op het verzamelen en combineren van informatie om aan de gevraagde inzichten te voldoen. Hierdoor is een Analytics Engineer verantwoordelijk voor de volgende taken:

1. Verzamelen van business requirements
2. Afstemmen van requirements op data
3. Opschonen van data
4. Data transformeren om aan de requirements te voldoen
5. Data up-to-date houden
6. Testen van datakwaliteit
7. Documenteren van data

Een Analytics Engineer besteedt het grootste deel van zijn tijd in het datawarehouse, omdat in de moderne datastack de meeste, zo niet alle, datatransformaties worden uitgevoerd binnen het datawarehouse. De landing zone is hun startpunt en de uiteindelijke datamodellen, die bijvoorbeeld gebruikt kunnen worden voor visualisaties, zijn hun eindproduct.

De positie van een Analytics Engineer binnen een datateam

Binnen het moderne datateam werkt een Analytics Engineer voornamelijk samen met Data Engineers en Data Analisten. De Data Engineers bouwen en gebruiken data pipelines om ruwe invoerdata naar het datawarehouse te brengen, terwijl de Data Analisten de uiteindelijke datamodellen gebruiken om dashboards te bouwen of diepgaande inzichten aan de business te bieden.

Hoewel de verantwoordelijkheden vaak op deze manier worden verdeeld, zijn er geen strikte richtlijnen. Een Analytics Engineer zou bijvoorbeeld ook het gedeelte van dataextractie kunnen uitvoeren of het dashboard kunnen bouwen. Net zoals dat de Data Engineer of Analist de data kan modelleren. De Analytics Engineer wordt echter gezien als de specialist op het gebied van datatransformaties.

Teams zonder Analytics Engineers hebben vaak moeite met langzame iteraties wat betreft wijzigingen in bestaande datamodellen of het opzetten van nieuwe modellen. Bovendien ontbreekt het hen aan een toegewijd teamlid dat alle ins en outs van de datamodellen en de business logic kent. Hierdoor ontstaat er een communicatiekloof tussen de business en het datateam, wat resulteert in lange wachttijden voor beide partijen.

De voordelen van Analytics Engineering

Kortom, het hebben van een Analytics Engineer in uw team heeft de volgende voordelen:

• Actuele, geteste, gedocumenteerde en goed doordachte datamodellen
• Snellere iteraties voor toevoegingen en wijzigingen in de datastructuur
• Verbeterde communicatie en afstemming met de business
• Duidelijke verdeling van verantwoordelijkheden tussen dataextractie en -laden enerzijds, en datatransformatie anderzijds

Bovendien kunnen teams door het toepassen van Software Engineering-principes efficiënter en effectiever werken, de codekwaliteit verbeteren, fouten minimaliseren en een gestructureerde ontwikkelingsaanpak aannemen. Dit resulteert in een schaalbare, onderhoudbare en betrouwbare data-infrastructuur om te zorgen voor een goede data-governance en -lineage.

Wil je profiteren van alle voordelen van het hebben van een Analytics Engineer in je team? Als jouw datapartner kunnen we je introduceren aan verschillende Analytics Engineers die jouw datateam kunnen versterken. Neem contact met ons op om de mogelijkheden te verkennen.

1x per maand data insights, praktijkcases en een kijkje achter de schermen ontvangen?

Meld je aan voor onze maillijst en blijf 'up to data':