De kracht van Analytics Engineering

De brug tussen business en data voor betere inzichten

  • Artikel
  • Data Analytics
  • Data Engineering
  • Analytics Engineering
Uitleg over analytics engineering
Roy-data-engineer
Roy Klip
Data Engineer
4 min
24 May 2023

De wereld van data is voortdurend in beweging, en dat geldt ook voor de bijbehorende functies en verantwoordelijkheden binnen datateams. Hieruit is een opkomende rol ontstaan: de Analytics Engineer.

Analytics Engineering bevindt zich op het snijvlak van business, Data Engineering en Data Analytics. Ze begrijpen de zakelijke behoeften van een organisatie en zijn tegelijkertijd in staat om gestructureerde en getransformeerde data op te leveren die klaar zijn voor analyse. Ze zijn vertrouwd met softwareprincipes zoals testen, versiebeheer en continue integratie. Het datawarehouse is hun domein. Ze zorgen ervoor dat het gestructureerd, georganiseerd en gedocumenteerd blijft. Dataconsumenten kunnen gerust zijn, wetende dat de datakwaliteit behouden blijft terwijl ze de ideale structuur hebben voor visualisaties, rapporten of als invoer voor hun Data Science-modellen.

De oorsprong van Analytics Engineering

Sinds 2012 hebben zich belangrijke ontwikkelingen voorgedaan in de datatooling-stack, die hebben bijgedragen aan de opkomst van Analytics Engineering:

  1. Cloud gebaseerde datawarehouses hebben de opslag en verwerking van data goedkoper en efficiënter gemaakt, wat heeft geleid tot een verschuiving van ETL (Extract, Transform, Load) naar ELT (Extract, Load, Transform).
  2. Data pipline-diensten hebben data-extractie vereenvoudigd en gestandaardiseerd voor talloze bronnen.
  3. Business Intelligence-tools hebben dataconsumenten in staat gesteld het maximale uit hun data te halen.

Met deze veranderingen werd duidelijk dat data nu vrij eenvoudig kan worden verzameld en geladen in een datawarehouse. Daarnaast kunnen rapporten en visualisaties snel worden gebouwd, waardoor het proces van het verstrekken van inzichten werd versneld. Beide ontwikkelingen benadrukten het belang van datamodellering en datakwaliteit.

Datateams, bestaande uit Data Engineers en Analisten, zijn verantwoordelijk voor deze taken. Data Engineers hebben echter niet de domeinkennis om de behoeften van de business volledig te begrijpen, en Data Analisten missen de technische kennis om zelf de datatransformaties uit te voeren.

Ten slotte werden er nieuwe tools ontwikkeld die zich richtten op de transformatielaag. Deze tools bieden ofwel complete dataplatforms waar data-extractie hand in hand gaat met datamodellering (zoals Fivetran of Stitch), of specifieke frameworks met krachtige tools voor datamodellering (zoals dbt).

Naarmate de vraag naar vakkundige personen die goed zijn in datatransformaties steeg, samen met de beschikbaarheid van geschikte instrumenten, ontstond het concept van Analytics Engineering.

De verantwoordelijkheden van een Analytics Engineer

Zoals hierboven vermeld, vereist een Analytics Engineer vaardigheden op het gebied van datamodellering en het behouden van datakwaliteit. Verder houden ze zich bezig met het bijhouden van de behoeften van de business en richten zich op het verzamelen en combineren van informatie om aan de gevraagde inzichten te voldoen. Hierdoor is een Analytics Engineer verantwoordelijk voor de volgende taken:

  1. Verzamelen van business requirements
  2. Afstemmen van requirements op data
  3. Opschonen van data
  4. Data transformeren om aan de requirements te voldoen
  5. Data up-to-date houden
  6. Testen van datakwaliteit
  7. Documenteren van data
Datawarehouse
Zo zien wij de verschillende rollen in moderne datateams

Een Analytics Engineer besteedt het grootste deel van zijn tijd in het datawarehouse, omdat in de moderne datastack de meeste, zo niet alle, datatransformaties worden uitgevoerd binnen het datawarehouse. De landing zone is hun startpunt en de uiteindelijke datamodellen, die bijvoorbeeld gebruikt kunnen worden voor visualisaties, zijn hun eindproduct.

De positie van een Analytics Engineer binnen een datateam

Binnen het moderne datateam werkt een Analytics Engineer voornamelijk samen met Data Engineers en Data Analisten. De Data Engineers bouwen en gebruiken data pipelines om ruwe invoerdata naar het datawarehouse te brengen, terwijl de Data Analisten de uiteindelijke datamodellen gebruiken om dashboards te bouwen of diepgaande inzichten aan de business te bieden.

Hoewel de verantwoordelijkheden vaak op deze manier worden verdeeld, zijn er geen strikte richtlijnen. Een Analytics Engineer zou bijvoorbeeld ook het gedeelte van dataextractie kunnen uitvoeren of het dashboard kunnen bouwen. Net zoals dat de Data Engineer of Analist de data kan modelleren. De Analytics Engineer wordt echter gezien als de specialist op het gebied van datatransformaties.

Teams zonder Analytics Engineers hebben vaak moeite met langzame iteraties wat betreft wijzigingen in bestaande datamodellen of het opzetten van nieuwe modellen. Bovendien ontbreekt het hen aan een toegewijd teamlid dat alle ins en outs van de datamodellen en de business logic kent. Hierdoor ontstaat er een communicatiekloof tussen de business en het datateam, wat resulteert in lange wachttijden voor beide partijen.

De voordelen van Analytics Engineering

Kortom, het hebben van een Analytics Engineer in je team heeft de volgende voordelen:

  • Actuele, geteste, gedocumenteerde en goed doordachte datamodellen
  • Snellere iteraties voor toevoegingen en wijzigingen in de datastructuur
  • Verbeterde communicatie en afstemming met de business
  • Duidelijke verdeling van verantwoordelijkheden tussen dataextractie en -laden enerzijds, en datatransformatie anderzijds

Bovendien kunnen teams door het toepassen van Software Engineering-principes efficiënter en effectiever werken, de codekwaliteit verbeteren, fouten minimaliseren en een gestructureerde ontwikkelingsaanpak aannemen. Dit resulteert in een schaalbare, onderhoudbare en betrouwbare data-infrastructuur om te zorgen voor een goede data-governance en -lineage.

Wil je profiteren van alle voordelen van het hebben van een Analytics Engineer in je team? Als jouw datapartner kunnen we je introduceren aan verschillende Analytics Engineers die jouw datateam kunnen versterken. Neem contact met ons op om de mogelijkheden te verkennen.

Dit is een artikel van Roy Klip, Data Engineer bij Digital Power

Roy heeft een achtergrond in Software Engineering en Data Science en combineert deze graag in zijn werk. Hij ontwerpt, bouwt en onderhoudt graag datapipelines en -platforms.

Roy Klip

Data Engineerroy.klip@digital-power.com

1x per maand data insights, praktijkcases en een kijkje achter de schermen ontvangen?

Meld je aan voor onze maillijst en blijf 'up to data':

Dit vind je misschien ook interessant:

koe in de wei

Inzicht in marktdynamieken voor een stevigere concurrentiepositie

FrieslandCampina Global faciliteert lokale teams in Europa, Azië en Afrika. Ze willen de markt beter in kaart brengen en de teams van nieuwe inzichten voorzien. Doelen hierbij zijn het verstevigen van de concurrentiepositie en het spotten van nieuwe kansen voor uitbreiding.

Lees meer
valk exclusief

Setting up a future-proof data infrastructure

Valk Exclusief is a chain of 4-star+ hotels with 43 hotels in the Netherlands. The hotel chain wants to offer guests a personal experience, both in the hotel and online.

Lees meer
overleg over datastrategie

Geef je datastrategie vorm met onze data experts

Je organisatie groeit en je vraagt je af hoe je data hierin efficiënt en effectief mee kan groeien. En hoe zorg je ervoor dat iedereen mee kan in de stappen die je neemt op weg naar datavolwassenheid? Met een goede datastrategie weet je hoe je dit soort vraagstukken op kunt lossen. We helpen je graag bij de ontwikkeling hiervan.

Lees meer

Wat is een Data Engineer?

Een Data Engineer is iemand die zich helemaal thuis voelt in zeeën van data en de technische engineering die nodig is bij het omzetten van die data in betekenisvolle signalen en inzichten.

Lees meer

5 redenen om Infrastructure as Code (IaC) te gebruiken

Infrastructure as Code heeft zich bewezen als betrouwbare techniek om platformen sterk neer te zetten in de cloud. Het vraagt echter wel een extra tijdsinvestering van de betrokken ontwikkelaars. In welke gevallen loont de extra inspanning zich? Je leest het in dit artikel.

Lees meer
vrouw die online aan het shoppen is

Een gestandaardiseerde manier van dataverwerking met behulp van dbt

Een van de grootste webwinkels van Nederland wilde een gestandaardiseerde manier van dataverwerking ontwikkelen binnen een van de datateams. Alle data werd opgeslagen in het schaalbare cloud datawarehouse Google BigQuery. Binnen dit platform waren grote hoeveelheden data beschikbaar op het gebied van orders, producten, marketing, retouren, klantcases en partners.

Lees meer
nederlandse snelweg

Betrouwbare rapportages met behulp van robuuste Python code

Het Nationaal Portaal Wegverkeersgegevens (NDW) is een waardevolle bron voor gemeenten, provincies en de rijksoverheid om inzicht te krijgen in verkeersstromen en de efficiëntie van de infrastructuur te verbeteren.

Lees meer