Een dag in het leven van een Data Engineer

De ervaringen van Oskar

  • Artikel
  • Data Engineering

Voor het ontwikkelen van moderne datatoepassingen is de Data Engineer onmisbaar. Maar wat betekent het eigenlijk om Data Engineer te zijn en wat doe je dan precies? Onze collega Oskar, Data Engineer bij Digital Power, legt het je uit.

Verschillende typen Data Engineering opdrachten

Als Data Engineer bij Digital Power kun je verschillende typen opdrachten uitvoeren. Hoe dat er in de praktijk uitziet?

“In een Scrum omgeving is je dag hetzelfde als ieder ander Scrum ontwikkelteam. Je begint met een kop koffie en doet de dagelijkse stand-up. Daarna werk je met een tool aan de tasks die je kunt afhandelen en je bespreekt de voortgang met je team. In een typische opdracht werk je veel met Python en een van de grote cloudproviders: AWS, Azure of GCP. Stakeholder management komt vooral kijken bij de interactie met je Product Owner en bij de demo’s die je geeft. 

Als je aan een kleinere opdracht op projectbasis werkt, zal het aandeel stakeholder management groter zijn. Hierbij ontwerp en ontwikkel je de oplossing zelf, en onderhoud je daarnaast contact met de klant. Dit doe je vaak in samenwerking met een collega van Digital Power. Zo kom je samen tot de beste oplossing, en leer je van elkaar. Het vak Data Engineering is erg breed. Zo kan een college jouw opzet voor eenCI/CD straat reviewen, terwijl jij je mening geeft over zijn of haar toepassing van Kubernetes.”

Learning on the job

Het werk van de Data Engineer is relatief nieuw en nog continu in ontwikkeling. Dit betekent dat je als Data Engineer veel leert door het te dóen. 

“Dit is ook waarom het werk als Data Engineering consultant mij zo goed bevalt. Ik heb bij diverse grote klanten problemen gezien en mogen oplossen. Hierbij zijn intakes, en de invloed die ik heb op de klantvraag, van groot belang. Hier bepaal je de scope van het probleem wat opgelost moet worden en ontdek je welke kennis en ervaring er nodig is om dit te doen.

Uiteindelijk kan ik tijdens een opdracht veel nieuwe technieken leren of nieuwe problemen oplossen. Zo blijf ik me ontwikkelen en nieuwe uitdagingen aangaan. Het afgelopen jaar ben ik voor het eerst aan de slag gegaan met de realisatie van een datalake house architectuur, terwijl ik eerder voornamelijk met (no)SQL databases had gewerkt. En dat alles wel vanuit één werkgever.”

Kennisdeling centraal

Naast het leren door te doen, kun je natuurlijk ook veel leren van je collega’s. Op verschillende opdrachten zijn ook verschillende uitdagingen. En hoe gaaf is het als je die leermomenten vervolgens kunt delen? 

“Ook intern bij Digital Power blijf ik me ontwikkelen, bijvoorbeeld door kennis over te dragen, zeker ook nieuwe kennis op te doen via interne meet-ups en trainingen, en door collega’s te begeleiden binnen het Data Engineering domein. Zo kan ik de mogelijkheden en het plezier van een afwisselende baan combineren met de voordelen van een vaste werkgever.”

Een baan als Data Engineer

Enthousiast geworden na het lezen van Oskar’s ervaringen? Je vindt bij ons verschillende mogelijkheden om Data Engineer te worden. Als je al ervaring hebt met het vak, kun je meteen solliciteren op onze vacature voor een Data Engineer .

Heb je al wél werkervaring als data professional, maar nog geen specifieke kennis van Data Engineering? Laat je omscholen! We bieden hiervoor een speciaal traject. Lees er hier meer over.

Dit is een artikel van Oskar van den Berg, Data Engineering Consultant, Digital Power

Oskar begon al op 10-jarige leeftijd met het ontwikkelen van zijn eigen websites. Gedurende zijn carrière legde hij zich steeds verder toe op het gebied van Data Engineering. Via Digital Power werkt hij voor grote klanten zoals De Nederlandsche Bank en ASML.

Oskar van den Berg

1x per maand data insights, praktijkcases en een kijkje achter de schermen ontvangen?

Meld je aan voor onze maillijst en blijf 'up to data':

Dit vind je misschien ook interessant:

Miljarden streams omgezet in bruikbare inzichten met een nieuw data- en analytics platform

Merlin is de grootste digitale muzieklicentiepartner voor onafhankelijke labels, distributeurs en andere rechthebbenden. De leden van Merlin vertegenwoordigen 15% van de wereldwijde markt voor muziekopnames. Het bedrijf heeft overeenkomsten met Apple, Facebook, Spotify, YouTube en 40 andere innovatieve digitale platforms over de hele wereld voor de opnames van haar leden. Het team van Merlin volgt betalingen en gebruiksrapporten van digitale partners nauwlettend en zorgt ervoor dat hun leden nauwkeurig, efficiënt en consistent worden betaald en van rapportages worden voorzien.

Lees meer

Waardevolle inzichten uit Microsoft Dynamics 365

Agrico is een coöperatie van aardappeltelers. Zij telen aardappels voor verschillende doeleinden zoals consumptie en het planten van toekomstige oogsten. Deze aardappels worden wereldwijd geëxporteerd via verschillende dochterondernemingen. Alle logistieke en operationele data wordt opgeslagen in hun ERP-systeem Microsoft Dynamics 365. Omdat dit systeem met zijn vele features erg complex is, is de data niet direct geschikt om te gebruiken voor rapportages. Agrico vroeg ons te helpen hun ERP-data inzichtelijk te maken en duidelijke rapportages te ontwikkelen.

Lees meer

Inzicht in de complete salesfunnel dankzij een datawarehouse met dbt

Onze consultants boeken de opdrachten die ze oppakken voor onze klanten in ons ERP AFAS. Als CRM gebruiken we HubSpot. Hierin zien we alle informatie die voorafgaand aan het tekenen van een samenwerkingsovereenkomst relevant is. Wanneer we een deal sluiten, gaat alle informatie uit HubSpot automatisch naar AFAS. HubSpot wordt dus vooral gebruikt voor het proces voordat we een samenwerking aangaan, AFAS juist voor de fase daarna. We wilden de inzet van onze mensen strakker plannen en onze financiële forecasts verbeteren. Daarom besloten we de data uit beide bronnen te koppelen en een datawarehouse op te zetten.

Lees meer

Een gestandaardiseerde manier van dataverwerking met behulp van dbt

Een van de grootste webwinkels van Nederland wilde een gestandaardiseerde manier van dataverwerking ontwikkelen binnen een van de datateams. Alle data werd opgeslagen in het schaalbare cloud datawarehouse Google BigQuery. Binnen dit platform waren grote hoeveelheden data beschikbaar op het gebied van orders, producten, marketing, retouren, klantcases en partners.

Lees meer

Betrouwbare rapportages met behulp van robuuste Python code

Het Nationaal Portaal Wegverkeersgegevens (NDW) is een waardevolle bron voor gemeenten, provincies en de rijksoverheid om inzicht te krijgen in verkeersstromen en de efficiëntie van de infrastructuur te verbeteren.

Lees meer

Opzet van een toekomstbestendige data-infrastructuur

Valk Exclusief is een keten van 4 sterren+ hotels en heeft 43 hotels in Nederland. De hotelketen wil gasten graag een persoonlijke ervaring bieden, zowel in het hotel als online.

Lees meer

Een schaalbaar dataplatform in Azure

TM Forum, een alliantie van meer dan 850 wereldwijde bedrijven, schakelde onze hulp in als datapartner om data gerelateerde uitdagingen te identificeren en op te lossen.

Lees meer

Een volledig geautomatiseerde data import pipeline

Stichting Donateursbelangen wil het vertrouwen tussen donateurs en goede doelen versterken. Daarom wilden ze via een eigen zoekmachine informatie over goede doelen delen met donateurs. De stichting vroeg ons de ANBI-status van goede doelen beschikbaar te stellen voor gebruik in hun zoekmachine. Een instelling krijgt deze status alleen als zij zich (bijna) volledig inzet voor het algemeen belang en zich aan bepaalde voorwaarden houdt.

Lees meer