Een dag in het leven van een Data Engineer

Wat is een Data Engineer?

Om te beginnen bij de vraag, wat is een Data Engineer eigenlijk? De verwachtingen en algemene opvattingen hierover verschillen nogal. Uiteindelijk is een Data Engineer iemand die oplossingen ontwerpt en bouwt voor dataopslag en data analyse. Denk bijvoorbeeld aan het bouwen van data pipelines, het verplaatsen van data van A naar B en dit eventueel aanpassen (transformeren) voor je het bij B neerzet. Of aan het opzetten van een database, werken met gedistribueerde systemen zoals Spark en Databricks, opzetten van een infrastructuur en eigenlijk nog veel meer. 

Eenmaal werkzaam als Data Engineer zal je specifieke kennis opdoen in dit domein, en je meer specialiseren. Iedere Data Engineer heeft zo zijn voorkeuren voor wat zij of hij leuk vindt om aan te werken. En als je het nog abstracter bekijkt, zit je als Data Engineer precies tussen de business, IT en analyse in. Je moet overal wat kennis van hebben en met alle stakeholders kunnen omgaan en helder uitleggen wat je aan het doen bent.

“Een Data Engineer is iemand die oplossingen ontwerpt en bouwt voor dataopslag en data analyse”

De functies van een Data Engineer en een Data Scientist liggen verder uit elkaar dan vaak gedacht wordt. Oskar legt uit hoe dit zit.

“De tooling die we gebruiken verschilt niet altijd veel van elkaar, maar de insteek is anders. Een Data Scientist neigt meer naar een analist waarvoor kennis van wiskunde en statistiek een belangrijke rol spelen. Een Data Engineer zal meer als software programmeur of IT’er functioneren. 

Beide profielen werken in een functie waar de business, IT en analyse elkaar raken. Zo zal je, afhankelijk van je positie in de organisatie, in dezelfde mate stakeholders moeten bedienen. Zie het als een schilder die jouw kozijn aan het bijwerken is. Die vraag je ook niet om de barst in je glas te repareren. Daar heb je een glaszetter voor! Ze werken wel samen aan hetzelfde kozijn.”

Lees hier waar Data Engineers en Data Scientists elkaar versterken.

Verschillende typen Data Engineering opdrachten

Als Data Engineer bij Digital Power kun je verschillende typen opdrachten uitvoeren. Hoe dat er in de praktijk uitziet?

“In een Scrum omgeving is je dag hetzelfde als ieder ander Scrum ontwikkelteam. Je begint met een kop koffie en doet de dagelijkse stand-up. Daarna werk je met een tool aan de tasks die je kunt afhandelen en je bespreekt de voortgang met je team. In een typische opdracht werk je veel met Python en een van de grote cloudproviders: AWS, Azure of GCP. Stakeholder management komt vooral kijken bij de interactie met je Product Owner en bij de demo’s die je geeft. 

Als je aan een kleinere opdracht op projectbasis werkt, zal het aandeel stakeholder management groter zijn. Hierbij ontwerp en ontwikkel je de oplossing zelf, en onderhoud je daarnaast contact met de klant. Dit doe je vaak in samenwerking met een collega van Digital Power. Zo kom je samen tot de beste oplossing, en leer je van elkaar. Het vak Data Engineering is erg breed. Zo kan een college jouw opzet voor eenCI/CD straat reviewen, terwijl jij je mening geeft over zijn of haar toepassing van Kubernetes.”

Learning on the job

Het werk van de Data Engineer is relatief nieuw en nog continu in ontwikkeling. Dit betekent dat je als Data Engineer veel leert door het te dóen. 

“Dit is ook waarom het werk als Data Engineering consultant mij zo goed bevalt. Ik heb bij diverse grote klanten problemen gezien en mogen oplossen. Hierbij zijn intakes, en de invloed die ik heb op de klantvraag, van groot belang. Hier bepaal je de scope van het probleem wat opgelost moet worden en ontdek je welke kennis en ervaring er nodig is om dit te doen.

Uiteindelijk kan ik tijdens een opdracht veel nieuwe technieken leren of nieuwe problemen oplossen. Zo blijf ik me ontwikkelen en nieuwe uitdagingen aangaan. Het afgelopen jaar ben ik voor het eerst aan de slag gegaan met de realisatie van een datalake house architectuur, terwijl ik eerder voornamelijk met (no)SQL databases had gewerkt. En dat alles wel vanuit één werkgever.”

Kennisdeling centraal

Naast het leren door te doen, kun je natuurlijk ook veel leren van je collega’s. Op verschillende opdrachten zijn ook verschillende uitdagingen. En hoe gaaf is het als je die leermomenten vervolgens kunt delen? 

“Ook intern bij Digital Power blijf ik me ontwikkelen, bijvoorbeeld door kennis over te dragen, zeker ook nieuwe kennis op te doen via interne meet-ups en trainingen, en door collega’s te begeleiden binnen het Data Engineering domein. Zo kan ik de mogelijkheden en het plezier van een afwisselende baan combineren met de voordelen van een vaste werkgever.”

Een baan als Data Engineer

Enthousiast geworden na het lezen van Oskar’s ervaringen? Je vindt bij ons verschillende mogelijkheden om Data Engineer te worden. Als je al ervaring hebt met het vak, kun je meteen solliciteren op onze vacature voor een Data Engineer .

Heb je al wél werkervaring als data professional, maar nog geen specifieke kennis van Data Engineering? Laat je omscholen! We bieden hiervoor een speciaal traject. Lees er hier meer over.

1x per maand data insights, praktijkcases en een kijkje achter de schermen ontvangen?

Meld je aan voor onze maillijst en blijf 'up to data':