Hoe word ik een Data Engineer?
Een interview met Dennis, Data Engineering consultant bij Digital Power
- Podcast
- Data Engineering
Een paar jaar geleden bestond de functietitel nog niet eens: Data Engineer. Inmiddels is er veel vraag naar Data Engineers. Vrijwel elke organisatie verzamelt bewust data en het besef dat dit op een gestructureerde manier moet gebeuren, groeit. Als de data die je verzamelt niet goed georganiseerd is en klopt, kun je het niet gebruiken als input voor goede beslissingen. Data Engineers bouwen infrastructuren waarmee data wordt verwerkt. Ze zijn daarmee onmisbaar voor organisaties die hun data op een gestructureerde manier willen verzamelen en toepassen.
Wat betekent het eigenlijk om een Data Engineer te zijn en wat is Data Engineering precies? En hoe word je opgeleid tot Data Engineer? Er is momenteel geen hbo- of universitaire opleiding Data Engineering in Nederland. Dennis Dickmann vertelt wat het betekent om als Data Engineer bij Digital Power te werken en hoe hij zich heeft kunnen ontwikkelen in dit boeiende vak.
Luister de podcast of scroll naar beneden voor het artikel.
Hoe ben je in dit vak terecht gekomen?
Dennis: “Ik volgde een studie Informatica in Leiden met de afstudeerrichting Business & Data Management. Die studie bereidde me voor op het vak Data Engineering door les te geven over data architecturen en –infrastructuren. Toen ik de studie volgde, bestond de functietitel Data Engineer nog niet eens!”
Data Engineer is een relatief nieuwe rol. Hoe onderscheidt deze zich van bijvoorbeeld een Developer of een Data Scientist?
“Een Developer is de klassieke programmeur, die focust zich vooral op het maken van software. De Data Scientist past data toe. Een Data Engineer zit hier tussenin. Een goede Data Engineer kan programmeren, maar kan ook infrastructuren ontwikkelen om data mee te verwerken, op te slaan en beschikbaar te maken. Een Data Engineer focust zich vaak op het verwerken van grote hoeveelheden data in complexe omgevingen.”
In de markt wordt steeds vaker over ‘Cloud Engineers’ gesproken i.p.v. ‘Data Engineers’. Kun jij uitleggen hoe dit komt?
“Het werk van een Data Engineer is vrijwel altijd in de cloud. Bij Digital Power zijn daarom in de praktijk alle Data Engineers ‘Cloud Data Engineers’. Cloud Data Engineer is tegenwoordig een synoniem voor Data Engineer, omdat bijna al het Data Engineering werk tegenwoordig in de cloud plaatsvindt.”
Stel, ik wil Data Engineer worden. Hoe pak ik dit dan het beste aan volgens jou?
“Wat mij betreft zijn er drie dingen waar je aan moet denken:
- Je moet goed leren programmeren. Dit is je basis. De principes van goed programmeren zijn niet alleen van toepassing op de programmeertaal waarin je programmeert, maar ook op hoe verschillende applicaties of systemen met elkaar interacteren. Deze principes goed kennen is een must voor het ontwikkelen van een goede data-infrastructuur!
- Je moet kennis ontwikkelen van verschillende technieken van data-opslag. Denk onder andere aan SQL, noSQL en datalake oplossingen. Hier ben je dagelijks mee bezig als Data Engineer.
- Leer over cloud architectuur. Kijk bij een cloud-serviceprovider als Google Cloud Platform, AWS of Azure en leer de verschillende microservices kennen. Weet welke jij het beste kunt inzetten voor jouw toepassing.”
En hoe zorg je er vervolgens voor dat je je blijft ontwikkelen?
“Je moet altijd mee blijven gaan met de ontwikkelingen binnen het vakgebied. Dit doe je tijdens je werk, door bijvoorbeeld met AWS te werken, maar ook door cursussen te volgen en bij Digital Power tijdens de Data Engineering meet-up. Hier brengen collega’s cases in en leren we van elkaar. Als je ergens niet uitkomt, kun je ook altijd je collega’s om hulp vragen.”
Benieuwd hoe Dennis zijn kennis en vaardigheden toepast in de praktijk? En wil je weten waarom hij zo enthousiast is over werken bij Digital Power? Luister het in de podcast bovenaan dit artikel.
Ook Data Engineer worden? Solliciteer bij Digital Power!
Ook aan de slag als Data Engineer bij Digital Power? Bekijk onze vacature, solliciteer en wordt Dennis’ collega!
Dit is de 'From data to action' podcast van Marloes, Marketing Manager bij Digital Power
Hoe is het om bij een snelgroeiend data consultancy bureau te werken? In deze podcast interview ik collega's over hun werk bij Digital Power. Ik spreek data consultants met verschillende expertises, maar ook stafleden. Hoe ziet hun werkweek eruit, welke uitdagingen komen ze tegen en wat vinden ze zo leuk aan hun werk en ons bedrijf? Je hoort het in de 'From data to action' podcast!
Marketing Manager020 308 43 90marloes.debruin@digital-power.com
1x per maand data insights, praktijkcases en een kijkje achter de schermen ontvangen?
Meld je aan voor onze maillijst en blijf 'up to data':
Misschien vind je dit ook interessant:
Centrale dataopslag met een nieuwe data-infrastructuur
Dedimo is een samenwerking van vijf zorginitiatieven in de geestelijke gezondheidszorg. Om de kwaliteit van hun zorg continu te verbeteren, richten ze interne processen efficiënter in. Hiervoor gebruiken ze inzichten uit de data die intern beschikbaar is. Voorheen haalden ze deze data zelf uit verschillende bronsystemen met ad hoc scriptjes. Om dit proces robuuster en efficiënter te maken en verder te professionaliseren, schakelden ze onze hulp in. Ze vroegen ons de centrale opslag van hun data in een cloud data warehouse te faciliteren. Omdat ze al gewend waren te werken met Google Cloud Platform (GCP), was de wens de data-infrastructuur binnen deze omgeving op te zetten.
Een dataplatform implementeren
Deze blog is bedoeld om onze kennis en ervaring over te dragen aan de gemeenschap door richtlijnen te beschrijven voor de implementatie van een dataplatform in een organisatie, gebaseerd op onze knowhow. We weten dat de specifieke behoeften van elke organisatie anders zijn, dat ze een impact zullen hebben op de gebruikte technologieën en dat één enkele architectuur die aan al deze behoeften voldoet, niet realistisch is. Daarom houden we het in deze blog zo algemeen mogelijk.
Een schaalbaar machine learning-platform voor het voorspellen van billboard-impressies
The Neuron biedt een programmatisch biedingsplatform om digitale Out-Of-Home-advertenties in realtime te plannen, kopen en beheren. Ze vroegen ons het aantal verwachte impressies voor digitale advertenties op billboards op een schaalbare en efficiënte manier te voorspellen.
Een loopbaan als Data Engineer? Geef je eigen opleiding vorm
In juni 2020 werd Sander onderdeel van ons team. Hoewel hij midden in coronatijd startte, merkte hij al snel dat hij flink gestimuleerd werd om contact te maken met zijn nieuwe collega’s. Dit ging grotendeels vanzelf als onderdeel van ons onboarding programma: “Dit sloot perfect aan bij mijn behoeftes: ik ben namelijk zelf veel collega’s gaan opbellen om kennis te maken!” Lees hoe Sander zijn eigen opleiding tot Data Engineer vormgeeft.
