Jouw Data Engineering partner
Genereer betrouwbare en betekenisvolle inzichten uit een solide, veilige en schaalbare infrastructuur. Ons team van 25+ Data Engineers staat klaar om jouw dataproducten en -infrastructuur end-to-end te implementeren, te onderhouden én te optimaliseren.
Vind de oplossing die je nodig hebt
Data warehouse migratie of implementatie
Zet een datawarehouse of datalake house op in de cloud. Onze technische specialisten bouwen de juiste oplossing voor jouw organisatie. We maken een plan om alle bronnen die je hebt te integreren en je bestaande dataproducten aan te sluiten.
Data governance & data-infrastructuur
Vertrouw op de ervaring van onze architecten en ontwikkelaars en pas best practices op het gebied van data governance en architectuur toe. We implementeren datakwaliteit en andere governance processen in nieuwe platformen. Ook krijg je hulp in de vorm van adviezen en implementaties van reeds bestaande platformen.
Machine Learning Operations
Onze specialisten op het gebied van data science én engineering helpen je machine learning in productie te brengen. Zet eenmalige inzichten om naar structurele meerwaarde van je data en waarborg de kwaliteit van je modeloutput.
Data Engineering vraagstukken die we ook voor jou kunnen oppakken
Miljarden streams omgezet in bruikbare inzichten met een nieuw data- en analytics platform
Merlin is de grootste digitale muzieklicentiepartner voor onafhankelijke labels, distributeurs en andere rechthebbenden. De leden van Merlin vertegenwoordigen 15% van de wereldwijde markt voor muziekopnames. Het bedrijf heeft overeenkomsten met Apple, Facebook, Spotify, YouTube en 40 andere innovatieve digitale platforms over de hele wereld voor de opnames van haar leden. Het team van Merlin volgt betalingen en gebruiksrapporten van digitale partners nauwlettend en zorgt ervoor dat hun leden nauwkeurig, efficiënt en consistent worden betaald en van rapportages worden voorzien.
20% minder klachten dankzij datagedreven onderhoudsrapportages
Een belangrijk onderdeel van de bedrijfsvoering van Otis is het onderhoud van hun liften. Om dit goed te timen en klanten proactief te informeren over de status van hun lift, wilde Otis continue monitoring inzetten. Ze zagen veel potentie in predictive maintenance en onderhoud op afstand.
Waardevolle inzichten uit Microsoft Dynamics 365
Agrico is een coöperatie van aardappeltelers. Zij telen aardappels voor verschillende doeleinden zoals consumptie en het planten van toekomstige oogsten. Deze aardappels worden wereldwijd geëxporteerd via verschillende dochterondernemingen. Alle logistieke en operationele data wordt opgeslagen in hun ERP-systeem Microsoft Dynamics 365. Omdat dit systeem met zijn vele features erg complex is, is de data niet direct geschikt om te gebruiken voor rapportages. Agrico vroeg ons te helpen hun ERP-data inzichtelijk te maken en duidelijke rapportages te ontwikkelen.
Inzicht in de complete salesfunnel dankzij een datawarehouse met dbt
Onze consultants boeken de opdrachten die ze oppakken voor onze klanten in ons ERP AFAS. Als CRM gebruiken we HubSpot. Hierin zien we alle informatie die voorafgaand aan het tekenen van een samenwerkingsovereenkomst relevant is. Wanneer we een deal sluiten, gaat alle informatie uit HubSpot automatisch naar AFAS. HubSpot wordt dus vooral gebruikt voor het proces voordat we een samenwerking aangaan, AFAS juist voor de fase daarna. We wilden de inzet van onze mensen strakker plannen en onze financiële forecasts verbeteren. Daarom besloten we de data uit beide bronnen te koppelen en een datawarehouse op te zetten.
Een gestandaardiseerde manier van dataverwerking met behulp van dbt
Een van de grootste webwinkels van Nederland wilde een gestandaardiseerde manier van dataverwerking ontwikkelen binnen een van de datateams. Alle data werd opgeslagen in het schaalbare cloud datawarehouse Google BigQuery. Binnen dit platform waren grote hoeveelheden data beschikbaar op het gebied van orders, producten, marketing, retouren, klantcases en partners.
Betrouwbare rapportages met behulp van robuuste Python code
Het Nationaal Portaal Wegverkeersgegevens (NDW) is een waardevolle bron voor gemeenten, provincies en de rijksoverheid om inzicht te krijgen in verkeersstromen en de efficiëntie van de infrastructuur te verbeteren.
Opzet van een toekomstbestendige data-infrastructuur
Valk Exclusief is een keten van 4 sterren+ hotels en heeft 43 hotels in Nederland. De hotelketen wil gasten graag een persoonlijke ervaring bieden, zowel in het hotel als online.
Een schaalbaar dataplatform in Azure
TM Forum, een alliantie van meer dan 850 wereldwijde bedrijven, schakelde onze hulp in als datapartner om data gerelateerde uitdagingen te identificeren en op te lossen.
Een volledig geautomatiseerde data import pipeline
Stichting Donateursbelangen wil het vertrouwen tussen donateurs en goede doelen versterken. Daarom wilden ze via een eigen zoekmachine informatie over goede doelen delen met donateurs. De stichting vroeg ons de ANBI-status van goede doelen beschikbaar te stellen voor gebruik in hun zoekmachine. Een instelling krijgt deze status alleen als zij zich (bijna) volledig inzet voor het algemeen belang en zich aan bepaalde voorwaarden houdt.
Centrale dataopslag met een nieuwe data-infrastructuur
Dedimo is een samenwerking van vijf zorginitiatieven in de geestelijke gezondheidszorg. Om de kwaliteit van hun zorg continu te verbeteren, richten ze interne processen efficiënter in. Hiervoor gebruiken ze inzichten uit de data die intern beschikbaar is. Voorheen haalden ze deze data zelf uit verschillende bronsystemen met ad hoc scriptjes. Om dit proces robuuster en efficiënter te maken en verder te professionaliseren, schakelden ze onze hulp in. Ze vroegen ons de centrale opslag van hun data in een cloud data warehouse te faciliteren. Omdat ze al gewend waren te werken met Google Cloud Platform (GCP), was de wens de data-infrastructuur binnen deze omgeving op te zetten.
Verbeterde datakwaliteit dankzij een nieuwe data pipeline
Royal HaskoningDHV ziet het aantal aanvragen van klanten met Data Engineering vraagstukken toenemen. De nieuwe afdeling die ze hiervoor op hebben gericht, is nog groeiende. Ze vroegen ons daarom hun Data Engineering team tijdelijk extra capaciteit te bieden. Één van de vraagstukken waar wij hulp bij boden, was die van Waterschap Aa en Maas.
Een goed georganiseerde data-infrastructuur
FysioHolland is een overkoepelende organisatie voor fysiotherapeuten in Nederland. Een centraal serviceteam ontlast therapeuten van bijkomende werkzaamheden, zodat zij zich vooral kunnen focussen op het leveren van de beste zorg. Naast de organische groei sluit FysioHolland nieuwe praktijken aan bij de organisatie. Deze hebben stuk voor stuk hun eigen systemen, werkprocessen en behandelcodes. Dit heeft de datahuishouding van FysioHolland groot en complex gemaakt.
Een schaalbaar machine learning-platform voor het voorspellen van billboard-impressies
The Neuron biedt een programmatisch biedingsplatform om digitale Out-Of-Home-advertenties in realtime te plannen, kopen en beheren. Ze vroegen ons het aantal verwachte impressies voor digitale advertenties op billboards op een schaalbare en efficiënte manier te voorspellen.
Meetbare impact op social change met behulp van een datalake
RNW Media is een NGO die zich richt op landen waar beperkte vrijheid van meningsuiting is. De organisatie probeert impact te maken via online kanalen als social media en websites. Om die impact te meten, stelde RNW Media een Theory of Change (een soort KPI framework voor NGO’s) op.
De toegevoegde waarde van de data pressure cooker
Fietsvoordeelshop is een van de meest succesvolle fietsenwinkels op het moment. De fietsenwinkel werkte op het gebied van data voornamelijk met Excel. Dit betekent dat er veel handmatig werd gedaan. Door de groei van de organisatie en het toenemende aantal processen, werd het Excel-bestand steeds groter en onoverzichtelijker. Fietsvoordeelshop vroeg ons met een data pressure cooker van vijf dagen aan te tonen dat datagedreven werken van toegevoegde waarde kon zijn.
Q&A over Data Engineering
Lees hoe we projecten aanvliegen en wat onze visie op de moderne Data Engineer is.
plan een online meeting inOns team van meer dan 25 Data Engineers* is in staat complexe oplossingen te implementeren. Tegelijkertijd hebben we de flexibiliteit om aan jouw specifieke behoeften te voldoen. We bouwen een maatwerkoplossing die naadloos aansluit bij je huidige infrastructuurin Microsoft Azure, Google Cloud Platform (GCP) of Amazon Web Services (AWS).
Onze Data Engineering consultants delen hun kennis met jou én met elkaar. Zo kun je bouwen op de kennis van een heel team specialisten met kennis van o.a. MLOps, DevOps, datawarehousing en infrastructuur.
Het is voor ons van essentieel belang dat je in staat bentje nieuwe platform, tools of inzichten op de juiste manier te gebruiken. Daarom zorgen wij bij elk project voor de juiste kennisoverdracht en kunnen wij wanneer nodig ook trainingen verzorgen.
*In de markt wordt de overkoepelende term ‘Data Engineer’ nog veel gebruikt. Wij zien de ontwikkeling naar meer specifieke profielen en zij zijn ook onderdeel van ons team technische specialisten. Ontdek onze visie hierop.
Je datavraagstuk oplossen in projectvorm, met een deadline en helder budget is mogelijk. Wil je liever meer flexibiliteit? Dan kun je onze consultants ook op flexible basis inhuren.
Wil je de kennis van je eigen mensen naar een hoger niveau tillen? Onze Data Academy biedt vakinhoudelijke trainingen en inspiratiesessies waarmee je het draagvlak binnen je organisatie kunt vergroten.
We bouwen maatwerkoplossingen die naadloos aansluit bij je huidige infrastructuur in Microsoft Azure, Google Cloud Platform (GCP) of Amazon Web Services (AWS).
Om zo goed mogelijk aan te sluiten bij jouw organisatie en wensen, bouwen we een maatwerkoplossing voor je. Hier passen we onze werkwijze op aan. Dit kun je op hoofdlijnen verwachten:
- Onze technische specialisten gaan in gesprek over je huidige infrastructuur. We bespreken je wensen en technische requirements. Weet je nog niet exact wat je wil? Ons researchteam kan je helpen bij de definitie van je vraagstuk. Ook kunnen we eerst je datastrategie vormgeven
- Wanneer je vraagstuk in kaart is, ontvang je een technisch voorstel voor een maatwerkoplossing die naadloos aansluit op je bestaande processen.
- In nauwe samenwerking met je teamverzorgen we de implementatie van A tot Z. Als je wilt, regelt één van onze projectmanagers de afstemming en planning. Volledige documentatie én kennisoverdracht zijn hierbij vanzelfsprekend.
We gaan graag met je in gesprek over de aanpak die bij jou past.
Overweeg je contact met ons op te nemen? We kunnen ons goed voorstellen dat je wilt weten wat er vervolgens gebeurt.
Eén van onze Business Managers neemt je mee aan de hand van 6 stappen. We schreven er een kort artikel over!
Vertrouw op je data
Wil je data gaan verzamelen maar weet je niet waar je moet beginnen? Ben je al een eind op weg en wil je hulp bij het monitoren van je processen en kwaliteitsborging? Of heb je het gevoel dat de data die je verzamelt niet optimaal bijdraagt aan het behalen van je doelstellingen? Joachim denkt graag met je mee!
Business Manager020 308 43 9006 23 59 83 71joachim.vanbiemen@digital-power.com
Doe inspiratie op over Data Engineering
Datakwaliteit: de basis voor effectief datagedreven werken
Dataprojecten moeten vaak snel resultaat opleveren. Het vakgebied is relatief nieuw en om draagvlak te creëren, moet eerst bewezen worden dat het waarde oplevert. Hierdoor bouwen veel organisaties data-oplossingen zonder dat er goed nagedacht wordt over de robuustheid ervan. Met datakwaliteit wordt hierbij vaak onvoldoende rekening gehouden. Wat zijn de risico’s als je datakwaliteit niet op orde is en hoe kun je het verbeteren? Je leest het antwoord op de belangrijkste vragen over datakwaliteit in dit artikel.
Het all-round profiel van de moderne data engineer
Sinds de opkomst van big data zijn veel elementen van de moderne datastack de verantwoordelijkheid geworden van data engineers. Wat zijn deze elementen en hoe moet je je datateam samenstellen?
De kracht van Analytics Engineering
De wereld van data is voortdurend in beweging, en dat geldt ook voor de bijbehorende functies en verantwoordelijkheden binnen datateams. Hieruit is een opkomende rol ontstaan: de Analytics Engineer.
Wat is een data architectuur?
Data gedreven werken helpt je betere beslissingen te maken. Hoe beter je datakwaliteit, hoe meer je erop kunt vertrouwen. Een goede data architectuur is een basisingrediënt voor datagedreven werken. In dit artikel leggen we uit wat een data architectuur is en wat een Data Architect doet.
Breng structuur aan in je data
Er zijn veel verschillende vormen van dataopslag. In de praktijk worden een (relationele) database, een datawarehouse en een data lake het meest gebruikt én door elkaar gehaald. In dit artikel lees je wat ze inhouden en hoe je ze gebruikt.
De basis voor Data Engineering: robuuste data pipelines
In de basis werken Data Engineers aan data pipelines. Dit zijn data processen die van een bepaalde plek data kunnen halen en het ook weer ergens wegschrijven. In dit artikel lees je meer over de werking van data pipelines en ontdek je waarom ze zo belangrijk zijn voor een robuuste data infrastructuur.
Waarom heb ik Data Engineers nodig als ik Data Scientists heb?
Inmiddels is het bij de meeste bedrijven wel duidelijk: datagedreven beslissingen door Data Science voegen concreet waarde toe aan de bedrijfsvoering. Of je doel nu is om betere marketingcampagnes op te zetten, preventief onderhoud aan je machines uit te voeren of fraude effectiever te bestrijden: in elke bedrijfstak zijn er toepassingen van Data Science te vinden.
Een dataplatform implementeren
Deze blog is bedoeld om onze kennis en ervaring over te dragen aan de gemeenschap door richtlijnen te beschrijven voor de implementatie van een dataplatform in een organisatie, gebaseerd op onze knowhow. We weten dat de specifieke behoeften van elke organisatie anders zijn, dat ze een impact zullen hebben op de gebruikte technologieën en dat één enkele architectuur die aan al deze behoeften voldoet, niet realistisch is. Daarom houden we het in deze blog zo algemeen mogelijk.
5 redenen om Infrastructure as Code (IaC) te gebruiken
Infrastructure as Code heeft zich bewezen als betrouwbare techniek om platformen sterk neer te zetten in de cloud. Het vraagt echter wel een extra tijdsinvestering van de betrokken ontwikkelaars. In welke gevallen loont de extra inspanning zich? Je leest het in dit artikel.
Azure App functions configureren
In dit Engelstalige artikel beginnen we met het bespreken van Serverless Functions. Vervolgens demonstreren we hoe je Terraform-bestanden gebruikt om het implementatieproces van een doelinfrastructuur te vereenvoudigen, hoe een Function App in Azure kan worden gemaakt, het gebruik van GitHub-workflows om continuous integration en implementatie te beheren, en hoe branching strategieën kunnen worden gebruikt om code wijzigingen selectief uit te rollen naar specifieke instanties van Function Apps.
AWS (Amazon Web Services) versus GCP (Google Cloud Platform) voor Apache Airflow
In dit Engelstalige artikel maken we een vergelijking tussen Cloud Composer en MWAA. Dit zal je helpen de overeenkomsten, verschillen en factoren te begrijpen die je moet overwegen bij de keuze voor een cloudoplossing. Weet dat er andere goede opties zijn als het gaat om het hosten van een beheerde airflow-implementatie, zoals Microsoft Azure. De twee die in dit artikel worden vergeleken, zijn gekozen vanwege mijn praktijkervaring met beide beheerde diensten en hun respectievelijke ecosystemen.
Kubernetes-based event-driven autoscaling met KEDA: een praktische gids
In dit Engelstalige artikel beginnen we met een uitleg van wat Kubernetes Event Driven Autoscaling (KEDA) inhoudt. Vervolgens richten we een lokale ontwikkelomgeving in die het mogelijk maakt om KEDA te demonstreren met behulp van Docker en Minikube. Daarna leggen we het scenario uit dat geïmplementeerd zal worden om KEDA te demonstreren, en doorlopen we dit scenario stap voor stap. Aan het einde van het artikel heeft de lezer een duidelijk beeld van wat KEDA is en hoe hij of zij zelf een architectuur met KEDA kan implementeren.