Jouw Data Engineering partner

Dedimo wilde ontdekken hoe AI kon helpen om behandelgesprekken tussen client en behandelaar automatisch te transcriberen en rapportages te genereren.

Transavia opereert in een sterk competitieve reismarkt waarin klanten steeds hogere verwachtingen hebben van persoonlijke en consistente communicatie. Of het nu gaat om de website, de app of e-mail: elke interactie moet aansluiten op gedrag en voorkeuren.

Heerema Marine Contractors opereert ’s werelds grootste kraanschepen, uitgerust met een enorme hoeveelheid sensoren die samen miljoenen metingen per dag produceren. Deze sensordata is cruciaal voor veiliger werken, lagere emissies, betere engineering en onderbouwde investeringsbeslissingen.

Volero.nl is een jong en snelgroeiend bedrijf dat vloerkleden verkoopt via een webshop en fysieke winkel. Ze zijn voornamelijk actief in Nederland, maar groeien hard in Europa, onder andere in België, Duitsland en Polen. Om deze groei te ondersteunen, is het voor Volero belangrijk om datagedreven te werken.

Bij energiebedrijf Ennatuurlijk groeide de overtuiging dat intuïtie niet langer genoeg was om de koers te bepalen. De energiemarkt verandert snel, de organisatie groeit, en de hoeveelheid informatie neemt elke dag toe. IT Manager Eric Vanderfeesten ging op zoek naar een datapartner die niet alleen strategisch kon adviseren op het gebied van datagedreven werken, maar zijn datateam ook op operationeel vlak kon versterken. In dit interview deelt hij zijn visie, ervaring en resultaten uit de samenwerking met Digital Power.

Een innovatieve start-up in de babybranche wilde datagedreven werken om waardevolle inzichten te verkrijgen en strategisch te kunnen groeien. Ze schakelden onze hulp in om deze ambitie waar te maken.

Ennatuurlijk levert duurzame warmte en koude via warmtenetten aan consumenten en bedrijven. Het interne team Data & Analytics heeft de taak om de organisatie datagedreven te laten werken. Hierbij liepen ze tegen een uitdaging aan: de vele aanvragen voor dataproducten binnen de organisatie waren moeilijk te managen en de impact bleef beperkt. Het managementteam vroeg ons daarom te helpen met het ontwikkelen van een datastrategie, het creëren van een toekomstbestendig datalandschap en het aanjagen van een datagedreven mindset binnen de organisatie.

In september 2023 vroeg Transavia ons om hun Customer Data Platform (CDP) te evalueren: sloot het nog aan bij hun marketingdoelen en was het toekomstbestendig met de strengere regels rondom third-party cookies?

Nadat we een data warehouse voor Meerlanden hadden gebouwd, ging hun data scientist met de data aan de slag. We stelden voor om samen een Machine Learning Operations framework op te zetten waarin hij zijn modellen direct kon integreren in de bestaande omgeving. Zo kon hij voorspellingen doen die de dienstverlening van Meerlanden efficiënter maken.

Talent Garden biedt masterclasses en trainingsprogramma's aan studenten en komt met hen in contact via verschillende touchpoints. Online touchpoints bestaan uit ingevulde contactformulieren en informatieverzoeken, terwijl offline touchpoints bestaan uit ontmoetingen en gesprekken met het verkoopteam van Talent Garden. Tijdens het gehele klantreis, van het eerste contact tot de uiteindelijke inschrijving, verzamelt Talent Garden veel data*. Met een schat aan ruwe data tot hun beschikking wilden ze het inschrijvingsproces en de effectiviteit van hun verkoopteam verbeteren. Om dit te bereiken, vroegen ze ons een datasciencemodel te ontwikkelen dat beter kan voorspellen hoe groot de kans is dat een nieuwe lead zich inschrijft voor een studie.

Een wereldwijde vermogensbeheerder en specialist in Quant en Duurzaam Beleggen biedt beleggingsstrategieën aan, variërend van aandelen tot obligaties. Om hun concurrentiepositie te versterken en proactief in te spelen op veranderende klantbehoeften en marktontwikkelingen, wilde de sales- en marketingafdeling meer datagedreven gaan werken.

Een digitaal bureau ontwikkelt en beheert diverse websites en analyseert de prestaties hiervan met Google Analytics, waarbij de resultaten via dashboards met klanten worden gedeeld. De overgang van Universal Analytics naar GA4 zorgde echter voor problemen, omdat de data in GA4 anders is gestructureerd en de bestaande dashboards hierdoor niet meer functioneerden. Het bureau vroeg ons mee te denken over een schaalbare en toekomstbestendige oplossing die voor al hun klanten toepasbaar is.

Snelgroeiende scale-up EnergyZero had vanwege hun extreme groei behoefte aan het uitbouwen en het neerzetten van een sterk datateam. Hierbij was de eerste databehoefte het ondersteunen en uitvoeren van de financiële analyse t.b.v. een opkomende audit. Daarnaast wilde ze werkprocessen automatiseren en de data-uitwisseling met B2B-partners verbeteren.

Financiële instellingen moeten grote hoeveelheden documentatie verwerken. Voor deze specifieke instelling faciliteert een intern team dit door bijvoorbeeld samenvattingen te maken met behulp van tekstanalyse en natural language processing (NLP). Deze maken ze beschikbaar voor de verschillende business units. Om audits efficiënter uit te voeren, wilden ze een vraag- en antwoordmodel ontwikkelen om sneller de juiste informatie tot hun beschikking te hebben. Toen ChatGPT werd gelanceerd, vroegen ze ons een proof of concept te maken.

Het Kadaster beschikt onder andere over complexe (geo)data van al het vastgoed in Nederland. Alle data wordt opgeslagen en verwerkt via een on-premise data warehouse in Postgres. Voor het onderhoud van dit warehouse zijn ze afhankelijk van een IT-partner. Het Kadaster wil kosten besparen en efficiënter gaan werken door te migreren naar een Databricks-omgeving. Ze vroegen ons te helpen bij de implementatie van dit data lakehouse in Microsoft Azure Cloud.

Merlin is de grootste digitale muzieklicentiepartner voor onafhankelijke labels, distributeurs en andere rechthebbenden. De leden van Merlin vertegenwoordigen 15% van de wereldwijde markt voor muziekopnames. Het bedrijf heeft overeenkomsten met Apple, Facebook, Spotify, YouTube en 40 andere innovatieve digitale platforms over de hele wereld voor de opnames van haar leden. Het team van Merlin volgt betalingen en gebruiksrapporten van digitale partners nauwlettend en zorgt ervoor dat hun leden nauwkeurig, efficiënt en consistent worden betaald en van rapportages worden voorzien.

Een belangrijk onderdeel van de bedrijfsvoering van Otis is het onderhoud van hun liften. Om dit goed te timen en klanten proactief te informeren over de status van hun lift, wilde Otis continue monitoring inzetten. Ze zagen veel potentie in predictive maintenance en onderhoud op afstand.

Agrico is een coöperatie van aardappeltelers. Zij telen aardappels voor verschillende doeleinden zoals consumptie en het planten van toekomstige oogsten. Deze aardappels worden wereldwijd geëxporteerd via verschillende dochterondernemingen. Alle logistieke en operationele data wordt opgeslagen in hun ERP-systeem Microsoft Dynamics 365. Omdat dit systeem met zijn vele features erg complex is, is de data niet direct geschikt om te gebruiken voor rapportages. Agrico vroeg ons te helpen hun ERP-data inzichtelijk te maken en duidelijke rapportages te ontwikkelen.

Onze consultants boeken de opdrachten die ze oppakken voor onze klanten in ons ERP AFAS. Als CRM gebruiken we HubSpot. Hierin zien we alle informatie die voorafgaand aan het tekenen van een samenwerkingsovereenkomst relevant is. Wanneer we een deal sluiten, gaat alle informatie uit HubSpot automatisch naar AFAS. HubSpot wordt dus vooral gebruikt voor het proces voordat we een samenwerking aangaan, AFAS juist voor de fase daarna. We wilden de inzet van onze mensen strakker plannen en onze financiële forecasts verbeteren. Daarom besloten we de data uit beide bronnen te koppelen en een datawarehouse op te zetten.

Een van de grootste webwinkels van Nederland wilde een gestandaardiseerde manier van dataverwerking ontwikkelen binnen een van de datateams. Alle data werd opgeslagen in het schaalbare cloud datawarehouse Google BigQuery. Binnen dit platform waren grote hoeveelheden data beschikbaar op het gebied van orders, producten, marketing, retouren, klantcases en partners.

Het Nationaal Portaal Wegverkeersgegevens (NDW) is een waardevolle bron voor gemeenten, provincies en de rijksoverheid om inzicht te krijgen in verkeersstromen en de efficiëntie van de infrastructuur te verbeteren.

Valk Exclusief is een keten van 4 sterren+ hotels en heeft 43 hotels in Nederland. De hotelketen wil gasten graag een persoonlijke ervaring bieden, zowel in het hotel als online.

TM Forum, een alliantie van meer dan 850 wereldwijde bedrijven, schakelde onze hulp in als datapartner om data gerelateerde uitdagingen te identificeren en op te lossen.

Stichting Donateursbelangen wil het vertrouwen tussen donateurs en goede doelen versterken. Daarom wilden ze via een eigen zoekmachine informatie over goede doelen delen met donateurs. De stichting vroeg ons de ANBI-status van goede doelen beschikbaar te stellen voor gebruik in hun zoekmachine. Een instelling krijgt deze status alleen als zij zich (bijna) volledig inzet voor het algemeen belang en zich aan bepaalde voorwaarden houdt.

Dedimo is een samenwerking van vijf zorginitiatieven in de geestelijke gezondheidszorg. Om de kwaliteit van hun zorg continu te verbeteren, richten ze interne processen efficiënter in. Hiervoor gebruiken ze inzichten uit de data die intern beschikbaar is. Voorheen haalden ze deze data zelf uit verschillende bronsystemen met ad hoc scriptjes. Om dit proces robuuster en efficiënter te maken en verder te professionaliseren, schakelden ze onze hulp in. Ze vroegen ons de centrale opslag van hun data in een cloud data warehouse te faciliteren. Omdat ze al gewend waren te werken met Google Cloud Platform (GCP), was de wens de data-infrastructuur binnen deze omgeving op te zetten.

Royal HaskoningDHV ziet het aantal aanvragen van klanten met Data Engineering vraagstukken toenemen. De nieuwe afdeling die ze hiervoor op hebben gericht, is nog groeiende. Ze vroegen ons daarom hun Data Engineering team tijdelijk extra capaciteit te bieden. Één van de vraagstukken waar wij hulp bij boden, was die van Waterschap Aa en Maas.

De stichting Designathon Works organiseert Design Hackathons (Designathons) voor kinderen tussen de 8 en 12 jaar. Het doel? Kinderen van over de hele wereld skills aanleren om een ‘changemaker’ te kunnen worden. Ze worden uitgedaagd om oplossingen te ontwerpen voor een betere wereld, bijvoorbeeld het tegengaan van klimaatverandering. Vanuit de Datahub hielpen we Designathon Works kosteloos de impactmetingen aan te scherpen. Ook deden we een eerste aanzet tot automatisering van de dataverzameling, analyse en visualisatie.

FysioHolland is een overkoepelende organisatie voor fysiotherapeuten in Nederland. Een centraal serviceteam ontlast therapeuten van bijkomende werkzaamheden, zodat zij zich vooral kunnen focussen op het leveren van de beste zorg. Naast de organische groei sluit FysioHolland nieuwe praktijken aan bij de organisatie. Deze hebben stuk voor stuk hun eigen systemen, werkprocessen en behandelcodes. Dit heeft de datahuishouding van FysioHolland groot en complex gemaakt.

The Neuron biedt een programmatisch biedingsplatform om digitale Out-Of-Home-advertenties in realtime te plannen, kopen en beheren. Ze vroegen ons het aantal verwachte impressies voor digitale advertenties op billboards op een schaalbare en efficiënte manier te voorspellen.

RNW Media is een NGO die zich richt op landen waar beperkte vrijheid van meningsuiting is. De organisatie probeert impact te maken via online kanalen als social media en websites. Om die impact te meten, stelde RNW Media een Theory of Change (een soort KPI framework voor NGO’s) op.

Fietsvoordeelshop is een van de meest succesvolle fietsenwinkels op het moment. De fietsenwinkel werkte op het gebied van data voornamelijk met Excel. Dit betekent dat er veel handmatig werd gedaan. Door de groei van de organisatie en het toenemende aantal processen, werd het Excel-bestand steeds groter en onoverzichtelijker. Fietsvoordeelshop vroeg ons met een data pressure cooker van vijf dagen aan te tonen dat datagedreven werken van toegevoegde waarde kon zijn.

Uitgever Malmberg verzamelt veel off- en online data. Steeds meer onderwijsinstellingen maken gebruik van online licenties ter aanvulling op (of in plaats van) gedrukt lesmateriaal. Om hierop in te spelen, maakt Malmberg gebruik van maandelijkse rapportages. Het in-house data team stelt deze samen als input voor specifieke afdelingen. Malmberg vroeg ons dit team te versterken en de interne processen rondom data efficiënter te maken.

Met de toenemende beschikbaarheid van clouddiensten die bedrijven in staat stellen Large Language Models te benutten, wordt het relatief eenvoudig om je eigen GPT-model op te zetten. Maar wat zijn de voordelen hiervan voor je organisatie?

De AI Document Explorer (AIDE) is een cloudoplossing, ontwikkeld door Digital Power, die gebruik maakt van het OpenAI’s GPT-model. Je kunt het inzetten om snel inzicht te krijgen in bedrijfsdocumenten. AIDE indexeert jouw bestanden op een veilige manier waardoor het mogelijk wordt om vragen te stellen over jouw eigen documenten. Niet alleen geeft het jou de antwoorden waar je naar op zoek bent, het geeft ook de referenties naar de plekken waar deze antwoorden staan.

Deze blog is bedoeld om onze kennis en ervaring over te dragen aan de gemeenschap door richtlijnen te beschrijven voor de implementatie van een dataplatform in een organisatie, gebaseerd op onze knowhow. We weten dat de specifieke behoeften van elke organisatie anders zijn, dat ze een impact zullen hebben op de gebruikte technologieën en dat één enkele architectuur die aan al deze behoeften voldoet, niet realistisch is. Daarom houden we het in deze blog zo algemeen mogelijk.

Er zijn veel verschillende vormen van dataopslag. In de praktijk worden een (relationele) database, een datawarehouse en een data lake het meest gebruikt én door elkaar gehaald. In dit artikel lees je wat ze inhouden en hoe je ze gebruikt.

In dit Engelstalige artikel beginnen we met een uitleg van wat Kubernetes Event Driven Autoscaling (KEDA) inhoudt. Vervolgens richten we een lokale ontwikkelomgeving in die het mogelijk maakt om KEDA te demonstreren met behulp van Docker en Minikube. Daarna leggen we het scenario uit dat geïmplementeerd zal worden om KEDA te demonstreren, en doorlopen we dit scenario stap voor stap. Aan het einde van het artikel heeft de lezer een duidelijk beeld van wat KEDA is en hoe hij of zij zelf een architectuur met KEDA kan implementeren.

In dit Engelstalige artikel maken we een vergelijking tussen Cloud Composer en MWAA. Dit zal je helpen de overeenkomsten, verschillen en factoren te begrijpen die je moet overwegen bij de keuze voor een cloudoplossing. Weet dat er andere goede opties zijn als het gaat om het hosten van een beheerde airflow-implementatie, zoals Microsoft Azure. De twee die in dit artikel worden vergeleken, zijn gekozen vanwege mijn praktijkervaring met beide beheerde diensten en hun respectievelijke ecosystemen.

Dataprojecten moeten vaak snel resultaat opleveren. Het vakgebied is relatief nieuw en om draagvlak te creëren, moet eerst bewezen worden dat het waarde oplevert. Hierdoor bouwen veel organisaties data-oplossingen zonder dat er goed nagedacht wordt over de robuustheid ervan. Met datakwaliteit wordt hierbij vaak onvoldoende rekening gehouden. Wat zijn de risico’s als je datakwaliteit niet op orde is en hoe kun je het verbeteren? Je leest het antwoord op de belangrijkste vragen over datakwaliteit in dit artikel.

Sinds de opkomst van big data zijn veel elementen van de moderne datastack de verantwoordelijkheid geworden van data engineers. Wat zijn deze elementen en hoe moet je je datateam samenstellen?

In dit Engelstalige artikel beginnen we met het bespreken van Serverless Functions. Vervolgens demonstreren we hoe je Terraform-bestanden gebruikt om het implementatieproces van een doelinfrastructuur te vereenvoudigen, hoe een Function App in Azure kan worden gemaakt, het gebruik van GitHub-workflows om continuous integration en implementatie te beheren, en hoe branching strategieën kunnen worden gebruikt om code wijzigingen selectief uit te rollen naar specifieke instanties van Function Apps.

De wereld van data is voortdurend in beweging, en dat geldt ook voor de bijbehorende functies en verantwoordelijkheden binnen datateams. Hieruit is een opkomende rol ontstaan: de Analytics Engineer.

Infrastructure as Code heeft zich bewezen als betrouwbare techniek om platformen sterk neer te zetten in de cloud. Het vraagt echter wel een extra tijdsinvestering van de betrokken ontwikkelaars. In welke gevallen loont de extra inspanning zich? Je leest het in dit artikel.

Inmiddels is het bij de meeste bedrijven wel duidelijk: datagedreven beslissingen door Data Science voegen concreet waarde toe aan de bedrijfsvoering. Of je doel nu is om betere marketingcampagnes op te zetten, preventief onderhoud aan je machines uit te voeren of fraude effectiever te bestrijden: in elke bedrijfstak zijn er toepassingen van Data Science te vinden.

In de basis werken Data Engineers aan data pipelines. Dit zijn data processen die van een bepaalde plek data kunnen halen en het ook weer ergens wegschrijven. In dit artikel lees je meer over de werking van data pipelines en ontdek je waarom ze zo belangrijk zijn voor een robuuste data infrastructuur.

Data gedreven werken helpt je betere beslissingen te maken. Hoe beter je datakwaliteit, hoe meer je erop kunt vertrouwen. Een goede data architectuur is een basisingrediënt voor datagedreven werken. In dit artikel leggen we uit wat een data architectuur is en wat een Data Architect doet.