Schaalbare machine learning-modellen dankzij implementatie MLOps-framework

Meerlanden

  • Klantcase
  • Data Engineering
  • B2B
  • Machine learning operations
afvalzakken

Nadat we een data warehouse voor Meerlanden hadden gebouwd, ging hun data scientist met de data aan de slag. We stelden voor om samen een Machine Learning Operations framework op te zetten waarin hij zijn modellen direct kon integreren in de bestaande omgeving. Zo kon hij voorspellingen doen die de dienstverlening van Meerlanden efficiënter maken.

Aanpak

We gingen aan de slag met de eerste use case. Meerlanden verzorgt onder andere de afvalinzameling in meerdere gemeentes. Voor het plaatsen van afvalcontainers, het plannen van afvalinzamelingsroutes en interne rapportage wilden ze weten of hun adressen waren geclassificeerd als hoog- of laagbouw.

De data scientist had het model al ontwikkeld en beschikte over de benodigde kennis en data. Wij richtten met Databricks een MLOps-framework in binnen het bestaande datawarehouse. Met behulp van dit framework kan de data scientist zelf zijn modellen automatiseren en verder optimaliseren.

Onze aanpak was als volgt:

  1. In nauwe samenwerking met de data scientist van Meerlanden, optimaliseerden we het bestaande machine learning-model om het beter aan te laten sluiten op ons MLOps-framework.
  2. We zetten het framework zó op dat nieuwe modellen eenvoudig kunnen worden toegevoegd en integreerden het bestaande model.
  3. We voegden functionaliteit toe om modellen automatisch te trainen op basis van nieuwe data, zoals nieuwe adressen op een route.
  4. We maakten de data scientist van Meerlanden wegwijs in de Databricks-omgeving en ondersteunden hem bij het organiseren van zijn werk binnen het MLOps-framework.

Resultaat

Het MLOps-framework is volledig operationeel en Meerlanden kan er zelfstandig mee verder. Het eerste model doet nu automatisch voorspellingen en het proces van modelverbetering en productie-uitrol is sterk vereenvoudigd. Voorspellingen worden continu bijgewerkt, omdat het model automatisch wordt getraind met nieuwe data.

Daarnaast voegden we functionaliteit toe waarmee met één druk op de knop nieuwe machine learning-modellen kunnen worden toegevoegd en getest. Hierdoor is de organisatie beter voorbereid op toekomstige innovaties en uitbreiding van hun AI-capaciteiten.

Toekomst

Met het MLOps-framework legden we de basis voor verdere samenwerking. Meerlanden beschikt nu over een krachtige en flexibele oplossing waarmee zij hun datagedreven innovaties naar een hoger niveau kunnen tillen.

In de toekomst gaan we samen met nieuwe uitdagingen aan de slag. Bijvoorbeeld wanneer de afvalwagens hun routes rijden, ontstaan er soms situaties waarin wagens eerder klaar zijn en andere routes moeten overnemen. Deze onvoorziene wijzigingen kunnen de planning verstoren. Om dit probleem aan te pakken, wil Meerlanden een clusteringalgoritme inzetten. Dit algoritme kan inzicht bieden in welke wagens elkaar het beste kunnen ondersteunen, zonder dat dit de bestaande routes verstoort.

Meer weten?

Joachim gaat graag met je in gesprek over hoe we jouw datavraagstukken kunnen oplossen.

1x per maand data insights, praktijkcases en een kijkje achter de schermen ontvangen?

Meld je aan voor onze maillijst en blijf 'up to data':

Dit soort datavraagstukken kunnen we ook voor je oplossen

Snellere AI-zoekresultaten met een schaalbare streaming data pipeline

Exa is een AI-bedrijf dat een zoekmachine en API ontwikkelt waarmee AI-systemen het internet slim kunnen doorzoeken en analyseren. Hun technologie wordt toegepast binnen verschillende domeinen, zoals finance, coding agents, nieuws, recruitment en consulting. Hierbij worden grote hoeveelheden online data snel gevonden, gestructureerd en samengevat voor specifieke use cases.

Lees meer

Minder administratietijd in de gezondheidszorg dankzij veilige AI-gespreksrapportage

Dedimo wilde ontdekken hoe AI kon helpen om behandelgesprekken tussen client en behandelaar automatisch te transcriberen en rapportages te genereren.

Lees meer

4× snellere personalisatie met een composable CDP (Databricks deepdive)

Transavia opereert in een sterk competitieve reismarkt waarin klanten steeds hogere verwachtingen hebben van persoonlijke en consistente communicatie. Of het nu gaat om de website, de app of e-mail: elke interactie moet aansluiten op gedrag en voorkeuren.

Lees meer

Direct inzicht in sensordata met een self-service analytics platform

Heerema Marine Contractors opereert ’s werelds grootste kraanschepen, uitgerust met een enorme hoeveelheid sensoren die samen miljoenen metingen per dag produceren. Deze sensordata is cruciaal voor veiliger werken, lagere emissies, betere engineering en onderbouwde investeringsbeslissingen.

Lees meer

Dataplatform audit biedt helder inzicht en concrete optimalisaties

Volero.nl is een jong en snelgroeiend bedrijf dat vloerkleden verkoopt via een webshop en fysieke winkel. Ze zijn voornamelijk actief in Nederland, maar groeien hard in Europa, onder andere in België, Duitsland en Polen. Om deze groei te ondersteunen, is het voor Volero belangrijk om datagedreven te werken.

Lees meer

Van ambitie naar activatie: hoe Ennatuurlijk met data echt in beweging kwam

Bij energiebedrijf Ennatuurlijk groeide de overtuiging dat intuïtie niet langer genoeg was om de koers te bepalen. De energiemarkt verandert snel, de organisatie groeit, en de hoeveelheid informatie neemt elke dag toe. IT Manager Eric Vanderfeesten ging op zoek naar een datapartner die niet alleen strategisch kon adviseren op het gebied van datagedreven werken, maar zijn datateam ook op operationeel vlak kon versterken. In dit interview deelt hij zijn visie, ervaring en resultaten uit de samenwerking met Digital Power.

Lees meer

Hoe een start-up begint met datagedreven werken

Een innovatieve start-up in de babybranche wilde datagedreven werken om waardevolle inzichten te verkrijgen en strategisch te kunnen groeien. Ze schakelden onze hulp in om deze ambitie waar te maken.

Lees meer

Van strategie naar realisatie: een datagedreven toekomst

Ennatuurlijk levert duurzame warmte en koude via warmtenetten aan consumenten en bedrijven. Het interne team Data & Analytics heeft de taak om de organisatie datagedreven te laten werken. Hierbij liepen ze tegen een uitdaging aan: de vele aanvragen voor dataproducten binnen de organisatie waren moeilijk te managen en de impact bleef beperkt. Het managementteam vroeg ons daarom te helpen met het ontwikkelen van een datastrategie, het creëren van een toekomstbestendig datalandschap en het aanjagen van een datagedreven mindset binnen de organisatie.

Lees meer

400% snellere time-to-market voor nieuwe personalisatie use cases

In september 2023 vroeg Transavia ons om hun Customer Data Platform (CDP) te evalueren: sloot het nog aan bij hun marketingdoelen en was het toekomstbestendig met de strengere regels rondom third-party cookies?

Lees meer

Effectiever verkopen dankzij voorspelling van kans op leadconversie

Talent Garden biedt masterclasses en trainingsprogramma's aan studenten en komt met hen in contact via verschillende touchpoints. Online touchpoints bestaan uit ingevulde contactformulieren en informatieverzoeken, terwijl offline touchpoints bestaan uit ontmoetingen en gesprekken met het verkoopteam van Talent Garden. Tijdens het gehele klantreis, van het eerste contact tot de uiteindelijke inschrijving, verzamelt Talent Garden veel data*. Met een schat aan ruwe data tot hun beschikking wilden ze het inschrijvingsproces en de effectiviteit van hun verkoopteam verbeteren. Om dit te bereiken, vroegen ze ons een datasciencemodel te ontwikkelen dat beter kan voorspellen hoe groot de kans is dat een nieuwe lead zich inschrijft voor een studie.

Lees meer

Met MLOps naar volledig geautomatiseerde en betrouwbare salesvoorspellingen

Een wereldwijde vermogensbeheerder en specialist in Quant en Duurzaam Beleggen biedt beleggingsstrategieën aan, variërend van aandelen tot obligaties. Om hun concurrentiepositie te versterken en proactief in te spelen op veranderende klantbehoeften en marktontwikkelingen, wilde de sales- en marketingafdeling meer datagedreven gaan werken.

Lees meer

Een schaalbaar datamodel voor de analytics van meerdere websites

Een digitaal bureau ontwikkelt en beheert diverse websites en analyseert de prestaties hiervan met Google Analytics, waarbij de resultaten via dashboards met klanten worden gedeeld. De overgang van Universal Analytics naar GA4 zorgde echter voor problemen, omdat de data in GA4 anders is gestructureerd en de bestaande dashboards hierdoor niet meer functioneerden. Het bureau vroeg ons mee te denken over een schaalbare en toekomstbestendige oplossing die voor al hun klanten toepasbaar is.

Lees meer

Duurzame groei door komst datateam

Snelgroeiende scale-up EnergyZero had vanwege hun extreme groei behoefte aan het uitbouwen en het neerzetten van een sterk datateam. Hierbij was de eerste databehoefte het ondersteunen en uitvoeren van de financiële analyse t.b.v. een opkomende audit. Daarnaast wilde ze werkprocessen automatiseren en de data-uitwisseling met B2B-partners verbeteren.

Lees meer

Snelle en betrouwbare interne informatie met behulp van AI Document Explorer

Financiële instellingen moeten grote hoeveelheden documentatie verwerken. Voor deze specifieke instelling faciliteert een intern team dit door bijvoorbeeld samenvattingen te maken met behulp van tekstanalyse en natural language processing (NLP). Deze maken ze beschikbaar voor de verschillende business units. Om audits efficiënter uit te voeren, wilden ze een vraag- en antwoordmodel ontwikkelen om sneller de juiste informatie tot hun beschikking te hebben. Toen ChatGPT werd gelanceerd, vroegen ze ons een proof of concept te maken.

Lees meer

Efficiënter werken dankzij migratie naar Databricks

Het Kadaster beschikt onder andere over complexe (geo)data van al het vastgoed in Nederland. Alle data wordt opgeslagen en verwerkt via een on-premise data warehouse in Postgres. Voor het onderhoud van dit warehouse zijn ze afhankelijk van een IT-partner. Het Kadaster wil kosten besparen en efficiënter gaan werken door te migreren naar een Databricks-omgeving. Ze vroegen ons te helpen bij de implementatie van dit data lakehouse in Microsoft Azure Cloud.

Lees meer

Miljarden streams omgezet in bruikbare inzichten met een nieuw data- en analytics platform

Merlin is de grootste digitale muzieklicentiepartner voor onafhankelijke labels, distributeurs en andere rechthebbenden. De leden van Merlin vertegenwoordigen 15% van de wereldwijde markt voor muziekopnames. Het bedrijf heeft overeenkomsten met Apple, Facebook, Spotify, YouTube en 40 andere innovatieve digitale platforms over de hele wereld voor de opnames van haar leden. Het team van Merlin volgt betalingen en gebruiksrapporten van digitale partners nauwlettend en zorgt ervoor dat hun leden nauwkeurig, efficiënt en consistent worden betaald en van rapportages worden voorzien.

Lees meer

20% minder klachten dankzij datagedreven onderhoudsrapportages

Een belangrijk onderdeel van de bedrijfsvoering van Otis is het onderhoud van hun liften. Om dit goed te timen en klanten proactief te informeren over de status van hun lift, wilde Otis continue monitoring inzetten. Ze zagen veel potentie in predictive maintenance en onderhoud op afstand.

Lees meer

Waardevolle inzichten uit Microsoft Dynamics 365

Agrico is een coöperatie van aardappeltelers. Zij telen aardappels voor verschillende doeleinden zoals consumptie en het planten van toekomstige oogsten. Deze aardappels worden wereldwijd geëxporteerd via verschillende dochterondernemingen. Alle logistieke en operationele data wordt opgeslagen in hun ERP-systeem Microsoft Dynamics 365. Omdat dit systeem met zijn vele features erg complex is, is de data niet direct geschikt om te gebruiken voor rapportages. Agrico vroeg ons te helpen hun ERP-data inzichtelijk te maken en duidelijke rapportages te ontwikkelen.

Lees meer

Inzicht in de complete salesfunnel dankzij een datawarehouse met dbt

Onze consultants boeken de opdrachten die ze oppakken voor onze klanten in ons ERP AFAS. Als CRM gebruiken we HubSpot. Hierin zien we alle informatie die voorafgaand aan het tekenen van een samenwerkingsovereenkomst relevant is. Wanneer we een deal sluiten, gaat alle informatie uit HubSpot automatisch naar AFAS. HubSpot wordt dus vooral gebruikt voor het proces voordat we een samenwerking aangaan, AFAS juist voor de fase daarna. We wilden de inzet van onze mensen strakker plannen en onze financiële forecasts verbeteren. Daarom besloten we de data uit beide bronnen te koppelen en een datawarehouse op te zetten.

Lees meer

Inzicht in marktdynamieken voor een stevigere concurrentiepositie

FrieslandCampina Global faciliteert lokale teams in Europa, Azië en Afrika. Ze willen de markt beter in kaart brengen en de teams van nieuwe inzichten voorzien. Doelen hierbij zijn het verstevigen van de concurrentiepositie en het spotten van nieuwe kansen voor uitbreiding.

Lees meer

Een gestandaardiseerde manier van dataverwerking met behulp van dbt

Een van de grootste webwinkels van Nederland wilde een gestandaardiseerde manier van dataverwerking ontwikkelen binnen een van de datateams. Alle data werd opgeslagen in het schaalbare cloud datawarehouse Google BigQuery. Binnen dit platform waren grote hoeveelheden data beschikbaar op het gebied van orders, producten, marketing, retouren, klantcases en partners.

Lees meer

Betrouwbare rapportages met behulp van robuuste Python code

Het Nationaal Portaal Wegverkeersgegevens (NDW) is een waardevolle bron voor gemeenten, provincies en de rijksoverheid om inzicht te krijgen in verkeersstromen en de efficiëntie van de infrastructuur te verbeteren.

Lees meer

Opzet van een toekomstbestendige data-infrastructuur

Valk Exclusief is een keten van 4 sterren+ hotels en heeft 43 hotels in Nederland. De hotelketen wil gasten graag een persoonlijke ervaring bieden, zowel in het hotel als online.

Lees meer

Een schaalbaar dataplatform in Azure

TM Forum, een alliantie van meer dan 850 wereldwijde bedrijven, schakelde onze hulp in als datapartner om data gerelateerde uitdagingen te identificeren en op te lossen.

Lees meer

Een volledig geautomatiseerde data import pipeline

Stichting Donateursbelangen wil het vertrouwen tussen donateurs en goede doelen versterken. Daarom wilden ze via een eigen zoekmachine informatie over goede doelen delen met donateurs. De stichting vroeg ons de ANBI-status van goede doelen beschikbaar te stellen voor gebruik in hun zoekmachine. Een instelling krijgt deze status alleen als zij zich (bijna) volledig inzet voor het algemeen belang en zich aan bepaalde voorwaarden houdt.

Lees meer

Centrale dataopslag met een nieuwe data-infrastructuur

Dedimo is een samenwerking van vijf zorginitiatieven in de geestelijke gezondheidszorg. Om de kwaliteit van hun zorg continu te verbeteren, richten ze interne processen efficiënter in. Hiervoor gebruiken ze inzichten uit de data die intern beschikbaar is. Voorheen haalden ze deze data zelf uit verschillende bronsystemen met ad hoc scriptjes. Om dit proces robuuster en efficiënter te maken en verder te professionaliseren, schakelden ze onze hulp in. Ze vroegen ons de centrale opslag van hun data in een cloud data warehouse te faciliteren. Omdat ze al gewend waren te werken met Google Cloud Platform (GCP), was de wens de data-infrastructuur binnen deze omgeving op te zetten.

Lees meer

Verbeterde datakwaliteit dankzij een nieuwe data pipeline

Royal HaskoningDHV ziet het aantal aanvragen van klanten met Data Engineering vraagstukken toenemen. De nieuwe afdeling die ze hiervoor op hebben gericht, is nog groeiende. Ze vroegen ons daarom hun Data Engineering team tijdelijk extra capaciteit te bieden. Één van de vraagstukken waar wij hulp bij boden, was die van Waterschap Aa en Maas.

Lees meer

Het meetbaar maken van impact

De stichting Designathon Works organiseert Design Hackathons (Designathons) voor kinderen tussen de 8 en 12 jaar. Het doel? Kinderen van over de hele wereld skills aanleren om een ‘changemaker’ te kunnen worden. Ze worden uitgedaagd om oplossingen te ontwerpen voor een betere wereld, bijvoorbeeld het tegengaan van klimaatverandering. Vanuit de Datahub hielpen we Designathon Works kosteloos de impactmetingen aan te scherpen. Ook deden we een eerste aanzet tot automatisering van de dataverzameling, analyse en visualisatie.

Lees meer

Een goed georganiseerde data-infrastructuur

FysioHolland is een overkoepelende organisatie voor fysiotherapeuten in Nederland. Een centraal serviceteam ontlast therapeuten van bijkomende werkzaamheden, zodat zij zich vooral kunnen focussen op het leveren van de beste zorg. Naast de organische groei sluit FysioHolland nieuwe praktijken aan bij de organisatie. Deze hebben stuk voor stuk hun eigen systemen, werkprocessen en behandelcodes. Dit heeft de datahuishouding van FysioHolland groot en complex gemaakt.

Lees meer

Een schaalbaar machine learning-platform voor het voorspellen van billboard-impressies

The Neuron biedt een programmatisch biedingsplatform om digitale Out-Of-Home-advertenties in realtime te plannen, kopen en beheren. Ze vroegen ons het aantal verwachte impressies voor digitale advertenties op billboards op een schaalbare en efficiënte manier te voorspellen.

Lees meer

Meetbare impact op social change met behulp van een datalake

RNW Media is een NGO die zich richt op landen waar beperkte vrijheid van meningsuiting is. De organisatie probeert impact te maken via online kanalen als social media en websites. Om die impact te meten, stelde RNW Media een Theory of Change (een soort KPI framework voor NGO’s) op.

Lees meer

Digitale transformatie en betere interne samenwerking dankzij inzicht in off- én online data

Uitgever Malmberg verzamelt veel off- en online data. Steeds meer onderwijsinstellingen maken gebruik van online licenties ter aanvulling op (of in plaats van) gedrukt lesmateriaal. Om hierop in te spelen, maakt Malmberg gebruik van maandelijkse rapportages. Het in-house data team stelt deze samen als input voor specifieke afdelingen. Malmberg vroeg ons dit team te versterken en de interne processen rondom data efficiënter te maken.

Lees meer