DealRoom: samenvoeging offline databases

Een volledig gedocumenteerd, toekomstbestendig Python script

dealroom_logo

DealRoom verzamelt data van start-ups voor investeringsmaatschappijen en banken. Naast adresdata verzamelen ze data over investeringsrondes, werknemers en websiteverkeer. Op basis van de wensen van de klant, halen ze suggesties voor goede investeringen uit hun database. Om deze database (van 500.000 records) te verrijken, schafte DealRoom een database (van 700.000 records) aan bij een externe partij. Ze riepen onze hulp in om beide databases samen te voegen.

Onze aanpak

Om de databases samen te voegen, moesten de velden in beide databases gematcht worden. Onze Data Scientist schreef eerst een test script wat de databases vergeleek op basis van één veld. Zo werden er 40.000 matches gevonden.

Er waren meerdere uitdagingen bij het samenvoegen van de twee databases:

  • We moesten bepalen welke waardes worden gebruikt als in beide databases het veld gevuld is.
  • Er werden verschillende definities gebruikt voor dezelfde waarden (bijvoorbeeld ‘bedrijfsnaam’ en ‘bedrijf’).
  • De veldnamen verschilden in veel gevallen (bijvoorbeeld bedrijfsnamen met of zonder ‘B.V.’ als toevoeging).
  • De databases hadden beiden een verschillende structuur.

In samenwerking met DealRoom stelde onze Data Scientist de regels op waaraan waardes moesten voldoen om de databases samen te kunnen voegen. Vervolgens schreef hij een Python script in Jupyter Notebook wat de databases koppelde op basis van de velden website, bedrijfsnaam en land. Hierbij documenteerde hij elke regel zorgvuldig. Een voorbeeld van zo’n regel is bijvoorbeeld: “Wanneer bij beide databases het veld ‘website’ is ingevuld, wordt de meest recente waarde ingevuld.’ Op deze manier werden er 150.000 matches gevonden. 110.000 meer dan bij het test script!

Het resultaat

Doordat onze Data Scientist de totstandkoming van het Python script volledig heeft gedocumenteerd, kan DealRoom het in de toekomst ook gebruiken.

Wanneer één van de huidige databases wordt geüpdatet, kan hetzelfde script gedraaid worden en aangepast waar nodig. Dit is erg belangrijk voor DealRoom omdat de data van start-ups snel veroudert en de datakwaliteit daarmee afneemt.

Onze Data Scientist heeft tijdens het proces een Franse werknemer van DealRoom getraind. Dankzij deze training en de bijbehorende documentatie kan hij het verversen van de huidige setting verder zelf oppakken.

Benieuwd naar de mogelijkheden van Data Science?

Data Science ligt tussen statistische methodologie, Computer Science en een scala aan andere toepassingen. We nemen je graag mee in de verschillende concepten binnen de Data Science en hoe deze worden toegepast binnen het bedrijfsleven.

Meld je aan voor de Introductietraining Data Science >

Meer weten over deze case? Neem contact op met René de Boer

digital-power-data-professionals-amsterdam

Een aantal van onze opdrachtgevers

Customer Experience Optimisation

Customer Experience Optimisation is een continu proces. De wensen en behoeften van je doelgroep(en) veranderen immers continu. Daarom is het zaak om de behoeften en het gedrag continu te analyseren en je aan te passen waar nodig. We doen dit aan de hand van onze Customer Experience Optimisation loop.

Benieuwd wat Customer Experience Optimisation kan betekenen voor jouw organisatie?

Meld je aan voor een gratis inspiratiesessie >

KPI (framework)

Om je missie, visie, strategie en doelen meetbaar te maken, vertalen we deze naar Key Performance Indicators.

Is één van je doelen bijvoorbeeld om marktleider te worden? Dan nemen we KPI’s als ‘aantal klanten’, ‘marktaandeel’ en ‘aantal nieuwe klanten’ op in je KPI framework. Dit zijn handige meetwaarden waarmee je kunt zien of je goed op weg bent om marktleider te worden.

Ook leggen we vast hoe we je KPI’s we gaan meten, welke definities we ervoor gebruiken en in welke rapportage ze te vinden zijn.

We visualiseren je KPI’s vervolgens in een overzichtelijk dashboard. Zo kun je te allen tijde zien of je goed op weg bent om je doelstellingen te behalen en tijdig bijsturen waar nodig.

Lees meer over KPI’s >

samenvoeging-databases-python-dealroom

Klantcase: DealRoom

We schreven een volledig gedocumenteerd en toekomstbestendig Python script om complexe databases samen te voegen.

Samenvoeging databases >

Ontvang 5 praktische tips van ervaren data consultants

Als je je telefoonnummer invult, bellen we je even om kort kennis met je te maken. We zijn namelijk erg benieuwd naar wat voor inzichten je van ons hoopt te ontvangen!

Nadat je dit formulier hebt ingevuld, krijg je 5 weken lang eens per week een e-mail met een persoonlijke, praktische tip van één van onze data consultants. Je kunt je te allen tijde weer afmelden.

Aanvraag beschikbare profielen

Nadat je dit formulier hebt ingevuld, neemt één van onze Business Managers binnen 2 werkdagen contact met je op.

Vul het formulier in en klik op ‘aanvragen’. We nemen zo snel mogelijk vrijblijvend contact met je op om de mogelijkheden te bespreken.

Aanvraag Data Quick Scan
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

Vul het formulier in en klik op ‘aanvragen’. We nemen zo snel mogelijk vrijblijvend contact met je op om de mogelijkheden te bespreken.

Aanvraag Google Analytics audit
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.
Aanvraag meeloopdag student
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

Voor één dag deel uitmaken van ons team en samen werken aan innovatieve oplossingen voor bekende merken? Meld je aan voor één van de komende Learning @ Location Days! Na het invullen van dit formulier neemt onze Recruiter Wouter contact met je op om de mogelijkheden te bespreken.

Aanmelding L@L Day student
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.
Inspiratiesessie Retail
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Javascript & jQuery
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Inspiratiesessie Datavisualisatie
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Inspiratiesessie KPI
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Inspiratiesessie Customer Experience
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Inspiratiesessie Data in het MKB
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Adobe Analytics
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Conversie Optimalisatie
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training HTML & CSS
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training SQL
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Datavisualisatie
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Excel
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Google Analytics
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Google Tag Manager
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training R Fundamentals
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Datacollectie
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training KPI
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Introductie Data Science
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Introductie Customer Experience
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Introductie Digital Marketing
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Introductie Data Analytics
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.