DealRoom: samenvoeging offline databases

Een volledig gedocumenteerd, toekomstbestendig Python script

dealroom_logo

DealRoom verzamelt data van start-ups voor investeringsmaatschappijen en banken. Naast adresdata verzamelen ze data over investeringsrondes, werknemers en websiteverkeer. Op basis van de wensen van de klant, halen ze suggesties voor goede investeringen uit hun database. Om deze database (van 500.000 records) te verrijken, schafte DealRoom een database (van 700.000 records) aan bij een externe partij. Ze riepen onze hulp in om beide databases samen te voegen.

Onze aanpak

Om de databases samen te voegen, moesten de velden in beide databases gematcht worden. Onze Data Scientist schreef eerst een test script wat de databases vergeleek op basis van één veld. Zo werden er 40.000 matches gevonden.

Er waren meerdere uitdagingen bij het samenvoegen van de twee databases:

  • We moesten bepalen welke waardes worden gebruikt als in beide databases het veld gevuld is.
  • Er werden verschillende definities gebruikt voor dezelfde waarden (bijvoorbeeld ‘bedrijfsnaam’ en ‘bedrijf’).
  • De veldnamen verschilden in veel gevallen (bijvoorbeeld bedrijfsnamen met of zonder ‘B.V.’ als toevoeging).
  • De databases hadden beiden een verschillende structuur.

In samenwerking met DealRoom stelde onze Data Scientist de regels op waaraan waardes moesten voldoen om de databases samen te kunnen voegen. Vervolgens schreef hij een Python script in Jupyter Notebook wat de databases koppelde op basis van de velden website, bedrijfsnaam en land. Hierbij documenteerde hij elke regel zorgvuldig. Een voorbeeld van zo’n regel is bijvoorbeeld: “Wanneer bij beide databases het veld ‘website’ is ingevuld, wordt de meest recente waarde ingevuld.’ Op deze manier werden er 150.000 matches gevonden. 110.000 meer dan bij het test script!

Het resultaat

Doordat onze Data Scientist de totstandkoming van het Python script volledig heeft gedocumenteerd, kan DealRoom het in de toekomst ook gebruiken.

Wanneer één van de huidige databases wordt geüpdatet, kan hetzelfde script gedraaid worden en aangepast waar nodig. Dit is erg belangrijk voor DealRoom omdat de data van start-ups snel veroudert en de datakwaliteit daarmee afneemt.

Onze Data Scientist heeft tijdens het proces een Franse werknemer van DealRoom getraind. Dankzij deze training en de bijbehorende documentatie kan hij het verversen van de huidige setting verder zelf oppakken.

Benieuwd naar de mogelijkheden van Data Science?

Data Science ligt tussen statistische methodologie, Computer Science en een scala aan andere toepassingen. We nemen je graag mee in de verschillende concepten binnen de Data Science en hoe deze worden toegepast binnen het bedrijfsleven.

Meld je aan voor de Introductietraining Data Science >

Meer weten over deze case? Neem contact op met René de Boer

digital-power-data-professionals-amsterdam

Een aantal van onze opdrachtgevers

samenvoeging-databases-python-dealroom

Klantcase: DealRoom

We schreven een volledig gedocumenteerd en toekomstbestendig Python script om complexe databases samen te voegen.

Samenvoeging databases >

Ontvang 5 praktische tips van ervaren data consultants

Als je je telefoonnummer invult, bellen we je even om kort kennis met je te maken. We zijn namelijk erg benieuwd naar wat voor inzichten je van ons hoopt te ontvangen!

Nadat je dit formulier hebt ingevuld, krijg je 5 weken lang eens per week een e-mail met een persoonlijke, praktische tip van één van onze data consultants. Je kunt je te allen tijde weer afmelden.

Aanvraag beschikbare profielen

Nadat je dit formulier hebt ingevuld, neemt één van onze Business Managers binnen 2 werkdagen contact met je op.

Vul het formulier in en klik op ‘aanvragen’. We nemen zo snel mogelijk vrijblijvend contact met je op om de mogelijkheden te bespreken.

Aanvraag Data Quick Scan
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

Vul het formulier in en klik op ‘aanvragen’. We nemen zo snel mogelijk vrijblijvend contact met je op om de mogelijkheden te bespreken.

Aanvraag Google Analytics audit
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.
Aanvraag meeloopdag student
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

Voor één dag deel uitmaken van ons team en samen werken aan innovatieve oplossingen voor bekende merken? Meld je aan voor één van de komende Learning @ Location Days! Na het invullen van dit formulier neemt onze Recruiter Wouter contact met je op om de mogelijkheden te bespreken.

Aanmelding L@L Day student
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.
Inspiratiesessie Retail
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Javascript & jQuery
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Inspiratiesessie Datavisualisatie
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Inspiratiesessie KPI
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Inspiratiesessie Customer Experience
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Inspiratiesessie Data in het MKB
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Adobe Analytics
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Conversie Optimalisatie
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training HTML & CSS
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training SQL
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Datavisualisatie
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Excel
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Google Analytics
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Google Tag Manager
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training R Fundamentals
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training Datacollectie
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Training KPI
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Introductie Data Science
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Introductie Customer Experience
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Introductie Digital Marketing
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.

Introductie Data Analytics
Als je bovenstaande optie aanvinkt, ontvang je e-mails van ons met nieuwe insights, klantcases, trainingen en ontbijtsessies. Je kunt je onderaan elke e-mail eenvoudig afmelden.

 

Na je aanmelding nemen we contact met je op voor je factuurgegevens. Je ontvangt in de week voorafgaand aan de training praktische informatie per e-mail.