Meetbare impact op social change met behulp van een datalake

RNW Media

  • Klantcase
  • Data Engineering
RNW media
Erik-business-manager
Erik van der Kooij
Commercieel Manager
3 min
22 Apr 2020

RNW Media is een NGO die zich richt op landen waar beperkte vrijheid van meningsuiting is. De organisatie probeert impact te maken via online kanalen als social media en websites. Om die impact te meten, stelde RNW Media een Theory of Change (een soort KPI framework voor NGO’s) op.

Er bleek geen systeem te bestaan wat de data van 12 websites en daaraan gekoppelde social media kanalen centraal kon opslaan. Daarom werden de metrics uit het framework grotendeels handmatig gemeten. Dit betekende in de praktijk 12 keer een uitdraai maken van de Facebook data, 12 keer van Youtube, 12 keer van Instagram, et cetera. Door de grote hoeveelheid data en toenemende complexiteit, was het onmogelijk bij te sturen op basis van data. RNW Media vroeg ons te helpen hun processen te automatiseren.

Onze aanpak

Het project bestaat uit twee delen. In samenspraak met de klant prioriteerden we de kanalen. Vervolgens schreven we Python scripts waarmee we de data naar PowerBI brachten. Deze data haalden we als Proof of Concept op in losse, lokale bestanden die je zelf moest aanroepen. Toen dit goed bleek te werken, zetten we het proces om in een volledig geautomatiseerd datalake. 

RNW Media wil alle content op basis van onderwerp kunnen analyseren. Daarom ontwikkelden we een methode waarbij alle social media posts per onderwerp verzameld worden. We koppelden de website en social media kanalen voor een totaaloverzicht. Er zijn wel tools op de markt waarmee je verschillende social media kanalen kunt koppelen, maar niet op een manier die past bij de werkwijze van RNW Media. 

Voor de opzet van het datalake gebruikten we Airflow: dit automatiseert en monitort Python jobs. We schreven de Python scripts uit de eerste fase van het project om naar Airflow pipelines. Hiermee werd het ook mogelijk met terugwerkende kracht data aan te vullen.

Intern draagvlak creëren voor de automatisering van de dataverwerking was een mooie uitdaging. Naast PowerBI richtten we de tool Metabase in. Hierin kan iedereen binnen RNW Media via een eenvoudige interface zelf ‘rondklikken’ en inzichten uit de data halen.

RNW Media Responsible Data Cycle
RNW Media Responsible Data Cycle

Het resultaat

Met behulp van Airflow automatiseerden we het ETL proces. Het resultaat hiervan wordt opgeslagen in het data lake en een nieuw (BigQuery) data warehouse. Hierin is alle opgeschoonde data beschikbaar en toegankelijk voor de analisten. Zij werken nu allemaal met dezelfde feiten. Door het warehouse te combineren met het data lake, is de data opslag centraal én schaalbaar. De data wordt dagelijks automatisch ververst. 

RNW Media heeft nu inzicht in de metrics uit de Theory of Change op basis van social media data, gegroepeerd op onderwerp. In de volgende fase koppelen we ook de kostendata (uitgaven aan marketingdata) aan de datawarehouse omgeving. Daarmee krijgt de NGO ook inzicht in de financiële kosten ten opzichte van de impact die ze maken.

Dagelijks beschikken nu in 12 verschillende landen medewerkers van RNW Media over nieuwe data. Ze kunnen uit hun data halen hoeveel mensen een onderwerp bespreken en bekijken én hoe betrokken ze zijn. Hierbij is er helder inzicht in de vragen die spelen rondom een onderwerp. Ook kan de NGO beter inspelen op de informatiebehoeften van hun doelgroepen en nóg meer social impact maken. 

Toekomst

We werken nog steeds aan het maken van nieuwe koppelingen tussen de online kanalen van RNW Media en het datalake. In het datalake is nu vooral ruwe data beschikbaar. Deze gaan we nog verder opschonen en combineren. Zodra alle bronnen aangesloten zijn, bouwen we bovenop het datalake een business laag waar de Analisten van RNW Media zelf mee aan de slag kunnen.

Het data warehouse fungeert in de toekomst als de single source of truth. Waar mogelijk (en efficiënt) gaan we ook offline databronnen toevoegen.

Meer weten over deze opdracht?

Erik komt graag met je in contact.

Erik van der Kooij

Commercieel Manager06 51 95 61 87erik.vanderkooij@digital-power.com

1x per maand data insights, praktijkcases en een kijkje achter de schermen ontvangen?

Meld je aan voor onze maillijst en blijf 'up to data':

Dit vind je misschien ook interessant

Verantwoord data verzamelen en verwerken

Van ‘ethische data naar doen’ is makkelijker gezegd dan gedaan. Een deel van de ethische afwegingen op het gebied van werken met data ligt vast in de privacywet (AVG). Afhankelijk van de context, zijn er nog veel meer vragen die we onszelf hierbij moeten stellen. Als iets wettelijk mag, betekent dit nog niet automatisch dat het ook ethisch verantwoord is.

Lees meer

Digitale transformatie en betere interne samenwerking dankzij inzicht in off- én online data

Uitgever Malmberg verzamelt veel off- en online data. Steeds meer onderwijsinstellingen maken gebruik van online licenties ter aanvulling op (of in plaats van) gedrukt lesmateriaal. Om hierop in te spelen, maakt Malmberg gebruik van maandelijkse rapportages. Het in-house data team stelt deze samen als input voor specifieke afdelingen. Malmberg vroeg ons dit team te versterken en de interne processen rondom data efficiënter te maken.

Lees meer
Data Engineer aan het werk

Data Engineering

Lever iedereen betrouwbare en betekenisvolle data uit een solide, schaalbare infrastructuur.

Lees meer
fysioholland data

Een goed georganiseerde data-infrastructuur

FysioHolland is een overkoepelende organisatie voor fysiotherapeuten in Nederland. Een centraal serviceteam ontlast therapeuten van bijkomende werkzaamheden, zodat zij zich vooral kunnen focussen op het leveren van de beste zorg. Naast de organische groei sluit FysioHolland nieuwe praktijken aan bij de organisatie. Deze hebben stuk voor stuk hun eigen systemen, werkprocessen en behandelcodes. Dit heeft de datahuishouding van FysioHolland groot en complex gemaakt.

Lees meer

Hoe tekstanalyse RNW Media helpt te luisteren en actie te ondernemen

RNW Media bouwt online communities in landen met beperkte vrijheden. In deze communities kunnen jongeren lezen en discussiëren over seksuele en reproductieve gezondheid en rechten (SRGR) en over burgerrechten. Hiernaast werkt RNW Media aan advocacy – het op de kaart zetten van de belangen van jongeren bij overheden.

Lees meer
Data Engineer aan het werk

Data Engineer

Werk aan uitdagende technische opdrachten bij verschillende opdrachtgevers.

Lees meer
meer

Verbeterde datakwaliteit dankzij een nieuwe data pipeline

Royal HaskoningDHV ziet het aantal aanvragen van klanten met Data Engineering vraagstukken toenemen. De nieuwe afdeling die ze hiervoor op hebben gericht, is nog groeiende. Ze vroegen ons daarom hun Data Engineering team tijdelijk extra capaciteit te bieden. Één van de vraagstukken waar wij hulp bij boden, was die van Waterschap Aa en Maas.

Lees meer

5 redenen om Infrastructure as Code (IaC) te gebruiken

Infrastructure as Code heeft zich bewezen als betrouwbare techniek om platformen sterk neer te zetten in de cloud. Het vraagt echter wel een extra tijdsinvestering van de betrokken ontwikkelaars. In welke gevallen loont de extra inspanning zich? Je leest het in dit artikel.

Lees meer
billboards

Een schaalbaar machine learning-platform voor het voorspellen van billboard-impressies

The Neuron biedt een programmatisch biedingsplatform om digitale Out-Of-Home-advertenties in realtime te plannen, kopen en beheren. Ze vroegen ons het aantal verwachte impressies voor digitale advertenties op billboards op een schaalbare en efficiënte manier te voorspellen.

Lees meer

Waarom heb ik Data Engineers nodig als ik Data Scientists heb?

Inmiddels is het bij de meeste bedrijven wel duidelijk: datagedreven beslissingen door Data Science voegen concreet waarde toe aan de bedrijfsvoering. Of je doel nu is om betere marketingcampagnes op te zetten, preventief onderhoud aan je machines uit te voeren of fraude effectiever te bestrijden: in elke bedrijfstak zijn er toepassingen van Data Science te vinden.

Lees meer

5 vragen aan Data Engineer Dennis

In deze video ontdek je hoe een baan als Data Engineer eruit ziet! Hoe ziet een werkweek eruit, voor welke klanten werken onze Data Engineers en wat maakt het werken zo leuk? Dennis vertelt je er graag meer over!

Lees meer