Skip to content

RNW Media

HOME / KLANTCASES / RNW MEDIA

Meetbare impact op social change met behulp van een datalake

RNW_logo

RNW Media is een NGO die zich richt op landen waar beperkte vrijheid van meningsuiting is. De organisatie probeert impact te maken via online kanalen als social media en websites. Om die impact te meten, stelde RNW Media een Theory of Change (een soort KPI framework voor NGO’s) op.  

Er bleek geen systeem te bestaan wat de data van 12 websites en daaraan gekoppelde social media kanalen centraal kon opslaan.  Daarom werden de metrics uit het framework grotendeels handmatig gemeten. Dit betekende in de praktijk 12 keer een uitdraai maken van de Facebook data, 12 keer van Youtube, 12 keer van Instagram, et ceteraDoor de grote hoeveelheid data en toenemende complexiteit, was het onmogelijk bij te sturen op basis van data. RNW Media vroeg ons te helpen hun processen te automatiseren. 

Onze aanpak

Het project bestaat uit twee delen. In samenspraak met de klant prioriteerden we de kanalen. Vervolgens schreven we Python scripts waarmee we de data naar PowerBI brachten. Deze data haalden we als Proof of Concept op in losse, lokale bestanden die je zelf moest aanroepen. Toen dit goed bleek te werken, zetten we het proces om in een volledig geautomatiseerd datalake.  

RNW Media wil alle content op basis van onderwerp kunnen analyseren. Daarom ontwikkelden we een methode waarbij alle social media posts per onderwerp verzameld worden. We koppelden de website en social media kanalen voor een totaaloverzicht. Er zijn wel tools op de markt waarmee je verschillende social media kanalen kunt koppelen, maar niet op een manier die past bij de werkwijze van RNW Media.  

Voor de opzet van het datalake gebruikten we Airflow: dit automatiseert en monitort Python jobs. We schreven de Python scripts uit de eerste fase van het project om naar Airflow pipelines. Hiermee werd het ook mogelijk met terugwerkende kracht data aan te vullen. 

Intern draagvlak creëren voor de automatisering van de dataverwerking was een mooie uitdaging. Naast PowerBI richtten we de tool Metabase in. Hierin kan iedereen binnen RNW Media via een eenvoudige interface zelf ‘rondklikken’ en inzichten uit de data halen.  

Het resultaat

Met behulp van Airflow automatiseerden we het ETL proces. Het resultaat hiervan wordt opgeslagen in het data lake en een nieuw (BigQuery) data warehouse. Hierin is alle opgeschoonde data beschikbaar en toegankelijk voor de analistenZij werken nu allemaal met dezelfde feiten. Door het warehouse te combineren met het data lake, is de data opslag centraal éschaalbaar. De data wordt dagelijks automatisch ververst.  

RNW Media heeft nu inzicht in de metrics uit de Theory of Change op basis van social media data, gegroepeerd op onderwerp. In de volgende fase koppelen we ook de kostendata (uitgaven aan marketingdata) aan de datawarehouse omgeving. Daarmee krijgt de NGO ook inzicht in de financiële kosten ten opzichte van de impact die ze maken. 

Dagelijks beschikken nu in 12 verschillende landen medewerkers van RNW Media over nieuwe data. Ze kunnen uit hun data halen hoeveel mensen een onderwerp bespreken en bekijken én hoe betrokken ze zijn. Hierbij is er helder inzicht in de vragen die spelen rondom een onderwerp. Ook kan de NGO beter inspelen op de informatiebehoeften van hun doelgroepen en nóg meer social impact maken.  

flowchart-airflow
RNW Media Responsible Data Cycle

Toekomst

We werken nog steeds aan het maken van nieuwe koppelingen tussen de online kanalen van RNW Media en het datalake. In het datalake is nu vooral ruwe data beschikbaar. Deze gaan we nog verder opschonen en combineren. Zodra alle bronnen aangesloten zijn, bouwen we bovenop het datalake een business laag waar de Analisten van RNW Media zelf mee aan de slag kunnen.  

Het data warehouse fungeert in de toekomst als de single source of truth. Waar mogelijk (en efficiënt) gaan we ook offline databronnen toevoegen. 

We werken onder andere voor

Meer weten?
Business Manager Erik gaat graag met je in gesprek over wat we als datapartner voor jou en je organisatie kunnen betekenen.