Meetbare impact op social change met behulp van een datalake
RNW Media
- Klantcase
- Data Engineering
- Dataconsultancy
RNW Media is een NGO die zich richt op landen waar beperkte vrijheid van meningsuiting is. De organisatie probeert impact te maken via online kanalen als social media en websites. Om die impact te meten, stelde RNW Media een Theory of Change (een soort KPI framework voor NGO’s) op.
Er bleek geen systeem te bestaan wat de data van 12 websites en daaraan gekoppelde social media kanalen centraal kon opslaan. Daarom werden de metrics uit het framework grotendeels handmatig gemeten. Dit betekende in de praktijk 12 keer een uitdraai maken van de Facebook data, 12 keer van Youtube, 12 keer van Instagram, et cetera. Door de grote hoeveelheid data en toenemende complexiteit, was het onmogelijk bij te sturen op basis van data. RNW Media vroeg ons te helpen hun processen te automatiseren.
Onze aanpak
Het project bestaat uit twee delen. In samenspraak met de klant prioriteerden we de kanalen. Vervolgens schreven we Python scripts waarmee we de data naar PowerBI brachten. Deze data haalden we als Proof of Concept op in losse, lokale bestanden die je zelf moest aanroepen. Toen dit goed bleek te werken, zetten we het proces om in een volledig geautomatiseerd datalake.
RNW Media wil alle content op basis van onderwerp kunnen analyseren. Daarom ontwikkelden we een methode waarbij alle social media posts per onderwerp verzameld worden. We koppelden de website en social media kanalen voor een totaaloverzicht. Er zijn wel tools op de markt waarmee je verschillende social media kanalen kunt koppelen, maar niet op een manier die past bij de werkwijze van RNW Media.
Voor de opzet van het datalake gebruikten we Airflow: dit automatiseert en monitort Python jobs. We schreven de Python scripts uit de eerste fase van het project om naar Airflow pipelines. Hiermee werd het ook mogelijk met terugwerkende kracht data aan te vullen.
Intern draagvlak creëren voor de automatisering van de dataverwerking was een mooie uitdaging. Naast PowerBI richtten we de tool Metabase in. Hierin kan iedereen binnen RNW Media via een eenvoudige interface zelf ‘rondklikken’ en inzichten uit de data halen.
Het resultaat
Met behulp van Airflow automatiseerden we het ETL proces. Het resultaat hiervan wordt opgeslagen in het data lake en een nieuw (BigQuery) data warehouse. Hierin is alle opgeschoonde data beschikbaar en toegankelijk voor de analisten. Zij werken nu allemaal met dezelfde feiten. Door het warehouse te combineren met het data lake, is de data opslag centraal én schaalbaar. De data wordt dagelijks automatisch ververst.
RNW Media heeft nu inzicht in de metrics uit de Theory of Change op basis van social media data, gegroepeerd op onderwerp. In de volgende fase koppelen we ook de kostendata (uitgaven aan marketingdata) aan de datawarehouse omgeving. Daarmee krijgt de NGO ook inzicht in de financiële kosten ten opzichte van de impact die ze maken.
Dagelijks beschikken nu in 12 verschillende landen medewerkers van RNW Media over nieuwe data. Ze kunnen uit hun data halen hoeveel mensen een onderwerp bespreken en bekijken én hoe betrokken ze zijn. Hierbij is er helder inzicht in de vragen die spelen rondom een onderwerp. Ook kan de NGO beter inspelen op de informatiebehoeften van hun doelgroepen en nóg meer social impact maken.
Toekomst
We werken nog steeds aan het maken van nieuwe koppelingen tussen de online kanalen van RNW Media en het datalake. In het datalake is nu vooral ruwe data beschikbaar. Deze gaan we nog verder opschonen en combineren. Zodra alle bronnen aangesloten zijn, bouwen we bovenop het datalake een business laag waar de Analisten van RNW Media zelf mee aan de slag kunnen.
Het data warehouse fungeert in de toekomst als de single source of truth. Waar mogelijk (en efficiënt) gaan we ook offline databronnen toevoegen.
Meer weten over deze opdracht?
Joachim komt graag met je in contact.
Business Manager020 308 43 9006 23 59 83 71joachim.vanbiemen@digital-power.com
1x per maand data insights, praktijkcases en een kijkje achter de schermen ontvangen?
Meld je aan voor onze maillijst en blijf 'up to data':
Dit vind je misschien ook interessant
Jouw Data Engineering partner
Genereer betrouwbare en betekenisvolle inzichten uit een solide, veilige en schaalbare infrastructuur. Ons team van 25+ Data Engineers staat klaar om jouw dataproducten en -infrastructuur end-to-end te implementeren, te onderhouden én te optimaliseren.
Een goed georganiseerde data-infrastructuur
FysioHolland is een overkoepelende organisatie voor fysiotherapeuten in Nederland. Een centraal serviceteam ontlast therapeuten van bijkomende werkzaamheden, zodat zij zich vooral kunnen focussen op het leveren van de beste zorg. Naast de organische groei sluit FysioHolland nieuwe praktijken aan bij de organisatie. Deze hebben stuk voor stuk hun eigen systemen, werkprocessen en behandelcodes. Dit heeft de datahuishouding van FysioHolland groot en complex gemaakt.
Verbeterde datakwaliteit dankzij een nieuwe data pipeline
Royal HaskoningDHV ziet het aantal aanvragen van klanten met Data Engineering vraagstukken toenemen. De nieuwe afdeling die ze hiervoor op hebben gericht, is nog groeiende. Ze vroegen ons daarom hun Data Engineering team tijdelijk extra capaciteit te bieden. Één van de vraagstukken waar wij hulp bij boden, was die van Waterschap Aa en Maas.
Een schaalbaar machine learning-platform voor het voorspellen van billboard-impressies
The Neuron biedt een programmatisch biedingsplatform om digitale Out-Of-Home-advertenties in realtime te plannen, kopen en beheren. Ze vroegen ons het aantal verwachte impressies voor digitale advertenties op billboards op een schaalbare en efficiënte manier te voorspellen.