De technische verdieping van scaling experimentation effectively

Als de technische setup van een experiment niet goed is, kunnen de resultaten onbetrouwbaar zijn. Je kunt dan conclusies trekken op basis van data die niet klopt, waardoor beslissingen verkeerd uitpakken. Daarnaast kunnen technische fouten zoals flickering of trage laadtijden de gebruikerservaring verslechteren. Dat ondermijnt juist het doel van experimenteren: het verbeteren van de user experience op basis van betrouwbare data. Het is dus essentieel om je technische setup goed te hebben staan.

Het is verstandig om je setup te controleren, als:

• Je niet volledig vertrouwt op testresultaten, bijvoorbeeld door problemen met datakwaliteit.
• Je weet dat je geen speciale oplossing hebt neergezet om gebruikers te identificeren op je website.
• Je weet dat er soms problemen zijn met flickering of performance bij testen die je draait.
• Je überhaupt niet weet of je technische setupgoed is ingericht.

Tijdens een check controleren we meerdere aspecten van je setup aan de hand van een aantal onderzoeksvragen.

1. We controleren de datakwaliteit in de analytics tool:

• Worden belangrijke conversies goed gemeten?
• Zijn er events rondom experimenten zelf geïmplementeerd en gaat ook daar alles goed?

2. We controleren de testtool:

• Zijn er problemen met Sample Ratio Mismatch (SRM)?
• Krijg je bij het draaien van A/A testen de verwachte uitkomsten?
• Wordt de tool correct ingeladen en is er een goede integratie met de data layer? 
• Hoe worden testen getriggerd en gecodeerd?
• Wat zijn belangrijke overwegingen voor de organisatie als het gaat om client side versus server side test tools?

3. We kijken naar onderwerpen die belangrijk zijn voor zowel de testtool als de analytics tool:

• Is er een oplossing om gebruikers zo goed mogelijk te herkennen (ook degenen die niet inloggen)?
• Hoe zijn de tools geïntegreerd met consentkeuzes van gebruikers?

Als je meer hulp zoekt op technisch vlak, voel je dan zeker vrij om contact met ons op te nemen. We kunnen je bijvoorbeeld helpen om je datakwaliteit te verbeteren, bij het opzetten van een visitor identity service, bij het elimineren of reduceren van flickering effect, bij het bouwen van testcode met minimale impact op performance en adviseren bij de keuze van een nieuwe tool.

We kijken ook breder dan deze specifieke focus. Deze technische controle is uiteindelijk een deel van scaling experimentation effectively: een oplossing om experimenteren binnen de organisatie naar het volgende niveau van volwassenheid te brengen. Lees hier meer over de volledige oplossing.

We hebben twee fasen waarin we je kunnen ondersteunen. Fase 1 is een basisopzet voor je experimenten, terwijl fase 2 zorgt voor een hogere volwassenheid, betere experimentkwaliteit en een hogere winrate. De uiteindelijke kosten kunnen afhangen van hoe ver je huidige setup al is.

Je kunt pas goede experimenten uitvoeren als je data goed is. Met onze brede expertise op het gebied van Customer Experience, Data Analytics, Technical Web Analytics, Data Engineering, AI & Data Science, Data Strategy en Product- and Projectmanagement, kunnen we je helpen bij elk datavraagstuk.

Is je datakwaliteit onvoldoende om hoge kwaliteit experimenten uit te voeren? Geen zorgen, we helpen je graag!