Best practices voor A/B-testen

Beginnen met een A/B-testprogramma kan overweldigend aanvoelen en het verkrijgen van de juiste inzichten kan voelen als een ‘mission impossible’. Daarom hebben wij een handige A/B-test infographic gemaakt, waarmee je door middel van een aantal best practices van Digital Power meteen aan de slag kunt. Je kunt de richtlijnen gebruiken als je net begint met A/B-testen, maar ook als je meer ervaren bent en je graag A/B-tests wil optimaliseren

Naast onze richtlijnen, geven we je in deze blog een aantal handvatten en praktische tips waarmee je een goed begin kunt maken. De tips dragen bij aan de juiste basis voor het verkrijgen van waardevolle resultaten en inzichten.

3 belangrijke stappen voordat een experiment live gaat

Stap 1: Definieer gebruikersproblemen op basis van data

Vaak denken we dat we precies weten wat de problemen van gebruikers zijn tijdens een interactie met producten of websites. Om echter een duidelijk en nauwkeurig beeld te krijgen van wat die problemen zijn en hoe groot ze zijn, moet er goed onderzoek worden gedaan. Idealiter worden problemen afgeleid van meerdere verschillende (data)bronnen. Pas als je weet welk probleem je probeert op te lossen, kun je oplossingen bedenken.

Stap 2: Stel duidelijke doelen en hypotheses op

Om een A/B-test uit te voeren, is het belangrijk om vooraf de doelen duidelijk te definiëren. Tip: dit heeft waarschijnlijk te maken met het probleem dat je probeert op te lossen. Als je een duidelijk doel voor ogen hebt, kan je effectievere tests bouwen en de resultaten zo objectief mogelijk meten. Bovendien is het goed om na te denken over de manier waarop je dit doel meet. Pas als je weet welke data je gaat analyseren en welk effect je verwacht, kun je goede hypotheses opstellen en de juiste statistische toets(en) kiezen.

Stap 3: Gebruik een steekproef die groot genoeg is

Om betrouwbare statistische resultaten uit A/B-tests te verkrijgen, moet de steekproefomvang groot genoeg zijn. Op deze manier worden de resultaten minimaal beïnvloed door toeval, en vergroot je de kans dat ze veroorzaakt worden door de onafhankelijke variabele (de verandering die getest wordt). Wij creëerden een A/B Test Calculator die je helpt bij het bepalen van de juiste steekproefomvang voor de tests.

Wat is belangrijk bij het analyseren van de resultaten?

Controleer altijd de assumpties van de gekozen statistische toets

Assumpties van statistische toetsen kunnen worden gezien als aannames of vereisten voor data die je analyseert. Elke toets heeft bijbehorende aannames, waaraan voldaan moet worden om deze uit te kunnen voeren. Een veelgebruikte toets voor A/B-testen is een z-test voor proporties, deze gebruik je voor het vergelijken van proporties tussen twee gelijke groepen. Eén van de belangrijkste vereisten hiervoor is dat de twee groepen die je analyseert even groot zijn. Om deze aanname te controleren, kan je een Sample Ratio Mismatch (SRM) toets uitvoeren. Als de groepen té ongelijk zijn, kan dit betekenen dat er een externe factor is die de verdeling van de gebruikers beïnvloedt (bijvoorbeeld: De test werkt niet op een specifiek apparaat of in een bepaalde browser). Dit kan de betrouwbaarheid van de A/B-test negatief beïnvloeden.

Wees voorzichtig met deep dives

Het is erg verleidelijk om naar veel verschillende metrics te kijken nadat je A/B-test is voltooid. Met elke statistische toets die je uitvoert is er een kans om een statistisch significant resultaat te vinden, terwijl er in de praktijk geen effect is. Dit wordt ook wel een type-1 fout genoemd. Door de ene test na de andere uit te voeren, wordt de kans om iets te vinden dat er in werkelijkheid niet is, drastisch vergroot. Probeer daarom de analyse te beperken tot de KPI’s of doelen waar beslissingen uit voort komen.

Dé belangrijkste stap na het uitvoeren van een A/B-test

Leer van je experimenten

Dit klinkt misschien logisch, maar daadwerkelijk leren van je A/B-test is moeilijker dan je denkt. Wat maakte dit experiment zo succesvol? Worstelen andere afdelingen met dezelfde problemen? En op welke andere funnels of pagina's zou dit ook kunnen werken?

Na een geslaagde A/B-test is het verleidelijk om de aanpassingen door te voeren en door te gaan met de volgende test. Om waardevolle inzichten te halen uit meerdere uitgevoerde experimenten, raden we aan om alle experimenten op te slaan in een database. Nadat je er een paar hebt uitgevoerd, kun je proberen overeenkomsten of patronen te vinden. Deze zijn gebaseerd op vergelijkbare oplossingen, psychologische tactieken of strategieën. Deze inzichten kan je vervolgens gebruiken om tot relevante en betere oplossingen te komen.

Op zoek naar meer best practices voor een optimaal experimentatieprogramma?

Deze infographic kun je gebruiken als je net begint met A/B-testen, maar ook als je meer ervaren bent en je graag A/B-tests wil optimaliseren.

Aan de slag!

Met onze handvatten en richtlijnen kun je aan de slag met A/B-testen! We kunnen ons natuurlijk ook voorstellen dat deze richtlijnen veel technische en diepgaande informatie omvat. Wil je hier hulp bij? Onze specialisten denken graag met je mee!

1x per maand data insights, praktijkcases en een kijkje achter de schermen ontvangen?

Meld je aan voor onze maillijst en blijf 'up to data':