A/B-testen
Twee varianten, en de verleiding om te stoppen zodra je favoriet voorstaat. Wij rekenen vooraf uit hoeveel waarnemingen je nodig hebt, laten de test uitlopen, en zeggen achteraf of het verschil echt is of toeval.
Wanneer zet je een A/B-test in?
Drie voorwaarden, en aan alle drie moet voldaan zijn.
- Je hebt twee concrete varianten. En één meetbare uitkomst die telt. Niet drie doelen tegelijk.
- Je hebt genoeg volume. Zonder voldoende waarnemingen kan je geen verschil aantonen, hoe lang je ook wacht.
- De vraag is welke wint. Niet waarom hij wint. Voor het waarom kom je bij gesprekken uit.
- De beslissing is herhaalbaar. Je gaat de winnaar daarna vaker inzetten, anders is de moeite niet lonend.
De meeste tests worden gestopt op het moment dat de uitkomst bevalt. Dan meet je toeval.
Onze aanpak
Vier stappen, en de eerste is degene die de meeste tests redt.
Vooraf rekenen
Hoeveel waarnemingen heb je nodig voor het verschil dat je wil kunnen zien. Dat bepaalt de looptijd, niet je geduld.
Eén variabele wijzigen
Verander je twee dingen tegelijk, dan weet je achteraf niet welke het deed.
Laten uitlopen
De test loopt tot het vooraf bepaalde aantal bereikt is, ook als het tussentijds al mooi lijkt.
Toetsen en duiden
We zeggen of het verschil standhoudt en hoe groot het werkelijk is, met betrouwbaarheidsinterval.
Wat je mag verwachten
Een uitkomst met marge
Niet alleen een percentage, maar ook hoe zeker dat percentage is.
Een duidelijk oordeel
Doorvoeren, verwerpen, of te weinig data om iets te zeggen. Die derde uitkomst bestaat en die melden we.
De opzet gedocumenteerd
Zodat je de test later kan herhalen op dezelfde manier.
Bij welk onderzoek zetten we dit in?
- Communicatieonderzoek. twee versies van een boodschap tegen elkaar, op echte ontvangers.
- Prijsanalyse. twee prijspunten uitproberen in plaats van ernaar vragen.
- Pretesten van campagnes. een concept toetsen voor de volledige uitrol.
- Webshoponderzoek. pagina's en e-mails, waar het volume meestal volstaat.
Goed om te weten
- De duurste fout. Te vroeg stoppen. Wie lang genoeg kijkt, vindt altijd een moment waarop variant B voorstaat. Zie statistische significantie.
- Winnen is geen verklaring. Een test zegt welke variant wint. Voor het waarom kom je bij diepte-interviews uit.
- Verband is geen oorzaak. Zie correlatie en causaliteit.
- Prijs. Op aanvraag, afhankelijk van de opzet en de begeleiding die je wil.
Wil je eerst begrijpen hoe het werkt voor je een offerte vraagt? Lees dan A/B-testen: wat het is en hoe je een betrouwbare test opzet.
Twee varianten, en geen idee welke wint?
Beschrijf ons in twee zinnen wat je wil weten. Je krijgt een voorstel met de aanpak, de doorlooptijd en een vaste prijs. Vrijblijvend.