A/B-testen is een onderzoeksmethode waarbij je twee varianten (A en B) tegelijk aan een willekeurig verdeelde groep gebruikers toont om te meten welke variant het beste presteert op een vooraf gekozen doel, bijvoorbeeld meer aankopen of aanmeldingen. Omdat je bezoekers willekeurig over beide versies verdeelt en alleen dat ene element verandert, is een A/B-test een gecontroleerd experiment: het verschil in resultaat kun je met vertrouwen toeschrijven aan de aanpassing zelf. Zo vervang je aannames en onderbuikgevoel door een gemeten, statistisch onderbouwd antwoord.
Beslissingen over je website, campagnes of product worden nog te vaak genomen op basis van meningen. De directeur vindt de rode knop mooier, de marketeer gelooft in de kortere kop. A/B-testen draait die logica om: je laat de gebruiker beslissen en je laat de cijfers spreken. In dit artikel lees je wat A/B-testen precies is, waarom het zo krachtig is, hoe je een test stap voor stap opzet en welke fouten je resultaten waardeloos maken.
Wat A/B-testen betekent
A/B-testen, ook wel split-testen genoemd, is het gecontroleerd vergelijken van twee versies van hetzelfde element om te bepalen welke versie beter scoort op een meetbaar doel. Variant A is doorgaans de bestaande versie, ook wel de controle genoemd. Variant B is de aangepaste versie, de uitdager. Je toont beide versies gedurende dezelfde periode aan vergelijkbare groepen bezoekers en je meet per variant hoe vaak het gewenste gedrag optreedt.
Dat gewenste gedrag heet de conversie. Een conversie kan van alles zijn: een aankoop, een ingevuld formulier, een klik op een knop, een inschrijving voor de nieuwsbrief of een gedownloade brochure. De verhouding tussen het aantal conversies en het aantal bezoekers is de conversieratio, en dat is meestal de belangrijkste uitkomstmaat van een A/B-test.
De methode komt oorspronkelijk uit de directe marketing en de landbouwstatistiek, maar werd groot met de opkomst van het web. Grote techbedrijven testen vandaag voortdurend honderden varianten tegelijk. Het principe blijft echter simpel en universeel toepasbaar, van een webshop met tien bestellingen per dag tot een internationaal platform. Belangrijk om te begrijpen: A/B-testen is geen trucje voor webdesigners, het is een vorm van kwantitatief onderzoek met een strikte experimentele opzet.
A/B-testen levert bewijs van oorzaak en gevolg
De grootste waarde van A/B-testen zit niet in het feit dat je twee versies vergelijkt, maar in de manier waarop je dat doet. Bij een goede A/B-test worden bezoekers willekeurig aan variant A of B toegewezen. Die willekeurige verdeling, ook randomisatie genoemd, zorgt ervoor dat beide groepen gemiddeld op elkaar lijken: dezelfde mix van nieuwe en terugkerende bezoekers, dezelfde spreiding van apparaten, hetzelfde tijdstip van bezoek.
Daardoor is het enige systematische verschil tussen de twee groepen de variant die ze te zien krijgen. Als variant B dan beter presteert, is de aanpassing de meest waarschijnlijke oorzaak. Dat is precies het verschil tussen samenhang en oorzakelijkheid. Waar gewone webstatistiek je hooguit laat zien dat twee dingen samen voorkomen, laat een gerandomiseerd experiment je vaststellen dat de ene verandering de andere veroorzaakt. Wie het onderscheid tussen correlatie en causaliteit scherp wil houden, herkent in de A/B-test de praktische manier om van een vermoeden naar een aangetoond causaal verband te gaan.
Die zuiverheid maakt de A/B-test ook betrouwbaarder dan een simpele voor-en-na-vergelijking. Wanneer je een aanpassing doorvoert en daarna de cijfers vergelijkt met vorige maand, weet je nooit zeker of de verandering komt door je aanpassing of door een feestdag, een campagne of het seizoen. Bij een A/B-test lopen beide varianten op hetzelfde moment, dus die verstorende factoren treffen beide groepen gelijk.
Wat je zoal kunt A/B-testen
Bijna elk element dat het gedrag van je publiek beïnvloedt, kun je testen. De kunst is om te testen wat er echt toe doet en niet je tijd te verspillen aan details die nauwelijks invloed hebben. De onderstaande tabel geeft veelvoorkomende testobjecten met een concreet voorbeeld en de bijbehorende uitkomstmaat.
| Wat je test | Voorbeeld van variant A vs B | Typische uitkomstmaat |
|---|---|---|
| Kop of titel | “Bespaar 20%” versus “Vandaag besteld, morgen in huis” | Doorklikratio, conversieratio |
| Call-to-action-knop | “Koop nu” versus “Leg in winkelmand” | Klikratio op de knop |
| Prijsweergave | Prijs per maand versus prijs per jaar tonen | Conversieratio, gemiddelde orderwaarde |
| Formulier | Zeven velden versus vier velden | Voltooiingsratio van het formulier |
| Onderwerpregel e-mail | Met naam versus zonder naam | Openratio, doorklikratio |
| Productafbeelding | Product op wit fond versus product in gebruik | Toevoegingen aan winkelmand |
| Verpakking of concept | Twee ontwerpvoorstellen aan een testpanel | Voorkeur, koopintentie |
Die laatste rij laat zien dat A/B-testen niet stopt bij de website. Ook een productconcept, een verpakking of een propositie kun je in een gecontroleerde opzet aan twee groepen voorleggen. Datzelfde geldt voor advertenties: het vooraf toetsen van creatieve varianten voorkomt dure missers, zoals je ziet in ons stuk over het pretesten van creatieve campagnes.
Zo zet je een A/B-test op in zeven stappen
Een betrouwbare A/B-test is geen kwestie van twee knoppen tegen elkaar zetten en kijken wat er gebeurt. De onderstaande stappen houden je test zuiver en je conclusies overeind.
1. Formuleer een duidelijke hypothese. Begin niet met “laten we eens iets proberen”, maar met een toetsbare uitspraak: “Als we het aantal formuliervelden terugbrengen van zeven naar vier, dan stijgt de voltooiingsratio, omdat bezoekers minder drempels ervaren.” Een goede hypothese benoemt de aanpassing, de verwachte uitkomst en de reden.
2. Kies één variabele per test. Verander in een zuivere A/B-test slechts één element. Wijzig je tegelijk de kop, de knopkleur en de afbeelding, dan weet je bij een verschil nooit welke aanpassing verantwoordelijk is. Wil je meerdere elementen tegelijk onderzoeken, dan heb je een multivariate test nodig, en die vraagt veel meer verkeer.
3. Bepaal je doelmeting vooraf. Leg vast welke conversie telt en wat een succes is voordat de test start. Zo voorkom je dat je achteraf op zoek gaat naar een cijfer dat toevallig in je voordeel uitvalt.
4. Bereken hoeveel bezoekers je nodig hebt. Een test heeft een minimale steekproefgrootte nodig om een verschil betrouwbaar te kunnen aantonen. Reken die vooraf uit op basis van je huidige conversieratio en het kleinste verschil dat je nog de moeite waard vindt. Meer hierover in de sectie hieronder en in ons artikel over de steekproefgrootte bepalen.
5. Verdeel je publiek willekeurig. Laat je testtool bezoekers automatisch en willekeurig over de varianten verdelen, en zorg dat een bezoeker bij een volgend bezoek dezelfde variant blijft zien. Zo blijft de vergelijking eerlijk.
6. Laat de test volledig lopen. Stop niet zodra je een verschil ziet. Laat de test doorlopen tot je vooraf berekende aantal bezoekers is bereikt en tot minstens één of twee volledige weken zijn verstreken, zodat weekdagen en weekends allebei zijn meegenomen.
7. Analyseer en toets op significantie. Bereken de conversieratio per variant en controleer of het verschil statistisch significant is. Pas als de kans dat je resultaat op toeval berust klein genoeg is, mag je van een winnaar spreken. Voer je conclusie daarna door en documenteer wat je hebt geleerd, ook bij een test zonder verschil.
Hoeveel bezoekers en hoe lang een A/B-test moet lopen
De meest gestelde vraag over A/B-testen is meteen de belangrijkste: wanneer mag ik geloven wat ik zie? Het antwoord draait om steekproefgrootte, looptijd en statistische significantie. Kleine verschillen op weinig bezoekers zeggen niets. Als variant B na vijftig bezoekers op 12% conversie zit en variant A op 10%, is dat verschil vrijwel zeker ruis.
Hoeveel bezoekers je precies nodig hebt, hangt van drie dingen af. Ten eerste je huidige conversieratio: hoe lager die is, hoe meer verkeer je nodig hebt. Ten tweede de grootte van het verschil dat je wilt kunnen aantonen: een verbetering van 1 procentpunt vraagt veel meer waarnemingen dan een verbetering van 10 procentpunt. Ten derde het zekerheidsniveau dat je aanhoudt, meestal uitgedrukt als een significantiedrempel van 95%.
Die significantiedrempel betekent dat je pas een winnaar aanwijst als de kans dat het gemeten verschil door louter toeval is ontstaan kleiner is dan 5%. In statistische termen: de p-waarde moet onder 0,05 liggen. Wie dieper op dat mechanisme wil ingaan, vindt de uitleg in ons artikel over statistische technieken in marktonderzoek. De kern is dat significantie je beschermt tegen het aanwijzen van een winnaar die er in werkelijkheid geen is.
Een rekenvoorbeeld maakt de orde van grootte duidelijk. Stel dat je webshop nu een conversieratio van 3% heeft en je wilt een verbetering naar 3,6% betrouwbaar kunnen aantonen, een relatieve stijging van 20%. Bij een significantieniveau van 95% en een gebruikelijk onderscheidend vermogen van 80% heb je dan ongeveer 13.000 tot 14.000 bezoekers per variant nodig, dus bijna 28.000 in totaal. Trekt je webshop 2.000 bezoekers per dag, dan loopt zo’n test een dikke twee weken. Dat oogt veel, maar het is precies de reden waarom je de steekproefgrootte vooraf berekent: zonder die berekening stop je vrijwel zeker te vroeg en trek je conclusies uit ruis. Wil je een kleiner verschil aantonen, dan schiet het benodigde aantal bezoekers snel omhoog, want de vereiste steekproef groeit ongeveer met het kwadraat naarmate het te meten verschil kleiner wordt.
Naast het aantal bezoekers telt ook de kalendertijd. Laat een test minstens één volle week draaien, en liever twee, zodat je het verschil in gedrag tussen doordeweekse dagen en het weekend meeneemt. Een test die je op maandagochtend start en woensdag al afsluit, kan een vertekend beeld geven. Reken vooraf uit hoe lang je test moet lopen door je benodigde steekproefgrootte te delen door je gemiddelde aantal bezoekers per dag.
A/B-test, multivariate test en split-URL-test naast elkaar
A/B-testen is de bekendste vorm van online experimenteren, maar niet de enige. De volgende tabel helpt je de juiste methode te kiezen.
| Methode | Wat je vergelijkt | Wanneer inzetten |
|---|---|---|
| A/B-test | Twee versies die op één element verschillen | Duidelijke vraag, beperkt verkeer, snel resultaat |
| A/B/n-test | Drie of meer varianten van hetzelfde element | Meerdere ideeën voor dezelfde plek, voldoende verkeer |
| Multivariate test | Combinaties van meerdere elementen tegelijk | Veel verkeer en de vraag hoe elementen samenwerken |
| Split-URL-test | Twee volledig verschillende pagina’s op aparte URL’s | Ingrijpende herontwerpen in plaats van een detail |
De vuistregel is eenvoudig: hoe meer varianten en elementen je tegelijk test, hoe meer verkeer je nodig hebt om een betrouwbaar verschil te vinden. Voor de meeste organisaties met een gemiddelde hoeveelheid bezoekers is de klassieke A/B-test daarom de meest praktische keuze.
Veelgemaakte fouten die je A/B-test onbetrouwbaar maken
Een A/B-test is alleen zo sterk als de uitvoering. Deze fouten komen het vaakst voor en ze vernietigen stuk voor stuk de waarde van je resultaat.
Te vroeg stoppen. De verleiding is groot om een test af te sluiten zodra een variant voorloopt. In de eerste dagen springen conversieratio’s echter alle kanten op. Wie blijft turen en stopt op het gunstige moment, meet vooral toeval. Bepaal je einddatum en steekproefgrootte vooraf en houd je eraan.
Te veel varianten met te weinig verkeer. Vijf varianten klinken grondig, maar verdelen je bezoekers over vijf kleine groepjes. Het resultaat is dat geen enkele variant genoeg waarnemingen krijgt om een betrouwbaar oordeel toe te laten.
Meer dan één ding veranderen. Wijzig je gelijktijdig de kop en de knop, dan weet je bij winst niet wat werkte. Houd elke A/B-test bij één variabele of stap over naar een echte multivariate opzet.
Het seizoen en externe invloeden negeren. Een uitverkoop, een feestdag of een persbericht kan je cijfers vertekenen. Omdat beide varianten tegelijk lopen worden ze weliswaar gelijk getroffen, maar wees voorzichtig met het generaliseren van resultaten uit een uitzonderlijke periode.
Het nieuwigheidseffect verwarren met een echte verbetering. Terugkerende bezoekers reageren soms tijdelijk op iets nieuws, simpelweg omdat het anders is. Laat de test lang genoeg lopen zodat dat effect wegebt en je het structurele gedrag meet.
Alleen naar het gemiddelde kijken. Een variant die gemiddeld wint, kan bij een belangrijk segment juist verliezen. Betrouwbare conclusies vragen dat je nadenkt over de betrouwbaarheid en validiteit van je meting en dat je waar mogelijk naar relevante deelgroepen kijkt.
A/B-testen is meer dan een knop op je website
Hoewel A/B-testen bekend werd via conversie-optimalisatie, is de methode een volwaardig instrument binnen breder marktonderzoek. Het is een vorm van kwantitatief onderzoek dat je uitstekend combineert met kwalitatieve inzichten. Kwalitatief onderzoek vertelt je waarom bezoekers afhaken en levert de ideeën voor je hypotheses. De A/B-test toetst vervolgens hard welk van die ideeën daadwerkelijk werkt. Zo versterken beide elkaar: de een verklaart, de ander bewijst.
Die combinatie is waardevol op veel plekken. Een webshop die zijn omzet wil verhogen, gebruikt A/B-testen om stap voor stap de bestelroute te verbeteren, zoals we beschrijven in ons artikel over het laten groeien van je webshop. Een merk dat zijn communicatie aanscherpt, test onderwerpregels en beeldkeuze voordat de grote campagne live gaat. En wie het gedrag van consumenten echt wil begrijpen, gebruikt experimenten om aannames over dat gedrag te toetsen in plaats van erop te vertrouwen.
De belangrijkste denkfout is A/B-testen zien als een eenmalige actie. De echte winst zit in een cultuur van blijven testen: elke test levert een leerpunt, ook wanneer er geen winnaar uit komt. Een test zonder verschil vertelt je namelijk dat het geteste element er minder toe doet dan gedacht, en dat is even waardevolle sturing als een duidelijke winnaar. Organisaties die structureel testen, stapelen die leerpunten op tot een steeds beter onderbouwd beeld van wat hun publiek beweegt.
Wil je een A/B-test of experiment professioneel laten opzetten, uitvoeren en statistisch onderbouwd laten analyseren? Ontdek dan hoe de onderzoeksmethoden van BABLR je helpen om beslissingen te nemen op basis van bewijs in plaats van aannames.
Veelgestelde vragen over A/B-testen
A/B-testen is een onderzoeksmethode waarbij je twee versies van hetzelfde element, variant A en variant B, tegelijk toont aan een willekeurig verdeelde groep gebruikers om te meten welke versie het beste presteert op een vooraf gekozen doel, zoals meer aankopen of aanmeldingen. Omdat je bezoekers willekeurig verdeelt en maar één element aanpast, kun je het verschil met vertrouwen aan die aanpassing toeschrijven.
Dat hangt af van je huidige conversieratio, het verschil dat je wilt aantonen en het zekerheidsniveau dat je aanhoudt. Als vuistregel geldt: hoe lager je conversieratio en hoe kleiner het verschil, hoe meer bezoekers je nodig hebt. Voor een verbetering van 3 procent naar 3,6 procent bij 95 procent zekerheid heb je al snel 13.000 tot 14.000 bezoekers per variant nodig. Bereken de steekproefgrootte altijd vooraf.
Laat een A/B-test minstens een volledige week draaien, en liever twee, zodat het verschil tussen doordeweekse dagen en het weekend is meegenomen. Stop de test pas als je vooraf berekende aantal bezoekers is bereikt. Te vroeg stoppen omdat een variant voorloopt, is de meest gemaakte fout: in de eerste dagen meet je vooral toeval.
Een A/B-test is statistisch significant als de kans dat het gemeten verschil door toeval is ontstaan kleiner is dan de vooraf gekozen drempel, meestal 5 procent. In dat geval ligt de p-waarde onder 0,05. Pas dan mag je een variant een winnaar noemen. Significantie beschermt je tegen het aanwijzen van een winnaar die er in werkelijkheid geen is.
Bij een A/B-test vergelijk je twee versies die op één element verschillen. Bij een multivariate test onderzoek je combinaties van meerdere elementen tegelijk om te zien hoe ze samenwerken. Een multivariate test geeft rijkere inzichten, maar vraagt veel meer verkeer omdat je bezoekers over veel meer combinaties verdeelt. Voor de meeste organisaties is de A/B-test daarom de praktische keuze.
Ja. A/B-testen werd bekend via websites, maar het principe past op elke keuze die je aan twee groepen kunt voorleggen. Denk aan onderwerpregels van e-mails, advertentievarianten, verpakkingsontwerpen of productconcepten. Zolang je willekeurig verdeelt, één element varieert en een duidelijke uitkomst meet, is het een geldig gecontroleerd experiment.
