Een chi-kwadraattoets is een statistische toets die nagaat of er een verband bestaat tussen twee categorische variabelen in je onderzoeksdata. De toets vergelijkt de aantallen die je in je steekproef waarneemt met de aantallen die je zou verwachten als er geen enkel verband was. Wijken die waarnemingen sterk af van die verwachting, dan is de kans klein dat het toeval is en spreek je van een significant verband. In marktonderzoek gebruik je de chi-kwadraattoets vooral om kruistabellen te toetsen, bijvoorbeeld om te zien of leeftijdsgroep samenhangt met merkvoorkeur, of regio met kanaalkeuze.
Bijna elke enquête levert categorische data op. Geslacht, regio, klantsegment, gekozen abonnement, wel of niet aanbevolen: het zijn allemaal antwoorden die je in hokjes stopt in plaats van op een meetlat. De vraag die daarna volgt is bijna altijd dezelfde. Hangt het ene kenmerk samen met het andere? De chi-kwadraattoets is het gereedschap dat op die vraag een onderbouwd antwoord geeft. Het is een van de meest gebruikte statistische technieken in marktonderzoek, en tegelijk een van de meest verkeerd toegepaste. In deze gids lees je hoe de toets werkt, wanneer je hem gebruikt, en vooral waar hij misgaat.
Wat is een chi-kwadraattoets?
Een chi-kwadraattoets werkt met tellingen, niet met gemiddelden. Je telt hoeveel respondenten in elke combinatie van categorieën vallen en zet die aantallen in een kruistabel. De toets, in 1900 geformuleerd door de statisticus Karl Pearson, berekent vervolgens hoe ver de werkelijke tellingen afliggen van de tellingen die je zou verwachten bij volledige onafhankelijkheid van de twee kenmerken.
Het uitgangspunt is de nulhypothese: er is geen verband tussen de twee variabelen, ze staan los van elkaar. De toets probeert die nulhypothese te weerleggen. Zolang de waargenomen aantallen dicht bij de verwachte aantallen liggen, is er geen reden om aan onafhankelijkheid te twijfelen. Lopen ze ver uiteen, dan wordt de nulhypothese onhoudbaar en concludeer je dat er wel degelijk samenhang is. Belangrijk om te onthouden: de toets werkt alleen op categorische, oftewel nominale, variabelen. Voor numerieke gegevens zoals leeftijd in jaren of besteed bedrag in euro gebruik je andere technieken.
Waar je de chi-kwadraattoets voor gebruikt in marktonderzoek
De toets duikt op zodra je twee categorische kenmerken naast elkaar wil leggen, en dat gebeurt in vrijwel elk onderzoek. Een greep uit de praktijk laat zien hoe breed het inzetbaar is.
Bij doelgroeponderzoek toets je of een kenmerk als geslacht, leeftijdsgroep of gezinssamenstelling samenhangt met de gekozen productvariant. Bij merkonderzoek kijk je of spontane merkbekendheid verschilt per regio. Bij klanttevredenheid onderzoek je of het klantsegment samenhangt met de kans dat iemand je aanbeveelt, een vraag die nauw aansluit bij de logica achter de Net Promoter Score. En bij kanaalonderzoek ga je na of het aankoopkanaal samenhangt met de leeftijdscategorie, precies zoals in het rekenvoorbeeld verderop. Telkens is de onderliggende vraag dezelfde: is het patroon dat ik in mijn kruistabel zie echt, of had het net zo goed toeval kunnen zijn?
Die kruistabel is niet toevallig het startpunt. Ze is het werkpaard van kwantitatieve analyse, en een goede visualisatie ervan maakt een verband vaak al zichtbaar voordat je toetst. Hoe je zulke tabellen leesbaar in beeld brengt, bespreken we in ons artikel over datavisualisatie. De chi-kwadraattoets voegt daar de statistische bevestiging aan toe die een oogindruk niet kan geven.
De twee soorten chi-kwadraattoetsen
In de praktijk kom je twee varianten tegen. Ze beantwoorden een andere vraag en gebruiken een andere referentie, maar delen dezelfde rekenlogica.
De onafhankelijkheidstoets is veruit de bekendste in commercieel onderzoek, want die past precies op een kruistabel van twee vragen. De aanpassingstoets, ook wel goodness-of-fit genoemd, is nuttig bij kwaliteitscontrole van je steekproef: hij laat zien of je respondenten qua profiel afwijken van de werkelijke populatie. Zie je een afwijking, dan is dat een reden om je data te herwegen, iets wat we bespreken in ons artikel over representativiteit waarborgen met weging en raking.
Zo berekent de toets een verband
De rekenkern is eenvoudiger dan de naam doet vermoeden. Voor elke cel in de kruistabel bereken je eerst de verwachte frequentie. Dat is het aantal dat je zou verwachten als er geen verband was, en je berekent het als het rijtotaal maal het kolomtotaal, gedeeld door het totale aantal respondenten. Daarna kijk je per cel hoe ver de waargenomen telling afligt van die verwachting.
De teststatistiek, de chi-kwadraatwaarde, is de som over alle cellen van het verschil tussen waargenomen en verwacht, gekwadrateerd, gedeeld door de verwachte waarde. Hoe groter die som, hoe verder je data van onafhankelijkheid af staan. Het aantal vrijheidsgraden bepaalt hoe groot die som mag worden voordat je van significantie spreekt, en bereken je voor een kruistabel als het aantal rijen min een, maal het aantal kolommen min een.
Een concreet voorbeeld maakt het tastbaar. Stel dat een webshop bij 400 klanten meet of leeftijdsgroep samenhangt met de voorkeur voor bestellen via de website of in de winkel.
| Waargenomen aantallen | Online | Winkel | Rijtotaal |
|---|---|---|---|
| Jonger dan 35 | 150 | 50 | 200 |
| 35 en ouder | 100 | 100 | 200 |
| Kolomtotaal | 250 | 150 | 400 |
Zonder verband zou je per cel het rijtotaal maal het kolomtotaal gedeeld door 400 verwachten. Voor de jongere online-groep is dat 200 maal 250 gedeeld door 400, dus 125. Voor alle vier de cellen komen de verwachte waarden uit op 125, 75, 125 en 75. De waargenomen aantallen wijken daar duidelijk van af.
| Cel | Waargenomen | Verwacht | Bijdrage aan chi-kwadraat |
|---|---|---|---|
| Jonger, online | 150 | 125 | 5,0 |
| Jonger, winkel | 50 | 75 | 8,3 |
| Ouder, online | 100 | 125 | 5,0 |
| Ouder, winkel | 100 | 75 | 8,3 |
| Totaal | 26,7 |
De chi-kwadraatwaarde komt uit op 26,7 bij één vrijheidsgraad. De kritieke drempel bij een gangbaar significantieniveau van 0,05 en één vrijheidsgraad is 3,84. Omdat 26,7 daar ruim boven ligt, is de p-waarde zeer klein en verwerp je de nulhypothese. Leeftijdsgroep en kanaalkeuze hangen dus samen. Jongere klanten kiezen vaker voor online dan je op basis van toeval zou verwachten. Wat die grens van 0,05 precies betekent en waarom ze een afspraak is en geen natuurwet, leggen we uit in ons artikel over statistische significantie.
De voorwaarden waaraan je data moet voldoen
De chi-kwadraattoets is robuust, maar niet onvoorwaardelijk. Wordt aan een van de onderstaande voorwaarden niet voldaan, dan is de uitkomst onbetrouwbaar, ook al geeft de software netjes een getal terug.
Vooral de regel van de verwachte celfrequentie wordt vaak vergeten. Hoe meer categorieën je tegen elkaar afzet, hoe meer cellen je tabel telt en hoe meer respondenten je nodig hebt om elke cel gevuld te houden. Een kruistabel van vijf klantsegmenten tegen vier regio’s heeft al twintig cellen, en die vullen zich niet vanzelf. Dat maakt de vraag hoeveel respondenten je nodig hebt allesbehalve triviaal, iets wat we uitwerken in ons artikel over de steekproefgrootte bepalen.
Significantie zegt niets over de sterkte van het verband
Dit is de valkuil waar zelfs ervaren onderzoekers in trappen. Een significante chi-kwadraattoets bewijst alleen dat het verband waarschijnlijk niet op toeval berust. Het zegt niets over hoe sterk dat verband is, en al helemaal niets over of het commercieel de moeite waard is. Bij een grote steekproef wordt zelfs een verwaarloosbaar klein verband al snel statistisch significant. Toets je tienduizend respondenten, dan is bijna alles significant. Dat is een eigenschap van de rekenmethode, geen ontdekking over je markt.
Daarom hoort bij elke chi-kwadraattoets een effectgrootte. Voor kruistabellen is dat Cramérs V, een maat die loopt van 0, geen enkel verband, tot 1, een perfect verband. Bij een tabel van twee bij twee gebruik je de verwante maat phi. De onderstaande drempels geven een globale leidraad, waarbij de precieze grenzen afhangen van het aantal vrijheidsgraden.
| Cramérs V | Interpretatie | Betekenis voor je onderzoek |
|---|---|---|
| Rond 0,1 | Zwak verband | Statistisch aanwezig, praktisch meestal te klein om op te sturen |
| Rond 0,3 | Middelmatig verband | Merkbaar patroon, de moeite waard om verder te onderzoeken |
| 0,5 of hoger | Sterk verband | Duidelijke samenhang waarop je beleid kunt baseren |
In ons webshopvoorbeeld, een tabel van twee bij twee, vallen phi en Cramérs V samen en komen ze allebei uit op ongeveer 0,26: een zwak tot middelmatig verband. Het verschil tussen jong en oud is dus echt, maar niet spectaculair groot. Precies dat onderscheid tussen significant en relevant bepaalt of een bevinding een voetnoot in je rapport wordt of een aanbeveling. Diezelfde logica speelt bij andere toetsen, zoals we beschrijven bij correlatie en causaliteit.
Nog een reden om verder te kijken dan de p-waarde: die waarde hangt af van je steekproef, en je steekproef is een momentopname. Zou je hetzelfde onderzoek bij een andere groep herhalen, dan valt de uitkomst iets anders uit. Een resultaat dat nipt onder de 0,05 duikt, kan bij een volgende meting net erboven liggen. Wie de onzekerheid rond een schatting serieus neemt, rapporteert daarom niet alleen of iets significant is, maar ook hoe stabiel de bevinding is. Dat idee werken we uit in ons artikel over het betrouwbaarheidsinterval.
Waarin de chi-kwadraattoets verschilt van andere technieken
De chi-kwadraattoets is een van vele analysetechnieken, en de kunst zit in het kiezen van de juiste. De keuze hangt volledig af van het meetniveau van je variabelen en van de vraag die je stelt.
| Techniek | Type variabelen | Beantwoordt de vraag |
|---|---|---|
| Chi-kwadraattoets | Twee categorische variabelen | Hangen deze twee kenmerken samen? |
| Correlatie | Twee numerieke variabelen | Bewegen deze twee getallen samen? |
| T-toets of variantieanalyse | Categorische groep en een numerieke uitkomst | Verschillen de gemiddelden tussen groepen? |
| Regressieanalyse | Meerdere voorspellers en een uitkomst | Welke factoren voorspellen de uitkomst en hoe sterk? |
Een veelgemaakte fout is een numerieke variabele als leeftijd in categorieën persen om er een chi-kwadraattoets op los te laten, terwijl een correlatie of regressie meer informatie zou behouden. Andersom kun je een categorisch kenmerk als merkvoorkeur niet in een correlatie stoppen. Voor de bredere context van kwantitatieve versus kwalitatieve benaderingen helpt ons overzicht van het verschil tussen kwalitatief en kwantitatief marktonderzoek.
Vijf fouten die je chi-kwadraattoets waardeloos maken
De rekenmachine klaagt nooit. Ze geeft altijd een getal, ook wanneer de toets helemaal niet mag worden toegepast. Deze vijf fouten zorgen ervoor dat een keurig ogende p-waarde in werkelijkheid niets betekent.
Er is nog een zesde, subtielere valkuil, en die zit niet in het rekenwerk maar in de antwoorden zelf. Als respondenten sociaal wenselijk antwoorden, toets je een vertekend beeld: de tellingen kloppen, maar ze meten niet wat mensen werkelijk doen of vinden. Waarom dat gebeurt en hoe je het beperkt, lees je in ons artikel over sociale wenselijkheid.
Software maakt de toets triviaal, de duiding niet
Elk statistiekpakket en zelfs een spreadsheet spuwt binnen enkele seconden een chi-kwadraatwaarde en een p-waarde uit. Dat gemak is precies waar het risico zit. De toets aanvinken is triviaal geworden, maar de vragen eromheen zijn dat allerminst. Is dit wel de juiste toets voor deze data? Zijn de voorwaarden gecontroleerd? Is een significant resultaat ook praktisch relevant? En misschien wel de moeilijkste vraag: welke kruistabel is de moeite waard om te toetsen, en welke is ruis?
Juist omdat de knop zo makkelijk in te drukken is, worden de fouten onzichtbaar. Een verkeerd gekozen toets, een geschonden voorwaarde of een overschat verband levert een getal op dat er even overtuigend uitziet als een correct resultaat. Een ervaren onderzoeker weet waar de toets faalt, kiest de juiste techniek, controleert de aannames en vertaalt de uitkomst naar een beslissing die hout snijdt. Dat is het verschil tussen data die een verhaal lijken te vertellen en data die de juiste conclusie ondersteunen. Diezelfde discipline zie je terug bij verwante technieken zoals clusteranalyse en factoranalyse, waar een algoritme altijd een uitkomst geeft, ook op ruis.
Laat je verbanden professioneel toetsen
Een chi-kwadraattoets is een krachtig instrument om patronen in je markt zichtbaar te maken, maar alleen in handen van iemand die de valkuilen kent. Bij BABLR bouwen we het onderzoek zo op dat de toetsen die volgen ook echt iets betekenen: de juiste vragen, een representatieve steekproef en een analyse die significantie en relevantie scheidt. Benieuwd hoe dat er voor jouw vraag uitziet? Ontdek onze aanpak bij klanttevredenheidsonderzoek, bekijk het volledige overzicht van soorten marktonderzoek, of lees hoe een marktonderzoek via BABLR verloopt.
