Van ruwe antwoorden naar een uitkomst die standhoudt
Een percentage is geen conclusie. In deze fase gaat het om de vraag welke factoren je uitkomst sturen, hoe zeker je van dat verband bent, en wat je mag doortrekken naar de mensen die je niet gesproken hebt.
Hoe analyseer je onderzoeksdata?
Je begint met tellen en uitsplitsen: wat zeggen alle respondenten samen, en waar wijken groepen van elkaar af. Pas daarna kijk je naar samenhang. Welke factor weegt het zwaarst als je alle andere constant houdt, dat beantwoordt een regressieanalyse. Welke combinatie van eigenschappen mensen werkelijk kiezen, meet je met een keuze-experiment. Een overzicht van wat er in de praktijk gebruikt wordt staat in ons artikel over de meest gebruikte statistische technieken in marktonderzoek. Bij open antwoorden en interviews werkt het anders: daar codeer je eerst en tel je pas daarna, en dat vraagt een eigen aanpak om van transcript naar inzicht te komen.
Verband is nog geen oorzaak
Twee dingen die samen bewegen hoeven niets met elkaar te maken te hebben. Vaak is er een derde factor die ze allebei verklaart, en soms loopt het verband precies andersom dan je aanneemt. Klanten die onze nieuwsbrief lezen kopen meer, dus de nieuwsbrief werkt: dat is de klassieke misstap, want wie al veel koopt schrijft zich nu eenmaal vaker in. Het verschil tussen correlatie en causaliteit is in een rapport het makkelijkst weg te schrijven en het duurst om verkeerd te hebben, want er hangt meestal een investering aan vast.
Is je verschil echt of toeval?
Een verschil van drie procentpunt tussen twee groepen kan een echte beweging zijn of gewoon de ruis van je steekproef. Welke van de twee, hangt af van je aantallen en van de spreiding. Statistische significantie is precies dat oordeel, en het is geen formaliteit: zonder die toets rapporteer je bewegingen die er niet zijn en ga je erop sturen. Omgekeerd betekent een significant verschil nog niet dat het groot genoeg is om iets aan te veranderen.
Wanneer je steekproef scheef zit
Bijna elke steekproef wijkt af van de werkelijke populatie. Jongeren reageren minder, hoogopgeleiden meer, en één regio blijft achter. Dat corrigeer je met wegen, waarbij je ondervertegenwoordigde groepen zwaarder laat meetellen. Hoe dat werkt en waar de grens ligt, staat in ons artikel over representativiteit waarborgen met weging en raking. De grens is er echt: wegen repareert een scheve verdeling, geen ontbrekende groep. Wie niemand onder de vijfentwintig heeft gesproken, krijgt die groep er met geen enkele weging bij.