De methode, de steekproef en de vragenlijst
Hier bepaal je bij wie je meet en hoe je het vraagt. Wat in deze fase scheefloopt, krijg je achteraf met geen enkele analyse recht. Een scheve steekproef blijft scheef, ook als je er een geavanceerde techniek op loslaat.
Welke manieren van dataverzameling zijn er?
Grofweg drie. Je vraagt het aan mensen, je kijkt naar wat mensen doen, of je gebruikt wat er al ligt. Vragen doe je in een online survey als je aantallen wil, of in een focusgroep of diepte-interview als je wil begrijpen waarom. Kijken doe je met observatie of mystery shopping. Gebruiken wat er al ligt heet deskresearch, en dat is bijna altijd de goedkoopste eerste stap: het is zonde om te betalen voor een cijfer dat al gepubliceerd is. In de praktijk combineer je vormen. Een reeks interviews vooraf levert de antwoordopties waarmee je daarna een bruikbare vragenlijst bouwt.
Bij hoeveel mensen moet je meten?
Dat hangt niet af van hoe groot je klantenbestand is, maar van welke uitspraak je wil doen en hoe fijn je wil kunnen uitsplitsen. Wil je vier segmenten los van elkaar kunnen vergelijken, dan heb je in elk segment genoeg mensen nodig, niet in het totaal. We rekenen voor hoeveel respondenten je echt nodig hebt. Minstens even belangrijk is hoe je die mensen selecteert: duizend respondenten die je allemaal via je eigen nieuwsbrief hebt geworven, vertellen je iets over je fans en niets over de markt.
De vragenlijst bepaalt wat je terugkrijgt
Een sturende vraag levert een sturend antwoord, en dat ziet er in de tabel precies zo betrouwbaar uit als een eerlijk antwoord. Twee vragen in één zin, een ontbrekende antwoordoptie of een schaal zonder middenpunt vind je niet aan je bureau maar door mensen de lijst echt te laten invullen. In onze gids over een vragenlijst opstellen staan de valkuilen op een rij, en apart daarvan leggen we uit wanneer een Likert-schaal past en wanneer hij je juist in de weg zit.
Wat mensen zeggen en wat ze doen
Mensen antwoorden zoals ze denken dat het hoort. Ze overschatten hoe vaak ze duurzaam kiezen, hoe aandachtig ze een reclame bekeken en hoe waarschijnlijk het is dat ze iets gaan kopen. Dat heet sociale wenselijkheid, en het is geen ruis die zich uitmiddelt: de vertekening duwt altijd dezelfde kant op. Je vangt het op met de manier waarop je vraagt, met anonimiteit, en soms door helemaal niet te vragen maar te meten wat mensen werkelijk doen.