Interbeoordelaarsbetrouwbaarheid: overeenstemming meten met Cohen’s kappa

Interbeoordelaarsbetrouwbaarheid geeft aan in welke mate twee of meer onafhankelijke beoordelaars tot hetzelfde oordeel komen wanneer zij hetzelfde materiaal beoordelen. Je meet het met Cohen’s kappa: een coëfficiënt tussen min 1 en 1 die de overeenstemming corrigeert voor de toevalskans. Een kappa vanaf 0,61 geldt als aanzienlijk, vanaf 0,81 als bijna perfect. Zonder die correctie lijkt onderzoek betrouwbaar, terwijl codeurs in werkelijkheid vooral toevallig hetzelfde invulden.

In marktonderzoek is lang niet elk gegeven een kant en klaar getal. Open antwoorden, diepte-interviews, observaties en mystery shopping leveren materiaal op dat iemand moet interpreteren en in categorieën moet plaatsen. Zodra een mens oordeelt, sluipt er subjectiviteit binnen. De vraag is dan niet alleen of een beoordelaar consequent is, maar of een tweede beoordelaar tot dezelfde conclusie komt. Precies dat legt de interbeoordelaarsbetrouwbaarheid bloot. In dit artikel lees je wat het begrip inhoudt, hoe je Cohen’s kappa berekent en interpreteert, welke maat je kiest in welke situatie, en welke valkuilen je vermijdt.

Wat is interbeoordelaarsbetrouwbaarheid?

Interbeoordelaarsbetrouwbaarheid is de mate waarin verschillende beoordelaars hetzelfde oordeel vellen over hetzelfde materiaal. In het Engels heet dit inter-rater reliability. Bij het coderen van kwalitatief materiaal spreekt men ook wel van intercodeurbetrouwbaarheid. De kern is telkens dezelfde: als twee onderzoekers onafhankelijk van elkaar dezelfde open antwoorden lezen en indelen, komen ze dan tot dezelfde codes? Hoe groter die overeenstemming, hoe meer je erop kunt vertrouwen dat de codering het materiaal weergeeft en niet de persoonlijke voorkeur van wie toevallig aan het werk was.

Het is belangrijk om dit type betrouwbaarheid te onderscheiden van verwante begrippen. Betrouwbaarheid gaat over de consistentie van een meting, validiteit over de vraag of je meet wat je wilt meten. Binnen de betrouwbaarheid bestaan er drie veelgebruikte vormen.

Die drie vormen beantwoorden verschillende vragen en zijn niet inwisselbaar. Wil je het onderscheid tussen consistentie en juistheid scherp hebben, lees dan eerst betrouwbaarheid en validiteit; gaat je vraag over de samenhang binnen een schaal in plaats van tussen personen, dan is Cronbach’s alpha de maat die je zoekt.

Interbeoordelaarsbetrouwbaarheid speelt overal waar een mens materiaal beoordeelt in plaats van een machine een waarde afleest. Denk aan het coderen van open enquêtevragen, het scoren van gesprekken, het beoordelen van reclamebeelden op toon, of het invullen van een lijst bij observatieonderzoek. Juist omdat kwalitatief onderzoek op interpretatie steunt, is een objectieve maat voor overeenstemming daar geen luxe maar een voorwaarde voor geloofwaardigheid.

Waarom interbeoordelaarsbetrouwbaarheid onmisbaar is in marktonderzoek

Een onderzoek is pas bruikbaar als de uitkomst niet verandert zodra een andere onderzoeker het werk doet. Stel dat een opdrachtgever beslist om de klantenservice te hervormen op basis van duizend open antwoorden die als positief of negatief zijn gecodeerd. Als blijkt dat een tweede codeur een kwart van die antwoorden anders zou indelen, dan staat de hele beslissing op drijfzand. Interbeoordelaarsbetrouwbaarheid maakt dat risico zichtbaar en meetbaar voordat de resultaten op tafel liggen.

De maat is op meerdere plekken in het onderzoeksproces relevant. Bij het analyseren van open antwoorden uit een klanttevredenheidsonderzoek bepaalt de codeerbetrouwbaarheid of de thema’s die je rapporteert stevig onderbouwd zijn. Bij mystery shopping beoordelen meerdere shoppers dezelfde soort situatie, en alleen bij hoge overeenstemming weet je dat verschillen in de scores iets zeggen over de winkels en niet over de shoppers. Bij observaties en bij het verwerken van diepte-interviews en focusgroepen geldt hetzelfde: zonder controle op overeenstemming blijft de analyse een kwestie van vertrouwen in een enkele persoon. Het is dan ook een vaste stap bij het analyseren van kwalitatief onderzoek.

Een hoge interbeoordelaarsbetrouwbaarheid versterkt bovendien de autoriteit van je rapport. Opdrachtgevers en lezers hechten meer waarde aan conclusies die reproduceerbaar zijn. Het is in die zin een kwaliteitskeurmerk dat laat zien dat de bevindingen de toets van een onafhankelijke blik doorstaan.

Er is ook een verborgen voordeel. Het meten van overeenstemming dwingt je om je categorieën scherp te definiëren voordat de analyse begint. Die discipline verbetert niet alleen de betrouwbaarheid, maar ook de validiteit van je indeling, omdat je gedwongen wordt na te denken over wat elke code precies betekent. Zo wordt een controle achteraf tegelijk een hulpmiddel om vooraf beter te ontwerpen.

Cohen’s kappa: overeenstemming corrigeren voor toeval

De meest gebruikte maat voor interbeoordelaarsbetrouwbaarheid bij twee beoordelaars is Cohen’s kappa, in 1960 geïntroduceerd door de Amerikaanse psycholoog Jacob Cohen. Dezelfde Cohen gaf later de vuistregels waarmee je een effectgrootte interpreteert. Kappa is een coëfficiënt die loopt van min 1 tot 1. Een waarde van 1 staat voor perfecte overeenstemming, 0 betekent dat de overeenstemming niet groter is dan je op basis van puur toeval zou verwachten, en een negatieve waarde wijst op systematische onenigheid.

Waarom percentage overeenstemming niet volstaat

De eenvoudigste manier om overeenstemming uit te drukken is het percentage overeenstemming: het aandeel gevallen waarin beide beoordelaars dezelfde code gaven. Dat getal is intuïtief, maar het heeft een groot nadeel. Het houdt geen rekening met de kans dat beoordelaars toevallig hetzelfde kiezen. Stel dat negentig procent van de antwoorden positief is. Twee beoordelaars die lukraak gokken, komen dan al in 82 procent van de gevallen op hetzelfde uit, simpelweg omdat positief de dominante categorie is. Een overeenstemming van tachtig procent klinkt hoog, maar ligt in dat geval zelfs onder wat toeval alleen al oplevert.

Cohen’s kappa lost dat op door de waargenomen overeenstemming te verminderen met de verwachte overeenstemming bij toeval, en dat verschil te schalen naar het maximaal haalbare. De formule luidt: kappa is gelijk aan de waargenomen overeenstemming min de toevalsovereenstemming, gedeeld door 1 min de toevalsovereenstemming. Zo blijft alleen de overeenstemming over die niet aan toeval toe te schrijven is.

Een rekenvoorbeeld stap voor stap

Stel dat twee onderzoekers onafhankelijk vijftig open antwoorden coderen als positief of negatief. De resultaten vat je samen in een kruistabel, dezelfde opzet die je ook gebruikt bij de chi-kwadraattoets, al toets je daar samenhang en hier overeenstemming.

De beoordelaars zijn het eens in de cellen op de diagonaal: 27 keer samen positief en 15 keer samen negatief, dus 42 van de 50 keer. De waargenomen overeenstemming is 42 gedeeld door 50, oftewel 0,84. Op het eerste gezicht lijkt dat uitstekend.

Nu de toevalsovereenstemming. Beoordelaar A gaf 30 keer positief en 20 keer negatief, dus 0,60 en 0,40. Beoordelaar B gaf 32 keer positief en 18 keer negatief, dus 0,64 en 0,36. De kans dat beiden toevallig positief kiezen is 0,60 maal 0,64 is 0,384, en dat beiden toevallig negatief kiezen is 0,40 maal 0,36 is 0,144. Samen is de toevalsovereenstemming 0,528.

Dan volgt de kappa: 0,84 min 0,528 is 0,312, gedeeld door 1 min 0,528 is 0,472, geeft 0,66. De les is scherp: een overeenstemming van 84 procent krimpt tot een kappa van 0,66 zodra je corrigeert voor toeval. Het verschil is geen detail, het is het verschil tussen een rapport dat je durft te verdedigen en een rapport dat vooral op geluk berust.

Hoe interpreteer je de kappa-waarde?

De bekendste richtlijn voor het interpreteren van kappa komt van Landis en Koch, die in 1977 een reeks grenswaarden voorstelden. Die schaal wordt wereldwijd gebruikt, al blijven het vuistregels en geen natuurwetten.

Voor marktonderzoek waarop beslissingen worden gebouwd, mik je in de praktijk op een kappa van minstens 0,61, en liefst boven 0,80 wanneer er veel op het spel staat. Blijft de waarde onder 0,41, dan is dat geen reden om te wanhopen maar een signaal om het codeboek en de training onder handen te nemen en opnieuw te meten.

Welke maat kies je? Kappa, gewogen kappa, Fleiss en Krippendorff

Cohen’s kappa is de standaard, maar niet altijd de juiste keuze. De maat die past, hangt af van het aantal beoordelaars en van het meetniveau van de codes. De volgende tabel helpt je kiezen.

De gewogen kappa verdient aparte aandacht. Bij gewone kappa telt elke onenigheid even zwaar, maar bij ordinale codes is dat niet eerlijk. Als de ene beoordelaar vier sterren geeft en de andere vijf, is dat een kleinere fout dan het verschil tussen een en vijf sterren. Gewogen kappa houdt rekening met die afstand en bestraft grote verschillen harder dan kleine. Werk je met rangordes of schaalscores, dan is de gewogen variant vrijwel altijd de betere keuze.

Heb je meer dan twee beoordelaars, dan kom je uit bij Fleiss kappa, een uitbreiding die Joseph Fleiss in 1971 beschreef. En wie maximale flexibiliteit zoekt, grijpt naar Krippendorff alpha, ontwikkeld door communicatiewetenschapper Klaus Krippendorff. Die maat werkt met elk aantal beoordelaars, elk meetniveau en zelfs met ontbrekende beoordelingen, wat haar populair maakt in grootschalige inhoudsanalyse.

Let op dat kappa iets anders meet dan samenhang. Twee beoordelaars kunnen sterk gecorreleerd zijn en toch stelselmatig van elkaar verschillen, bijvoorbeeld als de een altijd een stap strenger scoort. Dat verschil tussen samenhang en werkelijke overeenstemming is dezelfde valkuil als het klassieke onderscheid tussen correlatie en causaliteit: twee dingen die samen bewegen zijn niet automatisch hetzelfde.

Zo verhoog je de interbeoordelaarsbetrouwbaarheid

Een lage kappa is zelden een reden om een onderzoek weg te gooien. Meestal wijst hij op een codering die scherper kan. De grootste winst zit in een helder codeboek: een document dat voor elke code een nauwkeurige definitie geeft, met voorbeelden van wat er wel en niet onder valt en met regels voor twijfelgevallen. Hoe minder ruimte voor interpretatie, hoe hoger de overeenstemming.

Daarnaast loont training. Laat de beoordelaars samen een kleine set oefenmateriaal coderen, bespreek de verschillen en pas het codeboek aan waar definities blijken te wringen. Pas daarna coderen ze onafhankelijk een representatieve deelset, waarop je de kappa berekent. Is die voldoende hoog, dan codeert iedereen de rest met een gerust hart. Blijft de overeenstemming achter, dan herhaal je de ronde. Die pilot voorkomt dat je pas aan het einde van het project ontdekt dat de codering niet houdbaar is.

Leg ten slotte vast hoe je de betrouwbaarheid hebt gemeten en welke waarde je vond. Een rapport dat vermeldt dat twee codeurs onafhankelijk werkten en een kappa van bijvoorbeeld 0,78 haalden, straalt meer vertrouwen uit dan een rapport dat over de analyse zwijgt. Die transparantie maakt je bevindingen verdedigbaar wanneer een opdrachtgever of een kritische lezer doorvraagt.

Let ook op de omvang en de samenstelling van de deelset waarop je toetst. Die moet groot genoeg zijn en alle categorieën voldoende bevatten, want een maat die rust op een handvol zeldzame codes is onbetrouwbaar. Het vastleggen van heldere codeerregels hangt sterk samen met goed bepalen hoeveel materiaal je nodig hebt om stevige uitspraken te doen.

Vijf valkuilen bij het meten van overeenstemming

Overeenstemming meten lijkt eenvoudig, en juist daarin schuilt het gevaar. Software en AI-tools berekenen vandaag in enkele seconden een kappa, en een sentimentanalyse codeert zelf duizenden open antwoorden. Dat verlaagt de drempel om te meten, maar het verlaagt evengoed de drempel om fout te meten. Een getal zonder goede opzet erachter geeft schijnzekerheid. Daarom hoort er een onderzoeker bij die de volgende valkuilen herkent.

Die laatste valkuil wordt met het jaar belangrijker. De technologie maakt het coderen sneller, niet vanzelf juister, en dat is precies waarom de blik van een ervaren onderzoeker aan gewicht wint in plaats van overbodig te worden.

Interbeoordelaarsbetrouwbaarheid is uiteindelijk geen statistische formaliteit maar een geweten van het onderzoek. Het dwingt je om hardop te vragen of je conclusies overeind blijven als iemand anders naar hetzelfde materiaal kijkt. Die vraag scheidt onderzoek dat een beslissing kan dragen van onderzoek dat toevallig goed uitkwam. Het is ook de reden waarom interbeoordelaarsbetrouwbaarheid thuishoort tussen de meest gebruikte statistische technieken en waarom een zorgvuldige analyse verder gaat dan een cijfer op een heldere grafiek.

Betrouwbare analyse door BABLR

Wil je zeker weten dat de codering en interpretatie van je open antwoorden, interviews of observaties de toets van een onafhankelijke blik doorstaan? Bij BABLR bewaken we de interbeoordelaarsbetrouwbaarheid in elk project waar menselijk oordeel een rol speelt, van consumentenonderzoek tot complexe kwalitatieve studies. Bekijk onze soorten marktonderzoek en ontdek hoe we je helpen aan resultaten waarop je met een gerust hart beslist.