Validiteit en betrouwbaarheid

Validiteit zegt iets over de inhoud: wordt er gemeten wat de bedoeling is. Wanneer u mensen op straat vraagt of ze wel eens stelen, is de kans groot dat de dieven onder hen dit zullen ontkennen. Op basis van een dergelijk onderzoek schat u het aantal dieven te laag in.

Betrouwbaarheid heeft te maken met de stabiliteit van het onderzoeksresultaat. Wanneer het onderzoek zou worden herhaald, komen dan dezelfde resultaten naar voren? Bij het bovengenoemde voorbeeld kunnen de resultaten betrouwbaar zijn, omdat het percentage dieven dat liegt altijd ongeveer even groot is.

Valide én betrouwbaar?

Een betrouwbaar onderzoek hoeft niet valide te zijn en andersom. De combinatie van én valide én betrouwbaar is de grootste uitdaging. Bij een diepte-interview is er een grotere kans dat u vrij nauwkeurig achterhaalt wat er bij die persoon speelt. Bij een volgend interview krijgt u waarschijnlijk weer een ander beeld. Wanneer u een groot aantal interviews afneemt, stabiliseert het resultaat en gaat u de grote lijn zien. En pas bij een zeer groot aantal interviews zijn de resultaten generaliseerbaar naar een grotere groep. Vaak ontbreekt het echter aan tijd en middelen om een groot aantal diepte-interviews af te nemen. Omgekeerd krijgt u met een groots opgezette schriftelijke enquête vrij eenvoudig een betrouwbaar beeld, maar weet u niet meteen wat er inhoudelijk aan de hand is. Een combinatie van beide onderzoeksvormen kan een oplossing bieden: de enquête levert de ‘statistiek’ (de betrouwbaarheid) en de interviews geven een verdieping om erachter te komen wat er werkelijk speelt (de validiteit).

Bedreigingen voor interne validiteit

Bij validiteit wordt ook wel onderscheid gemaakt tussen:

• Interne validiteit: de mate waarin de conclusies van het onderzoek geldig zijn voor de onderzoeksgroep.
• Externe validiteit: de mate waarin de conclusies ook van toepassing zijn op de gehele populatie (oftewel de generaliseerbaarheid die mede afhankelijk is van de representativiteit van de onderzoeksgroep).

Als bedreigingen voor de interne validiteit kunnen in het bijzonder worden genoemd:

• Confounding: delen van de onderzoeksgroep zijn op verschillende manieren beïnvloed door de onafhankelijke variabelen. Denk bijvoorbeeld aan verschillen in tijdsperioden.
• Statistische regressie: het gemiddelde van een tweede meting valt lager uit omdat bij er bij de eerste groep sprake was van extreme scores.
• Placebo-effect (bijvoorbeeld bij onderzoek naar de effecten van medicijnen): vertekening door het geloof van de participanten in een behandeling.
• Hawthorne-effect: vertekening door de aandacht die de onderzoekspersonen krijgen.
• Sociale wenselijkheid: personen reageren op basis van geldende normen en verwachtingen.

• Bron figuur: http://www.socialresearchmethods.net/kb/relandval.php (geraadpleegd 18 november 2010).
• Zie ook de overige onderwerpen in de Rubriek Onderzoek.