Validiteit en betrouwbaarheid

Elke onderzoeker streeft naar valide en betrouwbare uitkomsten van het onderzoek.

Validiteit zegt iets over de inhoud: wordt er gemeten wat de bedoeling is. Wanneer u mensen op straat vraagt of ze wel eens stelen, is de kans groot dat de dieven onder hen dit zullen ontkennen. Op basis van een dergelijk onderzoek schat u het aantal dieven te laag in.

Betrouwbaarheid heeft te maken met de stabiliteit van het onderzoeksresultaat. Wanneer het onderzoek zou worden herhaald, komen dan dezelfde resultaten naar voren? Bij het bovengenoemde voorbeeld kunnen de resultaten betrouwbaar zijn, omdat het percentage dieven dat liegt altijd ongeveer even groot is.

Validiteit en Betrouwbaarheid

Valide én betrouwbaar?

Een betrouwbaar onderzoek hoeft niet valide te zijn en andersom. De combinatie van én valide én betrouwbaar is de grootste uitdaging. Bij een diepte-interview is er een grotere kans dat u vrij nauwkeurig achterhaalt wat er bij die persoon speelt. Bij een volgend interview krijgt u waarschijnlijk weer een ander beeld. Wanneer u een groot aantal interviews afneemt, stabiliseert het resultaat en gaat u de grote lijn zien. En pas bij een zeer groot aantal interviews zijn de resultaten generaliseerbaar naar een grotere groep. Vaak ontbreekt het echter aan tijd en middelen om een groot aantal diepte-interviews af te nemen. Omgekeerd krijgt u met een groots opgezette schriftelijke enquête vrij eenvoudig een betrouwbaar beeld, maar weet u niet meteen wat er inhoudelijk aan de hand is. Een combinatie van beide onderzoeksvormen kan een oplossing bieden: de enquête levert de ‘statistiek’ (de betrouwbaarheid) en de interviews geven een verdieping om erachter te komen wat er werkelijk speelt (de validiteit).

Bedreigingen voor interne validiteit

Bij validiteit wordt ook wel onderscheid gemaakt tussen:

  • Interne validiteit: de mate waarin de conclusies van het onderzoek geldig zijn voor de onderzoeksgroep.
  • Externe validiteit: de mate waarin de conclusies ook van toepassing zijn op de gehele populatie (oftewel de generaliseerbaarheid die mede afhankelijk is van de representativiteit van de onderzoeksgroep).

Als bedreigingen voor de interne validiteit kunnen in het bijzonder worden genoemd:

  • Confounding: delen van de onderzoeksgroep zijn op verschillende manieren beïnvloed door de onafhankelijke variabelen. Denk bijvoorbeeld aan verschillen in tijdsperioden.
  • Statistische regressie: het gemiddelde van een tweede meting valt lager uit omdat bij er bij de eerste groep sprake was van extreme scores.
  • Placebo-effect (bijvoorbeeld bij onderzoek naar de effecten van medicijnen): vertekening door het geloof van de participanten in een behandeling.
  • Hawthorne-effect: vertekening door de aandacht die de onderzoekspersonen krijgen.
  • Sociale wenselijkheid: personen reageren op basis van geldende normen en verwachtingen.

 
Reacties

Correctie: betrouwbaarheid is inderdaad mogelijk wanneer het onderzoek niet valide is, maar een onderzoek kan niet valide zijn zonder betrouwbaarheid!

Hallo Lynne. Dank voor je reactie. Ik heb al vaker opmerkingen gehad met dezelfde strekking. Toch ben ik van mening dat de tekst klopt. Ik heb dat voor de zekerheid nagevraagd en het voorbeeld gekregen van een steekproef voor een vragenlijst: (populatie-)validiteit heeft dan te maken met dat je een representatieve steekproef uit de populatie neemt (je mag de resultaten generaliseren naar de gehele populatie; je meet met de vragenlijst dus inderdaad wat je wilt meten, namelijk de populatie) en betrouwbaarheid dat de steekproef voldoende groot is om met een zekere betrouwbaarheid en met een bepaalde marge een kwantitatieve schatting te geven van bepaalde kenmerken in de populatie (bij een gewenste betrouwbaarheid en marge is de vereiste minimale steekproefomvang met een steekproefcalculator te berekenen). Zie ook http://wetenschap.infonu.nl/onderzoek/68175-validiteit-van-een-meetinstrument.html. Ik ben benieuwd naar je reactie omdat dit punt wel steeds terugkomt.

plaatje A: betrouwbaar (weinig spreiding, precies, weinig toevallige fouten), maar
niet valide (mist bull’s-eye). Dit geweer schiet heel precies mis.

Mooi voorbeeld!

Als een meting niet betrouwbaar is, dus louter op toeval berust, kan hij niet valide zijn. Maar als de betrouwbaarheid goed is, wil dat niet automatisch zeggen dat de validiteit ook goed is (Baarda).

Hallo Barry. De discussie (op deze pagina) gaat over de eerste zin: “Als een meting niet betrouwbaar is, dus louter op toeval berust, kan hij niet valide zijn.” Betrouwbaarheid heeft te maken met de spreiding van onderzoeksresultaten wanneer de meting een aantal keren zou worden herhaald. Naarmate de spreiding groter is, is de betrouwbaarheid geringer. Vergelijk het met een gewone weegschaal waarmee het gewicht van tien personen wordt gemeten. Stel, het gaat om tien personen waarvan we weten dat hun gewicht precies hetzelfde is, namelijk 75 kg. De weegschaal geeft bij gebruik tien verschillende uitkomsten: van 72 tot 78 kg. Wanneer dat puntenwolkje geheel gelijkmatig rond de 75 kg ligt, is de weegschaal een valide instrument. Maar de betrouwbaarheid van de meting laat te wensen over omdat er variaties zijn van 3 kg naar beneden en naar boven. Die worden bijvoorbeeld veroorzaakt door de temperatuurwisselingen, de manier waarop een persoon op de weegschaal staat of omdat de persoon nog niet helemaal stil staat. Omgekeerd geldt dat wanneer het gewicht van alle tien personen wordt gemeten op 78 kg, de meting wel betrouwbaar is maar niet valide. Voor zowel validiteit als betrouwbaarheid geldt dat perfectie niet bestaat; soms is het voldoende, soms niet. Naar welke publicatie en pagina van Baarda verwijs je specifiek? Ben benieuwd hoe Baarda dit ziet.

Huh? Ik snap het niet.

Hallo Dirk. Kan je iets specifieker zijn?

Ik ben bezig met mijn afstudeer onderzoek. Ik onderzoek het effect van 2 mondspoelmiddel op de mate van dentie-overgevoeligheid en ik gebruik 2 meetinstrumenten (VAS & SCASS) om gevoeligheid te meten. Verder ben ik op zoek naar 2 artikelen om de betrouwbaarheid van deze 2 meetinstrumenten bevestigen. Maar helaas heeft mij niet gelukt om zo specifiek artikelen vinden, zodat ik verder kunnen gaan met mijn scriptie. kan iemand mij hierbij helpen?

Dag Habiba. Ik kan je niet helpen; het is specialistisch. Ben je inmiddels verder gekomen? Groeten van Ouke

Het artikel is geschreven in 2008, maar de figuur geraadpleegd in 2010. Klopt dit dan wel?

Dag Nikki. Goed gezien! In 2010 is een nieuwe figuur toegevoegd aan het oorspronkelijke artikel. Groeten van Ouke

Trackbacks for this post