Een statisticus liep eens door een rivier waarvan hij had berekend dat deze gemiddeld een halve meter diep was. Hij verdronk …
‘How to lie with statistics’
Professionele statistici en onderzoekers kennen de onderstaande valkuilen – er zijn er vast meer.
- Een statistisch verband aanzien voor een causaal verband. Een correlatie geeft alleen maar aan dat twee of meer verschijnselen min of meer tegelijk variëren; dat zegt nog niets over een oorzakelijk verband. Zo werd er vroeger een verband gevonden tussen het aantal geboortes op het platteland en in de stad, en het aantal ooievaars dat op beide plekken voorkomt.
- Uitspraken doen over verschillen tussen getallen, zonder deze verschillen op significantie te toetsen. In hoeverre kan worden uitgesloten dat er sprake is van een toevallig verschil?
- Significantie is overigens wel een reden tot nadenken, maar het hoeft nog niet te betekenen dat de uitkomsten ook relevant en onomstotelijk bewezen zijn. Bij grote steekproeven of een onderzoek onder alle leden van een populatie zijn alle uitkomsten statistisch significant.
- Vaak geven meerdere onderzoeken verschillende resultaten, maar worden alleen die publicaties getoond die het gewenste effect onderbouwen.
- Presenteren van relatieve cijfers in plaats van absolute. Stel 100 studenten leggen een examen af en 10 krijgen een voldoende, waar dat vorig jaar nog bij 5 studenten het geval was. Dan is het aantal geslaagden weliswaar met 100% gestegen (van 5 naar 10), maar blijft het aantal geslaagden laag.
- Een variant hierop is het laten zien van een grafiek met een bepaalde ontwikkeling waarbij het nulpunt van de verticale as ontbreekt. Soms is er ook een stuk uit de verticale as geknipt.
- Klakkeloos bepaalde aannames doen om bepaalde statistische regels te kunnen toepassen. Of – nog erger – deze aannames niet eens kennen. Denk aan veronderstelde normale verdelingen, standaardafwijkingen, enz.
- Uitspraken doen voor kleinere deelgroepen dan waar het onderzoek voor was opgezet (steekproefomvang en gewenste betrouwbaarheid).
- Het achteraf schuiven met keuzes voor betrouwbaarheid en nauwkeurigheid.
- Darrell Huff, How to Lie with Statistics, W.W. Norton & Company, Inc., 1982.
- Hans van Maanen, ‘Wat verzwegen wordt, is zeker zo interessant’, de Volkskrant, 11 december 2010.
- Zie ook de overige onderwerpen in de Rubriek Onderzoek.