Over de rode kaart voor zwarte voetballers

Onderzoekers sturen vaak verwarrende uitkomsten de wereld in waarin ze uitkomsten van ander onderzoek weer tegenspreken. Verwarring bij de consument en beleidsmaker al om. Dat komt door de veelheid van methoden en het niet duidelijk maken van wat er nu precies moet worden onderzocht.
The Economist (10.10.2015) rapporteerde een mooi onderzoek van Silberzahn en Uhlmann dat onlangs Nature haalde. Zij stuurden 29 onderzoekteams dezelfde dataset met gegevens van 2000 voetballers uit de topcompetities van Engeland, Frankrijk, Duitsland en Spanje. En de simpele maar politiek gevoelige vraag: Worden voetballers met een donker-getinte huidskleur vaker het veld uitgestuurd dan hun licht-getinte (blanke) collega's. ?
Dat klinkt als een vraag die elke eerste jaars econometrie of wiskundige statistiek moet kunnen beantwoorden. Maar de auteurs van het paper kregen een waaier aan antwoorden terug. Gemiddeld was het antwoord dat donkere spelers 1,3 keer zo grote kans hadden het veld te moeten ruimen dan hun collega's. Maar 9 onderzoeksteams vonden geen verschil tussen de groepen. 2 teams vonden zelfs dat donkere voetballers minder kans maakten op rood dan hun blanke confrères. Maar er was ook een onderzoeksteam dat rapporteerde dat de kans juist 3 keer zo groot was.
How come? Er lijken twee redenen voor de grote verschillen: hypotheses en technieken. Wat de technieken betreft werd er tal van software opgestart: van logistieke regressie tot Baysiaanse statistiek en lineair modelleren. Maar wat vooral aanspreekt is, wat is hier de hypothese. Moet je rekening houden met de veldpositie van de speler (de keeper gaat minder vaak het veld uit dan de verdediger zo stel ik me voor), of met het land waarin gespeeld wordt (de ene competitie is ruwer dan de andere)? Dat blijkt nogal uit te maken voor de resultaten.
Geen wonder dat herhaalbaarheid van onderzoek lastig is, zo stelt the Economist. Dat gaat overigens vaak over gebruik van een nieuwe dataset met dezelfde technieken,