Ecologen trekken zeer verschillende conclusies uit dezelfde dataset

Mede gezien de uitkomsten waarschuwt een van de auteurs van de studie, de ecoloog Hannah Fraser van Melbourne University in Australië, tegen de neiging om een enkel onderzoek als definitief te beschouwen. In een artikel in Nature over het onderzoek zegt ze dat de resultaten laten zien ‘dat we er echt niet op kunnen vertrouwen dat een enkel onderzoek ons het hele verhaal vertelt’.

Het is de eerste keer dat er zo’n grootschalig vergelijkend onderzoek onder ecologen wordt gedaan. Het artikel – een preprint, dus nog niet onderworpen aan een peer review – telt dan ook een kleine 250 auteurs. In de laboratoriumpraktijk is zo’n ringonderzoek zeer gebruikelijk, ja zelfs verplicht voor een accreditatie.

Sinds een jaar of tien zien we ook iets dergelijks in de sociale wetenschappen; een beweging die indertijd op gang is gebracht door John Ioannidis met zijn beroemde (beruchte) essay ‘Why Most Published Research Findings Are False’. Volgens Brian Nosek, directeur van het Center for Open Science, kan deze studie het startpunt zijn van een beweging om ook in de ecologie een discussie op gang te brengen over de reproduceerbaarheid van resultaten van wetenschappelijk onderzoek

Jonge koolmezen

Voor het onderzoek kregen deelnemende onderzoeksgroepen een van twee nog niet gepubliceerde datasets met een bijbehorende onderzoeksvraag. De ene dataset had betrekking op de vraag in hoeverre de groei van jonge koolmezen wordt beïnvloed door het aantal broertjes en zusjes in het nest. De andere dataset had betrekking op de invloed van grasbedekking op het aantal zaailingen van de eucalyptusboom.

Zoals gezegd liepen de resultaten behoorlijk uiteen. De meeste onderzoekers van de koolmees kwamen tot de conclusie dat het aantal broertjes en zusjes een negatief effect heeft op de groei, maar de mate waarin varieerde enorm. Bij eucalyptus-zaailingen was de spreiding nog groter. Volgens de auteurs van de studie is er geen statistisch significante relatie tussen grasbedekking en aantal zaailingen dat opkomt, maar bij de deelnemers aan de test varieerde de uitkomst van zeer negatief tot zeer positief.

Meest aansprekende uitkomst

De onderzoekers hebben ook het peer review nagespeeld door de resultaten ter beoordeling voor te leggen aan een andere groep wetenschappers. Hoewel ze een aantal analyses als onder de maat beoordeelden, lieten de analyses die als publicatiewaardig werden beoordeeld nog een grote variatie zien. Met andere woorden, zo concluderen de onderzoekers, als er verschillende plausibele methoden zijn om data te analyseren, levert een enkele analyse geen betrouwbaar resultaat op.

Zelfs als er meerdere analyses worden losgelaten op de dataset, bestaat vaak enige vooringenomenheid om juist die subset te presenteren die de meest aansprekende uitkomsten oplevert. Volgens de onderzoekers is meer scepsis geboden, zeker als het gaat om een enkele analyse en zelfs in geval van een enkele meta-analyse. Waarbij zij aangetekend dat ecologen het lastiger hebben dan analytisch chemici die een monster moeten analyseren. ‘Ecologie is gebaseerd op waarnemen en geduldig wachten wat de natuur je toewerpt’, stelt Nicole Nelson van de Universiteit van Wisconsin Madison. ‘En dat is vooral heel veel variatie.’