28 augustus 2015
Het project is het meest uitgebreide onderzoek dat ooit is uitgevoerd naar de mate van repliceerbaarheid en voorspellers van repliceerbaarheid in een wetenschappelijk vakgebied. De bevindingen bieden meer inzicht in de uitdagingen waarvoor wetenschappers worden gesteld bij het repliceren van onderzoeksresultaten, ook als het gaat om het identificeren van voorspellers van repliceerbaarheid en manieren om het onderzoek te verbeteren.
Repliceerbaarheid houdt in dat de resultaten zich opnieuw voordoen als dezelfde data opnieuw geanalyseerd worden of wanneer met dezelfde methodiek nieuwe data worden verzameld en geanalyseerd. ‘Het is een bepalende eigenschap van de wetenschap, want de betrouwbaarheid van een studie wordt groter door onafhankelijk repliceren en het uitbreiden van ideeën en bewijs’, vertelt Kai Jonas, onderzoeker binnen het team van UvA-psychologen.
De onderzoekers benadrukken dat het mislukken van een replicatie niet automatisch betekent dat de oorspronkelijke bevindingen onjuist waren. Hoewel de meeste replicatieteams samenwerkten met de oorspronkelijke auteurs om dezelfde materialen en methoden te gebruiken, kunnen kleine verschillen in de uitvoer van de replicatie (wanneer, waar of hoe) de uitkomsten hebben beïnvloed. Het kan ook gebeuren dat de replicatie toevallig gemist heeft het oorspronkelijke resultaat te detecteren. Een andere mogelijkheid is dat het oorspronkelijke resultaat misschien een fout-positief (de uitkomst komt niet overeen met de werkelijkheid) is geweest.
Eric-Jan Wagenmakers van het UvA-team was niet verrast door het lage aantal replicaties: ‘Er zijn veel serieuze uitdagingen die we – net als andere empirische disciplines - moeten overwinnen, waaronder ‘publicatie-bias’, frequentistische statistische analyses (p-waarden) en de beloningsstructuur in de academische wereld. De resultaten van het project onderstrepen de noodzaak voor meer transparantie en meer methodologische gestrengheid.’
Steeds meer onderzoekers, organisaties, financiers, tijdschriften en uitgevers zijn bezig met het verbeteren van de repliceerbaarheid van wetenschappelijk onderzoek. ‘Zo wordt onder meer gewerkt aan het verhogen van de transparantie van de gebruikte onderzoeksmaterialen, -codes en -gegevens, zodat collega-onderzoekers een studie beter kunnen beoordelen, repliceren en uitbreiden’, aldus teamlid Denny Borsboom, die met Wagenmakers ook betrokken was bij de totstandkoming van de Transparency and Openness Promotion (TOP) Guidelines die in juni in Science werden gepubliceerd.
Jonas vult aan: ‘Met onze inspanningen om de kwaliteit van onderzoek te verbeteren lopen we binnen de psychologie voor op andere wetenschapsterreinen. Het Psychology Research Institute van de UvA speelt hierin een toonaangevende rol, onder andere door het initiëren van zogenoemde pre-registration-tijdschriften zoals Comprehensive Results in Social Psychology . Pre-registratie van de onderzoeksmethode moet ervoor zorgen dat uitsluitend statistisch en methodologisch verantwoorde artikelen worden gepubliceerd, met resultaten die gemakkelijk te repliceren zijn. Daarnaast voorkómt deze aanpak de manipulatie van data en het ‘bijschaven’ van onderzoek door bijvoorbeeld achteraf de hypothese te wijzigen. De bevindingen in ons Reproducibility Project bevestigen de relevantie van deze aanpak.’
Open Science Collaboration (2015): 'Estimating the reproducibility of psychological science’ in: Science, 349(6251). DOI: 10.1126/science.aac4716