Niet repliceerbare bevindingen in de psychologie vaak ten onrechte geweten aan contextuele variatie
ArrayBij replicatie-onderzoek in de psychologie lukt het vaak niet om de resultaten van eerder onderzoek te bevestigen. Dat is de kern van de ‘reproduceerbaarheidscrisis’ in de wetenschap. Een vaak gehoorde verklaring voor niet repliceerbare bevindingen in replicatie-onderzoek is dat het onderzochte effect ‘heterogeen’ is, wat wil zeggen dat het varieert in verschillende situaties.
Bij het meeste replicatie-onderzoek is echter geen tot weinig sprake van heterogeniteit, blijkt nu uit onderzoek van Tilburg University dat pas gepubliceerd is in het gerenommeerde tijdschrift Psychological Bulletin.
Heterogeniteit
De Tilburgse onderzoekers bestudeerden de heterogeniteit van effecten bij replicatie-onderzoeken die ten opzichte van het oorspronkelijke onderzoek afweken wat betreft onderzoekspopulatie en –situatie. De Tilburgse studie onderzocht alle 68 multi-lab replicatie-onderzoeken in de sociale en cognitieve pyschologie tot nu toe.
Niet de standaardverklaring
De onderzoekers troffen weinig heterogeniteit aan in het replicatie-onderzoek: bij de meeste replicaties (72%) was deze afwezig tot klein. Daaruit valt af te leiden dat verschillen in onderzoekspopulatie en –situatie waarschijnlijk niet tot andere uitkomsten kunnen leiden in de sociale en cognitieve psychologie. De vaakgehoorde verklaring dat ‘effecten variëren tussen onderzoekscontexten’ als een onderzoek niet gerepliceerd wordt, zou dus niet de standaardverklaring moeten zijn, stellen de onderzoekers.
De onderzoekers laten ook zien dat er als er geen effect is in replicatie-onderzoek (een nuleffect, dat wil zeggen geen verband tussen variabelen of geen effect van de experimentele behandeling), het replicatie-onderzoek bij een andere populatie en situatie ook zeer waarschijnlijk een nuleffect zal vertonen. Alleen als er wel een effect is, zou heterogeniteit waarschijnlijk kunnen zijn en zou de effectgrootte kunnen variëren tussen replicatie-studies.
Publicatie:Olsson-Collentine, A., van Assen, M. A. L. M., & Wicherts, J. M. (2020, June 30). Postprint – Heterogeneity in direct replications in psychology and its association with effect size.
Bron: Tilburg University
