Video 12 replicatiecrisis Flashcards
Replicatiecrisis
Er werden 100 psychologische studies exact gerepliceerd, de meeste van deze studies waren significant, er waren maar 36% van de replicaties significant en de effectgroottes waren kleiner dan bij de originele.
Oorzaken replicatie studies
Publicatie bias, publicatiedruk, p-Hacking en human bias
Human bias (menselijke fouten)
Conformation bias en hindsight bias
P-hacking
Opportunistisch gebruik van keuzes in data-analyse om conclusies in de gewenste richting te verschuiven… en deze keuzes stil houden. Bijvoorbeeld alleen vrouwen in de leeftijd 18 - 21 gebruiken terwijl je van alle leeftijden en genders hebt gemeten. (Vorm van flexibele analyse.)
Publicatiedruk
Psychologische onderzoekers worden vaak beoordeeld op het aantal publicaties die ze hebben.
Publicatie bias
Niet-significante resultaten worden niet geaccepteerd door journals of worden niet eens ingediend. (Zo onstaat de file-drawer probleem)
Oplossing replicatiecrisis
Open data: open materialen, open data en preregistratie.
Open materialen
Methodenselectie in wetenschappelijke artikelen zijn vaak te kort. Delen van onder andere vragelijsten, video’s van experiment en stimulus materiaal. Dit maakt directe replicaties makkelijker.
Registered responds
Preregistratie wordt opgestuurd naar een journal, het plan wordt bekeken door peer reviewers. Als het plan goed wordt gekeurd dan krijgen de onderzoekers een garantie van publicatie in dat journal.
Bijdraaien
Proefpersonen toevoegen nadat de eerste analyse geen significant resultaat oplevert. Hier wordt de rol van toeval onderschat.