Hoofdstuk 14: Replicatie, transparency, and real-world importance Flashcards
Soorten replicatie
Directe replicatie, Conceptuele replicatie, Replicatie-plus-extensie.
Directe replicatie
Onderzoekers herhalen een origineel onderzoek zo nauwkeurig mogelijk om te zien of het effect hetzelfde is in de nieuw verzamelde gegevens.
Conceptuele replicatie
Onderzoekers onderzoeken dezelfde onderzoeksvraag, maar ze gebruiken verschillende procedures.
De conceptuele variabelen in het onderzoek zijn hetzelfde, maar de procedures voor het operationaliseren van de variabelen zijn anders.
Replicatie-plus-extensie
Onderzoekers repliceren hun oorspronkelijke experiment en voegen variabelen toe om aanvullende vragen te testen.
Waarom zou een onderzoek niet realiseerbaar kunnen zijn?
Door problemen met de originele studies.
Wetenschappelijke literatuur
Bestaat uit een reeks verwante onderzoeken, uitgevoerd door verschillende onderzoekers, die vergelijkbare variabelen hebben getest.
Meta-analyse
Een manier om wiskundig het gemiddelde te nemen van de resultaten van alle onderzoeken die dezelfde variabelen hebben getest om te zien welke conclusie dat hele lichaam van bewijs ondersteunt.
Bestandsladeprobleem (File drager problem)
Het idee dat een meta-analyse de ware grootte van een effect zou kunnen overschatten, omdat verwaarloosbare effecten, of zelfs tegengestelde effecten, niet zijn meegenomen in het verzamelproces.
Bestandsladeprobleem bestrijden
Onderzoekers die een meta-analyse uitvoeren moeten de gewoonte volgen om contact op te nemen met hun collega’s en zowel gepubliceerde als niet-gepubliceerde gegevens voor hun project op te vragen
Waar komt de naam bestandsladeprobleem vandaan?
Het idee dat in plaats van gepubliceerd te worden, deze studies vergeten zitten in de archiefkasten van de onderzoeker.
Twijfelachtige praktijk die de normen van Merton schenden en wetenschappelijke vooruitgang minder waarschijnlijk maken:
Onderrapportage van nul-effecten, P-hacking, HARKing, Kleine steekproeven gebruik.
Onderrapportage van nul-effecten
Onderzoekers misleiden over de sterkte van het bewijs door geen voorwaarden of maatregelen te rapporteren die de hypothese niet ondersteunen.
Oplossing van onderrapportage van nul-effecten
Open materialen, waarin al het studiemateriaal openbaar wordt gerapporteerd.
HARKing
Het onderzoek onthult een onverwacht resultaat, maar de onderzoeker schrijft over het onderzoek alsof het resultaat altijd al voorspeld was.
Oplossing van HARKing
Preregistratie, waarbij onderzoekers de hypothese en het onderzoeksontwerp publiceren voordat de gegevensverzameling en - analyse beginnen.
Kleine steekproeven gebruik
In een kleine steekproef kunnen een paar toevalswaarden de dataset beïnvloeden, dus de schatting van het onderzoek is onnauwkeurig en minder repliceerbaar.
Oplossing van kleine steekproeven gebruik
Hoewel het geen deel uitmaakt van onderzoek transparantie, zijn grotere steekproeven nu vereist en aangemoedigd.
Theorie-testmodus
Onderzoekers ontwerpen gewoonlijk correctioneel of experimenteel onderzoek om ondersteuning voor een theorie te onderzoeken.
(vaak is de externe validiteit minder belangrijk dan de interne validiteit)
Generalisatiemodus
Wanneer onderzoekers de bevindingen van de steekproef in een eerder onderzoek willen generaliseren naar een grotere populatie.
(ze maken zich zorgen over externe validiteit)
(altijd frequentieclaims, soms associatie- en causale claims)