Basistermen 10 Flashcards
P-hacking:
selectief en flexibel spelen met data tot je een resultaat vind, maar deze stappen NIET beschrijven.
Menselijke fouten bij P-hacking:
hindsight & confirmation bias. Het achteraf zoeken naar bevestigende data voor hypothese. Data voor tegendeel negeren.
Vals positieven en vals negatieven:
Wanneer er wel/geen effect gevonden wordt dat er eigenlijk niet is. Vals positieven komen vaker voor.
De …. Sectie in onderzoek is vaak onvolledig voor replicatie. Hiervoor zou …. Helpen.
Methode & Open materials
Wat zijn type I en type II fouten?
Type I-fout (vals positief): De nulhypothese wordt onterecht verworpen; een niet-bestaand effect wordt gezien als bestaand.
Type II-fout (vals negatief): De nulhypothese wordt onterecht behouden; een bestaand effect wordt gemist.
…. Gaat HARKing en p-hacking tegen, evenals het file-drawer probleem.
Preregistratie.
Je analyseplan en hypothese is al bekend. Openbare registratie zorgt ook voor info waar uit blijkt dat studie uitgevoerd is, dus dan kun je auteurs benaderen om niet republiceerde papers te vinden.
Wat zijn registered reports?
Preregistratie met peer-review. Dus plan wordt beoordeeld. Dan is er garantie op publicatie (in-principle acceptance) als je het daadwerkelijk uitvoert zoals oorspronkelijke plan.
Vals positieven komen door… 4 factoren
- Publicatiebias
- Publicatiedruk
- P-hacking
- Human bias
Vanwege een kleine gemiddelde sample size verwachten we in maar 50% van de onderzoeken echte effecten te vinden, terwijl we dat vinden in 90%. 50% is de gemiddelde power, de robuustheid. Dus: 50% zou vals positieven hebben.
.
Verschil publication bias en file-drawer probleem:
Publication bias is het alleen accepteren door Journals van significante resultaten. File-drawer problem is wanneer alleen positieve verhalen meegenomen worden in meta-analyse.
Psychologische onderzoekers worden beoordeeld door het aantal publicaties dat ze hebben. Journals accepteren lage p-waardes niet, maar je moet veel publiceren om je baan te houden: dus wat gebeurt er?
Flexibele analyses.
Wat is de “dubbele moraal” van data-analyse?
Je data alleen kritisch verder analyseren wanneer je niet vindt wat je verwachtte.
Dus: een niet-statistisch resultaat zien als ‘toevallig’, en statistisch significant resultaten altijd zien als effect. Echter kan statistische significante ook toevallig zijn. Als je onder bepaalde criteria een significante p-waarde krijgt, had je waarschijnlijk die criteria niet gezocht als je meteen al resultaat kreeg.
Waarom spelen menselijke fouten een rol in p-hacking?
Onder menselijke fout vallen hindsight & confirmation bias. Het achteraf zoeken naar bevestigende data voor hypothese. Data voor tegendeel negeren.
Een lage statistische…. zorgt voor een verergering van menselijke fout en onbegrip voor statistiek.
Power
Des te … de power, des te robuuster het onderzoek.
Een hogere power betekent een robuuster onderzoek. Een hogere power (of statistische power) betekent dat de kans groter is om een daadwerkelijk bestaand effect in een onderzoek te detecteren, als dat effect er inderdaad is.
