S3 Questionable research practices Flashcards
1
Q
QRP (Def)
A
- unsauberes wissenschaftliches Arbeiten, oft p-hacking und HARKing
2
Q
2 statistische Gründe für Replikationskrise
A
- zufällig weil p-Wert nicht reliable
- Sekundäranalysen –> viele falsch negative Ergebnisse
3
Q
p-hacking
(Def., 6 Methoden, Effekte replizierbar?)
A
- (un-)bewusster Missbrauch der Ergebnisvariation in Analyse um erwünschtes Ergebnis zu erhalten
- Methoden: mehrere Instrumente ausprobieren, X mehrfach kategorisieren, Auswahl der z-Variablen, Zwischenanalysen/Datensammlung abbrechen, Teilstichprobenanalysen/Extremwerte weglassen, mehrere Modelle ausprobieren und nur bestes berichten
- Effekte schwer replizierbar (tatsächliches alpha größer als behauptetes 0.05)
4
Q
Auswertungsdilemma (?, Lösung, Modelle)
A
- konfirmatorische Wissenschaft (Auswertung nach Hypothese) vs. Daten machen andere Auswertung nötig
–> Variation transparent machen: multiverse analysen (alle Ergebnisse darstellen) - Modelle hierarchisch von schwachen bis starken Annahmen anordnen, Modell mit schwachen Annahmen immer bevorzugen
5
Q
HARKing (Def, 2 Gründe, Grundproblem, alpha)
A
- Hypothese erst nach Datenanalyse entsprechend der Ergebnisse aufstellen aber so tun, als hätte man sie schon vorher gehabt
- Gründe: Ideal der Konfirmation, telling a good story
- Grundproblem: Konfirmation (H überprüfen) und Exploration (neue H aufstellen) vermischt
- alpha 0.05: bei 100 Tests sind 5 false positives dabei
6
Q
Kognitiver Bias für p-hacking und HARKing
A
p-hacking: confirmation bias, positive testing strategy, allegiance bias, self-serving bias, bias blind spot
HARKing: hindsight bias (retrospektive Überschätzung)
