S3 Questionable research practices Flashcards

1
Q

QRP (Def)

A
  • unsauberes wissenschaftliches Arbeiten, oft p-hacking und HARKing
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

2 statistische Gründe für Replikationskrise

A
  1. zufällig weil p-Wert nicht reliable
  2. Sekundäranalysen –> viele falsch negative Ergebnisse
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

p-hacking

(Def., 6 Methoden, Effekte replizierbar?)

A
  • (un-)bewusster Missbrauch der Ergebnisvariation in Analyse um erwünschtes Ergebnis zu erhalten
  • Methoden: mehrere Instrumente ausprobieren, X mehrfach kategorisieren, Auswahl der z-Variablen, Zwischenanalysen/Datensammlung abbrechen, Teilstichprobenanalysen/Extremwerte weglassen, mehrere Modelle ausprobieren und nur bestes berichten
  • Effekte schwer replizierbar (tatsächliches alpha größer als behauptetes 0.05)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Auswertungsdilemma (?, Lösung, Modelle)

A
  • konfirmatorische Wissenschaft (Auswertung nach Hypothese) vs. Daten machen andere Auswertung nötig
    –> Variation transparent machen: multiverse analysen (alle Ergebnisse darstellen)
  • Modelle hierarchisch von schwachen bis starken Annahmen anordnen, Modell mit schwachen Annahmen immer bevorzugen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

HARKing (Def, 2 Gründe, Grundproblem, alpha)

A
  • Hypothese erst nach Datenanalyse entsprechend der Ergebnisse aufstellen aber so tun, als hätte man sie schon vorher gehabt
  • Gründe: Ideal der Konfirmation, telling a good story
  • Grundproblem: Konfirmation (H überprüfen) und Exploration (neue H aufstellen) vermischt
  • alpha 0.05: bei 100 Tests sind 5 false positives dabei
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Kognitiver Bias für p-hacking und HARKing

A

p-hacking: confirmation bias, positive testing strategy, allegiance bias, self-serving bias, bias blind spot

HARKing: hindsight bias (retrospektive Überschätzung)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly