13. VL - p-hacking, Daten Fälschung

Question 1

Was sagt uns der Hypothesentest/ Signifikanztest?

Answer 1

→ Er sagt aus, ob wir die H0 beibehalten oder verwerfen (=signifikant) - wie wahrscheinlich ist das gemessene Ergebnis unter H0

→ Wie wahrscheinlich ein Ergebnis unter der Annahme der H0 ist und damit

→ wie groß unsere Irrtumswahrscheinlichkeit ist, wenn wir die H0 aufgrund eines Ergebnisses ablehnen

Question 2

Zwei untersuchte Variablen hängen nicht zusammen. Welche Hypothese liegt hier vor?

Answer 2

Nullhypothese H0

Question 3

Zwei untersuchte Variablen hängen zusammen (z.B. Lernmethode und Test) Welche Hypothese liegt hier vor?

Answer 3

H1

Question 4

Wann lehnt man die H0 ab?

Answer 4

• Wahrscheinlichkeit (p) des tatsächlichen Stichprobenergebnisses unter H0 ermitteln
• Ist sie kleiner als ⍺, dann lehnt man die H0 mit der Irrtumswahrscheinlichkeit ⍺ ab
• p < ⍺

Question 5

Durch das Ausschließen von Vpn und durch Manipulation der Daten, wurde das p künstlich verkleinert. Was wurde hier gemacht?

Answer 5

p-hacking

Question 6

Was bedeutet der Begriff publication bias?

Answer 6

• Das i.d.R. nicht-signifikante Ergebnisse nicht publiziert werden
• Man schaut sich p-Kurve v. 0-5% an:
  
  • kleine p-Werte = wahrscheinlicher
  • große p-Werte = weniger wahrscheinlich
• Alle Studien zu einem Thema p-Werte nahe 5% = stimmt was nicht

Question 7

Mit welchen Methoden kann man p-hacking betreiben?

Answer 7

OUTCOME SWITCHING:

• Man misst mehrere AVs und berichtet nur von denen, die funktionieren
• AVs verdoppel die Rate, weil man zwei Chancen hat, einen Effekt zu finden
• 5 (unkorrelierte) AVs (einseitig), steigert Chance auf 41%

OPTIONAL STOPPING

• Daten erheben, bis Ergebnis signifikant ist

Question 8

Wie kann man p-hacking feststellen und das Problem lösen?

Answer 8

• p-Kurven-Analyse
  
  • (unter H0 ist die p-Kurve gleichverteilt (p-wert gleichwahrscheinlich)
  Lösungen:
  • Open Science → Daten allgemein zugänglich machen
  • Reanalysen zulassen → Studien Fehler in den Zahlen
  • Prä-Registrierung → Registriert Idee online, entspricht Erwartungen = nicht durch p-h. entstanden

Question 9

Wie kann ich kleine Effekte bewirken?

Answer 9

Mit einer großen Stichprobe wird es signifikant (mangelnde Effektstärke)

Question 10

Wie bekomme ich große Effekte?

Answer 10

Mit einer kleinen Stichprobe (Mangelnde Power)