S2 Replikationskrise

Question 1

Reproduzierbarkeit (Def, 3 Ursachen)

Answer 1

• mit Rohdaten, Infos zu Verarbeitung und Analyse-Syntax muss andere Person in der Lage sein auf gleiches Ergebnis zu kommen, sonst: Fehlverhalten!
• Ursachen: mangelnde Sorgfalt, ungenügende/fehlerhafte Dokumentation, Absicht um unkorrektes Verhalten zu verschleiern

Question 2

Replizierbarkeit

(Def., Methoden, Voraussetzung, 6 Ursachen, 5 Replikationsziele & !!, 2 Arten von Replication, 2 unterschiedliche Fragestellungen)

Answer 2

• wenn Studie nochmals durchgeführt wird, soll möglichst das gleiche Ergebnis rauskommen
• Methoden müssen vollständig offengelegt werden
• Replikation setzt Reproduzierbarkeit praktisch voraus
• Ursachen wenn nich replizierbar: mangelnde Sorgfalt, Doku oder Absicht, Publikationsbias, Zufallsfehler, Bias in Methoden, Anreizsystem viel zu publizieren
• Ziele von Replikation:
  1. address sampling error (false positive results)
  2. control artifacts
  3. address research fraud
  4. generalise to populations
  5. test different procedure for same hypothesis
  !!! 1 Studie kann nicht alle Ziele in einem abdecken
• Arten von Replikation
  1. exact/direct replication (nichts verändern)
  2. conceptual replication (mit verbesserten Methoden)
• Unterschiedliche Fragestellungen:
  1. Widerspruch im Ergebnis zw. Original und Replikation?
  2. Insgesamt Evidenz für Effekt? -> alpha adjustieren!

Question 3

Investigator bias (Einflüsse, Fehlerart, in Replikation, Folge)

Answer 3

• Summe kleiner Einflüsse bei Studiendurchführung, wobei Verhalten Ergebnis beeinflusst
• system. Fehler weil Experimenter 1 Gruppe z.B. anders behandelt –> beeinflusst Effekt
• investigator bias in Replikation meist kleiner, weil Experimenter kein persönliches Interesse an Ausgang
• investigator bias kann dazu führen, dass bereits direct replication nicht gelingt

Question 4

Triangulierung

Answer 4

Versuche, durch systematische Änderungen in mehreren Studien Effektaustreten zu verstehen (surface area plot)