Forschungspraktiken

Question 1

Was ist eine Replikationsstudie?

Answer 1

Studie, die versucht, das Ergebnis einer bestimmten Studie in einer unabhängigen Stichprobe zu reproduzieren

Question 2

Welche Arten von Replikationsstudien gibt es?

Answer 2

• direkte Replikation: Originalstudie wird bis ins Detail nachgestellt (Materialien, Ablauf, statistische Analysen, etc.)
• systematische Replikationen: nur kleine systematische Veränderungen der Studie
• konzeptuelle Replikation: veränderte Materialien, Abläufe, statistische Analysen
  
  • Idee: wenn Effekt robust ist, sollte er unabhängig von methodischen Details zu finden sein (Generalisierbarkeit)
  • Problem: wird der Effekt nicht reproduziert, gibt es viele Ausreden

Question 3

Wieso werden Replikationsstudien selten veröffentlicht?

Answer 3

• “einfach”: wenig Ansprüche an Kreativität & theoretisches/methodisches Wissen der Forscher
• tragen wenig zur eigenen Reputation bei, sind eher schädlich
• häufig prinzipiell nicht in Zeitschriften publiziert

Question 4

Publikationsbias

Answer 4

Grund für mangelnde Reproduzierbarkeit von Studien:

• starke Präferenz für statistisch signifikante Ergebnisse
• W’, einen Effekt aufzudecken ist 46%, aber 90% aller Studien sind signifikant
• Effektgrößen: je stärker ein Effekt, desto eher wird der Test signifikant
  
  • Effekte aber durch Stichprobenfehler mal über-/unterschätzt, sodass überschätzte Effekte eher publiziert, weil signifikant

Question 5

HARKing

Answer 5

Hypothesizing after Results are Known

Question 6

Ursachen für mangelnde Reproduzierbarkeit von Studien

Answer 6

• Publikationsbias
• Stichprobenfehler ➜ überschätzte Effektgrößen veröffentlicht
• Beeinflussung der Zusammensetzung der Stichprobe
• Auswahl & Zusammensetzung der Variablen
  
  • Verschweigen von AVs ohne Effekt, Ausschluss nicht hypothesenkonformer Items, Ein-/Ausschluss von Kovariaten bis signifikant
• statistische Auswertung: Wählen des Verfahrens mit “bestem” Ergebnis
• selektive Ergebnisübermittlung (Studien, Bedingungen ohen Effekt nicht berichtet, HARKing)
• p-Hacking

Question 7

Mögliche Lösungen

Answer 7

• Transparenz fördern (open data, open materials, Präregistrierung, …)
• Replikationsstudien fördern
• Infrastruktur (Open Science Framework, …)
• Anreize (Labels, Forderungen als Arbeitgeber, …)