VL 9/10 - Psychologie in der Krise

Question 1

Auslöser Replikationskrise

Answer 1

Open Science Collaboration

• Mittlere Effektstärke nur halb so groß wie in Originalarbeiten
• 97% der Originalstudien fanden sig. Effekte, aber nur 36% der Replikationen
• Nur 39% konnten “repliziert” werden

Question 2

Confirmation Bias

Answer 2

Informationen/Argumente werden so selektiert, dass sie eigene Ansichten bestätigen.

Ursprung: Gewinn einer Auseinandersetzung zählt mehr als Vermittlung der Wahrheit

Question 3

Publication Bias

Answer 3

• Bevorzügte Veröffentlichungen von Studien mit “positiven” bzw. signifikanten Ergebnissen
• Verzerrte Darstellung der empirischen Datenlage
• Ursache: Fachzeitschriften wollen neu und faszinierend sein

Question 4

Direkte Replikation

Answer 4

Studien, welche die Methoden einer vorherigen Studie so exakt wie möglicht wiederholen.

Question 5

Konzeptuelle Replikation

Answer 5

Studie, die versucht das Phänomen mithilfe einer alternativen Methode zu s untersuchen.

Question 6

Vorsicht bei Konz. Replikationen

Answer 6

• Dasseble muss gemessen werden

- Keine konzeptuelle Falsifikation: nicht als Widerlegungen interpretieren

Question 7

HARKing

Answer 7

• Hypothesizing After Results Are Known

Question 8

Methoden gegen Verzerrung (3)

Answer 8

• Sensibiliserung für Verzerrung
• Study Preregistration
• Bayesche Verfahren schützen vor Publikationsverzerrungen

Question 9

p-Hacking

Answer 9

Nutzung von Freiheitsgrade um signifikante Ergebnisse zu produzieren

Question 10

Simons et al. (2011), Fehler 1. Art

Answer 10

Versteckte Flexibilität erhöht Rate der Fehler 1. Art von 5% auf 61%

Question 11

Sequenzielles Testen

Answer 11

Analyse von Daten nach jeden Proband; aufhören nachdem Daten signifikant.

Question 12

p-Hacking aufdecken

Answer 12

• individuelle Studie: schwierig: kann gedrückt oder natürlich sein
• großes Kollektiv: Große Anteil von Studien knapp unter 0.05

Question 13

Verzerrte Fehlerbehebung

Answer 13

Bei multiplen Experimenten: Fehler sollte bei allen Experimente korrigieren werden; Fehler blind korrigieren

Question 14

Explorative & konformative Analyse

Answer 14

Deutlich machen was explorativ und konfirmativ ist!

Question 15

Methoden gegen versteckte Flexibilität

Answer 15

• Preregistration
• Erwähnen ob konfirmativ oder explorativ
• Offenlegung
• Veröffentlichung aller erhobenen Daten

Question 16

Kritik zu Open Science

Answer 16

• Konkurrenzsituation
• Ethische Gründe
• Angst vor eigenen Fehlern in der Analyse
• Data fishing (willkürliches Auswählen von Daten für Analyse)

Question 17

Gold OA (4)

Answer 17

Autor zahlt viel für die Publikation, die dann OA ist.

• langsame Etablierung
• Review Prozess bleibt erhalten
• keine Bedrohung für hochrangige Journals
• nur kurzfristig gut

Question 18

Green OA (4)

Answer 18

Autor darf Post-Print OA veröffentlichen

• Konstengünstiger
• schneller als Gold OA
• bestehende Full OA Journals würden verschwinden
• langfristig gut

Question 19

Open Science Framework

Answer 19

Arbeitsraum für privates/öffentlich sichtbares wiss. Arbeiten

Question 20

Seltenheit Replikationen in der Psychologie

Answer 20

• ca. 1.6% verwenden das Wort “Replikation”
• nur 1.07% tatsächliche Replikationen
• Rate in den letzten Jahrzeihnt gestiegen

Question 21

Mangelnder statistische Power

Answer 21

• Gefahr: Fehlende Power kann zur Verwerfung korrekter Hypothesen führen

Question 22

Methoden gegen Unzuverlässigkeit

Answer 22

• Stärkung Replikationskultur
• Förderug Studien mit hoher statistischer Power
• Bayesche Hypothesentestung (zeigt bei 0-Ergbnisse an, ob Evidenz für H0 vorliegt; zeigt bei Signifikanz, wie stark die Evidenz für H1 ist)
• “Adversarial collaboration” Forscher mit widersprechenden Hypothesen einigen sich auf Design, welches Hypothesen gegeneinander testet
• Offenlegeung methodischer Details