VL 9/10 - Psychologie in der Krise Flashcards
Auslöser Replikationskrise
Open Science Collaboration
- Mittlere Effektstärke nur halb so groß wie in Originalarbeiten
- 97% der Originalstudien fanden sig. Effekte, aber nur 36% der Replikationen
- Nur 39% konnten “repliziert” werden
Confirmation Bias
Informationen/Argumente werden so selektiert, dass sie eigene Ansichten bestätigen.
Ursprung: Gewinn einer Auseinandersetzung zählt mehr als Vermittlung der Wahrheit
Publication Bias
- Bevorzügte Veröffentlichungen von Studien mit “positiven” bzw. signifikanten Ergebnissen
- Verzerrte Darstellung der empirischen Datenlage
- Ursache: Fachzeitschriften wollen neu und faszinierend sein
Direkte Replikation
Studien, welche die Methoden einer vorherigen Studie so exakt wie möglicht wiederholen.
Konzeptuelle Replikation
Studie, die versucht das Phänomen mithilfe einer alternativen Methode zu s untersuchen.
Vorsicht bei Konz. Replikationen
- Dasseble muss gemessen werden
- Keine konzeptuelle Falsifikation: nicht als Widerlegungen interpretieren
HARKing
- Hypothesizing After Results Are Known
Methoden gegen Verzerrung (3)
- Sensibiliserung für Verzerrung
- Study Preregistration
- Bayesche Verfahren schützen vor Publikationsverzerrungen
p-Hacking
Nutzung von Freiheitsgrade um signifikante Ergebnisse zu produzieren
Simons et al. (2011), Fehler 1. Art
Versteckte Flexibilität erhöht Rate der Fehler 1. Art von 5% auf 61%
Sequenzielles Testen
Analyse von Daten nach jeden Proband; aufhören nachdem Daten signifikant.
p-Hacking aufdecken
- individuelle Studie: schwierig: kann gedrückt oder natürlich sein
- großes Kollektiv: Große Anteil von Studien knapp unter 0.05
Verzerrte Fehlerbehebung
Bei multiplen Experimenten: Fehler sollte bei allen Experimente korrigieren werden; Fehler blind korrigieren
Explorative & konformative Analyse
Deutlich machen was explorativ und konfirmativ ist!
Methoden gegen versteckte Flexibilität
- Preregistration
- Erwähnen ob konfirmativ oder explorativ
- Offenlegung
- Veröffentlichung aller erhobenen Daten
Kritik zu Open Science
- Konkurrenzsituation
- Ethische Gründe
- Angst vor eigenen Fehlern in der Analyse
- Data fishing (willkürliches Auswählen von Daten für Analyse)
Gold OA (4)
Autor zahlt viel für die Publikation, die dann OA ist.
- langsame Etablierung
- Review Prozess bleibt erhalten
- keine Bedrohung für hochrangige Journals
- nur kurzfristig gut
Green OA (4)
Autor darf Post-Print OA veröffentlichen
- Konstengünstiger
- schneller als Gold OA
- bestehende Full OA Journals würden verschwinden
- langfristig gut
Open Science Framework
Arbeitsraum für privates/öffentlich sichtbares wiss. Arbeiten
Seltenheit Replikationen in der Psychologie
- ca. 1.6% verwenden das Wort “Replikation”
- nur 1.07% tatsächliche Replikationen
- Rate in den letzten Jahrzeihnt gestiegen
Mangelnder statistische Power
- Gefahr: Fehlende Power kann zur Verwerfung korrekter Hypothesen führen
Methoden gegen Unzuverlässigkeit
- Stärkung Replikationskultur
- Förderug Studien mit hoher statistischer Power
- Bayesche Hypothesentestung (zeigt bei 0-Ergbnisse an, ob Evidenz für H0 vorliegt; zeigt bei Signifikanz, wie stark die Evidenz für H1 ist)
- “Adversarial collaboration” Forscher mit widersprechenden Hypothesen einigen sich auf Design, welches Hypothesen gegeneinander testet
- Offenlegeung methodischer Details
