Metaanalyse

Question 1

Wichtige Maße für Effektstärken

Answer 1

Wichtige Maße für Effektstärken:
- Korrelation r: Enge und Richtung der Zusammenhänge zwischen 2 Variablen.(-1 bis +1, 0=keine)
- Cohen’s d: Standardisierte Mittelwert, Unterschied zwischen 2 Gruppen.
d=2r / SQR (1-r2)
- Cohen’s f2(cuadrado): Maß für die zusätzliche Varianzerklärung durch eintritt (admission) neuer UV in der multiplen Regression.
f2 (block x) = delta R2 (block x) / (1 - R2)

Effekts:
- Schwache: r=0,10; d=0,20; f2=0,02
Mittlerer: r=0,30; d=0,50; f2=0,15
Starker: r=0,50; d=0,80; f2=0,35

Ergebnisse der Metaanalyse:

• Mittele Validität von r=0,35 genrealisierbar (Untergrenzen der 90%, credibility interval 0,21)
• Konsistente Prüfung von substanzieller Validität.

Question 2

Vorgehenweise

Answer 2

• Fragestellung: normalerweise ist ein explorative Prozess der Ergebnisse über bestimmte Thema
• Design: Kriterien und Kodierschema für Primärstudien im sample.
  . immer: Effektstärke, N, Quelle
  . fakultativ: Designmerkmale (Population, Messe, Design, usw) = Moderatoranalysen
• Erhebung (Survey): Recherchen von relevante Studien.
• Auswertung: unterschiedliche Variante. Typisch ist Metaanalyse nach Hunter & Schmidt.
• Interpretation: Effektstärke, Konsistenz

Question 3

Allgemeine Aussagen einer Metaanalse

Answer 3

• Abschätzung (estimate) des “wahren” Werte einer Effektstärke (zumeist von Mittelwert unterschieden oder einer Korrelation r)
• Abschätzung (estimate) des “wahren” Streuung nach Korrektur statistischer Artefakte.
• Suchen nach systematischen Einflussquellen, die die verbleibende Streuung nach der Korrektur erklären (moderator oder Subgruppen)
• Die Koeffizienten K mit ingesamt N Vpn werden in die Berrechnung einbezogen.
• Je größer K und N, desto signifikant die Metaanalyse ist.
• 1. Stichprobenfehler=sampling error (basiert auf N). 2. Ordnung (basiert auf k)

Question 4

Psycometrische Metaanalyse nach Hunter and Schmidt

Answer 4

1. Mittlere umkorrigierte Korrelation (Sigma Niroi/Sigma Ni)
2. Artefakt korrektur (für jeden Koeffizient einzelnen)
3. Berechnung der mittleren korrigierten Korrelation (True source correlation) Wi
4. Schätzung der nach Artefaktkorrektur verbleibende Streuung.
5. Überprüfung der gefundene Validität auf Generaliserbarkeit. Gilt > 75% Regel. Credibility interval 90%CV, der Nullpunkt nicht einschließt. (Es ist kein confidence interval). Oder relativ klein Varianz.
   Wenn große Varianz, dann gibt es Moderatoren.
6. Moderator Analyses (bilden Subgruppen, Berechnung eine neue Metaanalyse). Problem: kleine Stichproben.

Question 5

Probleme und Kritik der Metaanalyse

Answer 5

1. Publication Bias (Forschung mit Null-Ergebnisse werden nicht publiziert. Aber: geringe unterschiede zwischen publizierten und nicht publizierten Studien)
2. Äpfel und Birnen Problem (verschieden Ergebnisse, die nicht vergleichbar sind. Aber: diese Unterschiede kann durch Moderatoren quantifizieren)
3. Rasen Mäher Methode (verdeckt die Besonderheiten die Primärstudien. Aber: Metaanlyse ist eine alternativ zu narrativ (tradizionelle) Studien, nicht zur Primärstudien.
4. überinterpretation (Metaanalyse letzte Worten und stoppen die Forschung).