Metaanalyse Flashcards

1
Q

Was ist die Grundidee der Metaanalyse?

A

Empirische SPV als Grundlage für die Schätzung des wahren Wertes

Vergleichbarkeit der Studien wichtig

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Was ist das Hauptergebnis der Metaanalyse?

A

Gewichtete mittlere Effektgröße aus den Effektgrößen mehrerer Studien

präzise Schätzung des jeweiligen Populationseffekts

Gewichtet an n

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Was sind wichtige Einflussgrößen?

A

n in Einzelstudien
Methodische Qualität
Inhaltliche Unterschiede

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Was ist die praktische Vorgehensweise?

A
  1. Literatursuche
  2. Auswahl relevanter Studien anhand festgelegter Kriterien (verbindlich!)
  3. Auswahl des Effektgrößenmaßes und Berechnung/Schätzung der Effektgröße für jede relevante Studie
  4. Überprüfung des Ergebnisses
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Wie sucht man geeignete Literatur?

A

Möglichst umfassende Suche!
* Psychologische Fachdatenbanken
* Manuelle Suche in Zeitschriften
* Rückwärtssuche (Literaturverzeichnis) –> Wer wurde in wichtigen Studien zitiert?
* Vorwärtssuche: Von wem wurden wichtige Artikel später zitiert?
* Direkte Umfrage, Recherche im Internet

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Was passiert bei der Auswahl relevanter Studien anhand festgelegter Kriterien?

A
  • Erstellen von Kriterien (inhaltlich und methodisch)
  • Vergleich der UVs und AVs
  • Kategorisierung nach potenziellen Moderatorvariablen –> evtl. Gewichtung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Wie geht man bei der Auswahl des Effektgrößenmaßes und Berechnung/Schätzung der Effektgröße für jede relevante Studie vor?

A

Nur eine (aggregierte) Effektgröße pro SP!
* Effektgrößenmaß: fast immer r oder d/g (im Zweifelsfall r, weil generell verwendbar)
* Berechnung aus Rohdaten und Signifikanztestergebnissen –> Konvertieren alternativer Maße
* An n gewichtete Effektgrößen mitteln und KI bestimmen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Wie überprüft man das Ergebnis?

A
  • Funnel-Plot (Zusammenhang zwischen Effektgröße und n bei einer Metaanalyse) –> Fehlen Größen aufgrund eines Publication Bias?
  • Fixed oder Random Effects? –> Psychometrische Metaanalyse
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Was sind Fixed Effects?

A

Es wird angenommen, dass alle Studien aus derselben Population stammen (oder dass zumindest die Effekte der Populationen, aus denen sie kommen, sich nicht unterscheiden)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Was sind Random Effects?

A

Man geht davon aus, dass in der Metaanalyse unterschiedliche Populationseffekte analysiert werden (realistischer als fixed effects!!)

Lösung: Psychometrische Metaanalyse –> Sind die Populationen homo- oder heterogen? Äpfel-Birnen-Problem

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Was macht man bei der Psychometrischen Metaanalyse?

A

Varianzen anschauen:
1. Varianz der Effektgröße = Varianz der wahren Werte + Fehlervarianz (klassische TT)
2. Innerhalb einer Population gilt: Varianz der Effektgröße - Fehlervarianz = ca. 0

–> sind dann die Varianzen der Effektgrößen der Subgruppen deutlich kleiner als die ursprüngliche Varianz der einen Effektgröße spricht das für eine unzulässige ursprüngliche Zusammenfassung der Studien

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Alternatives Random Effects Modell

Was ist die Annahme des Hedges-Olkin-Modells?

Marktführer

A

Populationsparameter sind normalverteilt um den Superpopulationsparameter herum.

Populationseffekte (wahre Wert) bilden Kontinuum und sind normalverteilt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

H-O-Modell

Wie werden die einzelnen Studien gewichtet?

A

Anhand der Varianz ihrer SPV und der Varianz der Superpopulation

W*i = 1 / Vi + r^2

Vi: Varianz der SPV für Populationsparameter i (Quadrat des SE) –> je größer ni, desto kleiner Vi, desto größer Wi (große SP werden stärker gewichtet)
T^2: Varianz des Superpopulationsparameters –> Je kleiner T^2 desto größer W
i (T^2 = 0, wenn es nur eine Population gibt –> fixed Effects)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Wie geht man beim H-O-Modell vor?

A

Auf Basis des Superpopulationsparameters T^2 ggf. Aufteilung der Studien in Subgruppen für getrennte Analysen.

Populationsparameter 1 –> Welche MW in einer Population herauskommen ist abh. von n
Superpopulationsparameter –> es kommt immer der gewichtete Wert raus

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Was ist die Trim&Fill Methode?

A

Iteratives nonparametrisches Schätzverfahren zur Korrektur von Publication Bias - im Moment umstritten

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Wie geht man bei der Trim & Fill Methode vor?

A
  1. Aus dem Funnel-Plot den asymmetrischen Teil abschneiden (trim)
  2. Auf der Grundlage der Effekte im abgeschnittenen Teil Anzahl der fehlenden Studien schätzen
  3. Ursprünglichen Funnel-Plot um geschätzte Effekte der fehlenden Studien ergänzen (fill) z.B. Spiegeln
17
Q

Was ist die p-Curve Methode?

A

Aus den Anteilen von signifikanten Ergebnissen für unterschiedliche p-Wert-Intervalle können selbst bei ausgeprägtem Publikation Bias Populationseffekte geschätzt werden

Idee: Nur sign. Effekte anschauen, sollten nicht verzerrt sein also 0-0.05
Aus Verteilung der p-Werte kann system. Effekt zurückgerechnet werden
abh. vom Effekt ergibt sich eine Charakteristische Kurve für den tatsächlichen Effekt in der Population

18
Q

Wie sieht ein Effekt bei der p-Curve Methode aus?

A

mehr signifikante Effekte in p-Wert-Intervallen mit kleineren p-Werten –> p-Curve ist wirklich eine Kurve

Kein Effekt: gleiche Anzahl von signifikanten Ergebnissen in allen (gleich großen) p-Wert Intervallen –> p-Curve ist eine Gerade

19
Q

Was sind potenzielle Probleme der Metaanalyse?

A

Publication Bias und P-Hacking
Müll Problem: Müll rein, Müll raus
* Ausschlusskriterium für Studien (z.B. ohne KG –> geringe interne Validität)
* Kodierung der Studien nach methodischer Qualität (getrennte Analyse)
* unterschiedliche Gewichtung

Äpfel und Birnen:
schwer vergleichbar, deutlich unterschiedliche Populationen
* Fixed vs. random effects: Untersuchen alle Studien wirklich dieselben Effekte?
* Lösung: Psychometrische Metaanalyse (Random Effects Modell) damit kann man das herausfinden; getrennte Analyse von UV und AV

Abhängigkeitsproblem:
* Eine Studie berichtet mehrere Effekte aus derselben SP
* jeweils ein aggregierter Wert pro Studie, sonst Übergewichtung einzelner Studien

20
Q

Wozu braucht man Funnel-Plots?

A

Ausmaß des Publication Bias ermitteln –> wenn große SE fehlen