VL 10 - Metaanalyse 3 Flashcards
Was ist das Ziel eines Modells mit festem Effekt?
Schätzung EINES wahren Effekts
Wie ist das Vorgehen eines Modells mit festem Effekt?
kleine Studien erhalten kleines Gewicht
Was ist der Anwendungsfall eines Modells mit festem Effekt?
wenn alle Studien identisch sind UND man sich für den Effekt in einer Population interessiert
(ODER wenn die Anzahl der Studien gering ist)
Was ist ein Beispiel für eine Metaanalyse mit einem Modell mit festem Effekt?
Studien zur Wirkung eines Migränemedikaments (nur Patientinnen mit einer bestimmten Migräneform und alle erhalten die gleiche Dosierung)
Was ist das Ziel eines Modells mit Zufallseffekten?
Schätzung des Mittelwerts einer VERTEILUNG von wahren Effekten
Was ist das Vorgehen eines Modells mit Zufallseffekten?
kleine Studien erhalten (relativ) größeres Gewicht, da sie u.U. wichtige Informationen enthalten
Was ist der Anwendungsfall eines Modells mit Zufallseffekten?
wenn die Studien von unterschiedlichen Forscherteams durchgeführt ODER unterschiedliche Populationen untersucht wurden
Was wird bei einem Modell mit Zufallseffekten durchgeführt falls unterschiedliche Populationen relevant sind?
Metaanalyse innerhalb der Subgruppe
Was ist ein Beispiel für eine Metaanalyse mit einem Modell mit Zufallseffekt?
Studien zur Wirkung eines Migränemedikaments (Patient*innen mit unterschiedlichen Migräneformen oder unterschiedlichen Dosierungen)
Was wird vor einer Homogenitätsanalyse zuerst gemacht?
Berechnung der mittleren Effektgröße
Wozu wird die Varianz der wahren Effekte im Modell mit Zufallseffekten nur verwendet?
um mittlere Effektgröße verzerrungsfrei zu schätzen
Auf was ist der Fokus bei der Homogenitätsanalyse?
auf Varianz der wahren Effekte
Was untersucht die Homogenitätsanalyse?
ob Effektstärken homogen vs. heterogen (variabel) sind
Woraus besteht die Gesamtvarianz?
= Varianz der wahren Effekte + Fehlervarianz
Woraus besteht die Varianz des wahren Effekts bei einem festen Effekt?
= Unterschiede zwischen Gruppen von Effektgrößen
Woraus besteht die Varianz des wahren Effekts bei einem Zufallseffekt?
= Unterschiede zwischen verschiedenen Gruppen von Effektgrößen + Unterschiede zwischen den einzelnen Effektgrößen innerhalb der Gruppen
Was ist die inhaltliche Frage einer Homogenitätsanalyse? (2)
- Sind die Effekte über alle Studien hinweg gleich groß?
- Ist die Intervention in allen Studien (d.h. in verschiedenen Stichproben, Settings, UVs, AVs) gleich wirksam?
Was ist die Frage der Homogenitätsanalyse?
Ist die Varianz der wahren Effektgrößen größer als die Fehlervarianz?
Was sind die 4 Schritte bei der Homogenitätsanalyse?
1.) Berechnung der beobachteten Gesamtvarianz Q (Modell mit festen Effekten)
2.) Schätzung der erwarteten Gesamtvarianz unter Homogenitätsannahme
3.) Schätzung der Größe der Heterogenität (d.h. der Varianz wahrer Effekte)
4.) Signifikanzprüfung (Homogenitätstest)
Was ist die bei Homogenität erwartete Gesamtvarianz?
df= k - 1
Was ist die Heterogenität? (2)
= Q-df
= Differenz zwischen beobachteter und per Zufall erwarteter Gesamtvarianz
Was ist der Anteil der Heterogenität an der Gesamtvarianz?
= I² = Q-df/Q
Welche statistische Frage prüft der Homogenitätstest?
“Wie wahrscheinlich ist eine Gesamtvarianz extremer als Q unter der H0 homogener Effekte?”
Was für ein statistischer Test ist der Homogenitätstest?
x²-Test von Q (Gesamtvarianz) mit df= k-1
Von was ist das Ergebnis des Homogenitätstest abhängig? (3)
- Varianz innerhalb Studien
- Varianz zwischen Studien
- Anzahl der Studien
Wie weit verbreitet ist Heterogenität?
Heterogenität in ca. 96% der Metaanalysen
Wie groß ist die Heterogenität?
ca. dreimal so groß wie Stichprobenfehler
Was sind 2 Probleme des Homogenitätstests?
- Homogenitätstest hat geringe Power
- Vergleich von Äpfel & Birnen (Metaanalysen vergleichen verschiedene “wahre” Effekte)
Was impliziert das Problem, dass der Homogenitätstest eine geringe Power hat?
Nicht signifikanter Q-Test bedeutet nicht, dass Heterogenität abwesend ist
Wann hat der Homogenitätstest eine geringe Teststärke? (2)
- bei geringer Studienzahl
- bei großer Varianz innerhalb der Studien (z.B. kleine Stichproben)
Was ist die Lösung für das Problem, dass der Homogenitätstest eine geringe Power hat?
Anteil der Heterogenität an der Gesamtvarianz anschauen -> “Ist I² groß oder klein?”
Was ist die Lösung für das Problem, dass der Homogenitätstest Äpfel & Birnen vergleicht (d.h., dass Metaanalysen verschiedene “wahre” Effekte vergleicht)?
Moderatorvariablen können Heterogenität erklären
Was bedeutet es wenn Effektgrößen heterogen sind? (2)
= es gibt systematische Varianz zwischen den Studien
= die Effekte in einigen Studien (einer Subgruppe) unterscheiden sich von denen in anderen Studien (einer anderen Subgruppe)
Welche Faktoren können heterogene Effektgrößen erklären? (3)
=> Suche nach Moderatorvariablen
- potentielle Moderatoren: alle Eigenschaften der Studie (z.B. Treatment, Untersuchungsmethode, Stichprobe, Auswertungsmethode)
- eine (kategoriale) Moderatorvariable unterteilt die Studien in Subgruppen (z.B. solche mit Treatment A vs. solche mit Treatment B)
Wie kann man die Hypothese prüfen, dass die Moderatorvariable (k)einen Einfluss auf die Effektgröße der Studien hat?
Vergleich der mittleren Effektgröße der Subgruppen
Mit welchem Test kann man zwei Gruppen von Studien in einem Modell mit festem Effekt vergleichen? H0?
- z-Test
- H0: “Die wahre Effektgröße ist für beide Gruppen gleich.”
Mit welchem Test kann man mehrere Gruppen von Studien in einem Modell mit festem Effekt vergleichen? H0?
- Q-Test
- H0: “Die wahre Effektgröße ist für alle Gruppen gleich.”
Was ist die Gesamtvariabilität beim Q-Test?
= Variabilität zwischen den Subgruppen + Variabilität innerhalb der Subgruppen
Mit welchen Tests kann man Gruppen von Studien in einem Modell mit Zufallseffekten vergleichen?
- gleiches Vorgehen wie im Modell mit festen Effekten
- basierend auf anderen Schätzern der mittleren Effekte & Varianzen/Gewichte (wie anhand des Modells mit Zufallseffekten ermittelt!)
Was ist eine Annahme von Tests von Gruppenvergleichen in einem Modell mit Zufallseffekten?
Heterogenität liegt vor (=Subgruppen mit unterschiedlichen Verteilungen der wahren Effekte)
Welche zwei Varianten von Tests für Gruppen von Studien in einem Modell mit Zufallseffekten gibt es?
1. gemeinsamer (gepoolter) T²-Schätzer für die Subgruppen: MITTELWERTE der Verteilungen der wahren Effekte unterscheiden sich
2. separate T²-Schätzer für die Subgruppen: MITTELWERTE & VARIANZEN der Verteilungen der wahren Effekte unterscheiden sich
-> nur wenn ausreichend viele Studien in jeder Subgruppe vorhanden (k>5)
Wie kann man bei einer Literaturrecherche den Ein- & Ausschluss von Artikeln und Studien z.B. präsentieren?
Flowchart
Wie kann man Effektgrößen (gesamt & für relevante Subgruppen) z.B. präsentieren?
Forest-Plot & Tabelle
Wie kann man Ergebnisse der Moderatoranalysen z.B. präsentieren?
- Forest-Plot und Tabelle
- Bubble-Plot
Was sind 3 Probleme der Ergebnisinterpretation von Metaanalysen?
- Vergleich von Äpfel & Birnen
- GIGO (=garbage in, garbage out)
- Verzerrung durch Publikationsbias
Was ist das Problem, eine Identifikation und Lösung für das Problem vom “Vergleich von Äpfel und Birnen”?
- Problem: Vergleich von (sehr) unterschiedlichen Studien (d.h. Effekte stammen aus unterschiedlichen theoretischen Verteilungen)
- Identifikation: durch Moderatoranalysen (falls kritischer Moderator bekannt)
- Lösung: Aufstellung einer präzisen theoretischen Fragestellung, um Ein- vs. Ausschlusskriterien (bzw. kritische Moderatorvariable) zu definieren
Was ist das Problem, eine Identifikation und Lösung für das Problem “garbage in, garbage out”?
- Problem: (zu) geringe methodische Qualität der Studien für sinnvolle Interpretation
- Identifikation: durch Moderatoranalyse (Variablen methodischer Qualität)
- Lösung: gezielter Einschluss methodisch hochwertiger Studien (bzw. nachträgliche Beschränkung auf Ergebnisse aus Studien mit hoher Qualität)
Wie kann man einen Publikationsbias untersuchen?
= Regression von Effektgröße (y-Achse) auf Publikationsjahr (x-Achse) zur Beurteilung, ob das Publikationsjahr die Größe des Effekts moderierte (Moderatoranalyse)
Was bedeutet ein negativer Slope der Regression wenn man untersucht ob ein Publikationsbias vorliegt?
Effekt nimmt über die Zeit ab, wenn es sich bei den ersten Schätzungen um falsch positive Ergebnisse handelt, die anschließend nicht reproduziert werden können (Bsp.: Partnerpräferenz)
Was bedeutet ein horizontaler Slope der Regression wenn man untersucht ob ein Publikationsbias vorliegt?
Effekt bleibt über die Zeit stabil, wenn es sich bei den ersten Schätzungen um richtig positive Ergebnisse handelt, die anschließend reproduziert werden können (z.B. Testing-Effekt)
Was ist ein Publikationsbias?
Publizierte Studien haben größere (signifikante) Effekte & kleinere (n.s.) Effekte fehlen
Wie kann man einen Publikationsbias entdecken? (2 Detektionsalgorithmen)
- Publikationsbias-Analysen (z.B. Symmetrie im Funnel-Plot)
- Moderatoranalysen (kategorial: publiziert vs. nicht-publiziert; kontinuierlich: Publikationsjahr)
Wie kann man einen Publikationsbias korrigieren? (4 Korrekturalgorithmen)
- Wiederherstellung der Symmetrie im Funnel-Plot (z.B. Trim-and-Fill)
- Funnel-Plot-Regressionsanalyse (z.B. PET/PEESE = Extrapolation zur “perfekten” Studie)
- Anschauen der p-Curve (=Verteilung der p-Werte; Nulleffekt: uniforme Verteilung; realer Effekt: linkssteile Verteilung)
- Selektionsmodell: Zufallseffekte plus WS, n.s. Effekte zu publizieren
Wie kann man einen Publikationsbias korrigieren? (OHNE statistische Tests)
gezielte Auswahl von Studien mit ergebnisunabhängiger Publikation (z.B. registered reports)
Wie sind Detektionsalgorithmen zu bewerten?
können Bias (ja/nein) zuverlässig entdecken, aber Ausmaß des Bias wird nicht präzise geschätzt
Wie sind Korrekturalgorithmen zu bewerten?
Korrektur des Bias (d.h. Schätzung wahrer Effektgröße) NICHT zuverlässig möglich
Worauf liegt der Fokus von Metaanalysen?
auf der quantitativen Analyse der Effektgrößen
(-> Wie groß ist der mittlere Effekt? Die Heterogenität der Effekte?
-> Welche Moderatorvariablen beeinflussen Richtung & Größe des Effekts?)
Inwieweit bietet die Metaanalyse eine Perspektive auf den Forschungsprozess? (2)
- ihre Antworten liefern Grundlage für anwendungsorientierte Forschung
- im Anschluss können Interventionen entwickelt und erprobt werden (-> Evaluationsforschung)
