Metaanalyse Flashcards
Was ist eine Metaanalyse?
= Gruppe von Verfahren zur systematischen quantitativen Zusammenfassung von Untersuchungsergebnissen
Zusammenfassung von Primärstudien eines Themas zu Metadaten mithilfe statistischer Mittel
–> Forschungssynthese, Interpretative Aggregation zu einer Gesamtaussage, Studien als Untersuchungseinheit
Bei der Metanalyse wird nicht mit den Originaldatensätzen gearbeitet, sondern ausschließlich mit mit den Ergebnisberichten der Primärstudien.
Narratives Review vs. systematisches Review vs. Metaanalyse
+ Vorteile der Metaanalyse
Narratives Review (literature review): Vorstellung/Vergleich/kritische Diskussion der einschlägigen Literatur
Systematisches Review: kritische Würdigung früherer Forschungsdaten
–> Problem: begrenzte kognitive Kapazitäten & Subjektivität und Intransparenz
Metanalyse: Rechnerische Zusammenfassung von statistischen Befunden (Effektgrößen)
- transparente Regeln für Suche nach Studien
- festgelegte Kriterien für Inklusion/Exklusion
- Angabe & Definition der Kriterien und Vergleichsdimensionen
- intersubjektiv nachvollziehbare Kodierung von Studien und Moderatorvariablen & Gewichtung und statistische Analyse der Studienergebnisse
Nachteil: Kriterien verringern Anzahl der aufgenommenen Studien
Beispiele für den Erkenntnisgewinn durch eine Metaanalyse
- gleicht Unsicherheiten (A und B Fehler) in Primärstudien aus –> “Mittelwert” aus bisherigen Studien zum einem Gegenstandsbereich
- kann Problem einer niedrigen Teststärke lösen (großer, unvermeidbarer B Fehler in Primärstudien)
-> liefern wissenschaftliche Grundlage für Entscheidungen im Anwendungskontext
-> wichtiger Schritt von der Grundlagenforschung zur technologischen Forschung & Anwendung
Ziele der Metaanalyse
Gesamteffekt = gewichteter Mittelwert der Effektgrößenmaßen der einzelnen Primärstudien welcher den Gesamteffekt in der Population schätzt
–> Signifikanztest für den Gesamteffekt
–> Effektgrößenschätzung des Gesamteffekts (Punkt- & Intervallschätzung)
Moderatorvariable = Variable C, von der abhängt, wie der Effekt einer Variable A auf eine Variable B ausfällt
–> kategoriale oder kontinuierliche Moderatorvariable
–> Moderator-/Subgruppenanalyse = Identifikation derjenigen Moderatoren, die den Effekt stärker oder schwächer ausfallen lassen
–> bei heterogenen Primäreffektgrößen
9 Schritte der Metaanalyse (Döring, 2023)
(1) Formulierung der Forschungsfrage der Metaanalyse
- Definition der Fragestellung und Festlegung transparenter Kriterien zur Auswahl der Studien
(2) Such nach inhaltlich einschlägigen Primärstudien
(3) Auswahl und Kodierung der methodisch geeigneten Primärstudien
- systematische Extraktion der nötigen Information aus den Studien; explizite Angabe und Definition der Kriterien & Vergleichsdimensionen; intersubjektiv nachvollziehbare Kodierung von Studien & Moderatorvariablen
(4) Wahl des metaanalystischen Modells
(5) Berechnung einheitlicher Effektgrößenmaße für alle Primärstudien
(6) Berechnung & Signifikanzprüfung des Gesamteffekts
- intersubjektiv nachvollziehbare Gewichtung & statistische Analyse der Studienergebnisse
(7) Prüfung der Homogenität der einzelnen Effektgrößen der Primärstudien
(8) Moderator-/Subgruppenanalyse bei Heterogenität der Effektgrößen
(9) Ergebnisinterpretation und -präsentation der Metananalyse
Homogene und heterogene Effektgrößen
Effektgröße = statistische Kennzahl für Größe und Richtung eines empirischen Effekts (z.B., Mittelwertsdifferenz, Gruppenunterschied, Korrelation etc.)
Homogene Effektgrößen: alle Effekte sind in etwa gleich groß und gleichgerichtet
Heterogene Effektgrößen: einige Effekte fallen größer/kleiner aus und/oder gehen in untersch. Richtungen
–> bei heterogenen Effektgrößen: Überprüfung auf Moderatorvariable(n)
Warum zählt man bei der Metaanalyse nicht einfach die Anzahl der signifikanten und nicht-signifikanten Ergebnisse?
Warum aggregiert man nicht einfach die p-Werte?
Die Signifikanz (p-Wert) ist abhängig von Effektgröße und Stichprobenumfang. Ein nicht-signifikantes Ergebnis bedeutet nicht, dass es keinen Effekt gibt. –> keine b-Fehlerkontrolle
Es interessiert die Größe des Effekts und nicht die (Nicht-)Existenz eines beliebig großen Effekts. Außerdem können gleiche Effektgrößen untersch. p-Werte und gleiche p-Werte untersch. Effektgrößen aufweisen. Es besteht auch ein negativer Zusammenhang zwischen p-Wert und Effektgröße. (Auf der Interpretationsebene: Ein größerer Effekt (besser), ist mit einem höheren p-Wert (schlechter) assoziiert.)
Typische grafische Formen der Ergebnisdarstellung in Metaanalysen
- Flowchart (Ablaufdiagramm)
- Forest-Plot (Effektstärke (y) der einzelnen Studien (x) inklusive Konfidenzintervall und allg. common-effects model & random-effects model)
- Bubble-Plot mit kategorialem/kontinuierlichem Moderator (x-Moderator; y-Effektgröße)
- Funnel-Plot (x-Effektgröße; y-Precision)
Literaturrecherche - Ausgangspunkt, Kriterien, Ziel
Ausgangspunkt: Problemstellung/Fragestellung der Metaanalyse
Kriterien:
Inhaltlich: ergeben sich aus Fragestellung
Methodisch: ergeben auch aus Anforderungen an Qualität der Studien (z.B., randomisierte Zuweisung)
Ziel: Finden aller relevanten Studien, die die Kriterien erfüllen
–> Ist die gefundene Stichprobe repräsentativ? (bei Untersuchung von Teilgruppen, müssen Moderatoren schon im Voraus bekannt sein)
–> Mögliche Beschränkung? (z.B., nur Studien, die nach der letzten Metaanalyse publiziert wurden)
–> Umfang/Breite der untersuchten Studienpopulation beeinflusst Interpretierbarkeit der Ergebnisse
Quellen (Vorgehen) bei der Literaturrecherche
- Stichwortrecherche in elektronischen Datenbanken
- Referenzen in Reviews
- Referenzen in einzelnen Studien
- Einschlägige Fachzeitschriften
- Programme und Abstractbände von Tagungen und Konferenzen
- Kontaktieren von Autor*innen einschlägiger Studien (z.B., (noch) unveröffentlichte Datensätze)
- Forschungsorganisationen
Publikationsbias in der Literaturrecherche für die Metaanalyse
= statistisch verzerrte Darstellung der Datenlage in wissenschaftlichen Zeitschriften infolge einer bevorzugten Veröffentlichung von Studien mit positiven Befunden/signifikanten Ergebnissen
- größere Stichproben liefern präzisere Schätzungen (kleinere Standardfehler) & kleinere Stichproben liefern (trotz vorhandenem Effekt) manchmal nicht signifikante Ergebnisse, die dann nicht veröffentlich werden
–> Verzerrung metaanalytischer Ergebnisse (die Ergebnisse der Studien mit kleineren Stichproben würden die Effektgröße verringern)
Datenextraktion und (Moderator-)Kodierung
+ methodische Aspekte
Datenextraktion = Auswahl der Primärstudien & Berechnung der Effektgrößen
Kodierung = Anwendung eines Kodierschemas zur Einteilung der Primärstudien
–> standardisierter Fragebogen mit geschlossenen Fragen (“an die Studie”)
Methodische Aspekte:
- sorgfältige Entwicklung des Kodierschemas
- Training der Kodierer
- Bestimmung von Vollständigkeit, Reliabilität und Validität der Kodierung
Kriterien für die Wahl eines Effektgrößenmaßes & Konvertierung versch. Effektgrößenmaße
Kriterien:
- Effektgrößenmaß soll aus den Angaben der meisten Studien ermittelbar sein (keine Reanalysen) –> z.B., Cohens d, da Mittelwert und Standardabweichung stets berichtet werden
- Effektgrößenmaß soll inhaltlich interpretierbar sein bzw. für alle Forschenden in diesem Gebiet direkt verständlich sein
Konvertierung: versch. Effektgrößenmaße können ineinander überführt werden (z.B., Cohens d in Cohens f oder r)
Maße der Effektgröße für Mittelwertunterschiede
D=X(mittel)1-X(mittel)2
- unstandardisierte Mittelwertsdifferenz (Vergleich von zwei Mittelwerten in Einheiten der Rohdaten)
- sinnvoll, wenn: alle Studien dieselbe AV/Skala verwenden; die Skala selbst bedeutungsvoll ist; die Skala inhaltlich interpretiert werden kann
Cohens d = (X(mittel)1-X(mittel)2) / S
- standardisierte Mittelwertdifferenz (Vergleich von zwei Mittelwerten in Standardabweichungseinheiten)
- sinnvoll, wenn: verschiedene AVs/Skalen verglichen werden
- Vorteil: Interpretierbarkeit in SD-Einheiten (unabhängig von Skala)
- Problem: Tendenz, die wahre Effektgröße in der Population zu überschätzen
- Korrektur: Hedges’ g
Stichprobenumfang, Standardfehler
Stichprobenumfang = N = Anzahl der ausgewählten Untersuchungsobjekte in einer Primärstudie
Standardfehler = SE = Sigma(Xmittel) = Sigma(X)/Wurzel aus N = SD der Stichprobenkennwerteverteilung
Fehlervarianz, Präzision & Konfidenzintervall
Fehlervarianz = V = quadrierte Sigma(Xmittel) = quadrierter Standardfehler (liefert Information über die Präzision, mit der die Effektgröße in einer gegebenen Studie geschätzt wurde)
Präzision = 1/V = 1/quadriertes Sigma(Xmittel) = Kehrwert (Inverse) der Fehlervarianz
Wie hängt die Präzision einzelner Primärstudien mit der Berechnung des Gesamteffekts der Metaanalyse zusammen?
Präzision = 1/V = 1/quadriertes Sigma(Xmittel) = Kehrwert (Inverse) der Fehlervarianz
- abhängig von Stichprobenumfang und Design der Untersuchung
- wird verwendet, um die Gesamteffektgröße zu berechnen –> Gewichtung der einzelnen Effektgrößen
- Effekt mit kleiner Varianz –> hohe Präzision –> erhält größeres Gewicht bei Berechnung des Gesamteffekt
- Effekt mit großer Varianz –> niedrige Präzision –> erhält kleineres Gewicht bei Berechnung des Gesamteffekts
Konfidenzintervall für die wahre Effektgröße einer Primärgröße
Konfidenzintervall = CI = [d-1.96SE, d+1.96SE], SE=Standardfehler
–> Intervall, in dem mit einer Wahrscheinlichkeit von 95% die wahre Effektgröße
Einflussfaktoren der Präzision
Stichprobenumfang:
- größere Stichprobe –> kleinere Varianz (SE, CI) der Effektgröße –> größere Präzision
Studiendesigns:
- abhängige Stichproben mit hoher Korrelation –> kleinere Varianz (SE, CI) der Effektgröße –> größere Präzision
Effektgrößen mit größerer Präzision wird in der Metaanalyse stärker gewichtet.
Berechnung der Effektgrößen D, Cohens d, Hedges’ g (Effektgröße und Varianz)
Lösung in Handygalerie
Funktion des Funnel-Plots
Funnel-Plot / Beggs Plot = Art des Scatterplots zur Entdeckung von Publikationsbias in Metaanalysen
Visuelle Inferenz (über Asymmetrie):
x-Achse: Maß der Effektgröße (z.B., Hedges’ g, log-Odds-Ratio)
y-Achse: Maß der Studiengüte (v.a. Standardfehler, Stichprobenumfang, Präzision)
–> Datenpunkte sollten sich wie ein Trichter/Dreieck anordnen
Statistische Inferenz (über Intercept und Slope):
- Test des Intercepts einer linearen Regression der Effektgröße/Standardfehler auf ihre Präzision
–> Intercept = 0: kein Hinweis auf Publikationsbias
–> Intercept > 0: Hinweis auf Publikationsbias - Test des Slopes einer linearen Regression der Effektgröße auf ihre Standardfehler
–> Slope = 0: kein Hinweis auf Publikationsbias
–> Slope > 0: Hinweis auf Publikationsbias
(Wenn Slope = 0, dann sind die Effektgrößen jedes Standardfehlers gleichmäßig um die mittlere Effektgröße gestreut. (Koordinatensystem drehen))
Effektmodelle der Metaanalyse
= Modell zur Bestimmung der Gewichtungsfaktoren der Ergebnisse der einzelne Primärstudien (zur Bestimmung des Gesamteffekts)
Fixed-effects-Modell:
- Studien bilden einen wahren Populationseffekt ab (daher eher: fixed-effect-Modell im Singular oder common-effect Modell)
- Eine Quelle der Varianz: unterschiedliche Effektgrößen wegen Stichprobenfehler
- In Gewichtung geht nur der Stichprobenumfang ein.
- kleine Stichprobe in Primärstudie –> großer Stichprobenfehler –> geringe Gewichtung in Metaanalyse
Random-effects-Modell:
- In jeder Studie ist der wahre Populationseffekt unterschiedlich groß (daher: Random-effects-Modell im Plural).
- Zwei Quellen der Varianz: unterschiedliche Effektgrößen wegen unterschiedlichen Studien und Stichprobenfehler.
- kleine Stichprobe in Primärstudie –> großer Stichprobenfehler –> geringe Gewichtung in Metaanalyse
- abweichender Effekt in Primärstudie –> wichtige Information –> höhere Gewichtung in Metaanalyse
–> in Gewichtung geht der Stichprobenumfang und die Abweichung einer Primärstudie von anderen Primärstudien ein
Mixed-effects-Modell
–> beide Modelle gemischt
Was ist ein wahrer Effekt? Was ist ein Stichprobenfehler?
Welche Annahme unterliegt dem wahren Effekt und dem Stichprobenfehler innerhalb eines fixed-effect(s)-Modells?
wahrer Effekt = unbekannte Effektgröße in der Population
Annahme - wahrer Effekt: Es gibt eine wahre Effektgröße theta, die allen Studien zugrunde liegt. Dieser wahre Effekt ist also konstant über Studien hinweg.
Stichprobenfehler = Abweichung der beobachteten Effektgröße von der wahren Effektgröße
Annahme - Stichprobenfehler: Fehler (Epsilon) variieren zwischen Studien und sind normalverteilt. Bei unendlich großen Stichproben sollte der in einer Studie beobachtete Effekt gleich dem wahren Effekt sein.
Y(i) = theta + epsilon(i)
Welche Annahme unterliegt dem wahren Effekt und dem Stichprobenfehler innerhalb eines random-effects-Modells?
Wahre Effekte = unbekannte Effektgrößen in der Population
Annahme - wahre Effekte: Jede Studie hat ihre eigene wahre Effektgröße theta(i), die aus einer Verteilung der wahren Effektgrößen mit Mittelwert mü stammt. Die Größe des wahren Effekts unterscheidet sich zwischen Studien und hängt z.B., von Eigenschaften der Studie oder der Stichprobe ab.
Stichprobenfehler = Abweichung der beobachteten Effektgröße von der wahren Effektgröße
Annahme - Stichprobenfehler Epsilon:
- Fehler Epsilon(i) variieren zwischen Studien. Bei unendlich großen Stichproben sollte der in einer Studie beobachtete Effekt gleich dem wahren Effekt sein.
Zeta(i): Abweichung des wahren Effekts der Studie i vom Gesamtmittelwert der Verteilung
