VL 9 - Metaanalyse 2 Flashcards
Was sind die Kriterien für die Wahl eines Effektgrößenmaß? (2)
- soll aus den Angaben der meisten Studien ermittelbar sein
- soll inhaltlich interpretierbar sein (bzw. für alle Forschenden in diesem Gebiet direkt verständlich sein)
Welche Effektgrößen für Mittelwertsunterschiede gibt es? (3)
- Differenz D
- Cohen’s d
- Hedges’ g
Welche Effektgrößen für Zusammenhänge gibt es? (2)
- Produkt-Moment-Korrelation r
- Spearmans Rangkorrelation rs
Wann wird Cohens d als Effektgröße für Mittelwertsunterschiede verwendet?
wenn es inhaltlich um den Vergleich der zentralen Tendenz von zwei Bedingungen geht
Wann wird die Produkt-Moment-Korrelation r als Effektgröße für Zusammenhänge verwendet?
wenn es um den Zusammenhang von zwei intervallskalierten Variablen geht
Können verschiedene Effektgrößenmaße ineinander überführt werden?
Ja, z.B. Cohens d in Cohens f oder r
Wann ist eine unstandardisierte Mittelwertdifferenz (=Vergleich zweier Mittelwerte in Einheiten der Rohdaten) sinnvoll? (3)
Wenn…
- alle Studien dieselbe AV/Skala verwendet
- die Skala selbst bedeutungsvoll ist (z.B. Alter, Anzahl)
- die Skala inhaltlich interpretiert werden kann (z.B. bei weit verbreiteten Maßen wie IQ)
Was ist Cohens d mathematisch?
standardisierte Mittelwertdifferenz (Vergleich von zwei Mittelwerten in Standardabweichungseinheiten)
-> Verwendung der gepoolten SD
Wann ist die Verwendung von Cohens d sinnvoll?
wenn verschiedene AVs/Skalen verglichen werden (z.B. Ratingskala von 0 bis 10 vs. von -3 bis +3)
–> weil es ein standardisiertes Maß ist
Was ist ein Vorteil von Cohens d?
Interpretierbarkeit in SD-Einheiten (unabhängig von Skala)
Was ist ein Problem von Cohens d?
Tendenz, die wahre Effektgröße in der Population zu überschätzen
Was verwendet man um Cohens d zu korrigieren?
Hedges’ g (= Korrekturfaktor J x Cohen’s d)
Definition: Standardfehler (SE)
SD der Stichprobenkennwerteverteilung
Definition: Fehlervarianz (V)
quadrierter Standardfehler
Worüber liefert die Fehlervarianz (V) Informationen?
über die Präzision, mit der die Effektgröße in einer gegebenen Studie geschätzt wurde
Definition: Präzision
Kehrwert (Inverse) der Fehlervarianz (=1/v)
Von was ist die Präzision abhängig? (2)
- Stichprobenumfang N
- Design der Untersuchung
Warum wird die Präzision verwendet?
um die Gesamteffektgröße zu berechnen (die einzelnen Effektgrößen zu gewichten)
Wie hängt Präzision mit jeweils einem Effekt mit kleiner Varianz und einem mit großer Varianz zusammen?
- Effekt mit kleiner Varianz -> hohe Präzision -> erhält größeres Gewicht bei Berechnung des Gesamteffekts
- Effekt mit großer Varianz -> niedrige Präzision -> erhält kleineres Gewicht bei Berechnung des Gesamteffekts
Definition: Konfidenzintervall
Intervall, in dem mit 95% Wahrscheinlichkeit die wahre Effektgröße liegt
Wieso hat der Stichprobenumfang N Einfluss auf die Präzision? (3)
- Effektgröße aus großer Stichprobe hat kleinere Varianz
- kleinere Varianz (SE, CI) bedeutet größere Präzision
- Effektgröße mit größerer Präzision wird in Metaanalyse stärker gewichtet
Wieso hat das Studiendesign Einfluss auf die Präzision? (3)
- Effektgröße aus abhängigen Stichproben mit hoher Korrelation hat kleinere Varianz
- kleinere Varianz (SE, CI) bedeutet größere Präzision
- Effektgröße mit größerer Präzision wird in Metaanalyse stärker gewichtet
Wie wird Hedges’ g berechnet?
g = Cohen’s d * J
- J= Korrekturfaktor
Wozu wird ein Funnel-Plot verwendet?
Art des Scatterplots zur Entdeckung von Publikationsbias in Metaanalysen
Was ist auf der x-Achse des Funnel-Plots?
Maß der Effektgröße (z.B. Hedges’ g, log-odds-ratio)
Was ist auf der y-Achse des Funnel-Plots?
Maß der Studiengüte (v.a. Standardfehler, Stichprobenumfang, Präzision)
Wie sollte ein Funnel-Plot aussehen der KEINEN Hinweis auf einen Publikationsbias gibt?
Datenpunkte sollten sich wie ein Trichter/ Dreieck anordnen
Was sollte man statistisch über den Intercept bei einem Funnel-Plot über einen möglichen Publikationsbias inferieren können?
-Test des Intercepts einer linearen Regression der Effektgröße/Standardfehler auf ihre Präzision
-> Intcercept = 0: kein Hinweis auf Publikationsbias
-> Intercept > 0: Hinweis auf Publikationsbias
Was sollte man statistisch über den Slope bei einem Funnel-Plot über einen möglichen Publikationsbias inferieren können?
- Test des Slopes einer linearen Regression der Effektgröße auf ihre Standardfehler
-> Slope = 0: kein Hinweis auf Publikationsbias
-> Slope > 0: Hinweis auf Publikationsbias
Was ist das Effektmodell der Metaanalyse?
= Modell zur Bestimmung der Gewichtungsfaktoren der Ergebnisse der einzelnen Primärstudien (zur Bestimmung des Gesamteffekts)
Was nimmt ein “Fixed-effects-Modell” (Modell fester Effekte) an?
Studien bilden einen wahren Populationseffekt (wahre Effektgröße) ab
Was ist eine Quelle der Varianz im “Fixed-effects-Modell” (Modell fester Effekte)?
unterschiedliche Effektgrößen NUR wegen Stichprobenfehler
Was geht nur in die Gewichtung beim “Fixed-effects-Modell” (Modell fester Effekte) ein?
nur der Stichprobenumfang
Wie wird eine kleine Stichprobe in der Primärstudie bei einem “Fixed-effects-Modell” (Modell fester Effekte) der Metaanalyse gewichtet?
kleine Stichprobe in Primärstudie -> großer Stichprobenfehler -> geringe Gewichtung in Metaanalyse
Was nimmt ein “Random-effects-Modell” (Modell mit Zufallseffekten) an?
In jeder Studie ist der wahre Populationseffekt unterschiedlich groß
Was sind zwei Quellen der Varianz im “Random-effects-Modell” (Modell zufallsbedingter Effekte)?
unterschiedliche Effektgrößen wegen unterschiedlichen Studien UND Stichprobenfehlern
Wie wird eine kleine Stichprobe in der Primärstudie bei einem “Random-effects-Modell” (Modell zufallsbedingter Effekte) der Metaanalyse gewichtet?
kleine Stichprobe in Primärstudie -> großer Stichprobenfehler -> geringe Gewichtung in Metaanalyse
Was wird bei einem “Random-effects-Modell” (Modell zufallsbedingter Effekte) der Metaanalyse höher gewichtet?
abweichender Effekt in der Primärstudie -> wichtige Information -> höhere Gewichtung in Metaanalyse
Was geht in die Gewichtung eines “Random-effects-Modells” (Modell zufallsbedingter Effekte) der Metaanalyse mit ein?
Stichprobenumfang & Abweichung einer Primärstudie von anderen Primärstudien
Welche 3 Effektmodelle der Metaanalyse gibt es?
- Fixed-effects-Modell (Modell fester Effekte)
- Random-effects-Modell (Modell zufallsbedingter Effekte)
- Mixed-effects-Modell (Modell gemischter Effekte)
Was ist die Grundannahme eines wahren Effekts des festen Effekts?
es gibt eine wahre Effektgröße (θ=theta), die allen Studien zugrunde liegt
–> wahre Effekt ist also KONSTANT über Studien hinweg
Was ist die Grundannahme eines Fehlers des festen Effekts? (2)
- Fehler (ε = epsilon) VARIIEREN zwischen den Studien & sind normalverteilt
- bei unendlich großen Stichproben sollte der in der Studie beobachtete Effekt gleich dem wahren Effekt sein, aber wir haben kleinere Stichproben, d.h. es gibt Abweichungen!
Was ist die mittlere Effektgröße (Gesamteffekt)?
= gewichtetes Mittel der einzelnen Effektgrößen
Was ist die Grundannahme eines wahren Effekts der Zufallseffekte? (2)
- jede Studie hat ihre eigene wahre Effektgröße θ (theta), die aus einer Verteilung der wahren Effektgrößen mit Mittelwert μ (“mü”) stammt
- die Größe des wahren Effekts unterscheidet sich zwischen Studien (hängt z.B. von Eigenschaften der Studie oder der Stichprobe ab)
Was ist ein “wahrer Effekt” allgemein?
= unbekannte Effektgröße in der Population
Was ist ein “Stichprobenfehler” allgemein?
= Abweichung der beobachteten Effektgröße von der wahren Effektgröße
Was ist die Grundannahme eines Fehlers der Zufallseffekte? (2)
- Fehler (ε=epsilon) variieren zwischen Studien
- bei unendlich großen Stichproben sollte der in einer Studie beobachtete Effekt gleich dem wahren Effekt sein, aber wir haben kleinere Stichproben, d.h. es gibt Abweichungen
Woraus ergibt sich der beobachtete Effekt Yi (Zufallseffekte)?
= Gesamtmittelwert μ
+ Abweichung des wahren Effekts vom Gesamtmittelwert der Verteilung (ζi=zeta)
+ Abweichung des beobachteten Effekts vom wahren Effekt der Studie (εi=epsilon)
Welche Varianzen eines Stichprobenfehlers unterscheidet man (Zufallseffekte: Fehler)?
- Varianz zwischen den Studien (T² = tau)
- Varianz innerhalb der Studien (V yi)
Für was ist T² (Varianz der beobachteten Effekte) ein Schätzer?
für wahre Populationsvarianz der Effekte (klein T²; “tau”)
Was gilt generell bzgl. einer präziseren Effektgröße bei der Berechnung der mittleren Effektgröße (Gesamteffekt)?
Je präziser eine Effektgröße geschätzt wurde, desto größer ihr Gewicht
