Metaanalyse 2 Flashcards
Wie wählen wir eine Effektgrößenamße? Was sind die Kriterien?
Kriterien für die Wahl eines Effektgrößenmaßes:
- Soll aus den Angaben/Daten der meisten Studien ermittelbar sein (um Reanalysen der oft nicht verfügbaren Originaldaten zu vermeiden)
- Beispiel: Cohens d, da Mittelwert und Standardabweichung stets berichtete werden
- Soll inhaltlich interpretierbar sein (für alle Forschenden in diesem Gebiet direkt verständlich sein)
- Verschiedene Effektgrößenmaße können ineinander überprüft werden (z.B. Cohens d in Cohens f oder r)
Wann sollen standardisierte und unstandardisierte Mittelwertdifferenze benutzt werden?
Unstandardisierte Mittelwertdifferenz (Vergleich von zwei Mittelwerten in Einheiten der Rohdante). Sinnvoll wenn:
- Alle Studien dieselbe AV/Skala verwenden
- Die Skala selbst bedeutungsvoll ist (z.B. Alter, Anzahl)
- Die Skala inhaltlich interpretiert werden kann (z.B. bei weit verbreiteten Maßen wie IQ)
Standardisierte Mittelwertdifferenz (Vergleich von zwei Mittelwerten in Standardabweichungseinheiten). Sinnvoll wenn verschiedene AVs/Skalen verglichen werden (z.B. Ratingskala von 0 bis 10 vs von -3 bis +3)
Vorteil: Interpretierbarkeit in SD-Einheiten
Problem: Tendenz, die wahre Effektgröße in der Population zu überschätzen
Korrektur: Hedges´g
Was sind Stichprobenumfang, Standardfehler und Präzision und was für eine Rolle spielen sie in der Metaanalyse?
Stichprobenumfang = N = Anzahl der ausgewählten Untersuchungsobjekte in einer Studie
- Je größer die Stichprobenanzahl, desto zuverlässiger, genauer, sichere und stabiler die Schätzung/Ergebnisse
Standardfehler = SE = SD der Stichprobenkennwertverteilung
- In der Metaanalyse wird der Standardfehler verwendet, um die Präzision der Schätzungen aus einzelnen Studien zu berücksichtigen –> kleinere Standardfehler, präzisere Schätzung
Fehlervarianz = V = quadrierter Standardfehler
Präzision = 1/V = Kehrwert (Inverse) der Fehlervarianz
- Abhängig von Stichprobenumfang und Design der Untersuchung
- Wird verwendet, um die Gesamteffektgröße zu berechnen
- Effekt mit kleiner/großer Varianz –> hohe/niedrige Präzision
- Studien mit größeren Stichprobenumfängen und kleineren Standardfehlern werden als präziser angesehen
Was ist der Einfluss von Stichprobenumfang und Studiendesign auf die Präzision?
Einfluss des Stichprobenumfangs auf
die Präzision
- Effektgröße aus großer Stichprobe hat kleinere Varianz
- Kleinere Varianz (SE, CI) bedeutet größere Präzision
- Effektgröße mit größerer Präzision wird in Metaanalyse stärker gewichtet
Einfluss des Studiendesigns auf die Präzision
- Effektgröße aus abhängigen Stichproben mit hoher Korrelation hat kleinere Varianz
- Kleinere Varianz (SE, CI) bedeutet größere Präzision
- Effektgröße mit größerer Präzision wird in Metaanalyse stärker gewichtet
Gibt es einen Unterschied zwischen Effektgröße D und Effektgröße d?
Ja
- Effektgröße D –> Populationsparameter
- Effektgröße d –> Stichprobenparameter
Wie berechnet man die Effektgröße D und d?
Effektgröße D und d (Die Formel sind auf den Folien)
1) Unabhängige Stichproben
- Gegeben: zwei Stichprobenumfänge, zwei Mittelwerte, zwei Standardabweichungen
2) Abhängige Stichproben
- Gegeben: Stichprobenumfang, Mittelwertdifferenz, Standardabweichung der Mittelwertdifferenz
Was ist Hedges´ g und was ist das Problem der Cohens d?
Problem: Cohens d tendiert dazu, die wahre Effektgröße zu überschätzen
Lösung: Korrektur von Cohens d durch einen Korrekturfaktor j
Was sind Funnel-Plots?
Funnel-Plot = Art des Scatterplots zur Entdeckung von Publikationsbias in Metaanalysen. Wenn es ein Publikationsbias gibt, sind die Daten aufm dem Plot nicht symmetrisch
1) Visuelle Inferenz (über Asymmetrie)
- X-Achse - Maß der Effektgröße
- Y-Achse - Maß der Studiengüte
- Datenpunkte sollen sich wie ein Trichter/Dreieck anordnen
2) Statistische Inferenz (über Intercept und Slope)
- Test des Intercepts einer linearen Regression der Effektgröße auf ihre Präzision
- Test des Slopes einer linearen Regression der Effektgröße auf ihre Standardfehler
Was ist der Gesamteffekt in einer Metaanalyse?
Modell zur Bestimmung der Gewichtungsfaktoren der Ergebnisse der einzelnen Primärstudien
Der Gesamteffekt fasst die Effekte/Ergebnisse aller Studien zusammen und so bildet die “true” Effektgröße. Jeder Studie wird abhängig von Stichprobengröße und Varianz anders gewichtet
Was sind Fixed-effects-Modell und Random-effects-Modell?
1) Fixed-effects-Modell (Modell fester Effekte)
- Studien bilden einen wahren Populationseffekt ab
- Eine Quelle der Varianz: unterschiedliche Effektgrößen wegen Stichprobenfehler
- In Gewichtung geht nur der Stichprobenumfang ein
- Kleine Stichprobe in Primärstudie –> großer Stichprobenfehler –> geringe Gewichtung in Metaanalyse
2) Random-effects-Modell (Modell zufallsbedingter Effekte)
- In jeder Studie ist der wahre Populationseffekt unterschiedlich groß
- Zwei Quellen der Varianz: unterschiedliche Effektgrößen wegen unterschiedlichen Studien und Stichprobenfehler
- Kleine Stichprobe in Primärstudie è großer Stichprobenfehler è geringe Gewichtung in Metaanalyse
- Abweichender Effekt in Primärstudie –> wichtige Information –> höhere Gewichtung in Metaanalyse
- In Gewichtung geht der Stichprobenumfang und die Abweichung einer Primärstudie von anderen Primärstudien ein
3) Mixed-effects-Modell (Modell gemischter Effekte)
Was ist ein fester Effekt - wahrer Effekt?
Die Annahme, dass es in der Population einen wahrer Effekt/wahre Effektgröße gibt und dass die Unterschiede in Ergebnissen zwischen Studien auf zufällige Stichprobengröße und Messfehler zurückzuführen sind
Wahrer Effekt = unbekannte Effektgröße in der Population
- Annahme: Es gibt eine wahre Effektgröße 0 (“theta), die allen Studien zugrunde liegt
- Dieser wahre Effekt ist also konstant über Studien hinweg
Was sind feste Effekte - Fehler?
Stichprobenfehler = Abweichung der beobachten Effektgröße von der wahren Effektgröße
- Fehler (“epsilon”) variieren zwischen Studien und sind normalverteilt
- Bei unendlich großen Stichproben sollte der in einer Studie beobachtete Effekt gleich dem wahren Effekt sein
- Wir haben aber kleinere Stichproben, d.h. es gibt Abweichungen
-
Wie berechnen wir die mittlere Effektgröße bei festen Effekten? (Steht auf den Folien)
Was sind die Zufallseffekte der wahren Effekte?
Annahme: Jede Studie hat ihre eigene wahre Effektgröße θi, die aus einer Verteilung der wahren Effektgrößen mit Mittelwert μ (sprich: „mü“) stammt
- Die Größe des wahren Effekts unterscheidet sich zwischen Studien (hängt z.B. von Eigenschaften der Studie oder der Stichprobe ab)
Gibt es eine Unterscheidung zwischen Varianz zwischen den Studien und Varianz innerhalb der Studien?
Ja
Es wird unterschieden zwischen der Varianz zwischen den Studien T² (als Schätzer für �), sprich: „tau“) und
der Varianz innerhalb der Studien Vyi
