Brainscape's Knowledge GenomeTM

Browse over 1 million classes created by top students, professors, publishers, and experts.


See full index

Forschungsmethodik & Evaluation > VL 10 - Metaanalyse 3 > Flashcards

VL 10 - Metaanalyse 3 Flashcards

1
Q

Was ist das Ziel eines Modells mit festem Effekt?

A

Schätzung EINES wahren Effekts

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Wie ist das Vorgehen eines Modells mit festem Effekt?

A

kleine Studien erhalten kleines Gewicht

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Was ist der Anwendungsfall eines Modells mit festem Effekt?

A

wenn alle Studien identisch sind UND man sich für den Effekt in einer Population interessiert
(ODER wenn die Anzahl der Studien gering ist)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Was ist ein Beispiel für eine Metaanalyse mit einem Modell mit festem Effekt?

A

Studien zur Wirkung eines Migränemedikaments (nur Patientinnen mit einer bestimmten Migräneform und alle erhalten die gleiche Dosierung)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Was ist das Ziel eines Modells mit Zufallseffekten?

A

Schätzung des Mittelwerts einer VERTEILUNG von wahren Effekten

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Was ist das Vorgehen eines Modells mit Zufallseffekten?

A

kleine Studien erhalten (relativ) größeres Gewicht, da sie u.U. wichtige Informationen enthalten

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Was ist der Anwendungsfall eines Modells mit Zufallseffekten?

A

wenn die Studien von unterschiedlichen Forscherteams durchgeführt ODER unterschiedliche Populationen untersucht wurden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Was wird bei einem Modell mit Zufallseffekten durchgeführt falls unterschiedliche Populationen relevant sind?

A

Metaanalyse innerhalb der Subgruppe

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Was ist ein Beispiel für eine Metaanalyse mit einem Modell mit Zufallseffekt?

A

Studien zur Wirkung eines Migränemedikaments (Patient*innen mit unterschiedlichen Migräneformen oder unterschiedlichen Dosierungen)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Was wird vor einer Homogenitätsanalyse zuerst gemacht?

A

Berechnung der mittleren Effektgröße

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Wozu wird die Varianz der wahren Effekte im Modell mit Zufallseffekten nur verwendet?

A

um mittlere Effektgröße verzerrungsfrei zu schätzen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Auf was ist der Fokus bei der Homogenitätsanalyse?

A

auf Varianz der wahren Effekte

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Was untersucht die Homogenitätsanalyse?

A

ob Effektstärken homogen vs. heterogen (variabel) sind

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Woraus besteht die Gesamtvarianz?

A

= Varianz der wahren Effekte + Fehlervarianz

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Woraus besteht die Varianz des wahren Effekts bei einem festen Effekt?

A

= Unterschiede zwischen Gruppen von Effektgrößen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Woraus besteht die Varianz des wahren Effekts bei einem Zufallseffekt?

A

= Unterschiede zwischen verschiedenen Gruppen von Effektgrößen + Unterschiede zwischen den einzelnen Effektgrößen innerhalb der Gruppen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Was ist die inhaltliche Frage einer Homogenitätsanalyse? (2)

A
  • Sind die Effekte über alle Studien hinweg gleich groß?
  • Ist die Intervention in allen Studien (d.h. in verschiedenen Stichproben, Settings, UVs, AVs) gleich wirksam?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Was ist die Frage der Homogenitätsanalyse?

A

Ist die Varianz der wahren Effektgrößen größer als die Fehlervarianz?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Was sind die 4 Schritte bei der Homogenitätsanalyse?

A

1.) Berechnung der beobachteten Gesamtvarianz Q (Modell mit festen Effekten)

2.) Schätzung der erwarteten Gesamtvarianz unter Homogenitätsannahme

3.) Schätzung der Größe der Heterogenität (d.h. der Varianz wahrer Effekte)

4.) Signifikanzprüfung (Homogenitätstest)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Was ist die bei Homogenität erwartete Gesamtvarianz?

A

df= k - 1

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Was ist die Heterogenität? (2)

A

= Q-df
= Differenz zwischen beobachteter und per Zufall erwarteter Gesamtvarianz

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Was ist der Anteil der Heterogenität an der Gesamtvarianz?

A

= I² = Q-df/Q

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Welche statistische Frage prüft der Homogenitätstest?

A

“Wie wahrscheinlich ist eine Gesamtvarianz extremer als Q unter der H0 homogener Effekte?”

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Was für ein statistischer Test ist der Homogenitätstest?

A

x²-Test von Q (Gesamtvarianz) mit df= k-1

25
Q

Von was ist das Ergebnis des Homogenitätstest abhängig? (3)

A
  • Varianz innerhalb Studien
  • Varianz zwischen Studien
  • Anzahl der Studien
26
Q

Wie weit verbreitet ist Heterogenität?

A

Heterogenität in ca. 96% der Metaanalysen

27
Q

Wie groß ist die Heterogenität?

A

ca. dreimal so groß wie Stichprobenfehler

28
Q

Was sind 2 Probleme des Homogenitätstests?

A
  1. Homogenitätstest hat geringe Power
  2. Vergleich von Äpfel & Birnen (Metaanalysen vergleichen verschiedene “wahre” Effekte)
29
Q

Was impliziert das Problem, dass der Homogenitätstest eine geringe Power hat?

A

Nicht signifikanter Q-Test bedeutet nicht, dass Heterogenität abwesend ist

30
Q

Wann hat der Homogenitätstest eine geringe Teststärke? (2)

A
  • bei geringer Studienzahl
    • bei großer Varianz innerhalb der Studien (z.B. kleine Stichproben)
31
Q

Was ist die Lösung für das Problem, dass der Homogenitätstest eine geringe Power hat?

A

Anteil der Heterogenität an der Gesamtvarianz anschauen -> “Ist I² groß oder klein?”

32
Q

Was ist die Lösung für das Problem, dass der Homogenitätstest Äpfel & Birnen vergleicht (d.h., dass Metaanalysen verschiedene “wahre” Effekte vergleicht)?

A

Moderatorvariablen können Heterogenität erklären

33
Q

Was bedeutet es wenn Effektgrößen heterogen sind? (2)

A

= es gibt systematische Varianz zwischen den Studien
= die Effekte in einigen Studien (einer Subgruppe) unterscheiden sich von denen in anderen Studien (einer anderen Subgruppe)

34
Q

Welche Faktoren können heterogene Effektgrößen erklären? (3)

A

=> Suche nach Moderatorvariablen
- potentielle Moderatoren: alle Eigenschaften der Studie (z.B. Treatment, Untersuchungsmethode, Stichprobe, Auswertungsmethode)
- eine (kategoriale) Moderatorvariable unterteilt die Studien in Subgruppen (z.B. solche mit Treatment A vs. solche mit Treatment B)

35
Q

Wie kann man die Hypothese prüfen, dass die Moderatorvariable (k)einen Einfluss auf die Effektgröße der Studien hat?

A

Vergleich der mittleren Effektgröße der Subgruppen

36
Q

Mit welchem Test kann man zwei Gruppen von Studien in einem Modell mit festem Effekt vergleichen? H0?

A
  • z-Test
  • H0: “Die wahre Effektgröße ist für beide Gruppen gleich.”
37
Q

Mit welchem Test kann man mehrere Gruppen von Studien in einem Modell mit festem Effekt vergleichen? H0?

A
  • Q-Test
  • H0: “Die wahre Effektgröße ist für alle Gruppen gleich.”
38
Q

Was ist die Gesamtvariabilität beim Q-Test?

A

= Variabilität zwischen den Subgruppen + Variabilität innerhalb der Subgruppen

39
Q

Mit welchen Tests kann man Gruppen von Studien in einem Modell mit Zufallseffekten vergleichen?

A
  • gleiches Vorgehen wie im Modell mit festen Effekten
  • basierend auf anderen Schätzern der mittleren Effekte & Varianzen/Gewichte (wie anhand des Modells mit Zufallseffekten ermittelt!)
40
Q

Was ist eine Annahme von Tests von Gruppenvergleichen in einem Modell mit Zufallseffekten?

A

Heterogenität liegt vor (=Subgruppen mit unterschiedlichen Verteilungen der wahren Effekte)

41
Q

Welche zwei Varianten von Tests für Gruppen von Studien in einem Modell mit Zufallseffekten gibt es?

A

1. gemeinsamer (gepoolter) T²-Schätzer für die Subgruppen: MITTELWERTE der Verteilungen der wahren Effekte unterscheiden sich

2. separate T²-Schätzer für die Subgruppen: MITTELWERTE & VARIANZEN der Verteilungen der wahren Effekte unterscheiden sich
-> nur wenn ausreichend viele Studien in jeder Subgruppe vorhanden (k>5)

42
Q

Wie kann man bei einer Literaturrecherche den Ein- & Ausschluss von Artikeln und Studien z.B. präsentieren?

A

Flowchart

43
Q

Wie kann man Effektgrößen (gesamt & für relevante Subgruppen) z.B. präsentieren?

A

Forest-Plot & Tabelle

44
Q

Wie kann man Ergebnisse der Moderatoranalysen z.B. präsentieren?

A
  • Forest-Plot und Tabelle
  • Bubble-Plot
45
Q

Was sind 3 Probleme der Ergebnisinterpretation von Metaanalysen?

A
  • Vergleich von Äpfel & Birnen
  • GIGO (=garbage in, garbage out)
  • Verzerrung durch Publikationsbias
46
Q

Was ist das Problem, eine Identifikation und Lösung für das Problem vom “Vergleich von Äpfel und Birnen”?

A
  • Problem: Vergleich von (sehr) unterschiedlichen Studien (d.h. Effekte stammen aus unterschiedlichen theoretischen Verteilungen)
  • Identifikation: durch Moderatoranalysen (falls kritischer Moderator bekannt)
  • Lösung: Aufstellung einer präzisen theoretischen Fragestellung, um Ein- vs. Ausschlusskriterien (bzw. kritische Moderatorvariable) zu definieren
47
Q

Was ist das Problem, eine Identifikation und Lösung für das Problem “garbage in, garbage out”?

A
  • Problem: (zu) geringe methodische Qualität der Studien für sinnvolle Interpretation
  • Identifikation: durch Moderatoranalyse (Variablen methodischer Qualität)
  • Lösung: gezielter Einschluss methodisch hochwertiger Studien (bzw. nachträgliche Beschränkung auf Ergebnisse aus Studien mit hoher Qualität)
48
Q

Wie kann man einen Publikationsbias untersuchen?

A

= Regression von Effektgröße (y-Achse) auf Publikationsjahr (x-Achse) zur Beurteilung, ob das Publikationsjahr die Größe des Effekts moderierte (Moderatoranalyse)

49
Q

Was bedeutet ein negativer Slope der Regression wenn man untersucht ob ein Publikationsbias vorliegt?

A

Effekt nimmt über die Zeit ab, wenn es sich bei den ersten Schätzungen um falsch positive Ergebnisse handelt, die anschließend nicht reproduziert werden können (Bsp.: Partnerpräferenz)

50
Q

Was bedeutet ein horizontaler Slope der Regression wenn man untersucht ob ein Publikationsbias vorliegt?

A

Effekt bleibt über die Zeit stabil, wenn es sich bei den ersten Schätzungen um richtig positive Ergebnisse handelt, die anschließend reproduziert werden können (z.B. Testing-Effekt)

51
Q

Was ist ein Publikationsbias?

A

Publizierte Studien haben größere (signifikante) Effekte & kleinere (n.s.) Effekte fehlen

52
Q

Wie kann man einen Publikationsbias entdecken? (2 Detektionsalgorithmen)

A
  • Publikationsbias-Analysen (z.B. Symmetrie im Funnel-Plot)
  • Moderatoranalysen (kategorial: publiziert vs. nicht-publiziert; kontinuierlich: Publikationsjahr)
53
Q

Wie kann man einen Publikationsbias korrigieren? (4 Korrekturalgorithmen)

A
  • Wiederherstellung der Symmetrie im Funnel-Plot (z.B. Trim-and-Fill)
  • Funnel-Plot-Regressionsanalyse (z.B. PET/PEESE = Extrapolation zur “perfekten” Studie)
  • Anschauen der p-Curve (=Verteilung der p-Werte; Nulleffekt: uniforme Verteilung; realer Effekt: linkssteile Verteilung)
  • Selektionsmodell: Zufallseffekte plus WS, n.s. Effekte zu publizieren
54
Q

Wie kann man einen Publikationsbias korrigieren? (OHNE statistische Tests)

A

gezielte Auswahl von Studien mit ergebnisunabhängiger Publikation (z.B. registered reports)

55
Q

Wie sind Detektionsalgorithmen zu bewerten?

A

können Bias (ja/nein) zuverlässig entdecken, aber Ausmaß des Bias wird nicht präzise geschätzt

56
Q

Wie sind Korrekturalgorithmen zu bewerten?

A

Korrektur des Bias (d.h. Schätzung wahrer Effektgröße) NICHT zuverlässig möglich

57
Q

Worauf liegt der Fokus von Metaanalysen?

A

auf der quantitativen Analyse der Effektgrößen
(-> Wie groß ist der mittlere Effekt? Die Heterogenität der Effekte?
-> Welche Moderatorvariablen beeinflussen Richtung & Größe des Effekts?)

58
Q

Inwieweit bietet die Metaanalyse eine Perspektive auf den Forschungsprozess? (2)

A
  • ihre Antworten liefern Grundlage für anwendungsorientierte Forschung
  • im Anschluss können Interventionen entwickelt und erprobt werden (-> Evaluationsforschung)

Forschungsmethodik & Evaluation (9 decks)

Brainscape helps you reach your goals faster, through stronger study habits.
© 2024 Bold Learning Solutions. Terms and Conditions