Metaanalysen Flashcards
Was sind Metaanalysen?
Glass (1976): « Meta-analysis refers to the analysis of analyses (…) the statistical analysis of a large collection of results from individual studies for the purpose of integrating the findings »
Drinkmann (1990): « Methode zur quantitativen Integration der Ergebnisse empirischer Primäruntersuchungen sowie zur Analyse der Variabilität dieser Ergebnisse »
Nennen Sie 4 Gründe, die Meta-Analysen sinnvoll und vorteilhaft erscheinen lassen.
Grössere Versuchspersonenzahl: Power grösser aufgrund grösserer Versuchspersonenzahl. Dadurch wahrscheinlichkeit erhöht, dass vorhandene Unterschiede/Zusammenhänge auch bei kleinen Effekten gefunden werden. Integration von Studien mit kleinen Stichproben.
Überblick über Forschungsbereich: Publikationen von Primärstudien generieren überschaubare Menge an Einzelinformationen. Können aufzeigen, in welchen Domänen Forschungsfragen offen sind.
Untersuchung von Moderatoren: Variationsbreite verschiedener Variablen relativ gross. Moderatoren zur Erklärung der Varianz untersuchbar (in Primärstudien oft nicht möglich). Aber: Moderatoreneffekte können nicht isoliert werden!
Andere Vorteile:
- Quantifizierung: Quantifizierung: Auch bei widersprüchlichen Einzelbefunden kommt man zu einem eindeutigen Gesamtergebnis; möglicherweise können Unterschiede in den Studien über Moderatorvariablen erklärt werden
- Replizierbarkeit und Objektivität: Alle Einzel- und Analyseschritte lassen sich genau nachvollziehen
- Umfangreiche Fallzahl: Metaanalysen spielen deshalb für eine Reihe von Entscheidungsträgern eine wichtige Rolle (z.B. bei der Beurteilung der Wirksamkeit eines Therapieansatzes)
Was sind Nachteile/Probleme von Metaanalysen? Lassen sich die Probleme lösen?
Garbage in - Garbage out: Es werden Studien vermengt, die von utnerschiedlicher Qualität sind (kann man ausschliessen, ebenfalls kann Studienqualität gewichtet oder als Moderator untersucht werden).
Apples and Oranges - Das Uniformitätsproblem: Es werden Studien vermengt, die sich z.B. in Operationalisierungen, Eigenschaften von Versuchspersonen oder Auswertungsmethoden unterscheiden (oft werden jedoch übergeordnete Fragestellungen untersucht und in “guten” Metaanalysen werden Unterschiede in Primärstudien berücksichtigt)
Nonindependent Effects - Die Integration abhängiger Daten: Die Abhängigkeit von Ergebnissen (z.B. mehrere Studien mit gleicher Stichprobe; mehrere Ergebnisse in einer Studie, die bei gleichen Probanden erhoben wurden) wird nicht berücksichtigt (es gibt verschiedene Methoden, um mit möglicher Abhängigkeit umzugehen wie Zusammenfassung von abhängigen Ergebnissen zu einem Wert oder Berücksichtigung von gleichen Forschergruppen als Moderatorvariablen).
Was sind typische Schritte bei der Durchführung von Metaanalysen? Versuchen Sie sich die einzelnen Schritte möglichst konkret auszudenken.
1. Konkretisierung des Forschungsproblems: Grobe Spezifizierung der zu untersuchenden Variable und der einzuschliessenden Primärstudien.
2. Sammlung relevanter Untersuchungen: Datenerhebung in Metaanalysen. Recherche muss breit angelegt sein, um systematische Verzerrungen zu verhindern. Suchen in elektronischen Datenbanken.
3. Codierung und Bewertung der Untersuchungen (Datenextraktion): Codierung aller relevanten Informationen und möglicher Moderatoren. Kriterien zum Bewerten: Klinische Relevanz, Validität, Güte der Information, Reichhaltigkeit der Messung
4. Datenanalyse (Integration der Einzelergebnisse): Einfache Möglichkeit “vote count” => auszählen und vergleichen der signifikanten und nichtsignifikanten Ergebnisse in Primärstudien (Aber: ungenau). Üblicher: Berechnung der ES für Primärstudie und anschliessende Berechnung der ES über verschiedene Studien hinweg.
In der Originalstudie von Cuijpers et al. (2010) wird ein sog. Forest Plot präsentiert. Was können Sie daraus lesen?
- Je grösser das Quadrat, desto grösser die Stichprobe, Strich als 95% Konfidenzinterwall!
- Wert 0.25 («Durchschnittliche Effektstärke») besagt, dass Psychotherapie plus Pharmakotherapie signifikant wirksamer ist als Psychotherapie plus Placebo (p=0.03), wenn auch mit kleiner Effektstärke von 0.25
- Heterogenität vs. Homogenität => Bspw. Studie Bellack, 1981 und Reynolds, 1999: Hohe Heterogenität, da gerade diese Studien stark abweichen als die anderen. Man kann diese Studien Zugunsten der Homogenität ausschliessen. Annahme, dass bei diesen Studien etwas schiefgelaufen ist.
Was ist in Metaanalysen mit dem sog. Fixed Effects bzw. Random Effects Model gemeint ?
Für die Gewichtung gibt es in Metaanalysen zwei Modelle: a) das fixed effect und b) das random effects model
- Beim « fixed effect »-model wird angenommen, dass es eine « wahre » Effektstärke gibt, die für alle Originalstudien gilt (die « wahre » Effektstärke variiert nicht zwischen den Studien)
- Beim « random effects »-model wird angenommen, dass der wahre Effekt von Studie zu Studie variiert. Zum Beispiel könnte der Effekt höher sein, wenn die Teilnehmer in einer Studie älter sind, als in einer anderen
Was ist mit “numbers needed to treat” (NNT) gemeint?
NNT = Anzahl der notwendigen Behandlungen, um gegenüber der Kontrollbedingung EINEN Patienten zu « normalisieren » bzw. einen zusätzlichen Erfolg zu haben.
NNT in Cuijper et al. (2010)-Studie = 7.14 (es müssen 7.14 Patienten behandelt werden, um mit zusätzlicher Pharmakotherapie einem zusätzlichen Patienten zu helfen)
Warum sollten die in einer Metaanalysen einbezogenen Effektstärken aus den
verschiedenen Studien auf Homogenität überprüft werden?
Nur bei einer gewissen Homogenität der einbezogenen Effektstärken stellt die integrierte Effekstärke einen akzeptablen Schätzer des wahren Populationseffekts dar!
Kann mit einem Signifikanztest auf Homogenität geprüft werden.
Erhöhen der Homogenität => Ausschluss von Outlier-Studien!
Welche Schritte können unternommen werden, wenn Heterogenität vorliegt?
Frage: Lässt sich die Varianz in den Effekstärken durch Moderatorvariablen erklären?
=> Bildung von Subgruppen: Geringere Varianz innerhalb der Subgruppen im Vergleich zur Gesamtvarianz aller Effekstärken? Unterscheiden sich die Subgruppen bezüglich gemittelten Effektstärken?
Was ist mit dem Publication Bias gemeint und wie kann ein möglicher Publication Bias in Metaanalysen untersucht werden?
- Man spricht von einem publication bias, wenn die veröffentlichten Resultate nicht repräsentativ für alle erzielten Resultate sind
- Publication bias wird gefördert durch Selektionsmechanismen im Forschungs- und Publikationsprozess: Publikation signifikanter Ergebnisse ist leichter, während nichtsignifikante Ergebnisse öfter in der « Schublade der Forscher » bleiben
- Da Problem für Metaanalysen wird oft versucht das Vorliegen eines publication bias zu testen (siehe nächste Folien)
==> Getestet mit Funnel-Plot
Was ist in der Studie von Cuijpers et al. mit Relative Risk gemeint?
Behandlungsgruppe: 40 von 50 geheilt
- Das Relative Risiko (auch risk ratio)
- Kontrollgruppe: 30 von 50 geheilt
Das Risiko (das Risiko geheilt zu werden) beträgt in der Behandlungsgruppe 40:50=0.8
Das Risiko (das Risiko geheilt zu werden) beträgt in der Kontrollgruppe 30:50=0.6
Als Mass dafür, in welcher der beiden Gruppen eine höhere Wahrscheinlichkeit für Heilung besteht, wird das relative Risiko berechnet = Quotient aus den beiden Risiken = RR = 0.8/0.6 = 1.33
