VL 5 & 6: Metaanalysen Flashcards
Was sind Metaanalysen?
> Methode zur quantitativen
Integration der Ergebnisse empirischer Primäruntersuchungen sowie zur Analyse der Variabilität dieser Ergebnisse
Nennen Sie 4 Gründe, die Meta-Analysen sinnvoll und vorteilhaft erscheinen lassen
> Grössere Versuchspersonenzahl
- Signifikanz eines Ergebnisses hängt von Stichprobengrösse ab = Bei einer kleinen Stichprobe ist die Wahrscheinlichkeit einen Beta-Fehler zu machen grösser als bei einer grossen Stichprobe = Nullhypothese wird beibehalten, obwohl Alternativhypothese gilt
- In Metaanalysen ist die Power (Teststärke) grösser: Aufgrund der
grösseren Versuchspersonenzahl ist Wahrscheinlichkeit erhöht,
tatsächlich vorhandene Unterschiede auch bei relativ kleinen Effekten zu finden
- Auch Studien mit kleinen Stichproben können integriert werden (no wasting of Data)
Grössere Versuchspersonenzahl
- in welchen wichtigen
Forschungsfragen noch Lücken bestehen und wo Defizite in
Primärstudien bestehen
- Liefern Anregungen für neue Primärstudien
Untersuchung von Moderatoren
- Grosse Variationsbreite der Variablen -> Moderatoren können analysiert werden aufgrund hoher Stichprobengrösse
- ACHTUNG! Mögliche Moderatoreffekte können nicht völlig isoliert werden, da sich Untersuchungen oft in mehreren Merkmalen unterscheiden
(=Störvariablen)
Andere Vorteile:
- Quantifizierung: Auch bei widersprüchlichen Einzelbefunden kommt
man zu einem eindeutigen Gesamtergebnis; möglicherweise können Unterschiede in den Studien über Moderatorvariablen erklärt werden
• Replizierbarkeit und Objektivität: Alle Einzel- und Analyseschritte
lassen sich genau nachvollziehen
• Umfangreiche Fallzahl: Metaanalysen spielen deshalb für eine Reihe von Entscheidungsträgern eine wichtige Rolle (z.B. bei der
Beurteilung der Wirksamkeit eines Therapieansatzes)
Was sind Nachteile/Probleme von Metaanalysen? Lassen sich die Probleme lösen? (4)
> Bias in Sampling the Findings/ Verzerrungen in der Stichprobe.
- unvollständiger Recherche / Suche nach Primärstudien, publication bias (signifikante Ergebnisse werden eher veröffentlicht als nichtsignifikante), unvollständiger Informationen in den Primärstudie
Garbage in - Garbage out/ Die Integration von Studien unterschiedlicher Qualität:
- Es werden Studien vermengt, die von unterschiedlicher Qualität sind
- Lösung: Studien von minderer Qualität können ausgeschlossen werden /Die Studienqualität kann als Moderatorvariable untersucht werden (garbage in - information out -> Studienqualität kann Erklärung für Variabilität der vorgefundenen Effektstärken liefern)/ Studienqualität kann auch als Gewichtungsfaktor berücksichtigt werden
Apples and Oranges - Das Uniformitätsproblem:
- Es werden Studien vermengt, die sich z.B. in Operationalisierungen, Eigenschaften von Versuchspersonen oder Auswertungsmethoden unterscheiden.
- Lösung: In « guten » Metaanalysen werden Unterschiede in den Primärstudien berücksichtigt und als Moderatorvariablen untersucht
Nonindependent Effects- Die Integration abhängiger Daten
- Die Abhängigkeit von Ergebnissen wird nicht berücksichtigt (bsp. mehrere Studien zum gleichen Datensatz)
- Lösung: verschiedene Methoden -> Zusammenfassung von abhängigen Ergebnissen zu einem Wert -> nur dieser Wert fliesst in Metaanalyse ein
/Berücksichtigung von gleichen Forschergruppen als Moderatorvariablen
Was sind typische Schritte bei der Durchführung von Metaanalysen? Versuchen Sie
sich die einzelnen Schritte möglichst konkret auszudenken.
- Konkretisierung des Forschungsproblems
- Hohes Abstraktionsniveau -> umfassender als Primärforschung
- Grobe Spezifizierung der zu untersuchenden Variablen und der einzuschliessenden Primärstudien - Sammlung relevanter Untersuchungen
- Suche nach relevanten Primärstudien -> breite Recherche
- Durchsuchen der Datenbanken und gefundener Literatur - Codierung und Bewertung der Untersuchungen
- Codierung aller Informationen, die für die metaanalytischen Berechnungen notwendig sind = kann zum Ausschluss von Studien führen
- Codierung möglicher Moderatoren
- Bei « high inference »-codings (Codierungen mit Bewertungsspielraum; z.B. Studienqualität) sollte die Interraterreliabilität zwischen Ratern überprüft werden
- Kriterien zur Einschätzung der Qualität: klinische Relevanz, Validität, Güte der Information, Reichhaltigkeit der Messung - Datenanalyse
- Integration der Einzelergebnisse
- Möglichkeiten:
Vote count: Auszählen und vergleichen zwischen sig. und nicht sig. (aber ungenau)
/ Üblicher:
Berechnung von Effektstärken (ES) zunächst für jede Primärstudie/
Berechnung der durchschnittlichen ES über die verschiedenen Studien hinweg (meist Gewichtung) =integrierte Effektisträke - Präsentation und Interpretation der Ergebnisse
Wie beschreibt man einen Forestplot?
- Zeile= Effektstärke in jeder Primärstudie -> unterster Wert (0.25) ist durchschnittliche Effektstärke -> kombinierte Effektstärke
- > noch genauer anschauen
Versuchen Sie herauszufinden, was in Metaanalysen mit dem sog. Fixed Effects bzw. Random Effects Model gemeint ist?
> Geht um die Frage, wie die kombinierte Effektstärke berechnet wird -> Gewichtung der Effektstärke
Beim « fixed effect »-model wird angenommen, dass es eine « wahre » Effektstärke gibt, die für alle Originalstudien gilt (die « wahre » Effektstärke variiert nicht zwischen den Studien)
Beim « random effects »-model wird angenommen, dass der wahre Effekt von Studie zu Studie variiert. Zum Beispiel könnte der Effekt höher sein, wenn die Teilnehmer in einer Studie älter sind, als in einer anderen
Führt letztlich zu unterschiedlichen Gewichtungsformeln -> Konsequenz: Das random-effects model ist tendenziell konservativer. Heisst: Konfidenzintervalle werden grösser als beim fixed effect model
Was ist mit “numbers needed to treat” (NNT) gemeint?
> NNT = Anzahl der notwendigen Behandlungen, um gegenüber der Kontrollbedingung EINEN Patienten zu « normalisieren » bzw. einen zusätzlichen Erfolg zu haben
NNT in Cuijper et al. (2010)-Studie = 7.14 (es müssen 7.14
Patienten behandelt werden, um mit zusätzlicher
Pharmakotherapie einem zusätzlichen Patienten zu helfen
Warum sollten die in einer Metaanalysen einbezogenen Effektstärken aus den verschiedenen Studien auf Homogenität überprüft werden?
> Nur bei einer gewissen Homogenität der einbezogenen
Effektstärken stellt die integrierte Effektstärke einen
akzeptablen Schätzer des wahren Populationseffekts dar
Die verschiedenen Effektstärken aus den Primärstudien können mit einem Signifikanztest auf Homogenität geprüft werden -> Um die Homogenität zu erhöhen können Outlier-Studien ausgeschlossen werden
Welche Schritte können unternommen werden, wenn Heterogenität vorliegt?
> Frage: Lässt sich die Varianz in den Effektstärken durch
Moderatorvariablen erklären?
Bildung von Subgruppen: Geringere Varianz innerhalb der
Subgruppen im Vergleich zur Gesamtvarianz aller Effektstärken? Unterscheiden sich die Subgruppen bezüglich gemittelten Effektstärken?
Was ist mit dem Publication Bias gemeint und wie kann ein möglicher Publication
Bias in Metaanalysen untersucht werden
> Man spricht von einem publication bias, wenn die veröffentlichten Resultate nicht repräsentativ für alle erzielten Resultate sind
Publication bias wird gefördert durch Selektionsmechanismen im Forschungs- und Publikationsprozess: Publikation signifikanter Ergebnisse ist leichter, während nichtsignifikante Ergebnisse öfter in der « Schublade der Forscher » bleiben
Testung
-Funelplot analysieren -> Mehr Variation in Effektstärken in Studien mit kleiner Stichprobengrösse (trägt man
Effektstärken in Abhängigkeit der Stichprobegrösse der Studie auf, entsteht ein Trichter= analysieren) -> Bei Vorliegen eines Publication Bias kann erwartet werden, dass
kleinere Studien mit negativen Effekten nicht veröffentlicht
wurden (fehlen von Studien auf der linken Seite des Trichters zeigt PB)
- Duval and Tweedies trim
- Heute werden Studien vor dem Start oft zentral registriert
- Berechnung des fail-safe N Kennwertes: Wert der angibt, wie
gross die Zahl der noch nicht entdeckten, nicht signifikanten
Ergebnisse sein müsste, um ein entdecktes signifikantes
Ergebnis als Zufallsfehler deklarieren zu können
Was ist in der Studie von Cuijpers et al. mit Relative Risk gemeint?
> Unterscheidung zwischen Oddo Ratio und relative Risk
- Odds ratio: Quote des Therapieerfolgs in der
Behandlungsgruppe im Verhältnis zur Quote des Therapieerfolgs in der Kontrollgruppe -> ES=ad/bc (wenn man ein 4-Felderschema macht und abcd nummeriert) -> mann kann auch Quotenverhältnis dividieren
- Das Relative Risiko (auch risk ratio): Mass dafür, in welcher der beiden Gruppen eine
höhere Wahrscheinlichkeit für Heilung besteht= Quotient aus den beiden Risiken
