Metaanalyse 1 Flashcards
Was ist eine Metaanalyse?
Statistische Zusammenfassung von Ergebnissen von direkt-vergleichbaren Primärstudien eines Themas zu Metadaten mithilfe statistischer Mittel
- Ermöglicht die Beobachtung von Trends, Muster und Zusammenhängen zwischen Primärstudien
- Die stärkste Form von Studien
Was ist der Zusammenhang zwischen Metaanalyse, Narratives Review und Systematisches Review?
Narratives Review: Zusammenfassung, Vergleich und kritische Diskussion der einschlägigen Literatur. Beinhalten keine Systematik für die Bearbeitung der Studien (der Autor entscheidet selber, welche Studie relevant ist)
- Problem: begrenzte kognitive Kapazität; Subjektivität und Intrasparenz
Systematisches Review: Systemische, kritische und objektive Sammlung von Studien auf der Basis von vorherbestimmten Kriterien, ohne statistische Analyse
Metaanalyse ist im Zwischenbereich
- Zusammenfassung von statistischen Befunden (d.h. Effektgrößen). Vorteil ist Objektivität und Transparenz. Die Ergebnisse werden statistisch analysiert
- Problem: Durch Kriterien verringert sich Anzahl der aufgenommenen Studien
Systematisches Review: Gibt einen umfassenden Ausblick in die Studienlage über ein spezifisches Thema
Metaanalysis: Die Ergebnisse aus den Studien zu quantifizieren und vergleichen (Effektgrößen)
Wozu sind Metaanalysen gut? Was bringen sie uns?
Eine Metaanalyse fasst die Ergebnisse vieler Studien systematisch zusammen
- Wenn eine Studie allein geschaut wird, kann sie nicht das ganze Problem abbilden
Warum werden Metaanalysen durchgeführt? 3 Vorteile der Metaanalyse
1) Metaanalyse als Kumulierung von Wissen: Eine systematische quantitative Zusammenfassung der zahlreichen einzelnen Befunde
2) Metaanalyse als Entscheidungsgrundlage: liefert die wissenschaftliche Grundlage für Entscheidungen im Anwendungskontext
- Beispiel: Empfehlung über gesundheitsrelevantes Verhalten, Gestaltung von Behandlungsrichtlinien und Verschreibungsregeln, Staatliche Förderung
3) Metaanalyse als Lösung bei niedriger Teststärke
- Teststärke: Die Fähigkeit, einen Effekt aufzudecken, wenn er in der Stichprobe existiert. Die Wahrscheinlichkeit einen Effekt zu finden, wenn er existiert
Was sind die zwei Ziele der Metaanalyse?
1) Gesamteffekt - gewichteter Mittelwert der Effektgrößenmaßen der einzelnen Primärstudien, welcher den Gesamteffekt in der Population schätzt
2) Moderatorvariable - Identifikation von Moderatorvariablen. Variable C, von der abhängt, wie der Effekt einer Variable A auf eine Variable B ausfällt
Was sind die 9 Schritten der Metaanalyse?
1) Problemformulierung
- Definition der Fragestellung und Festlegung transparenter Kriterien zur Auswahl der Studien
2) Literaturrecherche
- Suche nach Studien, welche die Kriterien erfüllen und transparente Regeln für die Inklusion/Exklusion
3) Kodierung
- Extraktion der nötigen Information aus den Studien
- Definition der Kriterien und Vergleichsdimensionen
- Intersubjektiv nachvollziehbare Kodierung von Studien und Moderatorvariablen
4) - 8) Datenanalyse
- Berechnung einer einzelnen Effektgrößen (z.B. was für eine Veränderung hat die Intervention provoziert)
- Berechnung der Gesamteffektgröße als gewichteter Mittelwert der einzelnen Effektgrößen (z.B. was ist die gesamte Veränderung der Intervention über allen Studien)
- Ermittlung von Moderatoren (z.B. Was für Faktoren konnten die Ergebnisse der Studie beeinflusst haben, wie Demographik)
- Intersubjektiv nachvollziehbare Gewichtung und Analyse der Studienergebnisse
9) Ergebnisinterpretation und -präsentation
Was ist Effektgröße?
Statistische Kennzahl für Größe und Richtung eines empirischen Effekts (Basis für die Berechnung ist die individuelle Primärstudie)
- Hilft uns festzustellen, wie groß und stark der Unterschied zwischen zwei Gruppen oder Variablen ist
Beispiele für Effektgrößen:
- Mittelwertdifferenz (Wie groß der Mittelwertdifferenz zwischen zwei Gruppen ist)
- Gruppenunterschied: Wie Mittelwertdifferenz zwischen Gruppen, kann aber Proportion oder Prozentzahl sein
- Absoluter Wert: Unterschied in Effektstärke ohne die Effektrichtung zu berücksichtigen
- Korrelation/Zusammenhang
- Relatives Risiko
Was machen wir, wenn Heterogenität vorliegt?
Homogene Effektgrößen: alle Effekte sind in etwa gleich groß und gleichgerichtet (Ähnliche Ergebnisse aus den Studien)
Heterogene Effektgrößen: einige Effekte fallen größer aus und gehen evtl. in unterschiedliche Richtungen (Unterschiedliche Ergebnisse aus den Studien)
Bei Vorliegen von Heterogenität kann sie auf eine (mehrere) Moderatorvariable(n) zurückgeführt werden?: Subgruppen von Studien identifizieren, deren Effekte sich von denen anderer Subgruppen unterscheiden
Was ist das Problem der Vote-Counting bei Metaanalysen?
Vote-Counting ist das Zählen der Signifikanz in den Studien, um zu bestimmen, ob mehr Studien signifikant sind oder nicht. Für die einzelne Studie kann das wichtig sein, aber bei einer Metaanalyse führt das zu Probleme
Warum ist Vote-Counting problematisch?
- Nur weil eine Studie keinen signifikanten Effekt gefunden hat, heißt das nicht, dass es keinen Effekt tatsächlich gibt. Das hängt auch von Stichproblemgröße und Effektgröße
- Keine Gewichtung der Effektstärke: Alle Studien werden hier gleich gewichtet, unabhängig von Qualität und Stärke ihrer Effekte
- Heterogenität wird ignoriert
- Selektive Berichterstattung: Studien, die Signifikanz haben, werden eher veröffentlicht –> führt zu Verzerrung
Was sind drei Probleme der Aggregation von p-Werten?
Aggregation von p-Werten bedeutet die Sammlung aller p-Werten von verschiedenen Studien und man berechnet den durchschnitts p-Wert.
Probleme:
1) Verschiedene p-Werte für die gleiche Effektgröße, wegen verschiedenen Stichprobengrößen, Methoden und anderen Faktoren
2) Gleiche p-Werte für verschiedene Effektgrößen
3) Negativer Zusammenhang von p-Wert und Effektgröße
Was ist das Ziel der Literaturrecherche?
Finden aller relevanten Studien, die die Kriterien erfüllen
- Ist die gefundene Stichprobe repräsentativ?
- Mögliche Beschränkungen: Nur solche Studien, die nach der letzten Metaanalyse publiziert wurden
- Umfang/Breite der untersuchten Studienpopulation beeinflusst Interpretierbarkeit der Ergebnisse
- Wichtig: Systematische und umfassende Suche
Was sind die Kriterien für Literaturrecherche bei Metaanalyse?
Welches Problem soll gelöst werden? Welche Frage soll die Metaanalyse beantworten?
1) Inhaltliche Kriterien: ergeben sich aus der Fragestellung
- Beispiel: Ist Psychotherapie wirksam? –> Studien, die die Wirkung von Psychotherapie untersuchen klinische Studien
2) Methodische Kriterien: ergeben sich aus Anforderungen an Qualität der Studien
- Beispiel: Experimente, Publiziert in Zeitschrift mit Gutachterverfahren (peer-reviewed)
Was ist das Vorgehen/Quellen bei der Literaturrecherche?
- Stichwortrecherche in elektronischen Datenbanken
- Referenzen (Reviews oder einzelnen Studien)
- Einschlägige Fachzeitschriften
- Programme und Abstractbände von Tagungen und Konferenzen
- Kontaktieren von Autorinnen
- Forschungsorganisationen
Was ist ein Problem bei der Literaturrecherche?
Publikationsbias - statistisch verzerrte Darstellung der Datenlage in wissenschaftlichen Zeitschriften infolge einer bevorzugten Veröffentlichung von Studien mit positiven Befunden/signifikanten Ergebnissen
- Größere Stichproben liefern präzisere Schätzungen (kleinere Standardfehler)
- Kleinere Stichproben liefern (trotz vorhandenem Effekt) manchmal nicht signifikante Ergebnisse, die dann nicht veröffentlicht werden
- Folge: Verzerrung metanalytischer Ergebnisse
Wie führt man die Datenextraktion und Moderatorkodierung durch?
Datenextraktion - Auswahl der Primärstudien und Berechnung der Effektgrößen (Datenerhebung der Metaanalyse)
Kodierung - Anwendung eines Kodierschemas zur Einteilung der Primärstudien (“Interview mit jeder Primärstudie”, Kodierschema - standardisierter Fragebogen mit geschlossenen Fragen)
Methodische Aspekte
- Sorgfältige Entwicklung des Kodierschemas
- Bestimmung von Vollständigkeit, Reliabilität und Validität der Kodierung
Inhaltliche Aspekte (Welche “Fragen” habe ich an die Studie?)
- Essentielle Fragen: Ein-/Ausschlusskriterien und Bestimmung der Effektgröße
- Optionale Frage: Moderatorvariablen: Design, Stichprobe. Setting (Labor, Feld)
