VL 8 - Metaanalyse 1 Flashcards
Definition: Metaanalyse
= Gruppe von Verfahren zur systematischen quantitativen Zusammenfassung von Untersuchungsergebnissen
Was genau sind Metaanalysen? (4)
= Zusammenfassung von Primärstudien eines Themas zu Metadaten mithilfe statistischer Mittel
- Forschungssynthese
- Interpretative Aggregation zu einer Gesamtaussage
- Untersuchungseinheiten: Studien
Was ist eine Primärstudie/-analyse? (2)
- eigene Datenerhebung & Auswertung
- typischer Fall: empirische Studie
Was ist eine Sekundärstudie/-analyse? (2)
- Neuauswertung vorhandener Datensätze
- notwendig: Beschaffung der Originaldatensätze
Was ist eine Metastudie/-analyse? (4)
- statistische Zusammenfassung der Ergebnisse direkt vergleichbarer Studien zu einem Thema
- enthält statistische Datenanalyse
- Weiterrechnung mit empirischen Ergebnissen
- arbeitet nicht mit Originaldatensätzen, sondern stützt sich ausschließlich auf Ergebnisberichte von Studien (-> ist eine Theorie- oder Literaturarbeit)
Was ist ein narratives Review (literature review)?
Vorstellung, Vergleich & kritische Diskussion der einschlägigen Literatur
(theoretischer Hintergrund in empirischer Arbeit, theoretischer Überblicksartikel)
Was sind 2 Probleme des narrativen Reviews (literature review)?
- begrenzte kognitive Kapazitäten: große Anzahl & Komplexität der Studien, Vergleichsdimensionen, Bewertungsdimensionen, Moderatorvariablen
- Subjektivität & Intransparenz: subjektive Auswahl- & Bewertungskriterien, intransparente Methode
Was ist ein systematisches Review (systematische Übersichtsarbeit)?
kritische Würdigung früherer Forschungsdaten
Was umfasst eine Metaanalyse (meta-analytic review)?
rechnerische Zusammenfassung von statistischen Befunden (d.h. Effektgrößen)
Inwieweit sind Objektivität & Transparenz Vorteile einer Metaanalyse? (5)
- transparente Regeln für SUCHE nach Studien
- festgelegte Kriterien von INKLUSION/ EXKLUSION von Studien
- explizite Angabe & Definition der KRITERIEN & Vergleichsdimensionen
- intersubjektiv nachvollziehbare KODIERUNG von Studien & Moderatorvariablen
- intersubjektiv nachvollziehbare GEWICHTUNG & STATISTISCHE ANALYSE der Studienergebnisse
Was ist ein Problem von Metaanalysen (meta-analytic review)?
durch Kriterien verringert sich Anzahl der aufgenommenen Studien
Wozu sind Metaanalysen gut? (4)
- systematische Zusammenfassung vieler Studien
- liefert eine Art “Mittelwert” bisheriger Studien
- wichtiger Schritt von der Grundlagenforschung zur technologischen Forschung & Anwendung
- bestmögliche Basis für anwendungsbezogene Entscheidungen
Was ist der Gesamteffekt in einer Metaanalyse?
= gewichteter Mittelwert der Effektgrößen der einzelnen Primärstudien, welcher den Gesamteffekt in der Population schätzt
Inwieweit ist der Gesamteffekt in einer Metaanalyse relevant? (3)
- Signifikanztest für den Gesamteffekt
- Effektgrößenschätzung des Gesamteffekts
- häufig werden Wirksamkeit einer Maßnahme oder Auswirkung einer Verhaltensweise untersucht
Was ist das Ziel einer Moderator-/ Subgruppenanalyse?
Identifikation derjenigen Moderatoren, die den Effekt stärker oder schwächer ausfallen lassen
Was sind die 5 Schritte der Metaanalyse?
1. Problemformulierung
2. Literaturrecherche
3. Kodierung
4. Datenanalyse & -interpretation
5. Ergebnispräsentation
Definition: Effektgröße
= statistische Kennzahl für Größe & Richtung des Zusammenhangs zweier Variablen
(Basis: individuelle Primärstudie)
Was sind 5 Beispiele für Effektgrößen?
- Mittelwertdifferenz
- Gruppenunterschied
- absoluter Wert
- Korrelation/ Zusammenhang
- relatives (Krankheits-)Risiko
Was sind homogene Effektgrößen?
alle Effekte sind in etwa gleich groß & gleichgerichtet
Was sind heterogene Effektgrößen?
einige Effekte fallen größer aus & gehen evtl. in unterschiedliche Richtungen
Was guckt man sich an wenn heterogene Effektgrößen vorliegen?
- Heterogenität wg. Moderatorvariable(n)?
-> Subgruppen von Studien identifizieren, deren Effekte sich von denen anderer Subgruppen unterscheiden (z.B. Frauen vs. Männer, versch. Therapien bei versch. Störungsbilder)
Was sind 4 typische Abbildungen im Zuge einer Metaanalyse?
- Flowchart (Ablaufdiagramm)
- Forest-Plot
- Bubble-Plot mit kategorialem o. kontinuierlichem Moderator
- Funnel-Plot
Warum zählt man bei Metaanalysen nicht einfach die signifikanten & nicht signifikanten Ergebnisse (Vote Counting)?
Problem: die Signifikanz (p-Wert) ist abhängig von Effektgröße UND Stichprobenumfang
=> ein nicht-signifikantes Ergebnis bedeutet nicht, dass es keinen Effekt gibt (keine ß-Fehlerkontrolle)
Warum aggregiert man stattdessen nicht einfach die p-Werte bei Metaanalysen? (4)
- es interessiert die GRÖßE DES EFFEKTS & nicht die (Nicht-)Existenz eines beliebig großen Effekts
- verschiedene p-Werte für die gleiche Effektgröße
- gleiche p-Werte für verschiedene Effektgrößen
- negativer Zusammenhang von p-Wert & Effektgröße
Was ist der Ausgangspunkt für die Kriterien für die Literaturrecherche (Metaanalyse)?
Problemstellung/Forschungsfrage der Metaanalyse
Woraus ergeben sich die inhaltlichen Kriterien (Metaanalyse)?
aus der Fragestellung
Woraus ergeben sich die methodischen Kriterien (Metaanalyse)?
aus den Anforderungen an die Qualität der Studien (z.B. Experiment, peer-reviewed)
Was ist das Ziel der Literaturrecherche?
Finden aller relevanten Studien, die die Kriterien erfüllen (d.h. die zur Population gehören)
Warum ist eine systematische & umfassende Suche bei der Literaturrecherche für Metaanalysen wichtig? (2)
- damit die Metaanalyse nicht vom eigenen (beschränkten) Suchhorizont verzerrt wird
- auch inhaltlich verwandte Forschung anschauen, die andere Begriffe verwendet
Was sind 7 Vorgehen/Quellen bei der Literaturrecherche?
- Stichwortrecherche in elektronischen Datenbanken
- Referenzen in Reviews
- Referenzen in einzelnen Studien
- einschlägige Fachzeitschriften
- Programme & Abstractbände von Tagungen & Konferenzen
- Kontaktieren von Autor:innen einschlägiger Studien
- Forschungsorganisationen
Definition: Publikationsbias
= statistisch verzerrte Darstellung der Datenlage in wissenschaftlichen Zeitschriften infolge einer bevorzugten Veröffentlichung von Studien mit positiven Befunden/signifikanten Ergebnissen
(z.B. bei kleiner Stichprobe: trotz vorhandenem Effekt nicht-signifikante Ergebnisse)
Wozu führt der Publikationsbias (Metaanalyse)?
Verzerrung meta-analytischer Ergebnisse
Wie kann man einen Publikationsbias diagnostizieren (Metaanalyse)?
Funnel-Plot
(x-Achse: Effektgrößen, y-Achse: Stichprobengröße)
Definition: Kodierung (Metaanalyse)
= “Datenerhebung der Metaanalyse”
Was ist ein Kodierschema (Metaanalyse)?
standardisierter Fragebogen mit geschlossenen Fragen
Was sind 3 methodische Aspekte der Kodierung (Metaanalyse)?
- Sorgfältige Entwicklung des Kodierschemas
- Training der Kodierer
- Bestimmung von Vollständigkeit, Reliabilität & Validität der Kodierung
Was sind essentielle Fragen die ich an die Studien habe (Metaanalyse)?
- Ein-/Ausschlusskriterien
- Bestimmung der Effektgröße(n)
Was sind optionale Fragen die ich an die Studien habe?
Moderatorvariablen, z.B.
- Design
- Stichprobe
- Setting
Metaanalyse ist… (4)
1.) Die systematische Zusammenfassung von
2.) Effektgrößen von Primärstudien zu
3.) einem Gesamteffekt
4.) mithilfe statistischer Methoden
Was ist die stärkste Form der wissenschaftlichen Evidenz?
Metaanalysen
Was sind 3 Beispiele dafür, dass Metaanalysen als wissenschaftliche Grundlage für Entscheidungen im Anwendungskontext fungieren?
- Empfehlungen über gesundheitsrelevantes Verhalten
- Gestaltung von Behandlungsrichtlinien, Verschreibungsregeln
- Entscheidung über die Genehmigung/ staatliche Förderung von Therapieformen
Definition: Teststärke
= 1 - Beta-Fehler
= Wahrscheinlichkeit, in der Population tatsächlich existierenden Effekt auch nachweisen zu können
Was ist eine mögliche Lösung für das Problem, wenn ein hoch relevanter Effekt übersehen wird in einzelnen Studien?
Metaanalyse!
