12. Treatmentimplementierung/Attrition Flashcards
Warum muss die Treatmentrealisierung hinterfragt werden?
zur Absicherung der Validitaet
Fragestellungen zur Treatmentrealisierung: Grundlagenforschung
- werden die Reizmaterialien korrekt dargeboten?
- ist das Treatment von der Laborsituation abhaengig?
- werden Anweisungen gefolgt?
Fragestellungen zur Treatmentrealisierung:
A&O Psychologie
- neuer Entlohnungssysteme ergibt Erfolg fuer ALLE Mitarbeiter?
Fragestellungen zur Treatmentrealisierung:
paedagogische Psychologie
- wird die neue Unterrichtsform wirklich in allen Faechern verwendet?
Fragestellungen zur Treatmentrealisierung: Beispiel
KLINISCHE FORSCHUNG
- nehmen die Patienten die Medikamente korrekt ein?
- Werden Frageboegen zur richtigen Zeit beantwortet?
- wird der mit dem Therapeuten abgesprochenen Tagesablauf eingehalten?
- gibt es sprachliche Hindernisse?
Nenne die drei Stufen der Treatmentrealisierung
- Bereitstellung des Treatments
- Entgegennhame des Treatments
- Einhaltung des Treatments
- Beretstellung des Treatments
Medikament wird bereitgestellt
- Entgegennahme des Treatments
Medikament wird uebergeben
- Einhaltung des Treatments
Medikament wird nach Anweisung eingenommen
Wie wird die Bereitstellung des Treatments kontrolliert?
- Anleitungen
- Training der Versuchsleiter
- Standardisierung der Treatmentgabe (oft schwierig)
- Supervision
- Austausch unter verschiedenen Versuchsleitern
- genuegend Zeit?
- muendlich/schriftlich
- Motivation (vorsichtig: Uebermotivation koennte gefaehrlich fuer die Validitaet sein)
- Ueberpruefung des ermittelten Wissens durch Wissenstest/Beobachtung/Befragung
Wie wird die Einhaltung des Treatments kontrolliert?
z.B
Erhebung von Blutparametern (Ueberpruefung von Medikamenteneinnahme)
Analyse von Koerperschweiss (Drogenabstinenz)
Wie wird die Einhaltung des Treatments kontrolliert? (in der experimentellen Forschung)
z.B
sind die Reaktionszeiten ueberhaupt realistisch?
(<100ms wahrscheinlich zufaellig)
Treatmentrealisierung: Haeufige Fehler
a) fanden noch zusaetzliche Interventionen statt?
b) haben die KG Faelle nicht DOCH eine Form des Treatments erhalten?
c) Fanden unvorhergesehene Dinge statt?
Haeufige Fehler: a) fanden noch zusaetzliche Interventionen statt?
Patienten nehmen an mehreren Experimenten teil
grosse Gefahr bei Studien ueber laengere Zeitraeume
Haeufige Fehler: b) haben die KG Faelle nicht DOCH eine Form des Treatments erhalten?
es kann nicht immr davon ausgegangen dass bei der KG “nichts” passiert ist
Haeufige Fehler: c) Fanden unvorhergesehene Dinge statt?
Therapeuten erweitern “kreativ” das Experiment, weil sie durch die Studie auf neue Ideen kommen
Treatmentimplementierung: 3 Probleme
1) Treatment ist nicht vollstaendig kontinuierlich
2) Treatment wird ausversehen in unterschiedlicher Staerke gegeben
3) Zuordnung zu EG und KG ist mit einem Bias belastet
Treatment nicht vollstaendige kontinuierlich: Loesung
Intent-To-Treat-Analysis
Treatment in unterschiedliche Staerken: Loesung
stat. Analysen unter Beruecksichtigung der Treatmentstaerke
Zuordnung zu EG und KG mit Bias: Loesung
instrumental variable Analyse (IV-Analysen)
Intent-to-Treat-Analyse: wann wird es eingesetzt?
- Einsatz bei randomisiert kontrollierte Studien
- klinischer Kontext
Intent-to-Treat-Analyse: Berechnung
Berechnung nach “urspruenglicher Absicht, wie man behandelt werden wollte”
Erfasse
Intent-to-Treat-Analyse
- Patienten werden in der Gruppe analysiert der sie zu Studienbeginn zugeteilt wurde
- —-> unabhaengig davon, ob die Patienten eine andere Behandlung erhielten als geplant war
Intent-to-Treat-Analyse: Vorteile
- Uebertragbarkeit in die Praxis ist sicher gestellt
- erfasst Verhaeltnisse
- ein Medikamentwechsel/schlechte Compliance kann z.B durch das Treatment bedingt sein
- kausale Bewertung vom Einfluss der Zuordnung
Loesungsansatz: Analysen unter Beruecksichtigung der Treatmentstaerken
erfasst wird:
- –> ob ein treatment erhalten wurde (J/N)
- –> wie stark das Treatment war
- Probanden haben die Wahl
- Zugehoerigkeit zu einer Analysegruppe
- Kovariate in die Statistische Auswertung
Analysen unter Beruecksichtigung der Treatmentstaerken: Vorteile
- Treatment nicht “auferzwungen”
- “geeignete Teilnehmer” suchen sich das Experiment aus
Analysen unter Beruecksichtigung der Treatmentstaerken: Nachteile
- kausale Zusammenhaenge sind schwer zu interpretieren
- —> wegen Selbstselektion
- Messfehler
IV-Analyse: Anwendung, Primaeres Einsatzgebiet
ANWENDUNG:
- falls Randomisierung nicht moeglich ist (z.B aus ethischen Gruenden)
PRIMAERES EINSATZGEBIET: Wirtschaftswissenschaft
Erfasse die IV-Analyse
Neben dem Kriterium Y und dem Praediktor D, wird eine weitere Randomisierte Variable Z hinzugefuegt
IV-Analyse: Beispiel
ANREIZ-DESIGN
Fragestellung: wie beeinflusst das Verhalten D (Schulbesuch (J/N)) das Kriterium Y (Einkommen mit 30 Jahren)?
PROBLEME:
- Schulbesuch nicht randomisierbar (aus ethischen Gruenden)
- deswegen werden sich die Gruppen auch in Hinsicht anderer Variablen signifikant unterscheiden
Loesungsansatz: IV-Analyse
- randomisierte Zuteilung eines Anreizes Z (Subvention des Schulbesuchs) [instrumental Variable]
- D soll hierdurch auf Y besser erfasst werden
Anreiz-Design: wenn es jedoch einen Bias gibt…
kann der Bias durch eine KORRELATION zwischen Praediktor und Vorhersagefehler erfasst werden
Instruentalvariabln: Voraussetzungen
KKKK
- Korrelation mit dem Praediktor
- KEINE “direkte” Korrelation zwischen Instrument Variable und Kriterium
- KEINE Korrelation mit dem Vorhersagefehler
- KEIN Bestandteil der eigentlichen Regressionsgleichung
Was ist Attrition?
Schwund an Probanden
Attrition: Vermeidung
- gute Pflege um VPN “bei Laune” zu halten
- Aktualisierung der Datenbank mit den Kontaktdetaillen
- Beachtung vn Datenschutz –> nicht “Detektiv” spielen, Nachbarn fragen
- Differenzierung zwischen VPN “erinnern” und VPN “belaestigen”
- Keine Drohungen
- Ermittlung eines “Zwischenberichts” um die Interesse der Probanden einzubehalten
Attrition kann wie unterteilt werden?
Vermeidbaren Ursachen z.B kein Interesse vom Probanden
Nicht-vermeidbaren Ursachen z.B Todesfall
Erklaere eine moegliche Loesung fuer das ewige “Erinnern” fuer Termine
zu Beginn der Studie:
- erklaerung der Relevanz von vollstaendigen daten
Welche VPN Daten sollen erhoben werden?
- Name, Addresse, Telefonnummer, E-Mail, Arbeitsplatz, Umzugsplaene
- Daten von verwandten Personen/Freunde
- Daten von Arzten, Sozialarbeiter etc. (auch zur Ueberpruefung der Richtigkeit der Daten)
Methoden um VPN-Kontakt langfristig zu erhalten?
- Bitte um Mitteilung von adressaenderungen
- erste Rueckfragen schon 2/3 Wochen nach dem ersten Kontakt
- Rueckfragen immer zu aehnlichen Zeiten
- Kontaktadresse ausgeben
- Fahrtkosten bezahlen fuer Interviews
- geburtstagsglueckwuensche (kommt die Post an?)
Wenn VPN nicht mehr erreichbar sind: Loesungsansaetze?
NACHFRAGEN
- Nachfragen bei Verwandten/Freunde
- Nachfragen bei der Post, ob es eine Adressaenderung gab
- Nachfragen beim Telefonanbieter
Vor dem experimentellen Termin…
- VPN extra errinern
- besonders die die in der Vergangenheit schon mehrere Erinnerungshilfen brauchten
erfasse Fehlende werte
wenn Angaben im Datenschutz fehlen obwohl die entsprechende Merkmalsauspraegungen empirische vorliegen
Fehlende Werte: Probleme
- Verringerte Effizienz und Power
2. Verzerrung bei der Identifikation der vorliegende Strukturen
Fehlende Werte: Probleme
—-> VERRINGERTE EFFIZIENZ UND POWER
wie kommt es dazu?
- Faelle mt fehlende Werte werden komplett ausgeschlossen
- Reduktion der Stichprobengroesse
Fehlende Werte: Probleme
—-> VERRINGERTE EFFIZIENZ UND POWER
wie kommt es dazu?
- Faelle mt fehlende Werte werden komplett ausgeschlossen
- Reduktion der Stichprobengroesse
Fehlende Werte: Probleme
—-> VERZERRUNG
wie kommt es dazu?
- NUR eine Subgroup fuehrt die Untersuchung bis zum Ende durch
- Verfaelschung der Ergebnisse in Richtung der Subgruppe
Missing-Data-Diagnose: Erklaeren Sie den Vorgang
- Festlegung der Anzahl der fehlenden Werte.
- Je Variable
- Je Person / subject - Ausschluss einzelner Personen oder Variablen.
—–> Unterschiede EG und KG?
Was ist der Missing-Data-Prozess?
Die Suche nach “Ursachen” des Fehlens von Daten
Missing-Data-prozess: Problem?
teilweise nur eine Annahme
Nenne die drei Typen von fehlenden Werten?
Missing Completely at Random (MCAR)
Missing at Random (MAR)
Not Missing at Random (NMAR )
MCAR
Missing Completely at Random
Wann tritt MCAR auf?
- wenn fehlenden Werte über alle
Beobachtungen hinweg zufällig verteilt sind - Fälle mit fehlenden Werten unterscheiden sich nicht von Fällen ohne fehlende Werte.
- Das Fehlen kann nicht vorhergesagt werden
MCAR/MAR: Loesungsmoeglichkeiten?
- multiple imputation
- maximum likelihood.
MAR
Missing at Random
Wann tritt MAR auf?
- wenn das Fehlen eines Wertes vollständig durch andere Variablen erklärt werden kann
- Fälle mit fehlenden Werten unterscheiden sich von Fällen ohne fehlende Werte.
- Das Fehlen kann aber nicht der Variablen selbst begründet sein
MAR: Beispiel
Frauen geben ihr Gewicht nicht an
NMAR/NRM
Not Missing at Random
Nonrandom Missing
wass erfasst NMAR?
Ob ein fehlender Wert in der abhängigen Variablen Y
auftritt, steht nur in Zusammenhang mit der Variablen Y selbst
NMAR: Beispiel
- Personen mit hoeherem Gewicht geben dies nicht gerne an
- im Datensatz gibt es jedoch keine Variablen zur Vorhersage dieses Fehlens
NMAR: Problem
Ersetzung ist schwierig
NMAR: Loesungsansaetze
- selection models
- pattern mixture
Nenne die klassischen Verfahren zum Umgang mit fehlenden Daten
- listwise deletion
- pairwise deletion
- Mittelwertsersetzung
Listwise Deletion
Person faellt aus der Berechnung aller Kennwerte heraus
Pairwise Deletion
- Person hat fehlende werte in einer Variablen
- wird nur in der Auswertung dieser Variablen nicht beruecksichtigt
Mittelwertsersetzung
- Fehlende Werte werden durch Mittelwert aus der Variable ersetzt
Wozu fuehrt die Strategie der Mittelwertsersetzung?
Varianzvernichtung
regression imputation
- Ermittlung einer Regressionsgeraden (bei vollstaendige Daten) —–> Vorhersage der fehlenden Werte (bei unvollstaendige Daten)
Regression Imputation —> Problem?
Zusammenhangsueberschaetzung
EM-Algorithmus
Expectation-Maximization-Algorithmus
Erfasse die Funktion des EM-Algorithmus
Modell erfasst:
- Beziehung zwischen vorhandenen daten und fehlenden Werten
- Zufallsvariablitaet der Daten
EM-Algorithmus: Voraussetzung
intervallskalierte Variablen
EM-Algorithmus: Software
Norm von Schaefer
Multiple Imputation
Mehrfache Ersetzung von fehlenden
Werten durch m > 1 plausible Werte
Imputation =
Ersetzung
Welches ist die beste Methode um mit fehlenden Daten umzugehen?
Multiple Imputation
Multiple Imputation: Vorteile
- Nutzung der verfügbaren Infos
- Komfortable Auswertung von vollständigen Datensätzen möglich
- universeller Einsatz
- Berücksichtigung der Unsicherheit aufgrund von fehlenden Werten
wie wird MAR systematisch erzeugt?
- planung der Datenerhebung
- es sollen aufschlussreiche Kovariaten berücksichtigt werden
Wie sollen Fehlende Werte analysiert werden?
- Kodierung unterschiedlicher Arten von Missings (erhebungsproblem, Antwortverweigerung, keine logische Antwort moeglich)
- mehr als 5% Missings bei einer Variable –> MD-Diagnostik
- Eliminierung –> Verzerrung
- Indexbildung, verwendung alternativer, hochkorrelierter aber vollstaendiger Daten
Wann soll eine MD-Diagnostik durchgefuehrt werden?
wenn mehr als 5% Missings bei einer Varibale vorkommen
MD-Gruppe soll als…
uV aufgenommen werden
Drop-Out Analyse
Charakterisierung von MD im Kontrast zu Respondern
wichtig
