6. Einfache Quasi-experimentelle Designs Flashcards
Erfasse Quasi-experimentelle Designs
Eine Untersuchung bei der keine zufaellige Zuordnung der Teilnehmenden zu Untersuchungsbedingungen stattfindet.
Wie aehnelt sich ein quasi-experimentelles Design an ein experimentelles Design?
Beide verfolgen den Test einer KAUSALEN Hypothese
Quasi-Experimentelle Designs: Versuchsplanerisches Problem?
keine RANDOMISIERTE Zuweisung
–> Ergebnisse sind schwieriger interpretierbar
Unter welchen Umstaenden wuerde man ein Design ohne KG durchfuehren?
NUR WENN ES SEIN MUSS!
- ethische/praktische Gruende
- logistsche Gruende (Treatments bereit flaechendecken implemtiert)
- wenn GLASKLAR ist was ohne Treatment zu erwarten ist
Ein-Gruppen-Design (mit einem Post-Messzeitpunkt): Probleme
Gab es ueberhaupt einen Effekt?
- kontrafaktischer Vergleich fehlt
- alle Bedrohungen der internen Validitaet koennen nicht bewertet werden
-
ein-Gruppen-design (eine Post-Messzeitpunkt): Einflussfaktoren
— Reifung
— History
— Testing
— groer zeitlicher Abstand
ein-gruppen-design (ein post-messzeitpunkt): Verbesserung?
— Ein-Gruppen-Prä-Post-Design mit zweifacher Pra-messung
— Ein-Gruppen-Prä-post-design mit unterschiedlichen aV
within-subjects?
between-subjects?
within-subjects: die Personen sind diesselben
z.B messung des wissenzustandes am anfang und am ende des semsters in einer Gruppe
between-subjects: unterschiedliche Personen
z.B Messung des Wissenzustandes am anfang und am Ende des semesters in unterschiedlichen Jahrgängen
Notation:
X =
0 =
X = treatment 0 = Messung
Was passiert wenn mehrmals gemessen wird?
a fehler inflationierung
Ein-Gruppen-Prä-Post-Design mit zweifacher Prä-Messung
• Zusammenfassung
01 02 X 03 — „Probelauf“ durch zwei Prämessungen — Veränderung zwischen 01 und 02 zeigt: • Einfluss der Testung • lineare Reifungstrends — Effekt: tritt zwischen 02 und 03 auf
Ein-Gruppen-Prä-Post-Design mit zweifacher Prä-Messung
• Problem
nicht-lineare Zusammenhänge können nicht erfasst werden
Ein-Gruppen-Prä-Post-Design mit zweifacher Prä-Messung
• Lösung
• Kritische Analyse dieser Lösung
• noch mehr Prä-Messungen Nachteil: • Aufwand • Schwund an Probanden • Testing
Ein-Gruppen-Prä-Post-Design mit unterschiedlichen aV
• Zusammenfassung
01A 01B X 02A 02B
— A&B messen ähnliche Konstrukte —Effekt von X auf A: wird geprüft — Für B wird kein Effekt erwartet — B spricht aber auf zentrale Bedrohugen der internen Validität ebenso an wie A — Kontrolle dieser Bedrohungen durch B
DIFFERENZ zwischen A & B: der konjektur-bereinigte Effekt der „Werbemaßnahme„
Möglichkeiten zur Verbesserung eines Designs ohne KG
- Vorhersage per Regression
- Vergleich mit Normwerten
- Vergleiche mit sekundären Daten aus anderen Quellen
Möglichkeiten zur Verbesserung eines Designs ohne KG
• Vorhersage per Regression
— Vorhersage des erwarteten Post-Wert
— Analyse der Differenz zwischen erwarteten und erhobenen Daten
Möglichkeiten zur Verbesserung eines Designs ohne KG
• Vorhersage per Regression: Problem
ohne Kentnisse aller relevanter Prädiktoren, keine akkurate Vorhersage
— History
— Testeffekte
Möglichkeiten zur Verbesserung eines Designs ohne KG
• Vergleich mit Normwerte: Problem
— Selektionsbias — Alter der Daten — Regressionsbias — Testeffekte — Instrumentierung
Möglichkeiten zur Verbesserung eines Designs ohne KG
• Vergleiche mit sekundären Daten aus anderen Quellen: Beispiel?
z.B Krankenkassen Daten
Möglichkeiten zur Verbesserung eines Designs ohne KG
• Vergleiche mit sekundären Daten aus anderen Quellen: Probleme?
— ErhebungsZweck? (kann Einfluss haben)
— Alter der Daten
— Vollständigkeit?
Designs mit KG, ohne Prä-Messung
• wie muss damit umgegangen werden?
• Nachteile?
— Vergleich von KG und EG
— KG muss möglichst ähnlich sein
NACHTEILE:
— viele mögliche Ursachen für Mittelwertsunterschieden zwischen den Gruppen
— Gruppen unterscheiden sich evtl schon davor
Argument gegen Prä-Test?
• Prä-Test hat ein Einfluss auf das Verhalten
Post-Messung mit ähnlichen Variablen in der Prä-Messung
• Vorteile
— Unterschiede zwischen Gruppen vor treatment kann bewertet werden (Selektionsbias)
— Ausfall innerhalb/zwischen Gruppen wird bewertet (Attributionsbias)
BSP.
• vor dem Physikkurs werden die mathematische Leistungen erhoben
• nach den Kurs soll die Physikleistung getestet werden
Prä-Post-Messungen mit unabhängigen Stichproben
• was?
• warum?
• probleme?
Was?
• Prä-test an zufälliger SP aus ZielPopulation
Warum?
• longitudinaler Ansatz zu teuer oder schwierig
Problem?
• Bedrohungen der internen Validität
• Bias im Prä-Test auch möglich bei Zufallsziehung bei kleinen heterogenen SP (Treatment-Effekt)
• Qual. Veränderungen in Population über Zeit (Treatment-Effekte)
Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test
- Matching
2. Multiple KG verwenden
Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test:
1) MATCHING
• was ist das?
- KG und EG werden gepaart zusammen gestellt
- statistische Paaren mit möglichst identischen Werten in relevanten Variablen (z.B Bildungsstand), die mit der Outcomevariablen korrelieren
Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test:
1) MATCHING
• Ziele?
— Vergleichbarkeit erhöhen
— Selektionsbias verringern
— Statistische Power erhöhen
Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test
1) Matching
• Sonderfall?
Zwillingsstudien
Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test
1) MATCHING
• Sonderformen?
— Stratifizierung
• Probanden der KG und EG werden in Gruppen mit ähnlichen Werten (Strata) zusammengestellt
z.B Geschlecht
Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test
1) MATCHING
• Methoden?
— Matching „von Hand“ durch den Versuchsleiter
— Matchung mit Hilfe binär logischer Regression
— Clusteranalyse
1) MATCHING
• Matching von „Hand“ durch den Versuchsleiter
PROBLEM: Mit der anzahl der relevanten Variablen steigt die Schwierigkeit, einen „stat. Zwilling“ zu finden
1) MATCHING
• matching mit Hilfe Binär logischer Regression
1) Durchführungeiner binär-logischen Regression zur Vorhersage der Gruppenzugehörigkeit
2) Ermittlung der Wahrscheinlichkeit für die Gruppenzugehörigkeit —> propensity scores
3) Matching anhand dieser Wahrscheinlichkeiten
VORAUSSETZUNG:
— keine konfundierte Variablen
— große SP
— hoher Überlappungsbereich
1) MATCHING
• Clusteranalysen
—das erhobene Kollektiv wird in Gruppen mit ähnlichen Merkmalsträgern aufgeteilt
— es wird Cluster über ein hierarchischen Verfahren gesucht
VORAUSSETZUNG: MULTIVARIAT, NORMALVERTEILT, INTERVALSKALIERT
DISTANZMAß: beschreibt die Ähnlichkeit; die 2 ähnlichsten Objekte werden zu einem Cluster zusammengefügt
1) MATCHING
• Probleme?
— Regressionsartefakte
Auswahl aus Extremgruppen (z.B Hochbegabte vs normalbegabte)
— Nicht-redundante Prädiktoren
Äquivalenz nur auf den beobachteten Variablen
— Selektionsbias nicht ausgeschlossen
(under-matching)
Case-Control-Design
— eine Retrospektive Suche nach Ursache
— Suche nach einer KG mit hoher Vergleichbarkeit
— quasi-experimentell ohne Prätest
— Primär angewendet, wenn kein prospektives Design möglich ist
