6. Einfache Quasi-experimentelle Designs Flashcards
Erfasse Quasi-experimentelle Designs
Eine Untersuchung bei der keine zufaellige Zuordnung der Teilnehmenden zu Untersuchungsbedingungen stattfindet.
Wie aehnelt sich ein quasi-experimentelles Design an ein experimentelles Design?
Beide verfolgen den Test einer KAUSALEN Hypothese
Quasi-Experimentelle Designs: Versuchsplanerisches Problem?
keine RANDOMISIERTE Zuweisung
–> Ergebnisse sind schwieriger interpretierbar
Unter welchen Umstaenden wuerde man ein Design ohne KG durchfuehren?
NUR WENN ES SEIN MUSS!
- ethische/praktische Gruende
- logistsche Gruende (Treatments bereit flaechendecken implemtiert)
- wenn GLASKLAR ist was ohne Treatment zu erwarten ist
Ein-Gruppen-Design (mit einem Post-Messzeitpunkt): Probleme
Gab es ueberhaupt einen Effekt?
- kontrafaktischer Vergleich fehlt
- alle Bedrohungen der internen Validitaet koennen nicht bewertet werden
-
ein-Gruppen-design (eine Post-Messzeitpunkt): Einflussfaktoren
— Reifung
— History
— Testing
— groer zeitlicher Abstand
ein-gruppen-design (ein post-messzeitpunkt): Verbesserung?
— Ein-Gruppen-Prä-Post-Design mit zweifacher Pra-messung
— Ein-Gruppen-Prä-post-design mit unterschiedlichen aV
within-subjects?
between-subjects?
within-subjects: die Personen sind diesselben
z.B messung des wissenzustandes am anfang und am ende des semsters in einer Gruppe
between-subjects: unterschiedliche Personen
z.B Messung des Wissenzustandes am anfang und am Ende des semesters in unterschiedlichen Jahrgängen
Notation:
X =
0 =
X = treatment 0 = Messung
Was passiert wenn mehrmals gemessen wird?
a fehler inflationierung
Ein-Gruppen-Prä-Post-Design mit zweifacher Prä-Messung
• Zusammenfassung
01 02 X 03 — „Probelauf“ durch zwei Prämessungen — Veränderung zwischen 01 und 02 zeigt: • Einfluss der Testung • lineare Reifungstrends — Effekt: tritt zwischen 02 und 03 auf
Ein-Gruppen-Prä-Post-Design mit zweifacher Prä-Messung
• Problem
nicht-lineare Zusammenhänge können nicht erfasst werden
Ein-Gruppen-Prä-Post-Design mit zweifacher Prä-Messung
• Lösung
• Kritische Analyse dieser Lösung
• noch mehr Prä-Messungen Nachteil: • Aufwand • Schwund an Probanden • Testing
Ein-Gruppen-Prä-Post-Design mit unterschiedlichen aV
• Zusammenfassung
01A 01B X 02A 02B
— A&B messen ähnliche Konstrukte —Effekt von X auf A: wird geprüft — Für B wird kein Effekt erwartet — B spricht aber auf zentrale Bedrohugen der internen Validität ebenso an wie A — Kontrolle dieser Bedrohungen durch B
DIFFERENZ zwischen A & B: der konjektur-bereinigte Effekt der „Werbemaßnahme„
Möglichkeiten zur Verbesserung eines Designs ohne KG
- Vorhersage per Regression
- Vergleich mit Normwerten
- Vergleiche mit sekundären Daten aus anderen Quellen
Möglichkeiten zur Verbesserung eines Designs ohne KG
• Vorhersage per Regression
— Vorhersage des erwarteten Post-Wert
— Analyse der Differenz zwischen erwarteten und erhobenen Daten
Möglichkeiten zur Verbesserung eines Designs ohne KG
• Vorhersage per Regression: Problem
ohne Kentnisse aller relevanter Prädiktoren, keine akkurate Vorhersage
— History
— Testeffekte
Möglichkeiten zur Verbesserung eines Designs ohne KG
• Vergleich mit Normwerte: Problem
— Selektionsbias — Alter der Daten — Regressionsbias — Testeffekte — Instrumentierung
Möglichkeiten zur Verbesserung eines Designs ohne KG
• Vergleiche mit sekundären Daten aus anderen Quellen: Beispiel?
z.B Krankenkassen Daten
Möglichkeiten zur Verbesserung eines Designs ohne KG
• Vergleiche mit sekundären Daten aus anderen Quellen: Probleme?
— ErhebungsZweck? (kann Einfluss haben)
— Alter der Daten
— Vollständigkeit?
Designs mit KG, ohne Prä-Messung
• wie muss damit umgegangen werden?
• Nachteile?
— Vergleich von KG und EG
— KG muss möglichst ähnlich sein
NACHTEILE:
— viele mögliche Ursachen für Mittelwertsunterschieden zwischen den Gruppen
— Gruppen unterscheiden sich evtl schon davor
Argument gegen Prä-Test?
• Prä-Test hat ein Einfluss auf das Verhalten
Post-Messung mit ähnlichen Variablen in der Prä-Messung
• Vorteile
— Unterschiede zwischen Gruppen vor treatment kann bewertet werden (Selektionsbias)
— Ausfall innerhalb/zwischen Gruppen wird bewertet (Attributionsbias)
BSP.
• vor dem Physikkurs werden die mathematische Leistungen erhoben
• nach den Kurs soll die Physikleistung getestet werden
Prä-Post-Messungen mit unabhängigen Stichproben
• was?
• warum?
• probleme?
Was?
• Prä-test an zufälliger SP aus ZielPopulation
Warum?
• longitudinaler Ansatz zu teuer oder schwierig
Problem?
• Bedrohungen der internen Validität
• Bias im Prä-Test auch möglich bei Zufallsziehung bei kleinen heterogenen SP (Treatment-Effekt)
• Qual. Veränderungen in Population über Zeit (Treatment-Effekte)
