6. Einfache Quasi-experimentelle Designs Flashcards

1
Q

Erfasse Quasi-experimentelle Designs

A

Eine Untersuchung bei der keine zufaellige Zuordnung der Teilnehmenden zu Untersuchungsbedingungen stattfindet.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Wie aehnelt sich ein quasi-experimentelles Design an ein experimentelles Design?

A

Beide verfolgen den Test einer KAUSALEN Hypothese

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Quasi-Experimentelle Designs: Versuchsplanerisches Problem?

A

keine RANDOMISIERTE Zuweisung

–> Ergebnisse sind schwieriger interpretierbar

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Unter welchen Umstaenden wuerde man ein Design ohne KG durchfuehren?

A

NUR WENN ES SEIN MUSS!

  • ethische/praktische Gruende
  • logistsche Gruende (Treatments bereit flaechendecken implemtiert)
  • wenn GLASKLAR ist was ohne Treatment zu erwarten ist
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Ein-Gruppen-Design (mit einem Post-Messzeitpunkt): Probleme

A

Gab es ueberhaupt einen Effekt?
- kontrafaktischer Vergleich fehlt
- alle Bedrohungen der internen Validitaet koennen nicht bewertet werden
-

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

ein-Gruppen-design (eine Post-Messzeitpunkt): Einflussfaktoren

A

— Reifung
— History
— Testing
— groer zeitlicher Abstand

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

ein-gruppen-design (ein post-messzeitpunkt): Verbesserung?

A

— Ein-Gruppen-Prä-Post-Design mit zweifacher Pra-messung

— Ein-Gruppen-Prä-post-design mit unterschiedlichen aV

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

within-subjects?

between-subjects?

A

within-subjects: die Personen sind diesselben
z.B messung des wissenzustandes am anfang und am ende des semsters in einer Gruppe

between-subjects: unterschiedliche Personen
z.B Messung des Wissenzustandes am anfang und am Ende des semesters in unterschiedlichen Jahrgängen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Notation:
X =
0 =

A
X = treatment
0 = Messung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Was passiert wenn mehrmals gemessen wird?

A

a fehler inflationierung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Ein-Gruppen-Prä-Post-Design mit zweifacher Prä-Messung

• Zusammenfassung

A
01    02    X    03
— „Probelauf“ durch zwei Prämessungen
— Veränderung zwischen 01 und 02 zeigt:
• Einfluss der Testung
• lineare Reifungstrends
— Effekt: tritt zwischen 02 und 03 auf
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Ein-Gruppen-Prä-Post-Design mit zweifacher Prä-Messung

• Problem

A

nicht-lineare Zusammenhänge können nicht erfasst werden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Ein-Gruppen-Prä-Post-Design mit zweifacher Prä-Messung
• Lösung
• Kritische Analyse dieser Lösung

A
• noch mehr Prä-Messungen
Nachteil: 
• Aufwand
• Schwund an Probanden
• Testing
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Ein-Gruppen-Prä-Post-Design mit unterschiedlichen aV

• Zusammenfassung

A

01A 01B X 02A 02B

— A&B messen ähnliche Konstrukte
—Effekt von X auf A: wird geprüft
— Für B wird kein Effekt erwartet
— B spricht aber auf zentrale Bedrohugen der internen Validität ebenso an wie A
— Kontrolle dieser Bedrohungen durch B

DIFFERENZ zwischen A & B: der konjektur-bereinigte Effekt der „Werbemaßnahme„

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Möglichkeiten zur Verbesserung eines Designs ohne KG

A
  1. Vorhersage per Regression
  2. Vergleich mit Normwerten
  3. Vergleiche mit sekundären Daten aus anderen Quellen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Möglichkeiten zur Verbesserung eines Designs ohne KG

• Vorhersage per Regression

A

— Vorhersage des erwarteten Post-Wert

— Analyse der Differenz zwischen erwarteten und erhobenen Daten

17
Q

Möglichkeiten zur Verbesserung eines Designs ohne KG

• Vorhersage per Regression: Problem

A

ohne Kentnisse aller relevanter Prädiktoren, keine akkurate Vorhersage
— History
— Testeffekte

18
Q

Möglichkeiten zur Verbesserung eines Designs ohne KG

• Vergleich mit Normwerte: Problem

A
— Selektionsbias
— Alter der Daten
— Regressionsbias
— Testeffekte
— Instrumentierung
19
Q

Möglichkeiten zur Verbesserung eines Designs ohne KG

• Vergleiche mit sekundären Daten aus anderen Quellen: Beispiel?

A

z.B Krankenkassen Daten

20
Q

Möglichkeiten zur Verbesserung eines Designs ohne KG

• Vergleiche mit sekundären Daten aus anderen Quellen: Probleme?

A

— ErhebungsZweck? (kann Einfluss haben)
— Alter der Daten
— Vollständigkeit?

21
Q

Designs mit KG, ohne Prä-Messung
• wie muss damit umgegangen werden?
• Nachteile?

A

— Vergleich von KG und EG
— KG muss möglichst ähnlich sein

NACHTEILE:
— viele mögliche Ursachen für Mittelwertsunterschieden zwischen den Gruppen
— Gruppen unterscheiden sich evtl schon davor

22
Q

Argument gegen Prä-Test?

A

• Prä-Test hat ein Einfluss auf das Verhalten

23
Q

Post-Messung mit ähnlichen Variablen in der Prä-Messung

• Vorteile

A

— Unterschiede zwischen Gruppen vor treatment kann bewertet werden (Selektionsbias)
— Ausfall innerhalb/zwischen Gruppen wird bewertet (Attributionsbias)

BSP.
• vor dem Physikkurs werden die mathematische Leistungen erhoben
• nach den Kurs soll die Physikleistung getestet werden

24
Q

Prä-Post-Messungen mit unabhängigen Stichproben
• was?
• warum?
• probleme?

A

Was?
• Prä-test an zufälliger SP aus ZielPopulation

Warum?
• longitudinaler Ansatz zu teuer oder schwierig

Problem?
• Bedrohungen der internen Validität
• Bias im Prä-Test auch möglich bei Zufallsziehung bei kleinen heterogenen SP (Treatment-Effekt)
• Qual. Veränderungen in Population über Zeit (Treatment-Effekte)

25
Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test
1. Matching | 2. Multiple KG verwenden
26
Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test: 1) MATCHING • was ist das?
* KG und EG werden gepaart zusammen gestellt * statistische Paaren mit möglichst identischen Werten in relevanten Variablen (z.B Bildungsstand), die mit der Outcomevariablen korrelieren
27
Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test: 1) MATCHING • Ziele?
— Vergleichbarkeit erhöhen — Selektionsbias verringern — Statistische Power erhöhen
28
Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test 1) Matching • Sonderfall?
Zwillingsstudien
29
Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test 1) MATCHING • Sonderformen?
— Stratifizierung • Probanden der KG und EG werden in Gruppen mit ähnlichen Werten (Strata) zusammengestellt z.B Geschlecht
30
Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test 1) MATCHING • Methoden?
— Matching „von Hand“ durch den Versuchsleiter — Matchung mit Hilfe binär logischer Regression — Clusteranalyse
31
1) MATCHING | • Matching von „Hand“ durch den Versuchsleiter
PROBLEM: Mit der anzahl der relevanten Variablen steigt die Schwierigkeit, einen „stat. Zwilling“ zu finden
32
1) MATCHING | • matching mit Hilfe Binär logischer Regression
1) Durchführungeiner binär-logischen Regression zur Vorhersage der Gruppenzugehörigkeit 2) Ermittlung der Wahrscheinlichkeit für die Gruppenzugehörigkeit —> propensity scores 3) Matching anhand dieser Wahrscheinlichkeiten VORAUSSETZUNG: — keine konfundierte Variablen — große SP — hoher Überlappungsbereich
33
1) MATCHING | • Clusteranalysen
—das erhobene Kollektiv wird in Gruppen mit ähnlichen Merkmalsträgern aufgeteilt — es wird Cluster über ein hierarchischen Verfahren gesucht VORAUSSETZUNG: MULTIVARIAT, NORMALVERTEILT, INTERVALSKALIERT DISTANZMAß: beschreibt die Ähnlichkeit; die 2 ähnlichsten Objekte werden zu einem Cluster zusammengefügt
34
1) MATCHING | • Probleme?
— Regressionsartefakte Auswahl aus Extremgruppen (z.B Hochbegabte vs normalbegabte) — Nicht-redundante Prädiktoren Äquivalenz nur auf den beobachteten Variablen — Selektionsbias nicht ausgeschlossen (under-matching)
35
Case-Control-Design
— eine Retrospektive Suche nach Ursache — Suche nach einer KG mit hoher Vergleichbarkeit — quasi-experimentell ohne Prätest — Primär angewendet, wenn kein prospektives Design möglich ist