6. Einfache Quasi-experimentelle Designs Flashcards

1
Q

Erfasse Quasi-experimentelle Designs

A

Eine Untersuchung bei der keine zufaellige Zuordnung der Teilnehmenden zu Untersuchungsbedingungen stattfindet.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Wie aehnelt sich ein quasi-experimentelles Design an ein experimentelles Design?

A

Beide verfolgen den Test einer KAUSALEN Hypothese

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Quasi-Experimentelle Designs: Versuchsplanerisches Problem?

A

keine RANDOMISIERTE Zuweisung

–> Ergebnisse sind schwieriger interpretierbar

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Unter welchen Umstaenden wuerde man ein Design ohne KG durchfuehren?

A

NUR WENN ES SEIN MUSS!

  • ethische/praktische Gruende
  • logistsche Gruende (Treatments bereit flaechendecken implemtiert)
  • wenn GLASKLAR ist was ohne Treatment zu erwarten ist
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Ein-Gruppen-Design (mit einem Post-Messzeitpunkt): Probleme

A

Gab es ueberhaupt einen Effekt?
- kontrafaktischer Vergleich fehlt
- alle Bedrohungen der internen Validitaet koennen nicht bewertet werden
-

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

ein-Gruppen-design (eine Post-Messzeitpunkt): Einflussfaktoren

A

— Reifung
— History
— Testing
— groer zeitlicher Abstand

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

ein-gruppen-design (ein post-messzeitpunkt): Verbesserung?

A

— Ein-Gruppen-Prä-Post-Design mit zweifacher Pra-messung

— Ein-Gruppen-Prä-post-design mit unterschiedlichen aV

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

within-subjects?

between-subjects?

A

within-subjects: die Personen sind diesselben
z.B messung des wissenzustandes am anfang und am ende des semsters in einer Gruppe

between-subjects: unterschiedliche Personen
z.B Messung des Wissenzustandes am anfang und am Ende des semesters in unterschiedlichen Jahrgängen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Notation:
X =
0 =

A
X = treatment
0 = Messung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Was passiert wenn mehrmals gemessen wird?

A

a fehler inflationierung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Ein-Gruppen-Prä-Post-Design mit zweifacher Prä-Messung

• Zusammenfassung

A
01    02    X    03
— „Probelauf“ durch zwei Prämessungen
— Veränderung zwischen 01 und 02 zeigt:
• Einfluss der Testung
• lineare Reifungstrends
— Effekt: tritt zwischen 02 und 03 auf
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Ein-Gruppen-Prä-Post-Design mit zweifacher Prä-Messung

• Problem

A

nicht-lineare Zusammenhänge können nicht erfasst werden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Ein-Gruppen-Prä-Post-Design mit zweifacher Prä-Messung
• Lösung
• Kritische Analyse dieser Lösung

A
• noch mehr Prä-Messungen
Nachteil: 
• Aufwand
• Schwund an Probanden
• Testing
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Ein-Gruppen-Prä-Post-Design mit unterschiedlichen aV

• Zusammenfassung

A

01A 01B X 02A 02B

— A&B messen ähnliche Konstrukte
—Effekt von X auf A: wird geprüft
— Für B wird kein Effekt erwartet
— B spricht aber auf zentrale Bedrohugen der internen Validität ebenso an wie A
— Kontrolle dieser Bedrohungen durch B

DIFFERENZ zwischen A & B: der konjektur-bereinigte Effekt der „Werbemaßnahme„

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Möglichkeiten zur Verbesserung eines Designs ohne KG

A
  1. Vorhersage per Regression
  2. Vergleich mit Normwerten
  3. Vergleiche mit sekundären Daten aus anderen Quellen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Möglichkeiten zur Verbesserung eines Designs ohne KG

• Vorhersage per Regression

A

— Vorhersage des erwarteten Post-Wert

— Analyse der Differenz zwischen erwarteten und erhobenen Daten

17
Q

Möglichkeiten zur Verbesserung eines Designs ohne KG

• Vorhersage per Regression: Problem

A

ohne Kentnisse aller relevanter Prädiktoren, keine akkurate Vorhersage
— History
— Testeffekte

18
Q

Möglichkeiten zur Verbesserung eines Designs ohne KG

• Vergleich mit Normwerte: Problem

A
— Selektionsbias
— Alter der Daten
— Regressionsbias
— Testeffekte
— Instrumentierung
19
Q

Möglichkeiten zur Verbesserung eines Designs ohne KG

• Vergleiche mit sekundären Daten aus anderen Quellen: Beispiel?

A

z.B Krankenkassen Daten

20
Q

Möglichkeiten zur Verbesserung eines Designs ohne KG

• Vergleiche mit sekundären Daten aus anderen Quellen: Probleme?

A

— ErhebungsZweck? (kann Einfluss haben)
— Alter der Daten
— Vollständigkeit?

21
Q

Designs mit KG, ohne Prä-Messung
• wie muss damit umgegangen werden?
• Nachteile?

A

— Vergleich von KG und EG
— KG muss möglichst ähnlich sein

NACHTEILE:
— viele mögliche Ursachen für Mittelwertsunterschieden zwischen den Gruppen
— Gruppen unterscheiden sich evtl schon davor

22
Q

Argument gegen Prä-Test?

A

• Prä-Test hat ein Einfluss auf das Verhalten

23
Q

Post-Messung mit ähnlichen Variablen in der Prä-Messung

• Vorteile

A

— Unterschiede zwischen Gruppen vor treatment kann bewertet werden (Selektionsbias)
— Ausfall innerhalb/zwischen Gruppen wird bewertet (Attributionsbias)

BSP.
• vor dem Physikkurs werden die mathematische Leistungen erhoben
• nach den Kurs soll die Physikleistung getestet werden

24
Q

Prä-Post-Messungen mit unabhängigen Stichproben
• was?
• warum?
• probleme?

A

Was?
• Prä-test an zufälliger SP aus ZielPopulation

Warum?
• longitudinaler Ansatz zu teuer oder schwierig

Problem?
• Bedrohungen der internen Validität
• Bias im Prä-Test auch möglich bei Zufallsziehung bei kleinen heterogenen SP (Treatment-Effekt)
• Qual. Veränderungen in Population über Zeit (Treatment-Effekte)

25
Q

Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test

A
  1. Matching

2. Multiple KG verwenden

26
Q

Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test:
1) MATCHING
• was ist das?

A
  • KG und EG werden gepaart zusammen gestellt
  • statistische Paaren mit möglichst identischen Werten in relevanten Variablen (z.B Bildungsstand), die mit der Outcomevariablen korrelieren
27
Q

Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test:
1) MATCHING
• Ziele?

A

— Vergleichbarkeit erhöhen
— Selektionsbias verringern
— Statistische Power erhöhen

28
Q

Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test
1) Matching
• Sonderfall?

A

Zwillingsstudien

29
Q

Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test
1) MATCHING
• Sonderformen?

A

— Stratifizierung
• Probanden der KG und EG werden in Gruppen mit ähnlichen Werten (Strata) zusammengestellt
z.B Geschlecht

30
Q

Möglichkeiten zur Verbesserung von Designs OHNE Prä-Test
1) MATCHING
• Methoden?

A

— Matching „von Hand“ durch den Versuchsleiter
— Matchung mit Hilfe binär logischer Regression
— Clusteranalyse

31
Q

1) MATCHING

• Matching von „Hand“ durch den Versuchsleiter

A

PROBLEM: Mit der anzahl der relevanten Variablen steigt die Schwierigkeit, einen „stat. Zwilling“ zu finden

32
Q

1) MATCHING

• matching mit Hilfe Binär logischer Regression

A

1) Durchführungeiner binär-logischen Regression zur Vorhersage der Gruppenzugehörigkeit
2) Ermittlung der Wahrscheinlichkeit für die Gruppenzugehörigkeit —> propensity scores
3) Matching anhand dieser Wahrscheinlichkeiten

VORAUSSETZUNG:
— keine konfundierte Variablen
— große SP
— hoher Überlappungsbereich

33
Q

1) MATCHING

• Clusteranalysen

A

—das erhobene Kollektiv wird in Gruppen mit ähnlichen Merkmalsträgern aufgeteilt
— es wird Cluster über ein hierarchischen Verfahren gesucht

VORAUSSETZUNG: MULTIVARIAT, NORMALVERTEILT, INTERVALSKALIERT

DISTANZMAß: beschreibt die Ähnlichkeit; die 2 ähnlichsten Objekte werden zu einem Cluster zusammengefügt

34
Q

1) MATCHING

• Probleme?

A

— Regressionsartefakte
Auswahl aus Extremgruppen (z.B Hochbegabte vs normalbegabte)

— Nicht-redundante Prädiktoren
Äquivalenz nur auf den beobachteten Variablen

— Selektionsbias nicht ausgeschlossen
(under-matching)

35
Q

Case-Control-Design

A

— eine Retrospektive Suche nach Ursache
— Suche nach einer KG mit hoher Vergleichbarkeit
— quasi-experimentell ohne Prätest
— Primär angewendet, wenn kein prospektives Design möglich ist