Forschungsdesigns und Untersuchungsformen Flashcards

1
Q

Ziel der empirischen Forschung:

A

möglichst präzise und valide
Hypothesentests
->Ausschluss alternativer Erklärungen
-> interne Validität: gültiger Schluss, dass eine bestimmte Ursache X empirisch eine Wirkung auf Y hat
= der Zusammenhang zwischen X und Y ist nicht auf den Einfluss einer Drittvariablen Z zurückzuführen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Ziel der Wahl des Forschungsdesigns:

A

Ausschluss möglichst vieler

alternativer Erklärungen für das zu untersuchende Phänomen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Forschungsdesign (Definition)

A

Gesamtheit aller Entscheidungen darüber, wann, wo, wie, und wie oft
die empirischen Indikatoren an den Beobachtungsobjekten erfasst
werden sollen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Wie unterscheiden sich Forschungsdesigns?

A

Sie unterscheiden sich in ihrer Fähigkeit,

verschiedene Störfaktoren als alternative Erklärungen auszuschließen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Störfaktoren beeiflussen…

A

…interne Validität

…externe Validität

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

interne Validität

A

Veränderungen in der abhängigen Variable können eindeutig auf
Veränderungen in X zurückgeführt werden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

externe Validität

A

Möglichkeit der Generalisierung experimenteller Resultate auf andere
Personen(-gruppen) und Situationen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Beispiele für Störfaktoren der internen Valididät

A
  • intrapersonale Reifungsprozesse
  • zwischenzeitliches Geschehen
  • Test-Retest-Effekt: Effekte eines ersten auf zweiten Messvorgang
  • Instrumentation: Effekte der oder Änderung i. d. Testbedingungen
  • Selektion: verzerrte Auswahl und systematische Ausfälle
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Beispiele für Störfaktoren, die externe Valididät beeinflussen

A

• reaktive Effekte der experimentellen Situation:
Abweichen von Alltagssituation

• reaktive Effekte des Messens:
Wechselwirkung zwischen erster Messung und Stimulus

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Störfaktoren können vermieden bzw. kontrolliert werden durch

A
  • Elimination: Ausschaltung von Störfaktoren
  • Konstanthalten: gleichförmiges Wirken von Störfaktoren
  • Bildung von Kontrollgruppen mittels
    • Matching: Paarbildung
    • Drittvariablenkontrolle
    • Randomisierung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Drei Typen von Forschungsdesigns

A
  1. Experimentelles Design
  2. Quasi-experimentelles Design
  3. Ex-post-facto-Design
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

1.Experimentelles Design

Kennzeichen

A

• Bildung von mindestens zwei Vergleichsgruppen (ex ante)
• Randomisierung (R): zufällige Zuweisung der Versuchspersonen zu
den experimentellen Gruppen
• Manipulation der unabhängigen Variable (Setzung des Treatment)
durch den Forscher

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q
  1. Experimentelles Design

Ziel:

A

Ausschluss der alternativen Erklärung eines empirisch gefundenen
Gruppenunterschieds in der abhängigen Variable Y durch einen
anderen Faktor als die manipulierte Variable X

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q
  1. Experimentelles Design

Laborexperiment

A
  • künstliche Situation
  • relativ niedrige Kosten
  • tendenziell hohe interne und niedrige externe Validität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q
  1. Experimentelles Design

Feldexperiment

A
  • natürliche Situation
  • relativ hohe Kosten
  • tendenziell hohe externe und niedrige interne Validität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Laborexperiment vs Feldexperiment

trotz der unterschiedlichen Charakteristika zu bedenken:

A
  • Labor kein Garant für interne Validität (z.B. Mess-/Versuchsleitereffekt)
  • Feld kein Garant für externe Validität (Eingreifen in die Lebenswelt)
  • > konkrete Versuchsbedingungen bestimmen Grad der Valitität
  • > keine objektiven Gütekriterien für interne und externe Validität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Vorteil von Experimenten

A

führen zu validen Hypothesentests (hohe interne Validität)

-homogene Vergleichsgruppen (unit homogenity): Randomisierung erzeugt identische Verteilung der Hintergrundfaktoren Z in Gruppen
-zufällige Zuweisung zur Testbedingung (conditional independence):
Randomisierung verhindert Verzerrung durch Selbstselektionsproblem
-Varianz auf unabhängiger Variable: Testbedingung variiert/manipuliert Kausalfaktor
-gleiche Rahmenbedingungen in den Vergleichsgruppen: Konstanthaltung/Eliminierung aller sonstiger, auch ungemessener Faktoren

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Problem der internen Validität von Experimenten in klassischer Form

A

Verzerrte Auswahl durch missglückte Zufallsaufteilung (bei kleinem N)
deshalb - > Matching; Vorher-Nachher-Design

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Probleme der externen Validität von Experimenten mit Vorher-Nachher-Design

A

Relative Effekte des Messens: Wechselwirkung von Vorhermessung mit Stimulus
deshalb - >Solomons Viergruppen-Design

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

allgemeine Probleme von Experimenten:

A

• Instrumentation: Versuchspersonen reagieren auf
Untersuchungssituation
deshalb - > Blind-/Doppelblindversuche

• Verlierer-Gewinner-Problem (vor allem in Evaluationsstudien):
Versuchspersonen in Kontrollgruppe reagieren (negativ) auf Zuweisung
deshalb - > Losverfahren; Quasi-Experiment

• unter Umständen nur niedrige externe Validität (Reaktivität,
Zusammensetzung der Testgruppe, kleines N etc.)

  • ethische Bedenken (z.B. Milgram-Experiment)
  • Bedeutsamkeit des Effekts bei Erklärung sozialer Tatsachen

weiter bei Folie 19

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

experimentelles Design Beispiel
Are Greg and
Emily More Employable than Lakisha and Jamal? A Field Experiment on Labor
Market Discrimination.

A

• Hypothese: Aufgrund von Vorurteilen oder Informationsdefiziten existiert
ethnische Diskriminierung im Arbeitsmarkt trotz gegenteiliger gesetzlicher
Regelungen: Arbeitgeber präferieren unter ansonsten gleichen Bedingungen
(Qualifikationen, berufliche Biographie, Geschlecht etc.) Angehörige der
Mehrheitsgruppe (in den USA: Weiße Bewerber werden gegenüber Schwarzen
oder Latinos bevorzugt).

• Valider Hypothesentest:
Experimentelle Manipulation der ethnischen Zugehörigkeit

• Experimentelle Manipulation:
Verwendung fiktiver, typisch „weißer“ bzw. typisch „schwarzer“ Vornamen in der
Bewerbung (in den USA: kein Bewerberfoto, keine Altersangabe), randomisierte
Zuweisung
faktorielles Design: Manipulation Erwerbsbiographie und Wohngegend

• abhängige Variable: Einladung zum Bewerbungsgespräch
• empirisches Ergebnis: Einladung zum Bewerbungsgespräch an
9,7% der fiktiven weißen, aber nur 6,5% der fiktiven schwarzen „Bewerber“

22
Q
  1. Quasi-experimentelles Design

Kennzeichen:

A

• Versuchsanordnungen, in denen das Treatment (gewissermaßen)
experimentell gesetzt wird, ohne dass auf der Ebene der Akteure eine
Randomisierung der Gruppenzuweisung erfolgt bzw. möglich ist
• typisch für Evaluationsstudien/politische Interventionen: Treatment
wird institutionell zugewiesen (Reform zu einem bestimmten
Zeitpunkt), ohne dass die betroffenen Akteure sich dies (bzw. den
Zeitpunkt) individuell aussuchen könnten

23
Q
  1. Quasi-experimentelles Design

Probleme der internen Validität von Quasi-Experimenten:

A

• verzerrte Auswahl: Nichtvergleichbarkeit der Vergleichsgruppen
aufgrund fehlender Randomisierung
• Reifungseffekte: natürliche Entwicklungsprozesse (Alterung,
Erfahrung, Lernen; insbesondere im Zeitreihendesign relevant)
• zwischenzeitliches Geschehen: sonstige Faktoren, die
Veränderungen in Y bewirken (insbesondere im Zeitreihendesign
relevant)

24
Q
  1. Quasi-experimentelles Design
    Beispiel: Orchestrating Impartiality:
    The Impact of „Blind“ Auditions on Female Musicians.
A

• Forschungsfrage: Diskriminierung im Arbeitsmarkt für MusikerInnen?
• Quasi-Experiment: Einführung des „blinden“ Vorspielens in vielen wichtigen
Orchestern in den USA seit den 1970er Jahren
• abhängige Variable: Wahrscheinlichkeit, dass Musikerinnen Bewerbungsrunden
überstehen bzw. in ein Symphonieorchester eingestellt werden
• Empirische Ergebnisse: die Wahrscheinlichkeit, dass eine Musikerin
eingestellt wird, erhöht sich durch blindes Vorspielen um 25% (7-8
Prozentpunkte); Einführung des blinden Vorspielens erklärt etwa ein Drittel
des Anstiegs der Frauenquote in US-Orchestern seit den 1960ern

25
Q
  1. Ex-post-facto-Design

Kennzeichen:

A

• meist simultane Messung von Treatment und Outcome
(Ausnahmen: Paneldesign)

• Aufteilung in Experimental- und Kontrollgruppe nach der Messung
(ex post), das heißt:
- keine Randomisierung
-keine Manipulation der unabhängigen Variable (Setzung des
Treatment) durch den Forscher

• Erhebungsform: Querschnitt- versus Längschnittdesigns

26
Q
  1. Ex-post-facto-Design

drei mögliche Erhebungsformen

A

drei mögliche Erhebungsformen:

  1. Querschnittsdesign
  2. Trenddesign = Längsschnittdesign
  3. Paneldesign = Längsschnittdesign
27
Q
  1. Ex-post-facto-Design
  2. Querschnittsdesign
    Kennzeichen
A

einmalige Erhebung der abhängigen und unabhängigen
Variablen einer Untersuchung an einer Stichprobe von N
Beobachtungseinheiten
Messwerte xi für N mit Beobachtungsobjekte i=1, 2, …, N zu einem
bestimmten Zeitpunkt

28
Q
  1. Ex-post-facto-Design
  2. Querschnittsdesign
    Typische Anwendung
A

• Beschreibung sozialer Phänomene (Status, Zustand, Verteilung)
• Prüfung von Unterschiedshypothesen (z.B. Betroffenheit in sozialen
Gruppen)

29
Q
  1. Ex-post-facto-Design
  2. Querschnittsdesign
    Vorteile
A
  • vergleichsweise einfache Stichprobenziehung
  • keine Teilnahmeeffekte
  • vergleichsweise geringe Kosten
30
Q
  1. Ex-post-facto-Design
  2. Querschnittsdesign
    Nachteile
A
  • Erhebung zeitbezogener Individualinformationen nur durch Retrospektivfragen (Erinnerungsverzerrung)
  • keine Analyse von Veränderungen möglich (Makro und Mikro)
31
Q
  1. Ex-post-facto-Design
  2. Trenddesign
    Kennzeichen:
A

mehrmalige Erhebung der Beobachtungsgrößen an
mehreren unabhängigen Stichproben von jeweils N Beobachtungseinheiten
Messwerte xit für jeweils Nt Beobachtungsobjekte i=1, 2, …, Nt aus T
verschiedenen Stichproben für die Zeitpunkte t=1, 2, …, T

32
Q
  1. Ex-post-facto-Design
  2. Trenddesign
    Typische Anwendung:
A

• Beschreibung sozialen Wandels
• Prüfung von Veränderungshypothesen auf Aggregatesebene
(z.B. Gruppenebene)

33
Q
  1. Ex-post-facto-Design
    2.Trenddesign
    Vorteile
A
  • vergleichsweise einfache Stichprobenziehung
  • keine Teilnahmeeffekte
  • Analyse von Veränderungen im Aggregat (Makro)
  • vergleichsweise geringe Kosten
34
Q
  1. Ex-post-facto-Design
    2.Trenddesign
    Nachteile
A

-Erhebung zeitbezogener Individualinformationen nur durch Retrospektivfragen
(Erinnerungsverzerrung)
-evtl. Problem der Konstanz der Messinstrumente
-keine Analyse individueller Veränderungen/Prozesse (Mikro)

35
Q
  1. Ex-post-facto-Design
  2. Trenddesign
    Beispiel:
A

Allgemeine Bevölkerungsumfrage der Sozialwissenschaften (ALLBUS),
seit 1980 mit regelmäßig wiederholten Themenschwerpunkten, z.B.
Einstellungen zum Wohlfahrtsstaat: 1984, 1994,
soziale Ungleichheit: 1984, 1992, 1994, 2000, 2004
politische Partizipation: 1988, 1998, 2008

36
Q
  1. Ex-post-facto-Design
  2. Paneldesign
    Kennzeichen:
A

wiederholte Erhebung der Beobachtungsgrößen an
einer Stichprobe von N Beobachtungseinheiten
Messwerte xit für dieselben N Beobachtungsobjekte i=1, 2, …, N zu T
Zeitpunkten t=1, 2, …, T

37
Q
  1. Ex-post-facto-Design
  2. Paneldesign
    Typische Anwendung:
A
  • Beschreibung sozialer Prozesse

* Prüfung von Veränderungshypothesen auf individueller Ebene

38
Q
  1. Ex-post-facto-Design
  2. Paneldesign
    Vorteile
A
  • hoher Informationsgehalt
  • prospektive Erhebung zeitbezogener Information (keine Erinnerungsverzerrung)
  • Analyse von Veränderungen (Makro und Mikro)
  • kausale Reihenfolge von Variablen empirisch testbar
39
Q
  1. Ex-post-facto-Design
  2. Paneldesign
    Nachteile
A
  • Panelmortalität, hohe Kosten der Stichprobenpflege
  • evtl. Problem der Konstanz der Messinstrumente
  • evtl. Reaktivität / Lerneffekte durch wiederholte Teilnahme (Paneleffekte)
40
Q
  1. Ex-post-facto-Design
  2. Paneldesign
    Beispiel:
A

Sozio-ökonomisches Panel (SOEP), seit 1984
Themenschwerpunkte: Arbeitsmarkt, Demografie, Einkommen,
Bildung, Gesundheit etc.

41
Q
  1. Ex-post-facto-Design

drei zentrale methodologische Probleme:

A
  1. Problem der Varianz der unabhängigen Variable (treatment)
  2. Problem der kausalen Reihenfolge der Variablen
  3. Problem der Drittvariablenkontrolle
42
Q

drei zentrale methodologische Probleme:

1. Problem der Varianz der unabhängigen Variable (treatment)

A

• keine ausreichende Variation auf X
• Problem kann durch Voruntersuchung zur Verteilung der
unabhängigen Variablen vermieden werden
- > bei geringer Varianz: Anpassung des Auswahlverfahrens,
z.B. disproportional geschichtete Stichprobe

43
Q

drei zentrale methodologische Probleme:

2. Problem der kausalen Reihenfolge der Variablen

A

• im Querschnittdesign: kausale Reihenfolge unbestimmt
(simultane Messung)
• Problem kann durch Erhebung zeitbezogener Variablen
durch Längsschnittuntersuchung (z.B. Panel) vermieden
werden
• retrospektive Fragen in Querschnittsbefragung:
eher problematisch

44
Q

drei zentrale methodologische Probleme:

3. Problem der Drittvariablenkontrolle

A

• Verteilung von Drittvariablen nicht durch Forscher
kontrollierbar (wie etwa im Experiment)
• Endogenität der Treatmentbedingung X
(mögliche Selbstselektion der Akteure auf X),
mögliche Scheinkorrelation zwischen X und Y durch
ausgelassene Variable(n) Z
• problematisch: solche Drittvariablen, die sowohl mit X als
auch mit Y korreliert sind
(z.B. kognitive Fähigkeiten, Bildung und Einkommen)

• Problem kann verringert werden durch Erhebung möglichst
vieler (theoretisch sinnvoller) Drittvariablen
• zu unterscheiden: antezedierende und intervenierende
Drittvariablen
• antezedierende Drittvariablen: Z → X → Y
Bsp.: kognitive Fähigkeiten → Bildung → Einkommen
• intervenierende Drittvariablen: X → Z → Y
Bsp.: Geschlecht → Arbeitsmarkterfahrung → Einkommen

45
Q

Vier mögliche Situationen nach Drittvariablenkontrolle

A

Kontrolle von Drittvariablen I: Bestätigung der Beziehung von x und y
nach Kontrolle von z
Kontrolle von Drittvariablen II: Keine Beziehung von x und y nach Kontrolle von z
Kontrolle von Drittvariablen III: z-spezifische Beziehung von x und y
(Interaktion)
Kontrolle von Drittvariablen IV: Verdeckung der Beziehung von x und y

Siehe Folie 43,44,45,46

46
Q
  1. Ex-post-facto-Design
    Spezialfall Kohortenstudien

Kohorte Defintion und Beispiele

A

Bevölkerungsgruppe, die durch ein zeitlich gemeinsames,
längerfristig prägendes Startereignis definiert wird

Beispiele: Alters- bzw. Geburtskohorten, Eheschließungskohorten,
Berufseinstiegskohorten

47
Q
  1. Ex-post-facto-Design
    Spezialfall Kohortenstudien
    zu unterscheiden:
A

• Inter- und Intra-Kohortenvergleich
• Kohortenbildung ex-ante und ex-post: Stichprobenauswahl über
Kohortenkriterium vs. nachträgliche Kohortenbildung aus Querschnitt-
/Paneldesign

48
Q
  1. Ex-post-facto-Design
    Spezialfall Kohortenstudien
    Kohortendaten können realisiert werden über
A

• einmalige Retrospektiverhebungen
• wiederholte Querschnitterhebungen (Trenddesign)
• mehrmalige Panelerhebungen
jeweils spezifische Nachteile der gewählten Erhebungsform (siehe
oben)

49
Q
  1. Ex-post-facto-Design
    Spezialfall Kohortenstudien
    großer Vorteil:
A

Unterscheidung von Alters-, Kohorten- und
Periodeneffekten (im reinen Querschnittsdesign nicht zu trennen)

• Alters-/Lebenszykluseffekte: individuelle Veränderung über die
biographische Prozesszeit
• Kohorteneffekte: Unterschiede zwischen Kohorten
• Periodeneffekte: Wirkung historisch einmaliger Ereignisse
(identisch für alle Kohorten und Individuen)

50
Q

Beispiel Kohortenstudie

A

Ingleharts Wertewandelsthese