Forschungsdesigns und Untersuchungsformen Flashcards

1
Q

Ziel der empirischen Forschung:

A

möglichst präzise und valide
Hypothesentests
->Ausschluss alternativer Erklärungen
-> interne Validität: gültiger Schluss, dass eine bestimmte Ursache X empirisch eine Wirkung auf Y hat
= der Zusammenhang zwischen X und Y ist nicht auf den Einfluss einer Drittvariablen Z zurückzuführen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Ziel der Wahl des Forschungsdesigns:

A

Ausschluss möglichst vieler

alternativer Erklärungen für das zu untersuchende Phänomen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Forschungsdesign (Definition)

A

Gesamtheit aller Entscheidungen darüber, wann, wo, wie, und wie oft
die empirischen Indikatoren an den Beobachtungsobjekten erfasst
werden sollen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Wie unterscheiden sich Forschungsdesigns?

A

Sie unterscheiden sich in ihrer Fähigkeit,

verschiedene Störfaktoren als alternative Erklärungen auszuschließen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Störfaktoren beeiflussen…

A

…interne Validität

…externe Validität

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

interne Validität

A

Veränderungen in der abhängigen Variable können eindeutig auf
Veränderungen in X zurückgeführt werden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

externe Validität

A

Möglichkeit der Generalisierung experimenteller Resultate auf andere
Personen(-gruppen) und Situationen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Beispiele für Störfaktoren der internen Valididät

A
  • intrapersonale Reifungsprozesse
  • zwischenzeitliches Geschehen
  • Test-Retest-Effekt: Effekte eines ersten auf zweiten Messvorgang
  • Instrumentation: Effekte der oder Änderung i. d. Testbedingungen
  • Selektion: verzerrte Auswahl und systematische Ausfälle
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Beispiele für Störfaktoren, die externe Valididät beeinflussen

A

• reaktive Effekte der experimentellen Situation:
Abweichen von Alltagssituation

• reaktive Effekte des Messens:
Wechselwirkung zwischen erster Messung und Stimulus

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Störfaktoren können vermieden bzw. kontrolliert werden durch

A
  • Elimination: Ausschaltung von Störfaktoren
  • Konstanthalten: gleichförmiges Wirken von Störfaktoren
  • Bildung von Kontrollgruppen mittels
    • Matching: Paarbildung
    • Drittvariablenkontrolle
    • Randomisierung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Drei Typen von Forschungsdesigns

A
  1. Experimentelles Design
  2. Quasi-experimentelles Design
  3. Ex-post-facto-Design
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

1.Experimentelles Design

Kennzeichen

A

• Bildung von mindestens zwei Vergleichsgruppen (ex ante)
• Randomisierung (R): zufällige Zuweisung der Versuchspersonen zu
den experimentellen Gruppen
• Manipulation der unabhängigen Variable (Setzung des Treatment)
durch den Forscher

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q
  1. Experimentelles Design

Ziel:

A

Ausschluss der alternativen Erklärung eines empirisch gefundenen
Gruppenunterschieds in der abhängigen Variable Y durch einen
anderen Faktor als die manipulierte Variable X

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q
  1. Experimentelles Design

Laborexperiment

A
  • künstliche Situation
  • relativ niedrige Kosten
  • tendenziell hohe interne und niedrige externe Validität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q
  1. Experimentelles Design

Feldexperiment

A
  • natürliche Situation
  • relativ hohe Kosten
  • tendenziell hohe externe und niedrige interne Validität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Laborexperiment vs Feldexperiment

trotz der unterschiedlichen Charakteristika zu bedenken:

A
  • Labor kein Garant für interne Validität (z.B. Mess-/Versuchsleitereffekt)
  • Feld kein Garant für externe Validität (Eingreifen in die Lebenswelt)
  • > konkrete Versuchsbedingungen bestimmen Grad der Valitität
  • > keine objektiven Gütekriterien für interne und externe Validität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Vorteil von Experimenten

A

führen zu validen Hypothesentests (hohe interne Validität)

-homogene Vergleichsgruppen (unit homogenity): Randomisierung erzeugt identische Verteilung der Hintergrundfaktoren Z in Gruppen
-zufällige Zuweisung zur Testbedingung (conditional independence):
Randomisierung verhindert Verzerrung durch Selbstselektionsproblem
-Varianz auf unabhängiger Variable: Testbedingung variiert/manipuliert Kausalfaktor
-gleiche Rahmenbedingungen in den Vergleichsgruppen: Konstanthaltung/Eliminierung aller sonstiger, auch ungemessener Faktoren

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Problem der internen Validität von Experimenten in klassischer Form

A

Verzerrte Auswahl durch missglückte Zufallsaufteilung (bei kleinem N)
deshalb - > Matching; Vorher-Nachher-Design

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Probleme der externen Validität von Experimenten mit Vorher-Nachher-Design

A

Relative Effekte des Messens: Wechselwirkung von Vorhermessung mit Stimulus
deshalb - >Solomons Viergruppen-Design

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

allgemeine Probleme von Experimenten:

A

• Instrumentation: Versuchspersonen reagieren auf
Untersuchungssituation
deshalb - > Blind-/Doppelblindversuche

• Verlierer-Gewinner-Problem (vor allem in Evaluationsstudien):
Versuchspersonen in Kontrollgruppe reagieren (negativ) auf Zuweisung
deshalb - > Losverfahren; Quasi-Experiment

• unter Umständen nur niedrige externe Validität (Reaktivität,
Zusammensetzung der Testgruppe, kleines N etc.)

  • ethische Bedenken (z.B. Milgram-Experiment)
  • Bedeutsamkeit des Effekts bei Erklärung sozialer Tatsachen

weiter bei Folie 19

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

experimentelles Design Beispiel
Are Greg and
Emily More Employable than Lakisha and Jamal? A Field Experiment on Labor
Market Discrimination.

A

• Hypothese: Aufgrund von Vorurteilen oder Informationsdefiziten existiert
ethnische Diskriminierung im Arbeitsmarkt trotz gegenteiliger gesetzlicher
Regelungen: Arbeitgeber präferieren unter ansonsten gleichen Bedingungen
(Qualifikationen, berufliche Biographie, Geschlecht etc.) Angehörige der
Mehrheitsgruppe (in den USA: Weiße Bewerber werden gegenüber Schwarzen
oder Latinos bevorzugt).

• Valider Hypothesentest:
Experimentelle Manipulation der ethnischen Zugehörigkeit

• Experimentelle Manipulation:
Verwendung fiktiver, typisch „weißer“ bzw. typisch „schwarzer“ Vornamen in der
Bewerbung (in den USA: kein Bewerberfoto, keine Altersangabe), randomisierte
Zuweisung
faktorielles Design: Manipulation Erwerbsbiographie und Wohngegend

• abhängige Variable: Einladung zum Bewerbungsgespräch
• empirisches Ergebnis: Einladung zum Bewerbungsgespräch an
9,7% der fiktiven weißen, aber nur 6,5% der fiktiven schwarzen „Bewerber“

22
Q
  1. Quasi-experimentelles Design

Kennzeichen:

A

• Versuchsanordnungen, in denen das Treatment (gewissermaßen)
experimentell gesetzt wird, ohne dass auf der Ebene der Akteure eine
Randomisierung der Gruppenzuweisung erfolgt bzw. möglich ist
• typisch für Evaluationsstudien/politische Interventionen: Treatment
wird institutionell zugewiesen (Reform zu einem bestimmten
Zeitpunkt), ohne dass die betroffenen Akteure sich dies (bzw. den
Zeitpunkt) individuell aussuchen könnten

23
Q
  1. Quasi-experimentelles Design

Probleme der internen Validität von Quasi-Experimenten:

A

• verzerrte Auswahl: Nichtvergleichbarkeit der Vergleichsgruppen
aufgrund fehlender Randomisierung
• Reifungseffekte: natürliche Entwicklungsprozesse (Alterung,
Erfahrung, Lernen; insbesondere im Zeitreihendesign relevant)
• zwischenzeitliches Geschehen: sonstige Faktoren, die
Veränderungen in Y bewirken (insbesondere im Zeitreihendesign
relevant)

24
Q
  1. Quasi-experimentelles Design
    Beispiel: Orchestrating Impartiality:
    The Impact of „Blind“ Auditions on Female Musicians.
A

• Forschungsfrage: Diskriminierung im Arbeitsmarkt für MusikerInnen?
• Quasi-Experiment: Einführung des „blinden“ Vorspielens in vielen wichtigen
Orchestern in den USA seit den 1970er Jahren
• abhängige Variable: Wahrscheinlichkeit, dass Musikerinnen Bewerbungsrunden
überstehen bzw. in ein Symphonieorchester eingestellt werden
• Empirische Ergebnisse: die Wahrscheinlichkeit, dass eine Musikerin
eingestellt wird, erhöht sich durch blindes Vorspielen um 25% (7-8
Prozentpunkte); Einführung des blinden Vorspielens erklärt etwa ein Drittel
des Anstiegs der Frauenquote in US-Orchestern seit den 1960ern

25
3. Ex-post-facto-Design | Kennzeichen:
• meist simultane Messung von Treatment und Outcome (Ausnahmen: Paneldesign) • Aufteilung in Experimental- und Kontrollgruppe nach der Messung (ex post), das heißt: - keine Randomisierung -keine Manipulation der unabhängigen Variable (Setzung des Treatment) durch den Forscher • Erhebungsform: Querschnitt- versus Längschnittdesigns
26
3. Ex-post-facto-Design | drei mögliche Erhebungsformen
drei mögliche Erhebungsformen: 1. Querschnittsdesign 2. Trenddesign = Längsschnittdesign 3. Paneldesign = Längsschnittdesign
27
3. Ex-post-facto-Design 1. Querschnittsdesign Kennzeichen
einmalige Erhebung der abhängigen und unabhängigen Variablen einer Untersuchung an einer Stichprobe von N Beobachtungseinheiten Messwerte xi für N mit Beobachtungsobjekte i=1, 2, ..., N zu einem bestimmten Zeitpunkt
28
3. Ex-post-facto-Design 1. Querschnittsdesign Typische Anwendung
• Beschreibung sozialer Phänomene (Status, Zustand, Verteilung) • Prüfung von Unterschiedshypothesen (z.B. Betroffenheit in sozialen Gruppen)
29
3. Ex-post-facto-Design 1. Querschnittsdesign Vorteile
- vergleichsweise einfache Stichprobenziehung - keine Teilnahmeeffekte - vergleichsweise geringe Kosten
30
3. Ex-post-facto-Design 1. Querschnittsdesign Nachteile
- Erhebung zeitbezogener Individualinformationen nur durch Retrospektivfragen (Erinnerungsverzerrung) - keine Analyse von Veränderungen möglich (Makro und Mikro)
31
3. Ex-post-facto-Design 2. Trenddesign Kennzeichen:
mehrmalige Erhebung der Beobachtungsgrößen an mehreren unabhängigen Stichproben von jeweils N Beobachtungseinheiten Messwerte xit für jeweils Nt Beobachtungsobjekte i=1, 2, ..., Nt aus T verschiedenen Stichproben für die Zeitpunkte t=1, 2, ..., T
32
3. Ex-post-facto-Design 2. Trenddesign Typische Anwendung:
• Beschreibung sozialen Wandels • Prüfung von Veränderungshypothesen auf Aggregatesebene (z.B. Gruppenebene)
33
3. Ex-post-facto-Design 2.Trenddesign Vorteile
- vergleichsweise einfache Stichprobenziehung - keine Teilnahmeeffekte - Analyse von Veränderungen im Aggregat (Makro) - vergleichsweise geringe Kosten
34
3. Ex-post-facto-Design 2.Trenddesign Nachteile
-Erhebung zeitbezogener Individualinformationen nur durch Retrospektivfragen (Erinnerungsverzerrung) -evtl. Problem der Konstanz der Messinstrumente -keine Analyse individueller Veränderungen/Prozesse (Mikro)
35
3. Ex-post-facto-Design 2. Trenddesign Beispiel:
Allgemeine Bevölkerungsumfrage der Sozialwissenschaften (ALLBUS), seit 1980 mit regelmäßig wiederholten Themenschwerpunkten, z.B. Einstellungen zum Wohlfahrtsstaat: 1984, 1994, soziale Ungleichheit: 1984, 1992, 1994, 2000, 2004 politische Partizipation: 1988, 1998, 2008
36
3. Ex-post-facto-Design 3. Paneldesign Kennzeichen:
wiederholte Erhebung der Beobachtungsgrößen an einer Stichprobe von N Beobachtungseinheiten Messwerte xit für dieselben N Beobachtungsobjekte i=1, 2, ..., N zu T Zeitpunkten t=1, 2, ..., T
37
3. Ex-post-facto-Design 3. Paneldesign Typische Anwendung:
* Beschreibung sozialer Prozesse | * Prüfung von Veränderungshypothesen auf individueller Ebene
38
3. Ex-post-facto-Design 3. Paneldesign Vorteile
- hoher Informationsgehalt - prospektive Erhebung zeitbezogener Information (keine Erinnerungsverzerrung) - Analyse von Veränderungen (Makro und Mikro) - kausale Reihenfolge von Variablen empirisch testbar
39
3. Ex-post-facto-Design 3. Paneldesign Nachteile
- Panelmortalität, hohe Kosten der Stichprobenpflege - evtl. Problem der Konstanz der Messinstrumente - evtl. Reaktivität / Lerneffekte durch wiederholte Teilnahme (Paneleffekte)
40
3. Ex-post-facto-Design 3. Paneldesign Beispiel:
Sozio-ökonomisches Panel (SOEP), seit 1984 Themenschwerpunkte: Arbeitsmarkt, Demografie, Einkommen, Bildung, Gesundheit etc.
41
3. Ex-post-facto-Design | drei zentrale methodologische Probleme:
1. Problem der Varianz der unabhängigen Variable (treatment) 2. Problem der kausalen Reihenfolge der Variablen 3. Problem der Drittvariablenkontrolle
42
drei zentrale methodologische Probleme: | 1. Problem der Varianz der unabhängigen Variable (treatment)
• keine ausreichende Variation auf X • Problem kann durch Voruntersuchung zur Verteilung der unabhängigen Variablen vermieden werden - > bei geringer Varianz: Anpassung des Auswahlverfahrens, z.B. disproportional geschichtete Stichprobe
43
drei zentrale methodologische Probleme: | 2. Problem der kausalen Reihenfolge der Variablen
• im Querschnittdesign: kausale Reihenfolge unbestimmt (simultane Messung) • Problem kann durch Erhebung zeitbezogener Variablen durch Längsschnittuntersuchung (z.B. Panel) vermieden werden • retrospektive Fragen in Querschnittsbefragung: eher problematisch
44
drei zentrale methodologische Probleme: | 3. Problem der Drittvariablenkontrolle
• Verteilung von Drittvariablen nicht durch Forscher kontrollierbar (wie etwa im Experiment) • Endogenität der Treatmentbedingung X (mögliche Selbstselektion der Akteure auf X), mögliche Scheinkorrelation zwischen X und Y durch ausgelassene Variable(n) Z • problematisch: solche Drittvariablen, die sowohl mit X als auch mit Y korreliert sind (z.B. kognitive Fähigkeiten, Bildung und Einkommen) • Problem kann verringert werden durch Erhebung möglichst vieler (theoretisch sinnvoller) Drittvariablen • zu unterscheiden: antezedierende und intervenierende Drittvariablen • antezedierende Drittvariablen: Z → X → Y Bsp.: kognitive Fähigkeiten → Bildung → Einkommen • intervenierende Drittvariablen: X → Z → Y Bsp.: Geschlecht → Arbeitsmarkterfahrung → Einkommen
45
Vier mögliche Situationen nach Drittvariablenkontrolle
Kontrolle von Drittvariablen I: Bestätigung der Beziehung von x und y nach Kontrolle von z Kontrolle von Drittvariablen II: Keine Beziehung von x und y nach Kontrolle von z Kontrolle von Drittvariablen III: z-spezifische Beziehung von x und y (Interaktion) Kontrolle von Drittvariablen IV: Verdeckung der Beziehung von x und y Siehe Folie 43,44,45,46
46
3. Ex-post-facto-Design Spezialfall Kohortenstudien Kohorte Defintion und Beispiele
Bevölkerungsgruppe, die durch ein zeitlich gemeinsames, längerfristig prägendes Startereignis definiert wird Beispiele: Alters- bzw. Geburtskohorten, Eheschließungskohorten, Berufseinstiegskohorten
47
3. Ex-post-facto-Design Spezialfall Kohortenstudien zu unterscheiden:
• Inter- und Intra-Kohortenvergleich • Kohortenbildung ex-ante und ex-post: Stichprobenauswahl über Kohortenkriterium vs. nachträgliche Kohortenbildung aus Querschnitt- /Paneldesign
48
3. Ex-post-facto-Design Spezialfall Kohortenstudien Kohortendaten können realisiert werden über
• einmalige Retrospektiverhebungen • wiederholte Querschnitterhebungen (Trenddesign) • mehrmalige Panelerhebungen jeweils spezifische Nachteile der gewählten Erhebungsform (siehe oben)
49
3. Ex-post-facto-Design Spezialfall Kohortenstudien großer Vorteil:
Unterscheidung von Alters-, Kohorten- und Periodeneffekten (im reinen Querschnittsdesign nicht zu trennen) • Alters-/Lebenszykluseffekte: individuelle Veränderung über die biographische Prozesszeit • Kohorteneffekte: Unterschiede zwischen Kohorten • Periodeneffekte: Wirkung historisch einmaliger Ereignisse (identisch für alle Kohorten und Individuen)
50
Beispiel Kohortenstudie
Ingleharts Wertewandelsthese