Forschungsdesigns und Untersuchungsformen Flashcards
Ziel der empirischen Forschung:
möglichst präzise und valide
Hypothesentests
->Ausschluss alternativer Erklärungen
-> interne Validität: gültiger Schluss, dass eine bestimmte Ursache X empirisch eine Wirkung auf Y hat
= der Zusammenhang zwischen X und Y ist nicht auf den Einfluss einer Drittvariablen Z zurückzuführen
Ziel der Wahl des Forschungsdesigns:
Ausschluss möglichst vieler
alternativer Erklärungen für das zu untersuchende Phänomen
Forschungsdesign (Definition)
Gesamtheit aller Entscheidungen darüber, wann, wo, wie, und wie oft
die empirischen Indikatoren an den Beobachtungsobjekten erfasst
werden sollen
Wie unterscheiden sich Forschungsdesigns?
Sie unterscheiden sich in ihrer Fähigkeit,
verschiedene Störfaktoren als alternative Erklärungen auszuschließen
Störfaktoren beeiflussen…
…interne Validität
…externe Validität
interne Validität
Veränderungen in der abhängigen Variable können eindeutig auf
Veränderungen in X zurückgeführt werden
externe Validität
Möglichkeit der Generalisierung experimenteller Resultate auf andere
Personen(-gruppen) und Situationen
Beispiele für Störfaktoren der internen Valididät
- intrapersonale Reifungsprozesse
- zwischenzeitliches Geschehen
- Test-Retest-Effekt: Effekte eines ersten auf zweiten Messvorgang
- Instrumentation: Effekte der oder Änderung i. d. Testbedingungen
- Selektion: verzerrte Auswahl und systematische Ausfälle
Beispiele für Störfaktoren, die externe Valididät beeinflussen
• reaktive Effekte der experimentellen Situation:
Abweichen von Alltagssituation
• reaktive Effekte des Messens:
Wechselwirkung zwischen erster Messung und Stimulus
Störfaktoren können vermieden bzw. kontrolliert werden durch
- Elimination: Ausschaltung von Störfaktoren
- Konstanthalten: gleichförmiges Wirken von Störfaktoren
- Bildung von Kontrollgruppen mittels
- Matching: Paarbildung
- Drittvariablenkontrolle
- Randomisierung
Drei Typen von Forschungsdesigns
- Experimentelles Design
- Quasi-experimentelles Design
- Ex-post-facto-Design
1.Experimentelles Design
Kennzeichen
• Bildung von mindestens zwei Vergleichsgruppen (ex ante)
• Randomisierung (R): zufällige Zuweisung der Versuchspersonen zu
den experimentellen Gruppen
• Manipulation der unabhängigen Variable (Setzung des Treatment)
durch den Forscher
- Experimentelles Design
Ziel:
Ausschluss der alternativen Erklärung eines empirisch gefundenen
Gruppenunterschieds in der abhängigen Variable Y durch einen
anderen Faktor als die manipulierte Variable X
- Experimentelles Design
Laborexperiment
- künstliche Situation
- relativ niedrige Kosten
- tendenziell hohe interne und niedrige externe Validität
- Experimentelles Design
Feldexperiment
- natürliche Situation
- relativ hohe Kosten
- tendenziell hohe externe und niedrige interne Validität
Laborexperiment vs Feldexperiment
trotz der unterschiedlichen Charakteristika zu bedenken:
- Labor kein Garant für interne Validität (z.B. Mess-/Versuchsleitereffekt)
- Feld kein Garant für externe Validität (Eingreifen in die Lebenswelt)
- > konkrete Versuchsbedingungen bestimmen Grad der Valitität
- > keine objektiven Gütekriterien für interne und externe Validität
Vorteil von Experimenten
führen zu validen Hypothesentests (hohe interne Validität)
-homogene Vergleichsgruppen (unit homogenity): Randomisierung erzeugt identische Verteilung der Hintergrundfaktoren Z in Gruppen
-zufällige Zuweisung zur Testbedingung (conditional independence):
Randomisierung verhindert Verzerrung durch Selbstselektionsproblem
-Varianz auf unabhängiger Variable: Testbedingung variiert/manipuliert Kausalfaktor
-gleiche Rahmenbedingungen in den Vergleichsgruppen: Konstanthaltung/Eliminierung aller sonstiger, auch ungemessener Faktoren
Problem der internen Validität von Experimenten in klassischer Form
Verzerrte Auswahl durch missglückte Zufallsaufteilung (bei kleinem N)
deshalb - > Matching; Vorher-Nachher-Design
Probleme der externen Validität von Experimenten mit Vorher-Nachher-Design
Relative Effekte des Messens: Wechselwirkung von Vorhermessung mit Stimulus
deshalb - >Solomons Viergruppen-Design
allgemeine Probleme von Experimenten:
• Instrumentation: Versuchspersonen reagieren auf
Untersuchungssituation
deshalb - > Blind-/Doppelblindversuche
• Verlierer-Gewinner-Problem (vor allem in Evaluationsstudien):
Versuchspersonen in Kontrollgruppe reagieren (negativ) auf Zuweisung
deshalb - > Losverfahren; Quasi-Experiment
• unter Umständen nur niedrige externe Validität (Reaktivität,
Zusammensetzung der Testgruppe, kleines N etc.)
- ethische Bedenken (z.B. Milgram-Experiment)
- Bedeutsamkeit des Effekts bei Erklärung sozialer Tatsachen
weiter bei Folie 19
experimentelles Design Beispiel
Are Greg and
Emily More Employable than Lakisha and Jamal? A Field Experiment on Labor
Market Discrimination.
• Hypothese: Aufgrund von Vorurteilen oder Informationsdefiziten existiert
ethnische Diskriminierung im Arbeitsmarkt trotz gegenteiliger gesetzlicher
Regelungen: Arbeitgeber präferieren unter ansonsten gleichen Bedingungen
(Qualifikationen, berufliche Biographie, Geschlecht etc.) Angehörige der
Mehrheitsgruppe (in den USA: Weiße Bewerber werden gegenüber Schwarzen
oder Latinos bevorzugt).
• Valider Hypothesentest:
Experimentelle Manipulation der ethnischen Zugehörigkeit
• Experimentelle Manipulation:
Verwendung fiktiver, typisch „weißer“ bzw. typisch „schwarzer“ Vornamen in der
Bewerbung (in den USA: kein Bewerberfoto, keine Altersangabe), randomisierte
Zuweisung
faktorielles Design: Manipulation Erwerbsbiographie und Wohngegend
• abhängige Variable: Einladung zum Bewerbungsgespräch
• empirisches Ergebnis: Einladung zum Bewerbungsgespräch an
9,7% der fiktiven weißen, aber nur 6,5% der fiktiven schwarzen „Bewerber“
- Quasi-experimentelles Design
Kennzeichen:
• Versuchsanordnungen, in denen das Treatment (gewissermaßen)
experimentell gesetzt wird, ohne dass auf der Ebene der Akteure eine
Randomisierung der Gruppenzuweisung erfolgt bzw. möglich ist
• typisch für Evaluationsstudien/politische Interventionen: Treatment
wird institutionell zugewiesen (Reform zu einem bestimmten
Zeitpunkt), ohne dass die betroffenen Akteure sich dies (bzw. den
Zeitpunkt) individuell aussuchen könnten
- Quasi-experimentelles Design
Probleme der internen Validität von Quasi-Experimenten:
• verzerrte Auswahl: Nichtvergleichbarkeit der Vergleichsgruppen
aufgrund fehlender Randomisierung
• Reifungseffekte: natürliche Entwicklungsprozesse (Alterung,
Erfahrung, Lernen; insbesondere im Zeitreihendesign relevant)
• zwischenzeitliches Geschehen: sonstige Faktoren, die
Veränderungen in Y bewirken (insbesondere im Zeitreihendesign
relevant)
- Quasi-experimentelles Design
Beispiel: Orchestrating Impartiality:
The Impact of „Blind“ Auditions on Female Musicians.
• Forschungsfrage: Diskriminierung im Arbeitsmarkt für MusikerInnen?
• Quasi-Experiment: Einführung des „blinden“ Vorspielens in vielen wichtigen
Orchestern in den USA seit den 1970er Jahren
• abhängige Variable: Wahrscheinlichkeit, dass Musikerinnen Bewerbungsrunden
überstehen bzw. in ein Symphonieorchester eingestellt werden
• Empirische Ergebnisse: die Wahrscheinlichkeit, dass eine Musikerin
eingestellt wird, erhöht sich durch blindes Vorspielen um 25% (7-8
Prozentpunkte); Einführung des blinden Vorspielens erklärt etwa ein Drittel
des Anstiegs der Frauenquote in US-Orchestern seit den 1960ern
- Ex-post-facto-Design
Kennzeichen:
• meist simultane Messung von Treatment und Outcome
(Ausnahmen: Paneldesign)
• Aufteilung in Experimental- und Kontrollgruppe nach der Messung
(ex post), das heißt:
- keine Randomisierung
-keine Manipulation der unabhängigen Variable (Setzung des
Treatment) durch den Forscher
• Erhebungsform: Querschnitt- versus Längschnittdesigns
- Ex-post-facto-Design
drei mögliche Erhebungsformen
drei mögliche Erhebungsformen:
- Querschnittsdesign
- Trenddesign = Längsschnittdesign
- Paneldesign = Längsschnittdesign
- Ex-post-facto-Design
- Querschnittsdesign
Kennzeichen
einmalige Erhebung der abhängigen und unabhängigen
Variablen einer Untersuchung an einer Stichprobe von N
Beobachtungseinheiten
Messwerte xi für N mit Beobachtungsobjekte i=1, 2, …, N zu einem
bestimmten Zeitpunkt
- Ex-post-facto-Design
- Querschnittsdesign
Typische Anwendung
• Beschreibung sozialer Phänomene (Status, Zustand, Verteilung)
• Prüfung von Unterschiedshypothesen (z.B. Betroffenheit in sozialen
Gruppen)
- Ex-post-facto-Design
- Querschnittsdesign
Vorteile
- vergleichsweise einfache Stichprobenziehung
- keine Teilnahmeeffekte
- vergleichsweise geringe Kosten
- Ex-post-facto-Design
- Querschnittsdesign
Nachteile
- Erhebung zeitbezogener Individualinformationen nur durch Retrospektivfragen (Erinnerungsverzerrung)
- keine Analyse von Veränderungen möglich (Makro und Mikro)
- Ex-post-facto-Design
- Trenddesign
Kennzeichen:
mehrmalige Erhebung der Beobachtungsgrößen an
mehreren unabhängigen Stichproben von jeweils N Beobachtungseinheiten
Messwerte xit für jeweils Nt Beobachtungsobjekte i=1, 2, …, Nt aus T
verschiedenen Stichproben für die Zeitpunkte t=1, 2, …, T
- Ex-post-facto-Design
- Trenddesign
Typische Anwendung:
• Beschreibung sozialen Wandels
• Prüfung von Veränderungshypothesen auf Aggregatesebene
(z.B. Gruppenebene)
- Ex-post-facto-Design
2.Trenddesign
Vorteile
- vergleichsweise einfache Stichprobenziehung
- keine Teilnahmeeffekte
- Analyse von Veränderungen im Aggregat (Makro)
- vergleichsweise geringe Kosten
- Ex-post-facto-Design
2.Trenddesign
Nachteile
-Erhebung zeitbezogener Individualinformationen nur durch Retrospektivfragen
(Erinnerungsverzerrung)
-evtl. Problem der Konstanz der Messinstrumente
-keine Analyse individueller Veränderungen/Prozesse (Mikro)
- Ex-post-facto-Design
- Trenddesign
Beispiel:
Allgemeine Bevölkerungsumfrage der Sozialwissenschaften (ALLBUS),
seit 1980 mit regelmäßig wiederholten Themenschwerpunkten, z.B.
Einstellungen zum Wohlfahrtsstaat: 1984, 1994,
soziale Ungleichheit: 1984, 1992, 1994, 2000, 2004
politische Partizipation: 1988, 1998, 2008
- Ex-post-facto-Design
- Paneldesign
Kennzeichen:
wiederholte Erhebung der Beobachtungsgrößen an
einer Stichprobe von N Beobachtungseinheiten
Messwerte xit für dieselben N Beobachtungsobjekte i=1, 2, …, N zu T
Zeitpunkten t=1, 2, …, T
- Ex-post-facto-Design
- Paneldesign
Typische Anwendung:
- Beschreibung sozialer Prozesse
* Prüfung von Veränderungshypothesen auf individueller Ebene
- Ex-post-facto-Design
- Paneldesign
Vorteile
- hoher Informationsgehalt
- prospektive Erhebung zeitbezogener Information (keine Erinnerungsverzerrung)
- Analyse von Veränderungen (Makro und Mikro)
- kausale Reihenfolge von Variablen empirisch testbar
- Ex-post-facto-Design
- Paneldesign
Nachteile
- Panelmortalität, hohe Kosten der Stichprobenpflege
- evtl. Problem der Konstanz der Messinstrumente
- evtl. Reaktivität / Lerneffekte durch wiederholte Teilnahme (Paneleffekte)
- Ex-post-facto-Design
- Paneldesign
Beispiel:
Sozio-ökonomisches Panel (SOEP), seit 1984
Themenschwerpunkte: Arbeitsmarkt, Demografie, Einkommen,
Bildung, Gesundheit etc.
- Ex-post-facto-Design
drei zentrale methodologische Probleme:
- Problem der Varianz der unabhängigen Variable (treatment)
- Problem der kausalen Reihenfolge der Variablen
- Problem der Drittvariablenkontrolle
drei zentrale methodologische Probleme:
1. Problem der Varianz der unabhängigen Variable (treatment)
• keine ausreichende Variation auf X
• Problem kann durch Voruntersuchung zur Verteilung der
unabhängigen Variablen vermieden werden
- > bei geringer Varianz: Anpassung des Auswahlverfahrens,
z.B. disproportional geschichtete Stichprobe
drei zentrale methodologische Probleme:
2. Problem der kausalen Reihenfolge der Variablen
• im Querschnittdesign: kausale Reihenfolge unbestimmt
(simultane Messung)
• Problem kann durch Erhebung zeitbezogener Variablen
durch Längsschnittuntersuchung (z.B. Panel) vermieden
werden
• retrospektive Fragen in Querschnittsbefragung:
eher problematisch
drei zentrale methodologische Probleme:
3. Problem der Drittvariablenkontrolle
• Verteilung von Drittvariablen nicht durch Forscher
kontrollierbar (wie etwa im Experiment)
• Endogenität der Treatmentbedingung X
(mögliche Selbstselektion der Akteure auf X),
mögliche Scheinkorrelation zwischen X und Y durch
ausgelassene Variable(n) Z
• problematisch: solche Drittvariablen, die sowohl mit X als
auch mit Y korreliert sind
(z.B. kognitive Fähigkeiten, Bildung und Einkommen)
• Problem kann verringert werden durch Erhebung möglichst
vieler (theoretisch sinnvoller) Drittvariablen
• zu unterscheiden: antezedierende und intervenierende
Drittvariablen
• antezedierende Drittvariablen: Z → X → Y
Bsp.: kognitive Fähigkeiten → Bildung → Einkommen
• intervenierende Drittvariablen: X → Z → Y
Bsp.: Geschlecht → Arbeitsmarkterfahrung → Einkommen
Vier mögliche Situationen nach Drittvariablenkontrolle
Kontrolle von Drittvariablen I: Bestätigung der Beziehung von x und y
nach Kontrolle von z
Kontrolle von Drittvariablen II: Keine Beziehung von x und y nach Kontrolle von z
Kontrolle von Drittvariablen III: z-spezifische Beziehung von x und y
(Interaktion)
Kontrolle von Drittvariablen IV: Verdeckung der Beziehung von x und y
Siehe Folie 43,44,45,46
- Ex-post-facto-Design
Spezialfall Kohortenstudien
Kohorte Defintion und Beispiele
Bevölkerungsgruppe, die durch ein zeitlich gemeinsames,
längerfristig prägendes Startereignis definiert wird
Beispiele: Alters- bzw. Geburtskohorten, Eheschließungskohorten,
Berufseinstiegskohorten
- Ex-post-facto-Design
Spezialfall Kohortenstudien
zu unterscheiden:
• Inter- und Intra-Kohortenvergleich
• Kohortenbildung ex-ante und ex-post: Stichprobenauswahl über
Kohortenkriterium vs. nachträgliche Kohortenbildung aus Querschnitt-
/Paneldesign
- Ex-post-facto-Design
Spezialfall Kohortenstudien
Kohortendaten können realisiert werden über
• einmalige Retrospektiverhebungen
• wiederholte Querschnitterhebungen (Trenddesign)
• mehrmalige Panelerhebungen
jeweils spezifische Nachteile der gewählten Erhebungsform (siehe
oben)
- Ex-post-facto-Design
Spezialfall Kohortenstudien
großer Vorteil:
Unterscheidung von Alters-, Kohorten- und
Periodeneffekten (im reinen Querschnittsdesign nicht zu trennen)
• Alters-/Lebenszykluseffekte: individuelle Veränderung über die
biographische Prozesszeit
• Kohorteneffekte: Unterschiede zwischen Kohorten
• Periodeneffekte: Wirkung historisch einmaliger Ereignisse
(identisch für alle Kohorten und Individuen)
Beispiel Kohortenstudie
Ingleharts Wertewandelsthese
