Operationalisierung und Messung (2) Flashcards
Varianzprinzip
Um überhaupt Einflüsse der UV auf die AV nachweisen zu können, müssen zunächst für UV und AV unterschiedliche Merkmalsausprägungen (d.h. eine Varianz > 0) beobachtet werden.
Beispiel:
Mann (UV) — + —> Einkommen (AV)
Wenn alle beobachteten Personen Männer sind, kann die Fragestellung nicht untersucht werden -> Geschlecht wäre dann keine Variable, sondern eine Konstante.
Wenn alle Personen exakt dasselbe Einkommen aufweisen würden, wäre ebenfalls keine empirische Untersuchung möglich.
Untersuchungsarten
Untersuchungen mit Varianzkontrolle.
Untersuchungen ohne Varianzkontrolle (“Ex post facto-Untersuchungen”).
Untersuchungen mit Varianzkontrolle
“Manipulation” hinsichtlich der UV.
Beispiel:
Zufällige Zuweisung von Personen auf die UV “Experimental- vs. Kontrollgruppe”
(“Randomisierung”), z.B. neue Unterrichtsmethode
Untersuchungen ohne Varianzkontrolle
Mit gegebenen Ausprägungen der UV (“Ex post facto-Untersuchungen”).
Beispiel:
Vergleich der subjektiven Lebenszufriedenheit (AV) von Ledigen und Verheirateten (UV).
Nachteile gegenüber dem Experiment hinsichtlich kausaler Schlussfolgerungen (“kausaler Inferenz”).
Querschnitt
Datenerhebung an den Untersuchungseinheiten (UE) zu EINEM Zeitpunkt.
Längsschnitt
Mehrere Erhebungszeitpunkte.
Vorteil: bessere Identifikation von Ursache-Wirkungs-Zusammenhängen.
Arten: Trendstudie und Panelstudie.
Längsschnitt: Trendstudie
Replikativer Survey.
Wiederholte Datenerhebung an UNTERSCHIEDLICHEN Untersuchungseinheiten (zu denselben Themen) zu mehreren Zeitpunkten.
Längsschnitt: Panelstudie
Wiederholte Datenerhebung an DENSELBEN Untersuchungseinheiten (möglichst mit identischen Fragen) zu mehreren Zeitpunkten.
Operationalisierung
Anweisungen, nach welchen Regeln Untersuchungseinheiten den Kategorien einer Variablen zugewiesen werden.
Beispiel:
Bildung: Angabe des höchsten allgemeinbildenden Schulabschlusses
aus einer vorgegebenen Liste (kein Abschluss, Volks‐/ Hauptschulabschluss,
Realschulabschluss, Hochschulreife).
Messung
“Zuordnung von Zahlen zu Objekten nach bestimmten Regeln” (Stevens 1951).
Messmodell
Spezifiziert die Zuordnung von manifesten (beobachtbaren) Indikatoren zu latenten (nicht direkt beobachtbaren) Konstrukten.
Messinstrument
Beispiel: eingesetzte Fragen im Fragebogen.
Indikator
Direkt beobachtbare (manifeste) Variablen.
Skalierung
Messung auf der Basis eines konkreten Skalierungsmodells.
Beispiel: Guttmann-Skala, Likert-Technik.
Indexbildung
Bildung einer neuen Variable, deren Werte sich aus einer Rechenoperation (z.B. Summe) mehrerer anderer Variablen ergeben.
Multiple Indikatoren
Grundprinzip: Erfassung unterschiedlicher Facetten des Konzepts -> Erhöhung der Messgenauigkeit (Reliabilität) -> bei der Auswertung: Kombination der drei Indikatoren durch Indexbildung.
Dichtome Variable
Können nur zwei verschiedene Werte annehmen.
Beispiel:
Schwanger -Nicht Schwanger
Diskrete Variablen
Können nur wenige verschiedene Werte annehmen.
Beispiel:
Herz - Karo - Pik - Kreuz
Kontinuierliche/stetige Variablen
Können jeden beliebigen Wert (aus der Menge der reellen Zahlen) annehmen.
Manifeste Variable
Direkt beobachtbare Variable.
Beispiel:
Körpergröße
Latente Variable
Nicht direkt beobachtbare Variable.
Beispiel:
Abstraktionsvermögen
Warum Messung?
Sozialwissenschaftliche Hypothesen beziehen sich in der Regel auf Zusammenhänge zwischen NICHT DIREKT BEOBACHTBAREN (latenten) Merkmalen.
Begriffe müssen zunächst inhaltlich bestimmt (definiert) werden -> Nominaldefinition.
Außerdem muss überlegt werden, wie die beiden Begriffe operationalisiert (erfasst und quantifiziert) werden können -> operationale Definition.
> > Hierbei ergibt sich ein Korrespondenzproblem der empirischen Messung theoretischer Konzepte.
Korrespondenzproblem
Inwieweit kann mit den eingesetzten Indikatoren in einer Untersuchung genau das theoretische Konstrukt erfasst werden, das in der entsprechenden Theorie gemeint war?
Ziel der Messung
Repräsentation von Relationen zwischen Objekten durch Relationen zwischen Zahlen.
Messen
“Homomorphe ( = strukturtreue) Abbildung eines empirischen Relativs in ein numerisches Relativ”
Empirisches und numerisches Relativ
Ein empirisches Relativ stellt eine Menge von Objekteigenschaften bzw. Objektmerkmalen der “Realität” dar, wie zum Beispiel die tatsächliche Intelligenz einer Person. Ein numerisches Relativ beschreibt eine Zahlenmenge (z.B. 4, 3, 5.635).
Beispiel Herkunfts-Bundesland:
Person A: geboren in Magdeburg
Person B: geboren in Halle (Saale)
Person C: geboren in Köln
Empirisches Relativ: A = B ≠ C ≠ A
Numerisches Relativ: 1 = 1 ≠ 2 ≠ 1
(Eigentlich in dreieckiger Form aufgestellt)
Skalenniveaus
- Nominalskala
- Ordinalskala
- Intervallskala
- Ratio-/Verhältnisskala
Skalenniveau: Nominalskala
(1) Nominalskala
Ordnungsrelation:
Unterscheidung (gleich/ungleich)
Zulässige Transformationen: Eindeutigkeitstransformationen.
Zahlen stellen lediglich eine Benennung dar d.h. eine Möglichkeit, die Objekte auf Gleichheit in Bezug auf die interessierende Dimension zu unterscheiden -> keine Rangfolge.
Beispiel:
Geschlecht
Familienstand
Skalenniveau: Ordinale Messung
(2) Ordinale Messung
Ordnungsrelation:
Unterscheidung (gleich/ungleich)
Rangordnung (kleiner - gleich - größer)
Zulässige Transformationen:
Positiv-monoton: Addition einer Konstanten, Multiplikation/Division mit einer positiven Konstanten, Potenzieren/Logarithmieren usw.
-> alle mathematischen Transformationen, die nicht die Abfolge der Zahlen verändern.
Beispiele: Schulabschlüsse Zufriedenheit Einstellungen Schichtzugehörigkeit
Skalenniveau: Intervallskala
(3) Intervallskala
Ordnungsrelation:
Unterscheidung (gleich/ungleich)
Rangordnung (kleiner - gleich - größer)
Gleiche Intervallbreite (2015 - 2016 - 2017)
Zulässige Transformationen:
Positiv-linear: Addition einer Konstanten und Multiplikation mit einer (positiven) Konstanten.
Nur differenzerhaltende Transformationen.
Beispiele:
Summenscores
Geburtsjahr
Temperatur (Grad Celcius)
Skalenniveau: Ratio-/Verhältnisskala
(4) Ratio-/Verhältnisskala
Ordnungsrelation: Unterscheidung (gleich/ungleich) Rangordnung (kleiner - gleich - größer) Gleiche Intervallbreite (2015 - 2016 - 2017) Nullpunkt ( Alter: 1 - 2 - 3 - 4)
Zulässige Transformationen:
Positiv-proportional: Multiplikation/Division mit einer (positiven) Konstanten.
Beispiele:
Alter
Entfernung
Einkommen
“Metrisch”
Intervall- oder Ratioskalierung
Faustregel Skalenniveau
Je höher das Skalenniveau, desto mehr Auswertungsmöglichkeiten gibt es.
Gütekriterien: Klassische Testtheorie (Grundgleichung + Annahmen)
Grundgleichung:
X = T + E
Beobachtungswert = “wahre” Größe + Messfehler
Beispiel:
Gemessene Körpergröße = “wahre” Größe + Messfehler
Annahmen: Unsystematische Messfehler (d.h. zufällige Unter‐ bzw. Überschätzung des wahren Werts, Erwartungswert des Messfehlers bei vielen Messungen ist null).
Keine systematischen Zusammenhänge zwischen Messfehlern in mehreren Messungen bzw. zwischen Messfehlern und „wahren Werten“.
Hauptgütekriterien
- Ojektivität: Unabhängigkeit vom Testleiter
- Reliabilität: Messgenauigkeit
- Validität: Gültigkeit der Messung
Nebengütekriterien
Normierung (zur Einordnung von Testergebnissen).
Fairness (gleiche Chancen bei unterschiedlichem sozialem Hintergrund der Probanden).
Ökonomie (Verhältnis zwischen Aufwand und Erkenntnisgewinn).
Nützlichkeit in der Anwendung.
Gütekriterium: Objektivität
Ein Test ist objektiv, wenn verschiedene Testleiter/Anwender bei denselben Personen zum selben Ergebnis gelangen.
Bei standardisierten Tests meist unproblematisch.
Komponenten:
- Durchführungsobjektivität (z.B. Instruktion)
- Auswertungsobjektivität (z.B. Vergabe von Punkten für Antworten)
- Interpretationsobjektivität (betrifft die Schlussfolgerungen aus einem Testergebnis)
Gütekriterium: Reliabilität
Messgenauigkeit eines Tests.
Klassische Testheorie: X = T + E
Beobachteter Wert setzt sich additiv aus wahrem Wert und Fehler zusammen.
Reliabilität umso höher, je geringer der Fehleranteil (E).
Problem: Wie kann man den Fehler bestimmen,
obwohl der „wahre Wert“ unbekannt ist?
» Verschiedene Strategien
» Zusammenhangsmaß: Korrelation (‐1 ≤ r ≤ +1)
Reliabilitätskonzepte
- Test-Retest-Reliabilität
- Paralleltestreliabilität
- Testhalbierungsreliabilität
Reliabilitäskonzept: Test-Retest-Reliabilität
Korrelation zwischen zwei Wiederholungen des Tests an derselben Stichprobe.
Annahme: ein perfekt reliabler Test ergibt bei zeitstabilen Merkmalen immer exakt dasselbe Ergebnis.
Nachteil: relativ großer Aufwand, Merkmal muss zeitstabil sein.
Reliabilitätskonzept: Paralleltestreliabilität
Korrelation zwischen zwei parallelen Testversionen mit identischen Eigenschaften.
Nachteil: relativ großer Aufwand bei der Testentwicklung.
Reliabilitätskonzept: Testhalbierungsreliabilität
Korrelation zwischen zwei zufällig generierten Testhälften (d.h. zufällige Aufteilung der Items in zwei Gruppen und anschließende Bildung von Summenscores).
Problem: Unterschätzung der Reliabilität durch Testhalbierung.
Das am häufigsten genutzte innere Maß ist die interne Konsistenz (Maßzahl “Cronbachs Alpha”): mittlere Testhalbierungsreliabilität für alle möglichen Testhälften.
Gütekriterium: Validität
“Gültigkeit”: Aussage, ob der Test das misst, was er messen soll -> Grundvoraussetzung für jeglichen weitere Interpretationen!
Validitätsarten
Inhaltsvalidität.
Kriteriumsvalidität: Übereinstimmungsvalidität (konkurrent) und Vorhersagevalidität (prädiktiv).
Konstruktvalidität.
Validitätsart: Inhaltsvalidität
Aussage darüber, wie gut die Indikatoren das latente Merkmal repräsentieren:
a) inhaltlich‐logische Passung
b) Abdeckung unterschiedlicher Facetten mittels multipler Indikatoren (z.B. beruflicher Erfolg)
Gegeben oder nicht gegeben, aber nicht quantifizierbar (daher eigentlich kein Gütekriterium im strengen Sinn)
Validitätsart: Kriteriumsvalidität
Empirischer Zusammenhang zwischen (a) der Messung des latenten Merkmals durch den Test und (b) einem direkt beobachtbaren Außenkriterium.
Beispiel: Schlleistungstest —> Schulerfolg
Probleme: häufig kein manifestes Kriterium (z.B. Intelligenz)
oder unreliable Messung (z.B. Hilfeverhalten)
Zwei Arten, je nach zeitlichem Abstand zwischen Test und Kriterium:
1. konkurrente Validität: gleichzeitige Messung (z.B. Einsamkeit —> Erfassung von Sozialkontakten)
- prädiktive Validität: Kriterium später gemessen (z.B.
Schulleistungstest —> späterer Schulerfolg), kommt relativ häufig vor
Validitätsart: Konstruktvalidität
Konstruktvalidierung: empirische Bestätigung bzw. Verwerfen der theoretisch erwarteten Zusammenhänge zwischen verschiedenen theoretischen Konstrukten (gemessen über Variablen).
Aufzeigen sowohl positiver (konvergente Validität) und negativer (diskriminante Validität) Assoziationen bzw. von Nullzusammenhängen.
Beispiel:
Zusammenhänge (Korrelationen) zwischen zwei Variablen, z.B. sollten Deutschtestergebnisse positiv mit Englischtestergebnissen korrelieren, da beide Variablen sprachliche Fertigkeiten anzeigen sollen.
Kerntheorie
Aussage über Zusammenhänge zwischen Konstrukten
Instrumententheorie
Aussagen über Zusammenhänge zwischen latenten theoretischen Konstrukten und manifesten Indikatoren.
> > Korrespondenzproblem: Passung zwischen Indikatoren und theoretischem Konzept.
Basissatzproblem
Wenn eine Beobachtungsaussage im Widerspruch zur Theorie steht, kann das u.a. daran liegen, dass
a) die Kerntheorie falsch ist
und/oder
b) die Instrumententheorie falsch ist
Einzelindikator oder mehrere indikatoren?
Für manche Konzepte (z.B. Geschlecht) genügt die Erfassung mit einem einzelnen Indikator.
Bie komplexeren Konzepten (z.B. Erfassung der Einstellung zu Ausländern) gelingt meist eine ausreichend genaue Messung nur über mehrere (multiple) Indikatoren.
» Kombination der Einzelantworten jedes Befragen durch Summenbildung der Antwortcodes für jeden Befragten
Prinzip multipler Indikatoren (Vorteile)
Vorteile der Messung mittles multipler Indikatoren:
- Abdeckung verschiedener Facetten des Konstrukts (Breite)
- Erhöhung der Messgenauigkeit (Reliabilität)
Additive Indexbildung (Probleme)
Informationsverlust.
“Indifferente” Fälle.
Beispiel:
Sozioökonomischer Status: Bildung und Einkommen (Merkmale mit Variablen von 1-4).
–> Variablen werden in Tabelle gekreuzt/kombiniert.
Problem:
Kein Schulabschluss (1) + Einkommen 1751€ und höher (4) = 5
Abitur (4) + Einkommen 0 bis 500€ (1) = 5
–> Zwei völlig unterschiedliche Fälle werden (mathematisch) auf eine gleiche Ebene gestellt.
Voraussetzungen für die Aggregation (Zusammenfassung) von Indikatoren
- Metrisches Messniveau der Indikatoren (mindestens Intervallskala).
- -> Ausnahme: quasi-metrisches Messniveau - Alle Indikatoren sind in dieselbe Richtung gepolt (d.h. höherer Zahlenwert zeigt höhere Ausprägung des Merkmals an).
- Möglichst identische Antwortkategorien (Formulierung und Zahlencodes) bei allen betreffenden Indikatoren –> Zahlenwerte ansonsten nicht vergleichbar.
Homomorphe Abbildung
Empirisches Relativ Numerisches Relativ
A —————————————-> 1
B —————————————-> 1
C —————————————-> 2
D —————————————-> 3
Keine Rückschlüsse von numerischen Relativ auf empirisches Relativ möglich!
Isomorphe Abbildung
Empirisches Relativ Numerisches Relativ A 1 B 2 C 3 D 4
Beispiel:
Matrikelnummern -> von Nummer kann auf Person rückgeschlossen werden um umgekehrt.
