Messung II: Indexbildung und Skalierungsverfahren Flashcards

1
Q

Definition Index

A

regelgeleitete Zusammenfassung von mehreren Einzelfaktoren (oft
unterschiedlicher Dimensionen) zu einer neuen Variable

Beispiel
latente Variable: Soziale Schicht
Dimensionen/Indikatoren: Einkommen, Bildung, Berufsposition

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Grundsätzliche Fragen bei der Indexbildung:

A
  1. Welche Dimensionen sollen in den Index eingehen?

2. Wie sollen die Dimensionen kombiniert werden?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q
  1. Welche Dimensionen sollen in den Index eingehen?
A

Dimensionen, die in die Indexkonstruktion eingehen, definieren den
Merkmalsraum des Index

Beispiel: Kombination aus Einkommen, Bildung und Berufsposition
erzeugt dreidimensionalen Merkmalsraum

Spezialfall: bei nur wenigen Ausprägungen der Variablen, die in den
Index eingehen liegt eine Typologie vor (Beispiele siehe nächste Folie)
keine objektiven Gütekriterien dafür, dass
- alle relevanten Dimensionen berücksichtigt wurden
- die berücksichtigten Dimensionen tatsächlich relevant sind

(Beispiel Typologie Folie 5+6)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q
  1. Wie sollen die Dimensionen kombiniert werden?
A
  • Indexkonstruktion als Reduktion des Merkmalsraumes
  • Zuweisung bestimmter Merkmalskombinationen zu Indexwerten

• auch hier keine objektiven Gütekriterien
• ursprünglicher Merkmalsraum wird reduziert aufgrund von
- funktionaler Reduktion (bestimmte Merkmalskombinationen sind nicht oder
nur selten vorhanden)
- arbiträrer numerischer Reduktion (gleicher Indexwert trotz
unterschiedlicher Merkmalskombination wegen Gewichtung)
- pragmatischer Reduktion (theoretisch gerechtfertigte Zusammenfassung)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Nach welchen Zuordnungsregeln kann Indexkonstruktion erfolgen?

A

a) „tabellarische“ Zuweisung
b) additiv
c) gewichtet-additiv
d) multiplikativ

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Zuordnungsregel a) „tabellarische“ Zuweisung

A

„tabellarische“ Zuweisung
Ii=ci

Ii Indexwert der i-ten Beobachtung
ci „Zellenwert“ der i-ten Beobachtung

  • jede Merkmalskombination wird explizit einem Indexwert zugeordnet
    (z. B. durch Typologie)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Zuordnungsregel b) additiver Index

A

additive Kombination der Dimensionen: Aufsummieren der
Indikatorenwerte (Summenscore)
Ii = X1i + X2i + X3i + …
• Annahme: Einzeldimensionen wirken jeweils unabhängig auf den
theoretischen Sachverhalt (Ausgleich zwischen Dimensionen möglich)
• gleicher Wertebereich der Indikatoren (ansonsten gehen Indikatoren
ungleichgewichtig in Index ein)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Zuordnungsregel c) gewichteter additiver Index

A

zur Berücksichtigung der theoretischen Bedeutung einzelner
Indikatoren: Indikatoren gehen mit unterschiedlichem Gewicht
(Bedeutung) in den Summenscore ein
Ii = aX1i + bX2i + c*X3i + …

• empirische Gewichtungsfaktoren: oft durch Regression oder
Faktorenanalyse ermittelt
• besser: aus inhaltlichen Überlegungen begründet
Beispiel: Verbraucherpreisindex

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Zuordnungsregel d) multiplikativer Index

A

multiplikative Kombination der Dimensionen: Aufmultiplizieren der
Indikatorenwerte
Ii = X1i * X2i * X3i * …

• Annahme: Einzeldimensionen wirken (nur) gemeinsam auf den
theoretischen Sachverhalt (Ausgleich zwischen Dimensionen nicht
möglich)
• nimmt ein Indikator den Wert Null an, erreicht Index Minimum

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Definition Skala

A

mindestens homomorphe Abbildung eines empirischen Relativs

in ein numerisches Relativ

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Skala im Falle von latenten Sachverhalten, z.B. Einstellung, Überzeugung,
Werthaltung:

A

• Skalierungsverfahren = Methoden zur Skalenkonstruktion aus einer
Reihe von Items (sog. Itembatterie), d.h. Fragen / Aussagen zur
Messung eines theoretischen Sachverhalts
• Unterschied zur Indexkonstruktion:
Skalierungsverfahren treffen Modellannahmen zur Messung des
latenten Sachverhalts
→ prinzipiell empirisch prüfbar

(Folie 13)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Annahme, Idee bei Items

A

• Annahme: Reaktionen auf Items hängen nur mit zu messender
Dimension zusammen, nicht jedoch mit Frageformulierung oder
anderen Spezifika der Erhebungssituation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Wie sollen Indikatoren bei der Messung eingesetzt werden? Welche Vorstellung verbirgt sich dahinter?

A

• Messung mit multiplen Indikatoren/Items: Vorstellung eines

homogenen Universums von Indikatoren

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Welche Wege gibt es, um (gute) Items zu finden?

A
  • Items aus etablierten Skalen übernehmen (z.B. ZUMA-Skalenhandbuch
    oder Zusammenstellung sozialwissenschaftlicher Items und Skalen ZIS)
  • Aussagen von Befragten in Vorstudien nutzen
  • eigene Überlegungen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Mindestanforderungen an Items einer Dimension

A
  • Eindimensionalität

- Formulierungskriterien

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Items - Regeln für das Formulieren von Aussagen

Statements sollten:

A

• den gesamten Bereich des latenten Sachverhalts abdecken
• einfach, kurz, klar und direkt formuliert sein (keine Satzgefüge oder
Satzverbindungen)
• immer nur einen Gedanken enthalten (keine mehrdimensionalen
Items)
• keine absoluten Größen („alle“, „immer“, „niemand“) enthalten
• keine mehrdeutigen Bewertungen („kaum“, „nur“) enthalten
• keine alltagssprachlich unverständlichen Begriffe enthalten
• keine doppelten Verneinungen enthalten

17
Q

Items - Regeln für das Formulieren von Aussagen

Vermieden werden sollten dagegen Aussagen,

A

• die sich auf die Vergangenheit statt die Gegenwart beziehen
• die Tatsachen beschreiben oder so aufgefasst werden können
• die von den Befragten nicht eindeutig interpretiert werden können
(keine mehrdeutigen oder mehrdimensionalen Items)
• die sich nicht auf den interessierenden Sachverhalt beziehen
(keine irrelevanten Items)
• denen alle oder keine Befragten zustimmen
(keine nicht-diskriminierende Items)

18
Q

Ziel der Skalierung:

…und was ist dazu notwendig?

A

Erstellung einer Skala, die die Position von Untersuchungseinheiten auf
der latenten Dimension (strukturtreu) abbildet

Items müssen differenzieren (diskriminieren) können

19
Q

Itemschwierigkeit

A

Anteil falscher Lösungen (bei Tests) bzw. Anteil von Ablehnungen zu
einem Item (bei Einstellungsitems)
je schwieriger ein Item, desto weniger Personen können es lösen bzw.
der Aussage zustimmen

20
Q

Itemcharakteristiken

A

bei Zusammenhang zwischen latenter Variable und Antwortverhalten:
Wahrscheinlichkeit, mit der einem Item zugestimmt wird ist Funktion
der Itemschwierigkeit und der Ausprägung auf der latenten Variable

Itemcharakteristiken (Tracelines): mathematische Funktionen, die den
Zusammenhang zwischen Zustimmungswahrscheinlichkeit und
Ausprägung der latenten Variable beschreiben

21
Q

Was ist bei monotonen Itemcharakteristiken möglich?

A

eindeutiger Schluss von

Zustimmungsverhalten auf latente Variable möglich

22
Q

-verschiedene Skalierungsverfahren-

Skalierungsverfahren unterscheiden sich…

A

• hinsichtlich der Annahmen über den Verlauf der Itemcharakteristiken
(d.h. hinsichtlich der Entstehung der Reaktionen der Befragten auf die
Items)

• hinsichtlich der Art, wie Merkmalsausprägungen der einzelnen Items
in einen Skalenwert transformiert werden

23
Q

• bekannte Skalierungsverfahren:

A

a) Likert-Skalierung
b) Guttman-Skalierung
c) Rasch-Skalierung
d) Magnitude-Skalierung
e) Thurstone-Skalierung

24
Q

a) Likert-Skalierung (nach Rensis Likert)

A

Vorgehen bei der Likert-Skalierung:
• Sammlung einer großen Zahl von Items (ca. 100), die die
interessierende Einstellung wiedergeben
• Befragte geben jeweils Zustimmung/Ablehnung auf bipolarer Rating-
Skala an
- gerade vs. ungerade Rating-Skala
- Kontrollelement: unterschiedlich gepolte Items
• Annahme: Itemcharakteristiken sind monoton, ansonsten keine
Einschränkungen

Beispiel aus Big Five: Extraversion (siehe Folie 23)

• Skalenwert = Summe der Rohwerte (Summenscore)
- „Drehen“ gepolter Items nötig (Rating = Zahl der Kategorien – Rohwert +1 )
• Optimierung der Rohskala durch Eliminierung ungeeigneter Items
• Item ungeeignet, wenn
- Personen mit sehr unterschiedlichen Einstellungen das Item ähnlich
beantworten
- Antworten auf das Item nichts mit den Antworten auf die anderen Items der
Skala gemeinsam haben
→ Itemanalyse

• Itemanalyse durch

1) Trennschärfe-Index
2) Trennschärfe-Koeffizient

• nach Itemanalyse: übriggebliebene Items sind Basis der endgültigen
Likert-Skala (in der Praxis meist nur wenige Items)
• am meisten genutzte Skalierungsmethode in den Sozialwissenschaften

25
a) Likert-Skalierung (nach Rensis Likert) | 1) Trennschärfe-Index
• Subgruppenanalyse für Befragte mit hohen/niedrigen Skalenwerten (z.B. oberstes und unterstes Quartil) • Berechnung des Trennschärfe-Index für Item j auf der Basis von Mittelwert und Varianz des Items in beiden Gruppen hohes tj: Gruppen haben Item j unterschiedlich beantwortet Auswahl der Items mit Trennschärfe-Index > 1.65
26
a) Likert-Skalierung (nach Rensis Likert) | 2) Trennschärfe-Koeffizient
• Berechnung der Korrelation jedes Items mit der Gesamtskala • Auswahl derjenigen Items, die mit der Gesamtskala hoch korrelieren • Korrelationen mit Gesamtskala sollten ungefähr gleich groß sein (Skala=Summenscore) • korrigierte Version des Trennschärfe-Koeffizienten: Korrelation jedes Items mit der Gesamtskala, die ohne dieses Item berechnet wurde
27
b) Guttman-Skalierung (nach Louis Guttman)
Vorgehen bei der Guttman-Skalierung: • Vorgabe von Items, die - die interessierende Einstellung wiedergeben - dichotom sind (Zustimmung versus Ablehnung) - bezüglich der Schwierigkeit variieren • Skalenwert = Nummer des zuletzt beantworteten Items (vorherige Sortierung der Items nach Ablehnungsstärke) bzw. Summe der zugestimmten Items • Annahme: Itemcharakteristiken sind schwach-monoton und folgen einer „Sprungfunktionen“ (abrupter Wechsel der Zustimmungswahrscheinlichkeit, deterministisches Modell) •aufgrund der Annahmen des deterministischen Modells theoretisch zu erwarten: perfekte Guttman-Skala (Befragte geben nur zulässige Antwortmuster) • empirisch finden sich aber fast immer unzulässige Antwortmuster (=Fehler) • bei Vorliegen von Fehlern: Abschätzung der Güte der Skala anhand des Reproduzierbarkeits-Koeffizienten (CR) • CR wird in Skalogramm-Analyse ermittelt • CR sollte über 0.9 liegen •Guttmann-Skalierungwird unter anderem wegen recht restriktiver Annahmen insgesamt nur selten verwendet
28
Beispiel Guttman-Skala
Frage: Es gibt verschiedene Möglichkeiten, seinen eigenen Standpunkt in der Öffentlichkeit zur Geltung zu bringen und damit gegen eine Ungerechtigkeit zu protestieren. Welche der Aktivitäten auf dieser Liste haben Sie in den letzten 5 Jahren in einer für Sie wichtigen Angelegenheit unternommen? Quelle: ISJP 1996 - bei einer Unterschriftensammlung unterschrieben  Ja  Nein - an einem Boykott teilgenommen  Ja  Nein - an einer Protestdemonstration teilgenommen  Ja  Nein - an eine Zeitung einen Leserbrief geschrieben  Ja  Nein - ein Haus oder Grundstück besetzt  Ja  Nein Itemcharakteristiken Guttman-Skala Beispiel Folie 35
29
c) Rasch-Skalierung (nach Georg Rasch)
Vorgehen bei der Rasch-Skalierung: • Vorgabe von Items, die - die interessierende Einstellung wiedergeben - dichotom sind (Zustimmung versus Ablehnung, als Erweiterung der Rasch- Skalierung auch polytome Items möglich) - bezüglich der Schwierigkeit variieren • Annahme: Itemcharakteristiken sind monoton und folgen einer logistischen Funktion • mathematisches Modell für den Zusammenhang zwischen Zustimmungswahrscheinlichkeit (P), der Itemschwierigkeit (Itemparameter d) und der Ausprägung auf der latenten Variable (Personenparameter a) (Formel s. Folie 40) Itemcharakteristiken Rasch-Skala: Beispiel Folie 41 Annahmen des Modells • monotone Itemcharakteristiken, die dem Verlauf einer logistischen Funktion folgen • lokale stochastische Unabhängigkeit: Antwort auf einem Item hängt nicht von Antworten auf anderen Items ab • Anzahl zugestimmter Items ist „erschöpfende Statistik“: Ausprägung auf latenter Variable (Personenparameter) spiegelt sich in Anzahl zugestimmter Items wider; welchem Item genau zugestimmt wurde ist dagegen irrelevant • basierend auf Annahmen können Item- und Personenparameter mit Hilfe statistischer Verfahren geschätzt werden • dadurch möglich: - eindeutige Trennung zwischen Itemschwierigkeit (Itemparameter d) und Eigenschaft der Person (Ausprägung auf der latenten Variable=Personenparameter a), inklusive Angabe der statistischen Unsicherheit der Schätzung - Vergleich von Personen unabhängig von Items möglich - Vergleich von Items unabhängig von Personen möglich - Überprüfung, ob Itemset skalierbar ist (z.B. durch Vergleich der Itemparameter zwischen Gruppen)
30
d) Magnitude-Skalierung
Vorgehen bei der Magnitude-Skalierung: • Befragte werden um Angabe ihrer Empfindungsintensitäten in Form einer oder mehrerer Modalitäten (z.B. Zeichnen von Linien, Angabe von Zahlen) gebeten • Angaben werden mit Vergleichsgrößen ins Verhältnis gesetzt • Skalenwert = Verhältnis aus Empfindungsintensität und Vergleichsgröße • Annahmen: - Personen können die Stärke einer Empfindungsintensität unmittelbar (z.B. durch eine Zahl) angeben - Gültigkeit des psychophysischen Potenzgesetzte (R=k*Sb; Modalitäten besitzen jeweils charakteristischen Exponenten b) • Antwortverhalten der Befragten wird nicht durch verbale Antwortvorgaben („stimme überwiegend zu“) beeinflusst • Befragte können Antworten beliebig fein abstufen (sie können z.B. zwischen extremen Antworten differenzieren) • liegen Messungen in mindestens zwei Modalitäten vor, kann empirisches Gütekriterium bestimmt werden: Vergleich der Magnitude- Werte Beispiel: Magnitude-Prestige-Skala von Wegener (1985) Folie 46+47
31
e) Thurstone-Skalierung (nach Louis Thurstone)
Vorgehen bei der Thurstone-Skalierung: • große Zahl Items (> 100; neutrale und extreme Aussagen über Einstellungsobjekt) werden einer relativ großen Zahl von Beurteilern (25-50 oder ggf. mehr) vorgelegt • Beurteiler bewerten die Items nach dem Ausmaß der in der Aussage des Items zum Ausdruck kommenden Einstellung (nicht ihre eigene Einstellung!): Antwortvorgaben 1-11 • Skalenwert der Items = Mittelwert der Beurteilungen Beispiel: Item „Ich gehe jeden Tag zur Kirche.“ drückt hohes Ausmaß an Religiosität aus Item „Religion ist doch nur Aberglaube.“ drückt niedriges Ausmaß an Religiosität aus Vorgehen bei der Thurstone-Skalierung: • Bildung einer endgültigen Skala aus 20-30 Items, deren - Streuung gering ist (Einschätzung der Beurteiler variiert nur wenig) - Mittelwerte die gesamte Spannweite (1 - 11) umfassen, d.h. sowohl extreme als auch neutrale Aussagen sind enthalten • Skalenwert (Messwert eines Befragten, nicht Beurteilers!) = Mittelwert der Skalenwerte der von dem/der Befragten zugestimmten Items problematisch: Verwendung externer Beurteiler Gültigkeit der Methode setzt voraus, dass keine Zusammenhänge zwischen Beurteilungen der Items und Eigenschaften der Beurteiler existieren dürfen Voraussetzung zum Beispiel verletzt, wenn Beurteiler mit extremen Ansichten nicht genügend differenzieren (können) zwischen Items, die mittlere Position auf Einstellungskontinuum einnehmen Thurstone-Skalierung wird heutzutage nur noch selten verwendet
32
Vergleich Indexbildung und Skalierung Gemeinsamkeiten:
• Zusammenfassung mehrerer Items zu einer Variablen • Auswertungsverfahren (keine Datenerhebungs- oder Messverfahren) • Skalen sind Spezialfälle von Indizes, wobei jedes Skalierungsverfahren spezifische Anforderungen an ein Item stellt
33
Vergleich Indexbildung und Skalierung Unterschiede
• Skalierungsverfahren erlauben Überprüfung, ob ein Item Bestandteil der Skala ist oder nicht • bei Skalierungsverfahren (anhand der erhobenen Daten) kann sich herausstellen, dass keine Messung (im Sinne des Skalierungsverfahrens) erfolgte