Gütekriterien, Indexbildung, Skalierungsverfahren (4) Flashcards

1
Q

Testtheorie Formel

A

X = T + E

X = gemessener Wert
T = wahrer Wert (true score)
E = Fehler (Error)

alle Konstrukte haben wahren Wert, der aber nicht erfasst werden kann (Messfehler) → immer nur Annäherung an die Realität

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

zufällige Messfehler

A

durch unvorhergesehen Umstände (zB. Baustelle stört Interview)

→ gleicht sich aus, je häufiger man misst (Wahrscheinlichkeitsrechnung)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

systematische Messfehler

A

Bsp. Menschen sind nicht ehrlich bei Fragebogen (soziale Erwünschtheit)

→ gleicht sich nicht einfach aus, sondern muss (vorher) identifiziert und eliminiert werden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Reliabilität

A

Zuverlässigkeit
(Kommt man bei Wiederholung der Messung auf gleiches Ergebnis?)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Validität

A

Gültigkeit
(Wird das gemessen, was gemessen werden soll?)

kann nicht mathematisch bestimmt oder gemessen werden, sondern wird in kritischem Diskurs thematisiert

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Test-Retest-Verfahren

A

2 Messungen mit gleichen Personen, zeitlicher Abstand

→ Problem: Menschen verändern sich

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Parallel-Test-Verfahren

A

2 zufällig zusammengestellte Gruppen gleichzeitige Befragung/ Codierer codieren Material gleichzeitig

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Validität

A

Gültigkeit
(Wird das gemessen, was gemessen werden soll?)

kann nicht mathematisch bestimmt oder gemessen werden, sondern wird in kritischem Diskurs thematisiert

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Inhaltsvalidität

A

Wird das zu messende Merkmal vollständig/ganzheitlich erfasst?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Kriteriumsvalidität

A

Vergleich mit Außenkriterium (Auswahl mitunter schwierig)

z.B. Umweltbewusstsein & Mitgliedschaft in Umweltorganisation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Konstruktvalidität

A

verwandte Konstrukte sollen mit verwendetem Konstrukt korrelieren

z.B. politisches Interesse & politisches Wissen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Cronbachs Alpha-Koeffizient

A

Korrelation aller Merkmale untereinander

0 = tiefe Reliabilität

1 = hohe Reliabilität

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Zusammenhang zwischen Validität & Reliabilität

A
  1. Reliabilität ist notwendige, aber nicht hinreichende Bedingung für Reliabilität
  2. Validität sinkt mit fehlender Reliabilität
  3. Reliabilität garantiert keine Validität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Ebenen der Gütekriterien

A
  1. Güte der einzelnen Variable
    1. einzelne Variablen bzw. Items einer Skala
  2. Güte der einzelnen Messung
    1. Operationalisierung konkreter Merkmale (auch Skalen)
  3. Güte des Messinstruments
    1. Gültigkeit des Messinstruments
    2. unabhängig von konkreter Teilerhebung/Stichprobe
  4. Güte der Untersuchung
    1. Gültigkeit der gesamten Untersuchungsanalage
    2. inklusive Teilerhebung/Stichprobe
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Definition Index

A

Zusammenfassung von mehreren Einzelvariablen (Indikatoren) zu einer neuen Variable

Kombinationen des Merkmalsraums werden zu wenigen (neuen) Kombinationen zusammengefasst
“Reduktion des Merkmalsraums” → Vereinfachung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Funktion Indizes

A
  • Komplexe Phänomene
    → mehrere Indikatoren
  • Indizes stehen für latente (nicht direkt messbare) Variablen, die mithilfe mehrerer Items (also Indikatoren) erfasst werden
  • Indizes werden erst bei der Datenaufbereitung berechnet, nicht bei Datenerhebung erhoben

Bsp.
Medienqualität = latente Variable
→ Aufteilung in Indikatoren: Sachlichkeit, Relevanz, Vielfalt, Professionalität etc.

17
Q
  1. Festlegung der Dimensionen: Merkmalsraum
A

mehrere Merkmale pro Fall
→ Positionierung der Objekte in Raum anhand der Kriterien

Koordinatensystem

18
Q
  1. Festlegung der Dimensionen: Typologie
A

/ “Rekonstruktion des Merkmalsraums”

Typologie = Gesamtheit aller möglicher Kombinationen der zugrundeliegenden Variablen (praktisch alle Permutationen, die möglich sind)

wird nicht immer gemacht, nur bei Merkmalen mit wenigen Ausprägungen (z.B. dichotome Skala)
(rein theoretische Arbeit -> Tabelle)

19
Q
  1. Kombination der Dimensionen: Additive Indizes
A

Index = Indk 1 + Indk 2 + … + Indk n

Problem: funktioniert nur bei gleichen Skalenniveaus, sonst Verzerrung

Bsp. Medienqualitätsbefragung

20
Q
  1. Kombination der Dimensionen: Gewichtet additive Indizes
A

Index = a1Indk 1+ a2Indk 2 + … + an*Indk n

Erlaubt Berücksichtigung unterschiedlicher Bedeutung einzelner Indikatoren

Bsp. Jahrbuch Qualität der Medien 2020
“Einordnungsleistung”
- Themenorientierung 60%
- Interpretationsleistung 40%

21
Q
  1. Kombination der Dimensionen: Multiplikative Indizes
A

Index = Indk 1 * Indk 2 * … * Indk n

Achtung: Multiplikation mit 0 ergibt 0

Bsp. Jahrbuch Qualität der Medien 2020
Beitragsrelevanz * Akterusrelevanz, da sich das eine nicht durch das andere “mitteln” kann

22
Q

Achtung bei Indexbildung:

A

Messungen (Indikatoren/Variablen), die in den Index einfließen, müssen dasselbe Skalenniveau aufweisen!

23
Q

Skalierungsverfahren Definition

A

Verfahren zur Konstruktion von Messinstrumenten. Das Resultat ist eine Skala.

Zusammenfassung mehrerer Items (Einzelmessunegen) zu einem Gesamtwert

24
Q

Skalen Bestandteile

A

Skalen bestehen aus Itembatterien

Items = Einzelfragen zu einem Sachverhalt, die Befragten gestellt werden

25
Q

Skalenniveau vs. Skalierungsverfahren

A
  • Skalenniveau = Differenziertheit der Messung (s. letzte Sitzung)
  • Skalierungsverfahren = Zusammenfassung mehrerer Items (Einzelmessunegen) zu einem Gesamtwert
26
Q

Index vs. Skala

A
  • Skalen messen entlang einer Dimension
  • Indizes erfassen mehrere Dimensionen
27
Q

Erstellung von Skalen

A
  • Itembatterien finden, die entlang einer (!) Dimension messen
    & passende Antwortmöglichkeiten definieren
  • Skalensuche:
    bereits getestete Skalen aus Handbüchern oder anderen Studien übernehmen
  • Statementformulierung:
    wenn es keine getesteten Skalen gibt, müssen eigene formuliert werden
    (bei Formulierung der Statements je Item Regeln beachten)
28
Q

Likert-Skalen

A

häufig in KoWi

  1. Sammlung/Erstellung von ca. 100 Items
    1. sollen Einstellung wiedergeben
    2. i.d.R. von 1 “stimme überhaupt nicht zu” bis 5 “stimme voll und ganz zu”
    3. Zustimmungswahrscheinlichkeit soll mit latenter Variable korrellieren
  2. Pretests
    1. Items werden Personenstichprobe vorgelegt
    2. nur geeignete, die Konstrukt eindimensional messen, werden ausgewählt
  3. Scores werden zu Summen-Index verrechnet (negative gedreht)
  4. Item-Analyse
    1. Eindimensionalität & Trennschärfe werden (statistisch) geprüft
  5. Auswahl
    1. nur Items mit hohen Trennschärfekoeffizienten (Ladungen zur Gesamtskala)
29
Q

Semantisches Differential

A

(Sonderform der Likert-Skala)

  • 10-20 Gegensatzpaare
  • Befragte ordnen Wert zwischen Polen zu
    • individuelles Polaritätsprofil
30
Q

Guttman-Skalen

A

selten in KoWi, misst eigentlich nur, wie extrem Meinung ist

  • mehrere Aussagen, die immer extremer werden
  • letzte Zustimmung (Schwellenwert) = Wert des Befragten
31
Q

Thurstone-Skalen

A

selten in KoWi

  • neutrale Personen sollen aus Perspektive anderer Items dichotom zurordnen
  • Achtung: Nominalskale
  • Bsp. Wie würde ein guter vs. ein schlechter Autofahrer dies beurteilen?
32
Q

Magnitude-Skalen

A

selten in KoWi, eher Psychophysik

  • Probanden sollen subjektive Empfindungsstärke bspw. durch gezeichnete Linienlänge darstellen