Gütekriterien der Messung Flashcards

1
Q

Testtheorie

A
  • In welchem Zusammenhang steht das zu testende latente Merkmal mit dem im Test beobachtbare Verhalten?
  • legt Anforderungen fest, denen ein Test genügen muss, um von Testergebnis auf latentes Merkmal schließen zu können
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

klassische Testtheorie

A

Testergebnis entspricht dem wahren Ausprägungsgrad des untersuchten Merkmals
→ jedoch weist jede Messung einen (unsystematischen) Messfehler auf (X = T + E)

(bis heute dominierendes Paradigma in Sozial- und Naturwissenschaften)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

klassische Testtheorie: Anwendung

A
  • mehrere Items werden verwendet, um dasselbe Konstrukt zu messen
  • wird zu Test- bzw. Skalenwert zusammengefasst
  • Testtheorie ist für Einzel-Items oder -Indikatoren NICHT anwendbar
  • Gütekriterien: Objektivität, Reliabilität, Validität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

klassische Testtheorie: Messfehler

A
  • wahrere Wert und Fehlerwert dürfen nicht korrelieren
  • Messfehler einer Testanwendung ist unabhängig von wahrem Wert einer zweiten Messung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

probabilistische Testtheorie

A

> Wahrscheinlichkeit einer Antwort auf einzelnes Item ist von Merkmalen des Items und latenten Merkmalen der Person abhängig

Bsp. PISA-Studien

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Objektivitätsmaß:

A

Korrelationskoeffizient sollte nahe 1 betragen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Gütekriterien der Messung

A

Objektivität, Reliabilität, Validität

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Durchführungsobjektivität:

A

Verzerrung durch messende Person → standardisierte Befragung hilft

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Auswertungsobjektivität:

A

Verzerrung bei Auswertung, z.B. unscharfe Kriterien bei Bewertung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Reliabilität =

A

Anteil der wahren Variant an der beobachteten Varianz des Testwertes

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Reliabilität höher, je

A

geringer zufällige Messfehler schwanken

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Berechnung des Reliabilitätskoeffizienten

A
  • benötigt Schätzung der unbekannten wahren Varianz

Möglichkeiten:

  1. Paralleltest
    • z.B. Messung mit analoger & digitaler Uhr
  2. Test-Retest
    • Wiederholung des Tests, fall Messobjekt zeitlich stabil ist und keine Panel-Mortalität
  3. Testhalbierung
    • Aufteilung der Items in zwei Hälften
    • Problem: Unterschätzung der Reliabilität wegen halber Testlänge → Lösung: Spearman-Brown-Prophecy-Formula
  4. interne Konsistenz
    • Weiterentwicklung der Testhalbierung
    • Mittelwert aller möglichen split-half-Koeffizienten
    • meist Cronbach’s Alpha
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Paralleltest

A

z.B. Messung mit analoger & digitaler Uhr

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Test-Retest

A

Wiederholung des Tests, fall Messobjekt zeitlich stabil ist und keine Panel-Mortalität

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Testhalbierung

A
  • Aufteilung der Items in zwei Hälften
  • Problem: Unterschätzung der Reliabilität wegen halber Testlänge → Lösung: Spearman-Brown-Prophecy-Formula
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

interne Konsistenz

A
  • Weiterentwicklung der Testhalbierung
  • Mittelwert aller möglichen split-half-Koeffizienten
  • meist Cronbach’s Alpha
17
Q

Validität =

A
  • wichtigstes Gütekriterium
  • Objektivität & Reliabilität sind notwenige, aber nicht hinreichende Bedingung für Validität
  • ACHTUNG: Validität als Gütekriterium ≠ interne/externe Validität bei Experiment
18
Q

Augenscheinvalidität (face validity)

A

selbstevidente Messungen

19
Q

Inhaltsvalidität (content validity)

A
  • Items reflektieren Zielkonstrukt in allen inhaltlichen Bedeutungsdimensionen
  • nicht empirisch, sondern theoretisch-argumentativ
20
Q

Kriteriumsvalidität (criterion validity)

A
  • Außenkriterium, dass mit interessierendem Merkmal korreliert
  • Validitätsmaß: Korrelationskoeffizienten
  • Übereinstimmungsvalidiät = gleicher Zeitpunkt (concorrent validity)
  • Vorhersagevalidität = unterschiedlicher Zeitpunkt, prognostische / prädiktive Validität
21
Q

Übereinstimmungsvalidiät =

A

gleicher Zeitpunkt (concorrent validity)

22
Q

Vorhersagevalidität =

A

unterschiedlicher Zeitpunkt, prognostische / prädiktive Validität

23
Q

Konstruktvalidität

A
  • gibt an, wie genau ein Messinstrument ein verwandtes Konstrukt misst
  • Unterschied zu Kriteriumsvalidität: man leitet aus Zielkonstrukt weitere verwandte Konstrukte ab und überprüft, ob eigene Messvariante damit korreliert oder nicht
  • Konvergente Validität = (convergent validity) Test, der belegen soll, dass Konstrukte, die mit eigenem Konstrukt nahe verwandt sind, empirisch stark mit diesem korrelieren
  • Diskriminante/divergente Validität = (discriminant/divergent validity) Test, der belegen soll, dass Konstrukte nicht korrelieren, d.h. nichts miteinander zu tun haben
24
Q

Konvergente Validität =

A

(convergent validity) Test, der belegen soll, dass Konstrukte, die mit eigenem Konstrukt nahe verwandt sind, empirisch stark mit diesem korrelieren

25
Q

Diskriminante/divergente Validität =

A

(discriminant/divergent validity) Test, der belegen soll, dass Konstrukte nicht korrelieren, d.h. nichts miteinander zu tun haben