VL 3: Der wahre Wert und seine Schätzungen, Kritische Würdigung der KTT

Question 1

Testwert xv

Answer 1

• Punktschätzer für den wahren Wert einer Person

xv = tv

• empirische Schätzung nicht sicher, daher Vertrauensintervall für τv bilden
-> dazu: Standardmessfehler betrachten…

Question 2

Standardmessfehler SD (ε)

Answer 2

Der Standardmessfehler SD(ε) eines Tests resultiert aus der Unreliabilität des Tests und errechnet sich als Wurzel aus der Fehlervarianz eines Tests. Der Standardmessfehler ist bei höherer Reliabilität kleiner und bei niedrigerer Reliabilität größer.

• Standardmessfehler sinkt mit zunehmender Reliabilität und…
• steigt mit abnehmender Reliabilität

Question 3

Vertrauensintervall für τv

Answer 3

„Das Konfidenzintervall umfasst denjenigen Bereich eines
Merkmals, in dem sich 95% bzw. 99% aller möglichen wahren Werte τv befinden, die den Stichprobenschätzwert erzeugt haben können.“
„Dabei kommt der wahre Wert τv mit einer Wahrscheinlichkeit von
(1-α) in diesem Intervall zu liegen (α = 0,05 bzw. 0,01).“

• umfasst Bereich einer Merkmals, indem sich 95% oder 99% aller möglichen wahren Werte befinden

Obere Grenze: tv+za/2SD(x)wurzel1-Rel
Untere Grenze: tv-za/2SD(x)wurzel1-Rel

Voraussetzungen/ Annahmen
• Fehler sind normalverteilt • große Stichprobe (n ≥ 60)

Question 4

Fazit

Answer 4

• mit sinkender Reliabilität wird das Konfidenzintervall sehr breit: ungenaue Messung
• Tests mit Rel. < .80 sollten für die Individualdiagnostik nicht verwendet werden

Question 5

Kritische Würdigung der KTT

Answer 5

+ bewährter Ansatz zur Reliabilitätsbeurteilung von Tests
+ ökonomisch und praktisch in der Umsetzung
+ meist verbreitete psychometrische Messtheorie
- einige Annahmen sind nicht überprüfbar/ schwer haltbar, z.B.
… Testwert setzt sich aus wahrem Wert und Fehlerwert zusammen … erfassen die Items das definierte Konstrukt?
… Unabhängigkeit der Fehler zw. Person und Situation
- Rechtfertigung des Testwerts ergibt sich erst durch Eindimensionalität, die in der KTT nicht explizit überprüft wird
- Daten müssen Intervallskalenniveau haben
- Stichprobenabhängigkeit der Kennwerte

Question 6

Validität

Answer 6

Validität = Gültigkeit

Ein Test ist valide, wenn er das misst, was er zu messen vorgibt (-> Inhaltsvalidität).

Misst der Test, was er vorgibt zu messen?

Inhalts-, Kriteriums- und Konstruktvalidität

Question 7

Inhaltsvalidität

Answer 7

„logische Validität“, „Augenscheinvalidität“ (Michel & Conrad, 1982)

Question 8

Kriteriumsvalidität

Answer 8

Vorhersagevalidität (=prädiktive Validität) Übereinstimmungsvalidität (=konkurrente Validität) Retrospektive Validität
Inkrementelle Validität

Question 9

Konstruktvalidität

Answer 9

Konvergente Validität

DiskriminanteValidität (=DivergenteValidität) Faktorielle Validität

Question 10

Kann ein Test objektiv sein, aber nicht reliabel?

Answer 10

ja

Question 11

Kann ein Test reliabel sein aber nicht objektiv?

Answer 11

nein

Question 12

Kann ein Test valide sein, aber nicht reliabel?

Answer 12

nein

Question 13

Kann ein Test reliabel sein, aber nicht valide?

Answer 13

ja

Question 14

Kann ein Test objektiv sein, aber nicht valide?

Answer 14

ja

Question 15

Kann ein Test valide sein, aber nicht objektiv?

Answer 15

nein

Question 16

Hauptgütekriterien sind hierarchisch verbunden

Answer 16

Validität
Reliabilität
Objektivität

Question 17

Nebengütekriterien

Answer 17

• Skalierung
  (Messwertverrechnung dem Skalenniveau angemessen?)
• Nomierung
  (solide Normierung vorhanden?)
• Vergleichbarkeit
  (Parallelform vorhanden? Mehrfachtestung möglich?)
• Ökonomie
  (Zeit-, Materialaufwand)
• Nützlichkeit
  (Test von Nutzen?)
• Zumutbarkeit
  (Aufwand/Belastung für Probanden)
• Fairness
  (werden einzelne Probanden ungewollt benachteiligt?)
• Unverfälschbarkeit
  (Faking good/bad möglich bzw. erkennbar?)