VL 2: Klassische Testtheorie, Axiome

Question 1

Warum “Klassische” Testtheorie?

Answer 1

• vor über 50 Jahren entwickelt
• = historisch
• Abgrenzung zur probabilistischen Testtheorie

Question 2

Warum klassische Testtheorie verwenden?

Answer 2

• theoretischer Hintergrund zur Konstruktion und Interpretation von Testverfahren
• bedeutsame theoretische Basis vieler psychodiagnostischer Testverfahren

Question 3

KTT

Answer 3

= Klassische Testtheorie

Messfehlertheorie

Question 4

IRT

Answer 4

= Item-Response-Theorie

Betrachtet Zusammenhang von latenter und manifester Variable

Question 5

Axiom

Answer 5

Grundannahme, die nicht weiter hinterfragt wird

Question 6

Axiome der KTT

Answer 6

• jeder Proband hat einen wahren Merkmalswert („true score“ τ )
• jede Messung des Merkmals besteht aus dem wahren Wert und
einem Messfehler („error“ ε )
• Axiome machen Annahmen über τ und ε, um die Genauigkeit einer
Messung einzuschätzen
 zunächst Bezug auf den wahren Wert τvi eines einzelnen Pbn v in einem einzelnen Item i

Question 7

Existenzaxiom

Answer 7

Der true score τvi existiert als Erwartungswert der Messungen xvi einer Person v in Item i.

τvi = E (xvi)

Beispiel: Existenzaxiom
Die wahre Stabhochsprungfähigkeit existiert als mittlere Leistung über unendlich viele Stabhoch- sprung-Durchgänge.

Question 8

Verknüpfungsaxiom

Answer 8

Jede Messung xvi setzt sich aus einem wahren Wert τvi und einem zufälligen Messfehler εvi zusammen.

xvi = τvi + εvi

Dabei ist der Erwartungswert des Zufallsfehlers εvi Null.

E (εvi) = 0

Beispiel: Verknüpfungsaxiom:
Die Stabhochsprungleistung in einem Wettbewerb setzt sich zusammen aus der wahren Stabhoch- sprungleistung und dem Messfehler der aktuellen Messung.
und
Der Messfehler mittelt sich über unendlich viele Durchgänge aus.

Question 9

Unabhängigkeitsaxiom

Answer 9

Die Korrelation zwischen den Messfehlern ε und den wahren Werten τ ist bei beliebigen Personen und beliebigen Items Null.

Corr(τvi, εvi) = 0

Beispiel: Unabhängigkeitsaxiom:
Der wahre Stabhochsprungleistungswert ist eine Konstante und korreliert daher auch nicht mit den Messfehlern.
und
Das gilt auch für den Zusammenhang von Messfehlern beim Stabhochsprung und den wahren Stabhochsprungwerten aller Personen einer Population.

Question 10

Wie heißen die drei Axiome der klassischen Testtheorie?

Answer 10

Existenzaxiom, Verknüpfungsaxiom, Unabhängigkeitsaxiom

Question 11

Das Existenzaxiom besagt, dass…

Answer 11

…ein “wahrer Wert” existiert. Dieser ist der Erwartungswert der Person.

Question 12

Das Verknüpfungsaxiom besagt, dass…

Answer 12

…sich das Testergebnis aus wahrem Wert und Messfehler zusammensetzt.

Question 13

Das Unabhängigkeitsaxiom besagt, dass…

Answer 13

…der wahre Wert und der Messfehler einer Person nicht miteinander korrelieren.

Question 14

Zusatzannahmen

Answer 14

Paarweise Unabhängigkeit der Fehlervariablen…

a) Unabhängigkeit der Messfehler zwischen Items
Die Fehlerwerte der Messungen in Item i und Item j sind bei derselben Person v unkorreliert:

Corr(εvi, εvj) = 0

Beispiel: Zusatzannahmen:
a) Der Messfehler der Stabhochsprungleistung
bei 4m hängt bei derselben Person nicht mit dem Messfehler der Stabhochsprungleistung bei 4,50m zusammen.

b) Unabhängigkeit der Messfehler zwischen Personen
Die Fehlerwerte der Messungen mit demselben Item i sind bei beliebigen Personen v und w unkorreliert:

Corr(εvi, εwi) = 0

Beispiel: Zusatzannahmen:
b) Der Messfehler der Stabhochsprungleistung von Person A hängt nicht mit dem Messfehler der Stabhochsprungleistung von Person B zusammen.

Question 15

Zwischen welchen 2 Dingen wird in den Zusatzannahmen ebenfalls eine Unkorreliertheit angenommen?

Answer 15

Messfehler: gleiche Person, unterschiedlicher Test
Messfehler: gleicher Test, unterschiedliche Person

Question 16

Warum wird gefolgert, dass der Erwartungswert für den Messfehler 0 ist?

Answer 16

Weil der Erwartungswert für das Testergebnis der Person der “true score” ist und sich das Testergebnis aus wahrem Wert und Messfehler zusammensetzt (der somit 0 sein muss, weil der Erwartungswert sonst nicht mehr der wahre Wert sein könnte)

Question 17

Wie groß ist der wahre Wert?

Answer 17

• wiederholte Messungen problematisch • Ausweg:

- mit verschiedenen Items ein Konstrukt messen - Testwert erstellen

Question 18

Testwert xv *

Answer 18

• Zeilensumme
xv = Summe xvi

• Erwartungswert des Testwerts entspricht durch das Existenzaxiom dem wahren Wert τv

• Punktschätzer für den wahren Wert einer Person
xv = tv

• empirische Schätzung nicht sicher, daher Vertrauensintervall für τv bilden

Question 19

Gütekriterien – was ist das?

Answer 19

• Instrument zur Qualitätsbeurteilung psychologischer Testverfahren
• Testhandbuch sollte über die Kriterien zufriedenstellend Auskunft geben
• Unterteilung in Hauptgütekriterien und Nebengütekriterien

Question 20

Objektivität

Answer 20

Durchführungsobjektivität Auswertungsobjektivität
Interpretationsobjektivität

Das Ergebnis in einem Test ist unabhängig davon, welcher Versuchsleiter den Test durchführt, auswertet und interpretiert.

„Ein Test ist dann objektiv, wenn er dasjenige Merkmal, das er
misst, unabhängig von Testleiter und Testauswerter misst. Außerdem müssen klare und anwenderunabhängige Regeln für die Ergebnisinterpretation vorliegen.“

Question 21

Durchführungsobjektivität

Answer 21

• kontrollierte Durchführungsbedingungen (Ort, Zeit, Material) - unabhängig vom Testleiter (Versuchsleitereffekte vermeiden) - Standardisierung: Testperson ist einzige Variationsquelle
   hoch bei z.B. PC-gestützten Verfahren

Question 22

Auswertungsobjektivität

Answer 22

• Testergebnis nicht vom Testauswerter abhängig
• möglichst aufgrund des Testprotokolls direkt erschließbar
• ggf. Übereinstimmungskoeffizienten zwischen verschiedenen
  Auswertern bestimmen
  hoch bei z.B. Multiple-Choice-Aufgaben

Question 23

Interpretationsobjektivität

Answer 23

• klare Regeln für die Interpretation der Testwerte
• verschiedene Anwender kommen bei einem Testwert zu
  denselben Schlussfolgerungen - Hilfestellungen im Testmanual

Question 24

Reliabilität

Answer 24

Reliabilität = Messgenauigkeit

Reliabilität bezeichnet das Ausmaß an Messgenauigkeit eines Messwerts bzw. eines Tests.

„Ein Test ist dann reliabel (zuverlässig), wenn er das Merkmal, das er misst, exakt d.h. ohne Messfehler misst.“

• Retest-Rel.
• Paralleltest-Rel.
• Split-Half-Rel.
• Interne Konsistenz

Question 25

Retest-Methode

Answer 25

Korrelation der Tests zu t0 und t1

Question 26

Paralleltest-Methode

Answer 26

Korrelation der Testversionen

Question 27

Split-Half-Methode

Answer 27

Halbierung nach:
• odd-even
• erste/zweite Hälfte
• randomisiert
• stratifiziert nach
Trennschärfe, Schwierigkeit o.Ä

-> Minderungskorrektur per Spearman-Brown-Formel wg. geringerer Testlänge

Question 28

Interne Konsistenz-Methode

Answer 28

Idee:
Mittlere Korrelation aller Items untereinander
(z.B. Cronbach‘s alpha, mittlere korrigierte Trennschärfe)

Question 29

Reliabilität … in der KTT

Answer 29

Anteil der Varianz der wahren Werte τ an der Varianz der beobachteten Testwerte x

Rel = Var(τ) / Var(x)
-> Reliabilitätskoeffizient

Question 30

Reliabilitätskoeffizient

Answer 30

Wertebereich: 0 bis 1
1 = Test misst fehlerfrei 0 = Test misst nur Fehler
• Test ist messgenauer/ reliabler, je größer der wahre Varianzanteil an der Gesamtvarianz ist
• mit zunehmender Fehlervarianz nimmt die Reliabilität ab

Problem
• theoretische Größen
• Schätzung der Reliabilität notwendig

Question 31

Wie lässt sich die Reliabilität eines Tests steigern?

Answer 31

-> Zusammenhang Reliabilität und Testlänge
Reliabilität steigern, indem der Test um parallele Testteile
verlängert wird

Doppelte Testlänge
-> verdoppelt die Fehlervarianz und vervierfacht die wahre Varianz

• doppelte Testlänge (Hinzunahme eines parallelen Tests gleicher Länge l):

Rel(2l) = 2Rel / 1+Rel

• allgemein (Verlängerung um Faktor k): Spearman-Brown-Formel *

Rel(kl) = kRel / 1+(k-1)Rel