5 - Klassische Testtheorie

Question 1

Grundannahmen der Klassische Testtheorie (KTT)

Answer 1

Ziel des Testens: „… Erfassung eines oder mehrerer empirisch abgrenzbarer psychologischer Merkmale mit dem Ziel einer möglichst genauen quantitativen Aussage über den Grad der individuellen Merkmalsausprägung“

• Testwerte –> Rückschluss auf den “wahren” Wert
• KTT liefert theoretischen Hintergrund zur Konstruktion und Interpretation von Testverfahren

Konzeptionen des wahren Werts - was ist der wahre Wert einer Person?

• Metaphysische Sichtweise: Natürlicher, festliegender Wert der Person v hinsichtlich der in Test g gemessenen Eigenschaft
• Operationale Sichtweise: Mittelwert (unendlich) vieler Testreplikationen von Person v
• Theoretische Sichtweise: Erwartungswert der Testrealisation von Person v als stochastischer Prozess

Question 2

Sichtweise der KTT: Testergebnis als stochastischer Prozess

Answer 2

Überlegungen:

• Jede Beobachtung ist durch Situationseinflüsse etc. beeinflusst
• Eine Beobachtung setzt sich somit aus stabilen und vorübergehenden Einflüssen zusammen.
• Daher stellt eine Beobachtung einen stochastischen Prozess dar, bei dem die möglichen Werte mit einer bestimmten Wahrscheinlichkeit auftreten.

Definitionen:

• wahrer Wert = Erwartungswert des Testwerts (Die Menge aller Testwerte sind um den Erwartungswert verteilt. Der Erwartungswert ist das arit. Mittel aller potenziellen Testwerte)
• Messfehler = Differenz zwischen Testwert und wahrem Wert

–> Testwert = wahrer Wert + Messfehler

–> X = tau + E

Question 3

Axiome der KTT

Answer 3

Die Axiome der KTT ermöglichen es, die Genauigkeit einer Messung einzuschätzen

• Dies basiert auf den grundlegenden Annahmen über den wahren Wert (true score) und den Messfehler
• Die Axiome werden nicht weiter hinterfragt und sind nicht prüfbar
• Die KTT beinhaltet die notwendigen Überlegungen, um aus einer Anzahl von Messungen an Probanden in bestimmten Items auf die wahre Ausprägung des Probanden im untersuchten Merkmal schließen zu können

1. Existenzaxiom

• Der wahre Wert einer Person entspricht dem Entwartungswert der Messungen dieser Person. Gilt für einzelne Items und für ganze Tests
• τ = E(x)

2. Verknüpfungsaxiom

• Jede Messung setzt sich aus dem wahren Wert der Person und einem zufälligen Messfehler zusammen
• x = τ + ε

Aus dem Existenz- und dem Verknüpfungsaxiom folgt, dass der Zufallsfehler den Erwartungswert null hat, E(ε) = 0. Über mehrere Testdurchläufe hinweg sollte der wahre Wert also mit gleicher Wahrscheinlichkeit über- oder unterschätzt werden. In der Praxis kommt es jedoch zu systematischen Fehlern bei Testwiederholungen, so dass diese Annahme auf diesem Weg nicht erreicht werden kann.

Da der Erwartungswert des Zufallsfehlers ε null ist, folgt:

• *3. Unabhängigkeitsaxiom**
• Die Korrelation zwischen den Messfehlern und den wahren Werten ist null. Das gilt bei beliebigen Personen und bei beliebigen Items
• Corr(τ,ε) = 0
• *Zusatzannahmen:**
• a. Unabhängigkeit der Messfehler zwischen Items: Corr(εvi,εvj) = 0
• b. Unabhängigkeit der Messfehler zwischen Personen: Corr(εvi,εwi) =0

Diese Zusatzannahmen sind notwendig, um die Reliabilität von Tests schätzen zu können

Bestimmung des wahren Werts τ

• Um den Messfehler zu neutralisieren, werden wiederholt Messungen durchgeführt
• Die Items, auf denen die Wiederholungsmessungen basieren, müssen das gleiche Merkmal messen
• Der gemittelte Wert dient als Schätzer für den wahren Wert

Question 4

Varianzzerlegung zur Berechnung des Standardmessfehlers

Answer 4

• Bei der Bestimmung des wahren Werts handelt es sich nur um eine Schätzung. Wie gut ist die Schätzung? –> Berechnung des Standardmessfehlers = Ausdruck der Unsicherheit über den „wahren Wert“ des geschätzten wahren Werts
• Standardmessfehler dient zur Berechnung von Konfidenzintervallen
• Zur Berechnung des Standardmessfehlers muss die Gesamtvarianz der Testwerte zerlegt werden in die wahre Varianz und Fehlervarianz

Varianzzerlegung:

Var(x) = Var(τ+ε)
Var(x) = Var(τ) + Var(ε) + 2⋅Cov(τ,ε)

Aber: Korrelation zwischen wahren Werten und Fehler ist null! Nice :)

–> Var(x) = Var(τ) + Var(ε)

Var(x) ist einfach eine deskriptive Statistik meines tatsächlichen Tests. Doch wie kann ich die beiden unbekannten Varianzen schätzen? (mathematische Herleitung lasse ich hier weg, gleich zu den Ergebnissen):

• Wenn xp und xq Testwerte aus zwei parallelen bzw. tau-äquivalenten Tests sind, beide Tests also exakt den gleichen wahren Wert messen, dann gilt:

–> Wahre Varianz Var(τ) = Cov(xp,xq)

–> Die Fehlervariaz lässt sich dann einfach bestimmen: Var(ε) = Var(x) − Var(τ)

Question 5

Reliabilität, Standardmessfehler und Konfidenzintervalle

Answer 5

Reliabilität

Die Reliabilität beschreibt die Messgenauigkeit eines Tests. Sie ist der Anteil der wahren Varianz and der Testvarianz.

Rel = Var(τ) / Var(x)

Standardmessfehler

Standardmessfehler = Standardabweichung des Zufallsfehlers = Wurzel aus der Fehlervarianz

SD(ε) = SD(x) ⋅ sqrt(1 − Rel)

Konfidenzintervall für den wahren Wert

KI = tau +- (z*alpha/2)*Standardmessfehler