KTT Klassische Testtheorie Flashcards
bis Folie 76
E(xᵥ,ᵢ)=τᵥ,ᵢ
Existenzaxiom
wahrer Wert (=true score) = Tau existiert und entspricht Erwartungswert E(x):
E(xᵥ,ᵢ)=τᵥ,ᵢ
mit xᵥ,ᵢ … Testleistung der Person v in Test i
τᵥ,ᵢ … wahre Wert
xᵥ,ᵢ=τᵥ,ᵢ+εᵥ,ᵢ
Messwert x setzt sich zusammen aus wahre Wert tau und Messfehler epsilon
Verknüpfungsaxiom
=> Messfehlertheorie
Grundgleichung der KTT
εᵥ,ᵢ… Messfehler bei Testleistung der Person v in Test i
ρ (τᵥ,ᵢ , εᵥ,ᵢ) = 0
cov(τᵥ,ᵢ , εᵥ,ᵢ) = 0
Unabhängigkeitsaxiom
wahre Wert tau und der Messfehler epsilon korrelieren nicht miteinander, haben keine Kovarianz, da ε nur unsystematische Anteile enthält
ρ… rho -> Populationskorrelation
Korrelation des Wahren Wert taus und des Messfehlers Epsilon = 0
ρ (εᵥ,ᵢ , εᵥ,ₐ) = 0
ρ (εᵥ,ᵢ , εₐ,ᵢ) = 0
- Zusatzannahme Messfehlertheorem: Messfehler ist eine Zufallsvariable -> Unkorreliertheit zwischen Messfehler der selben Person, bei unterschiedlichen Tests
E(εᵢ|τᵢ)=0
E(ε)=0
Schlussfolgerung aus Axiomen der KTT
bedingter und unbedingter Erwartungswert des Messfehlers = 0
unabhängig vom true score τ
σ²(X)=σ²(τ)+ σ²(ε)
Schlussfolgerung aus Axiomen der KTT
Varianz des gemessenen Werts (X) = Varianz der wahren Werte tau + Varianz der Messfehler Epsilon
σ(Xₐ,Xᵢ)=σ(τₐ,τᵢ)
Schlussfolgerung aus Axiomen der KTT
Kovarianz Sigma der gemessenen Werte X entspricht der Kovarianz der wahren Werte Tau
Was ist eine Parallelmessung?
- wenn zwei Tests (oder Items) denselben Erwartungswert und die selbe Varianz besitzen
-> erfassen das gleiche Merkmal gleich genau, da Varianz gleich = Messfehlervarianz gleich - alle Itemvariablen haben identische Eigenschaften bei der Aufsummierung der Testwerte und Schätzung des True Scores
E(Xₐ)=E(Xᵢ) und σ²(Xₐ)=σ²(Xᵢ)
Wie wird ein zu Test A paralleler Test bezeichnet?
A’
Was ist das essentiell τ-parallele Modell?
Erwartungswerte zweier Tests (oder Items) unterscheiden sich um eine additive Konstante, Varianzen sind gleich
E(Xₐ)=E(Xᵢ)+c und σ²(Xₐ)=σ²(Xᵢ)
Tests messen das gleiche Merkmal gleich genau, Test Wert ist um c verschoben
Voraussetzung: Eindimensionalität
Diskriminationsparameter (Faktorladungen): gleich
Fehlervarianzen gleich
adäquates Reliabilitätsmaß: Crohnbachs Alpha, McDonalds Omega, Spearman Brown
Was ist das essentiell τ-äquivalente Modell?
Erwartungswerte zweier Tests unterscheiden sich um eine additive Konstante, Varianzen sind ebenfalls verschieden
E(Xₐ)=E(Xᵢ)+c und σ²(Xₐ)≠σ²(Xᵢ)
Die Tests erfassen das gleiche Merkmal verschieden genau
Voraussetzung: Eindimensionalität
Diskriminationsparameter: bei allen Items ident (parallele Itemcharakteristika)
Leichtigkeitsparameter: frei geschätzt
Fehlervarianzen: frei geschätzt
Reliabilitätsmaß: Crohnbachs Alpha, McDonalds Omega
Vorteil: spezifisch objektive Vergleichen von Personen und Items möglich -> Vgl Personen unabhängig von Items und Vgl Items unabhängig von Personen
Was ist das τ-kongerische Modell?
Man kann nur davon ausgehen, dass sie die selbe Eigenschaft erfassen
-> Faktorenanalyse
Voraussetzung: Eindimensionalität
Diskriminationsparameter: frei geschätzt
adäquates Reliabilitätsmaß: McDonalds Omega
Was ist eine äquivalente Messung?
Es geht um die Frage, welche Voraussetzungen erfüllt sein müssen, um annehmen zu können, dass zwei Tests dasselbe psychologische Merkmal erfassen
Welche Modelle zu äquivalenten Messungen kennen wir? = Eindimensionale Messmodelle der KTT
- Replikation
- (essentiell) τ-kongerisches Modell
- (essentiell) τ-äquivalentes Modell
- (essentiell τ-) Parallelmessung
- Test-Test
-> Spezialfälle der FA und können mit CFA hinsichtlich Modellkonformität überprüft werden
-> Annahmen:
- eindimensionalität
- manifeste und latente Variable kontinuierlich
- lineare Beziehung zwischen manifester und latenter Variable
Welche Forderungen stellt die Methode der Replikation?
- verschiedene Messinstrumente müssen zu exakt demselben Messergebnis kommen, um von einer wiederholten Messung zu sprechen
- strengste Forderungen, unrealistisch für die Praxis
Welche Forderungen stellt die Methode der Parallelmessung?
- zwei Tests (oder Items) haben denselben Erwartungswert und die selbe Varianz
Was ist eine τ-äquivalente Messung?
- wenn 2 Tests oder Items denselben Erwartungswert aber unterschiedliche Varianz besitzen
E(Xₐ)=E(Xᵢ) und σ²(Xₐ)≠σ²(Xᵢ)
-> erfassen das gleiche Merkmal unterschieden genau
Was ist der unterschied zwischen einer τ-äquivalenten Messung und einer essentiell τ-äquivalenten Messung?
E(Xₐ)=E(Xᵢ) und σ²(Xₐ)≠σ²(Xᵢ)
bei der essentiellen Messung ist der Erwartungswert um eine additive Konstante verschieden -> E(Xₐ)=E(Xᵢ)+c
Was sind gängige Kritikpunkte der KTT?
- Grundannahmen (Axiome) können nicht überprüft werden
- Intervallskalenniveau wird vorausgesetzt, kann aber nicht bewiesen werden
- alle Kennwerte sind stichprobenabhängig
- Fairness der Summenbildung über verschiedene Items zur Ermittlung eines Gesamtwerts ist nicht gesichtert
Itemschwierigkeit:
- je besser Stichprobe an Schwierigkeit des Items erhoben wird desto leichter scheint Item
- jeder Vergleich von Items/Schwierigkeiten hängt von Stichprobe ab
Itemvarianz:
- größte Varianz bei mittelschweren Items
- je schwerer oder leichter Item wird, desto geringer ist die Varianz (wegen Boden- und Deckeneffekten)
- zB dichotome (sehr leicht -> immer richtig, sehr schwer-> immer falsch) haben eine Varianz von 0
Reliabilität:
- steigt Varianz der wahren Werte so wirkt sich dieselbe Messfehlervarianz weniger auf die Reliabilität aus
rel: σ²(τ)/σ²(τ) + σ²(ε)
Validität:
- aus Verdünnungsformeln herleitbar dass:
r (X,Y)= r(X,τₓ) * r(Y,τₓ)
Validität = √rêl * Korrelation
-> vâl ≤ rêl
-> Validität hängt von Stichprobe ab
Was ist die KTT?
- theoretische Basis zur Konstruktion , Verwendung, Interpretation von psychodiagnostischer Tests
- im Wesentlichen eine Messfehlertheorie
- Ziel: Messfehler ε vom wahren Wert τ (true score) trennen
yi=τi+εi - Verknüpfungsaxiom
Wovon hängt das Antwortverhalten in der KTT ab?
- Antwortverhalten hängt nicht nur von der Ausprägung des latenten Konstrukt ab sondern auch von den Messeigenschaften des jeweiligen Items
- alle Items messen selbes Konstrukt (Eindimensionalität)
- Zusammenhang latente/manifeste Itemvariablen linear
Was ist die Itemcharakteristik?
- Beziehung zwischen der latenten Variablen η und true score τ
- as Funktion abbildbar (IC Kurve)
- Diskriminationsparameter λ = die Steigung
-> je steiler desto schärfer trennt Item
-> alle items gleich Trennscharf -> IC Kurve parallel - Leichtigkeitsparameter α = die Lage der Itemcharakteristigen entlang der Ordinate
Was sind spezifisch objektive Vergleiche und was bedeutet diese Eigenschaft?
Vergleich zweier Personen hinsichtlich ihrer Merkmalsausprägungen ist nicht von den ausgewählten Items abhängig
Vergleich zweier Items unabhängig von den Personen die sie ausgefüllt haben
Wie kann Reliabilität anhand unterschiedlicher Modellannahmen geschätzt werden?
- essentiell Tau kongerisch: McDonalds Omega
- essentielle Tau äquivalent: Erwartungswert gleich: Crohnbachs Alpha, McDonalds Omega
- essentielle Tau parallel: Fehlervarianz gleich: Spearman Brown Formel, Crohnbachs Alpha, McDonalds Omega
Was wissen wir über mehrdimensionale Modelle der KTT?
- berücksichtigt mehrere systematische Varianzquellen
- erlaubt die Bestimmung mehrdimensionaler Tests und Bildung der Testwerte für einzelne Dimensionen
zB Bifaktotmodell: Omega-Koeffizienten als Reliabilitätsmaße - liegen auch bei einem eindimensionalen Konstrukt mit mehreren Messgelegenheiten vor -> Latent-State-Trait-Theorie
- werden mehrere Verfahren zur Messung des Konstrukts eingesetzt: Methodenspezifität im Rahen der Multitrait-Multimethod-Analyse (MTMM-Analyse) geschätzt werden
Was ist “klassisch” an der KTT?
- vor 70 Jahren entwickelt
Was ist das Grundprinzip der KTT?
- Messfehlertheorie
- Zerlegung der Testwerte in True Score τ und Messfehler ε
- wichtig für die Bestimmung der Messgenauigkeit (Reliabilität)
Wer schaffte die ersten Grundlagen der KTT?
Spearman
Messfehler aus der Korrelation zweier Variablen berechnete
Reliabilitätsindex zur Korrektur
Welche Arten von Messfehler kennen wir?
Unsystematische Messfehler: Messfehler = Zufallsvariable
korrigiert sich meist durch Mittelwert Bildung
systematischer Messfehler
korrigiert sich nicht durch Mittelwert Bildung
Was ist die Grundgleichung der KTT?
yᵢ= τᵢ+εᵢ=αᵢ+λᵢ*ηᵢ+εᵢ
αᵢ … Leichtigkeitsparameter
λᵢ … Diskriminationsparameter, Faktorladung
ηᵢ … latente Variable
εᵢ … Messfehler
= Messfehlertheorie, Grundgleichung KTT
τᵥ.=E(yᵥᵢ)
=Existenzaxiom
Voraussethrung: Merkmalsausprägung und äußere Einflüsse sind bei Messwiederholungen konstant
Wie ist ein bestimmter Messfehler einer Person definiert?
εᵥᵢ=yᵥᵢ- τᵥᵢ
WIe sieht die Varianzzerlegung in der KTT aus?
Var(yᵢ)=Var(τᵢ)+Var(εᵢ)
Cov(yᵢ, yᵢ’)=Cov(τᵢ,τᵢ’ )+Cov(εᵢ,εᵢ’)
Wie kann der Testwert gebildet werden?
Yi=Σyᵥᵢ
Y=E+T=Σε + Στ
Erwartungswert = Y = geschätzter Truescore T
Wie unterscheiden sich die Modelle zu den unterschiedlichen Stufen der Messäquivalenz?
- (Un)Gleichheit der Faktorladungen
-(Un)Gleichheit der Leichtigkeitsparameter
-(Un)Gleichheit der Fehlervarianzen der Itemvariablen
Was besagt das Prinzip der Parsimonität?
es soll immer möglichst strenges Modell gewählt werden
sparsamer (parsimonious) als Modelle mit vielen zu schätzenden Parametern
Welche Eigenschaften haben τ-kongerische Variablen?
- eindimensional
- unterschiedliche Diskriminationsparameter (Faktorladung λ)
- unterschiedliche Leichtigkeitsparameter α = Interzept α
- Items haben unterschiedliche Varianzen und Kovarianzen
Leichtigkeitsparameter α
nicht zu verwechseln mit
Signifikanzniveau : α-Fehlerrisiko
Reliabilitätskoeffizient: Cohnbachs α
Welche Eigenschaften haben (essentiell) τ-äquivalente Variablen?
- gleiche Diskriminationsparameter = Faktorladung λ konstant
- unterschiedliche Leichtigkeitsparameter
–> Parallelität der Geraden - alle Items untereinander selbe Kovarianz
Worüber gibt die Messäquivalenz auskunft?
Verhältnis true score und latenten Merkmalsvariable
Einfluss Diskriminationsparameter, Leichtigkeitsparametern
-> Funktion
wenn kongerisch: Geraden nicht parallel
wenn äquivalent: dentische Steigung und parallelität
wenn parallel: evtl additive Konstante, sonst identisches Verhältnis von true score und latenter Merkmalsvariable = identische Steigung und parallelität
Welche Eigenschaften haben (essentiell) τ-parallele Variablen?
- können sich in Leichtigkeitsparametern (Interzepte) unterscheiden
- Diskriminationsparameter (Faktorladungen) gleich
- zusätzlich: Fehlervarianzen aller Items gleich
- Var(ε₁)=Var(ε₂)=…=Var(εₒ)
Wie können Konfidenzintervalle für den Wahren Wert Tau gebildet werden?
Auf Basis des Messfehlers:
τ₁,₂=X ± z(krit)SD
Standardfehler SD=^σ2(ε)= ^σ(X)²[1-rel]
X-z(krit)SD(E) ≤ τ ≤ X+z(krit)SD(E)
Auf Basis des Schätzfehlers: ??
τ₁,₂=^τ ± z(krit)*SD
Score Mittelwert des tests?
Welche Messmethoden für mehrdimensionale KTT Modelle kennen wir?
Latent-State-Trait-Theory -> Situationsspezifität
MTMM Analyse: mehrere Messmethoden, Methodenspezifität kann als ein vom Trait unabhängiger Effekt geschätzt werden
