KTT Klassische Testtheorie Flashcards

bis Folie 76

1
Q

E(xᵥ,ᵢ)=τᵥ,ᵢ

A

Existenzaxiom

wahrer Wert (=true score) = Tau existiert und entspricht Erwartungswert E(x):
E(xᵥ,ᵢ)=τᵥ,ᵢ
mit xᵥ,ᵢ … Testleistung der Person v in Test i
τᵥ,ᵢ … wahre Wert

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

xᵥ,ᵢ=τᵥ,ᵢ+εᵥ,ᵢ

A

Messwert x setzt sich zusammen aus wahre Wert tau und Messfehler epsilon
Verknüpfungsaxiom
=> Messfehlertheorie
Grundgleichung der KTT

εᵥ,ᵢ… Messfehler bei Testleistung der Person v in Test i

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

ρ (τᵥ,ᵢ , εᵥ,ᵢ) = 0
cov(τᵥ,ᵢ , εᵥ,ᵢ) = 0

A

Unabhängigkeitsaxiom
wahre Wert tau und der Messfehler epsilon korrelieren nicht miteinander, haben keine Kovarianz, da ε nur unsystematische Anteile enthält

ρ… rho -> Populationskorrelation
Korrelation des Wahren Wert taus und des Messfehlers Epsilon = 0

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

ρ (εᵥ,ᵢ , εᵥ,ₐ) = 0
ρ (εᵥ,ᵢ , εₐ,ᵢ) = 0

A
  • Zusatzannahme Messfehlertheorem: Messfehler ist eine Zufallsvariable -> Unkorreliertheit zwischen Messfehler der selben Person, bei unterschiedlichen Tests
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

E(εᵢ|τᵢ)=0
E(ε)=0

A

Schlussfolgerung aus Axiomen der KTT
bedingter und unbedingter Erwartungswert des Messfehlers = 0
unabhängig vom true score τ

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

σ²(X)=σ²(τ)+ σ²(ε)

A

Schlussfolgerung aus Axiomen der KTT
Varianz des gemessenen Werts (X) = Varianz der wahren Werte tau + Varianz der Messfehler Epsilon

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

σ(Xₐ,Xᵢ)=σ(τₐ,τᵢ)

A

Schlussfolgerung aus Axiomen der KTT
Kovarianz Sigma der gemessenen Werte X entspricht der Kovarianz der wahren Werte Tau

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Was ist eine Parallelmessung?

A
  • wenn zwei Tests (oder Items) denselben Erwartungswert und die selbe Varianz besitzen
    -> erfassen das gleiche Merkmal gleich genau, da Varianz gleich = Messfehlervarianz gleich
  • alle Itemvariablen haben identische Eigenschaften bei der Aufsummierung der Testwerte und Schätzung des True Scores

E(Xₐ)=E(Xᵢ) und σ²(Xₐ)=σ²(Xᵢ)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Wie wird ein zu Test A paralleler Test bezeichnet?

A

A’

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Was ist das essentiell τ-parallele Modell?

A

Erwartungswerte zweier Tests (oder Items) unterscheiden sich um eine additive Konstante, Varianzen sind gleich
E(Xₐ)=E(Xᵢ)+c und σ²(Xₐ)=σ²(Xᵢ)
Tests messen das gleiche Merkmal gleich genau, Test Wert ist um c verschoben

Voraussetzung: Eindimensionalität
Diskriminationsparameter (Faktorladungen): gleich
Fehlervarianzen gleich
adäquates Reliabilitätsmaß: Crohnbachs Alpha, McDonalds Omega, Spearman Brown

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Was ist das essentiell τ-äquivalente Modell?

A

Erwartungswerte zweier Tests unterscheiden sich um eine additive Konstante, Varianzen sind ebenfalls verschieden
E(Xₐ)=E(Xᵢ)+c und σ²(Xₐ)≠σ²(Xᵢ)
Die Tests erfassen das gleiche Merkmal verschieden genau

Voraussetzung: Eindimensionalität
Diskriminationsparameter: bei allen Items ident (parallele Itemcharakteristika)
Leichtigkeitsparameter: frei geschätzt
Fehlervarianzen: frei geschätzt
Reliabilitätsmaß: Crohnbachs Alpha, McDonalds Omega

Vorteil: spezifisch objektive Vergleichen von Personen und Items möglich -> Vgl Personen unabhängig von Items und Vgl Items unabhängig von Personen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Was ist das τ-kongerische Modell?

A

Man kann nur davon ausgehen, dass sie die selbe Eigenschaft erfassen
-> Faktorenanalyse

Voraussetzung: Eindimensionalität
Diskriminationsparameter: frei geschätzt
adäquates Reliabilitätsmaß: McDonalds Omega

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Was ist eine äquivalente Messung?

A

Es geht um die Frage, welche Voraussetzungen erfüllt sein müssen, um annehmen zu können, dass zwei Tests dasselbe psychologische Merkmal erfassen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Welche Modelle zu äquivalenten Messungen kennen wir? = Eindimensionale Messmodelle der KTT

A
  1. Replikation
  2. (essentiell) τ-kongerisches Modell
  3. (essentiell) τ-äquivalentes Modell
  4. (essentiell τ-) Parallelmessung
  5. Test-Test

-> Spezialfälle der FA und können mit CFA hinsichtlich Modellkonformität überprüft werden
-> Annahmen:
- eindimensionalität
- manifeste und latente Variable kontinuierlich
- lineare Beziehung zwischen manifester und latenter Variable

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Welche Forderungen stellt die Methode der Replikation?

A
  • verschiedene Messinstrumente müssen zu exakt demselben Messergebnis kommen, um von einer wiederholten Messung zu sprechen
  • strengste Forderungen, unrealistisch für die Praxis
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Welche Forderungen stellt die Methode der Parallelmessung?

A
  • zwei Tests (oder Items) haben denselben Erwartungswert und die selbe Varianz
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Was ist eine τ-äquivalente Messung?

A
  • wenn 2 Tests oder Items denselben Erwartungswert aber unterschiedliche Varianz besitzen
    E(Xₐ)=E(Xᵢ) und σ²(Xₐ)≠σ²(Xᵢ)
    -> erfassen das gleiche Merkmal unterschieden genau
18
Q

Was ist der unterschied zwischen einer τ-äquivalenten Messung und einer essentiell τ-äquivalenten Messung?

A

E(Xₐ)=E(Xᵢ) und σ²(Xₐ)≠σ²(Xᵢ)
bei der essentiellen Messung ist der Erwartungswert um eine additive Konstante verschieden -> E(Xₐ)=E(Xᵢ)+c

19
Q

Was sind gängige Kritikpunkte der KTT?

A
  • Grundannahmen (Axiome) können nicht überprüft werden
  • Intervallskalenniveau wird vorausgesetzt, kann aber nicht bewiesen werden
  • alle Kennwerte sind stichprobenabhängig
  • Fairness der Summenbildung über verschiedene Items zur Ermittlung eines Gesamtwerts ist nicht gesichtert

Itemschwierigkeit:
- je besser Stichprobe an Schwierigkeit des Items erhoben wird desto leichter scheint Item
- jeder Vergleich von Items/Schwierigkeiten hängt von Stichprobe ab

Itemvarianz:
- größte Varianz bei mittelschweren Items
- je schwerer oder leichter Item wird, desto geringer ist die Varianz (wegen Boden- und Deckeneffekten)
- zB dichotome (sehr leicht -> immer richtig, sehr schwer-> immer falsch) haben eine Varianz von 0

Reliabilität:
- steigt Varianz der wahren Werte so wirkt sich dieselbe Messfehlervarianz weniger auf die Reliabilität aus
rel: σ²(τ)/σ²(τ) + σ²(ε)

Validität:
- aus Verdünnungsformeln herleitbar dass:
r (X,Y)= r(X,τₓ) * r(Y,τₓ)
Validität = √rêl * Korrelation
-> vâl ≤ rêl
-> Validität hängt von Stichprobe ab

20
Q

Was ist die KTT?

A
  • theoretische Basis zur Konstruktion , Verwendung, Interpretation von psychodiagnostischer Tests
  • im Wesentlichen eine Messfehlertheorie
  • Ziel: Messfehler ε vom wahren Wert τ (true score) trennen
    yi=τi+εi - Verknüpfungsaxiom
21
Q

Wovon hängt das Antwortverhalten in der KTT ab?

A
  • Antwortverhalten hängt nicht nur von der Ausprägung des latenten Konstrukt ab sondern auch von den Messeigenschaften des jeweiligen Items
  • alle Items messen selbes Konstrukt (Eindimensionalität)
  • Zusammenhang latente/manifeste Itemvariablen linear
22
Q

Was ist die Itemcharakteristik?

A
  • Beziehung zwischen der latenten Variablen η und true score τ
  • as Funktion abbildbar (IC Kurve)
  • Diskriminationsparameter λ = die Steigung
    -> je steiler desto schärfer trennt Item
    -> alle items gleich Trennscharf -> IC Kurve parallel
  • Leichtigkeitsparameter α = die Lage der Itemcharakteristigen entlang der Ordinate
23
Q

Was sind spezifisch objektive Vergleiche und was bedeutet diese Eigenschaft?

A

Vergleich zweier Personen hinsichtlich ihrer Merkmalsausprägungen ist nicht von den ausgewählten Items abhängig

Vergleich zweier Items unabhängig von den Personen die sie ausgefüllt haben

24
Q

Wie kann Reliabilität anhand unterschiedlicher Modellannahmen geschätzt werden?

A
  • essentiell Tau kongerisch: McDonalds Omega
  • essentielle Tau äquivalent: Erwartungswert gleich: Crohnbachs Alpha, McDonalds Omega
  • essentielle Tau parallel: Fehlervarianz gleich: Spearman Brown Formel, Crohnbachs Alpha, McDonalds Omega
25
Was wissen wir über mehrdimensionale Modelle der KTT?
- berücksichtigt mehrere systematische Varianzquellen - erlaubt die Bestimmung mehrdimensionaler Tests und Bildung der Testwerte für einzelne Dimensionen zB Bifaktotmodell: Omega-Koeffizienten als Reliabilitätsmaße - liegen auch bei einem eindimensionalen Konstrukt mit mehreren Messgelegenheiten vor -> Latent-State-Trait-Theorie - werden mehrere Verfahren zur Messung des Konstrukts eingesetzt: Methodenspezifität im Rahen der Multitrait-Multimethod-Analyse (MTMM-Analyse) geschätzt werden
26
Was ist "klassisch" an der KTT?
- vor 70 Jahren entwickelt
27
Was ist das Grundprinzip der KTT?
- Messfehlertheorie - Zerlegung der Testwerte in True Score τ und Messfehler ε - wichtig für die Bestimmung der Messgenauigkeit (Reliabilität)
28
Wer schaffte die ersten Grundlagen der KTT?
Spearman Messfehler aus der Korrelation zweier Variablen berechnete Reliabilitätsindex zur Korrektur
29
Welche Arten von Messfehler kennen wir?
Unsystematische Messfehler: Messfehler = Zufallsvariable korrigiert sich meist durch Mittelwert Bildung systematischer Messfehler korrigiert sich nicht durch Mittelwert Bildung
30
Was ist die Grundgleichung der KTT?
yᵢ= τᵢ+εᵢ=αᵢ+λᵢ*ηᵢ+εᵢ αᵢ ... Leichtigkeitsparameter λᵢ ... Diskriminationsparameter, Faktorladung ηᵢ ... latente Variable εᵢ ... Messfehler = Messfehlertheorie, Grundgleichung KTT τᵥ.=E(yᵥᵢ) =Existenzaxiom Voraussethrung: Merkmalsausprägung und äußere Einflüsse sind bei Messwiederholungen konstant
31
Wie ist ein bestimmter Messfehler einer Person definiert?
εᵥᵢ=yᵥᵢ- τᵥᵢ
32
WIe sieht die Varianzzerlegung in der KTT aus?
Var(yᵢ)=Var(τᵢ)+Var(εᵢ) Cov(yᵢ, yᵢ')=Cov(τᵢ,τᵢ' )+Cov(εᵢ,εᵢ')
33
Wie kann der Testwert gebildet werden?
Yi=Σyᵥᵢ Y=E+T=Σε + Στ Erwartungswert = Y = geschätzter Truescore T
34
Wie unterscheiden sich die Modelle zu den unterschiedlichen Stufen der Messäquivalenz?
- (Un)Gleichheit der Faktorladungen -(Un)Gleichheit der Leichtigkeitsparameter -(Un)Gleichheit der Fehlervarianzen der Itemvariablen
35
Was besagt das Prinzip der Parsimonität?
es soll immer möglichst strenges Modell gewählt werden sparsamer (parsimonious) als Modelle mit vielen zu schätzenden Parametern
36
Welche Eigenschaften haben τ-kongerische Variablen?
- eindimensional - unterschiedliche Diskriminationsparameter (Faktorladung λ) - unterschiedliche Leichtigkeitsparameter α = Interzept α - Items haben unterschiedliche Varianzen und Kovarianzen
37
Leichtigkeitsparameter α
nicht zu verwechseln mit Signifikanzniveau : α-Fehlerrisiko Reliabilitätskoeffizient: Cohnbachs α
38
Welche Eigenschaften haben (essentiell) τ-äquivalente Variablen?
- gleiche Diskriminationsparameter = Faktorladung λ konstant - unterschiedliche Leichtigkeitsparameter --> Parallelität der Geraden - alle Items untereinander selbe Kovarianz
39
Worüber gibt die Messäquivalenz auskunft?
Verhältnis true score und latenten Merkmalsvariable Einfluss Diskriminationsparameter, Leichtigkeitsparametern -> Funktion wenn kongerisch: Geraden nicht parallel wenn äquivalent: dentische Steigung und parallelität wenn parallel: evtl additive Konstante, sonst identisches Verhältnis von true score und latenter Merkmalsvariable = identische Steigung und parallelität
40
Welche Eigenschaften haben (essentiell) τ-parallele Variablen?
- können sich in Leichtigkeitsparametern (Interzepte) unterscheiden - Diskriminationsparameter (Faktorladungen) gleich - zusätzlich: Fehlervarianzen aller Items gleich - Var(ε₁)=Var(ε₂)=...=Var(εₒ)
41
Wie können Konfidenzintervalle für den Wahren Wert Tau gebildet werden?
Auf Basis des Messfehlers: τ₁,₂=X ± z(krit)*SD Standardfehler SD=^σ2(ε)= ^σ(X)²*[1-rel] X-z(krit)*SD(E) ≤ τ ≤ X+z(krit)*SD(E) Auf Basis des Schätzfehlers: ?? τ₁,₂=^τ ± z(krit)*SD Score Mittelwert des tests?
42
Welche Messmethoden für mehrdimensionale KTT Modelle kennen wir?
Latent-State-Trait-Theory -> Situationsspezifität MTMM Analyse: mehrere Messmethoden, Methodenspezifität kann als ein vom Trait unabhängiger Effekt geschätzt werden