Klassische Testtheorie Flashcards

1
Q

Grundannahme der KTT

A

Messwerte von Personen in einem Testitem setzen sich immer aus zwei Komponenten zusammen:

a) der tatsächlichen wahren Ausprägung des erfassten Merkmals
b) dem zufälligen Messfehler

Die KTT beinhaltet die notwendigen Überlegungen, um aus mehreren Messungen xvi bei einem Probanden (Pb) v in bestimmten Items i auf die wahre Ausprägung τv von Pb v im erfassten Persönlichkeitsmerkmal schließen zu können.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

4 Axiome der KTT

A
  1. Existenzaxiom
  2. Verknüpfungsaxiom
  3. Unabhängigkeitsaxiom
  4. Zusatzannahmen

Die Axiome werden desweiteren nicht weiter hinterfragt, es werden Annahmen über den wahren Wert und den Messfehler getroffen um letzlich die genauigkeit einer Messung zu schätzen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Existenzaxiom

A

Der true score τvi existiert als Erwartungswert der Messungen xvi eines Pbn v in Item i.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q
  1. Erwartungswert
A

Ein Erwartungswert einer Zufallsvariable beschreibt die Zahl die die Zufallsvariable im Mittel annimmt.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q
  1. Verknüpfungsaxiom
A

Jede Messung xvi setzt sich zusammen aus einem wahren Wert τvi und einem zufälligen Messfehler εvi.

Die Verbindung der ersten beide Axiome zeigt, dass der Zufallsfehler den Erwartungswert Null hat. (Wenn man unendlich Mal messen würde, ergäbe sich der wahre Mittelwert des Probanden.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q
  1. Unabhängigkeitsaxiom
A

Die Korrelation zwischen den Messfehlern ε und den wahren Werten τ bei beliebigen Personen und beliebigen Items ist null.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q
  1. Zusatzannahmen
A

a) Unabhängigkeit der Messfehler zwischen Items
Die Fehlerwerte zweier Messungen mit beliebigen Items i und j bei derselben Person sind unkorreliert.

b) Unabhängigkeit der Messfehler zwischen Personen
Die Fehlerwerte zweier Messungen mit demselben Item i bei beliebigen Personen v und w sind unkorreliert.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

wahre Varianz

A

Variation durch unterschiedliche wahre Merkmalsausprägungen der Pbn

wir kennen die wahren Werte nicht

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Fehlervarianz

A

Variation durch Messfehler bei den Pbn

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

parallele Tests

A

voneinander Unterschiedliche Varianten des gleichen Testverfahrens, die das gleiche Merkmal mit der gleichen Genauigkeit erfassen. Zwei Tests sind parallel wenn sie gleiche wahre werte und gleiche Fehlervarianz aufweisen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Bestimmung der wahren Varianz

A

Die wahre Varianz Var(τ) kann als Kovarianz der

Testwertevariablen zweier paralleler Tests geschätzt werden.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Reliabilität

A

Die Reliabilität Rel bezeichnet die Messgenauigkeit eines Tests und ist als Anteil der Varianz der wahren Werte τ an der Varianz der beobachteten Testwerte x definiert

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Reliabilitätskoeefizient

A

Steht ganz im Zentrum der KTT

Rel= Var(τ) / Var(x)

  • Wertebereich: 0 <= Rel <= 1
  • Grundlage zur Berechnung des Standardmessfehlers und der Konfidenzintervalle.

Wenn Rel = 1, würde die Testvarianz nur aus wahrer Varianz bestehen. Der Test würde fehlerfrei messen: Var(x) = Var(τ)

Wenn Rel = 0, würde die Testvarianz nur aus Fehlervarianz bestehen: Var(x) = Var(ε).

Ein Test ist umso reliabler, je größer der wahre Varianzanteil Var(τ) an der Gesamtvarianz Var(x) ist.

Bei zunehmender Fehlervarianz nimmt die Reliabilität dann ab.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

4 Methoden der Reliabilitätsschätzung

A

a) Paralleltest-Reliabilität (Korrelation aus diesen beiden paralleln Testformen)
b) Retest-Reliabilität (Korrelation zwischen zwieter und erster Messung eines Tests)
c) Split-Half-Reliabilität (Korrelation zwischen den zwei Test Hälften)
d) Interne-Konsistenz (Korrelation der einzelnen Items)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Spearman- Brown- Formel

A

Die resultierende Reliabilität eines Tests der Länge l durch Testverlängerung um den Faktor k kann durch die Spearman-Brown-Formel ausgedrückt werden.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Standardmessfehler

A

Je höher die Reliabilität, desto kleiner der Standardmessfehler.

17
Q

Konfidenzintervall

A

Das Konfidenzintervall umfasst denjenigen Bereich eines Merkmals, in dem sich 95% bzw. 99% aller möglichen wahren Werte τv befinden, die den Stichprobenschätzwert (τv - Dach) erzeugt haben können.

18
Q

Interprätation des Konfidenzintervalls

A

„Der wahre Wert τv liegt mit einer Wahrscheinlichkeit von ( 1 - α ) in diesem
Konfidenzintervall“ FALSCH

  • Die Wahrscheinlichkeitsaussage bezieht sich NICHT auf den Wahren Wert, sondern auf das Intervall. Ein 95% Konfidenzintervall überdeckt mit 95%iger Wahrscheinlichkeit den wahren Wert.
  • D.h., wenn wir unendlich oft eine Zufallsstichprobe aus einer Population ziehen und jeweils für die Stichprobenstatistik ein 95% Konfidenzintervall berechnen, dann werden 95% dieser INTERVALLE den wahren Wert überdecken. Die Zufallsvariablen sind also die Intervallgrenzen.
19
Q

Grenzen der KTT

A

Skalierung
• Annahme (beobachtete Testwert = wahren Wert + Fehlerwert) kann nicht empirisch überprüft werden, da die Größen nicht direkt beobachtbar sind
• Intervallskalenniveau als Voraussetzung für Berechnungen kann bei den tatsächlich vorliegenden Testwerten nicht überprüft werden

Konstruktvalidität
• Homogenität der Testitems bezüglich des untersuchten Merkmals nicht überprüfbar
• Merkmale können nur operational definiert werden

Stichprobenabhängigkeit
• Kennwerte der KTT sind stichprobenabhängig
(Itemschwierigkeit , Trennschärfe, Reliabilität etc.)
•Generalisierbarkeit der Ergebnisse unklar

+++ Reliabilitätsmessung, Ökonomische Anwendung

20
Q

Item- Response- Theorie (IRT)

A
  • Strengere Annahmen
  • Beschreibung des Reaktionsverhaltens der Pbn durch Personen und Itemparameter
  • Probabilistischer Zusammenhang zwischen Merkmalsausprägung und beobachtetem Messwert
21
Q

Warum sind die meisten Testverfahren dennoch nach KTT konstruiert?

A
  • Bewährter Ansatz zur Beurteilung der Reliabilität von Tests und Fragebögen
  • Ökonomische und praktische Handhabung