02 Klassische Testtheorie

Question 1

Definition Klassische Testtheorie

Answer 1

System syntaktischer Aussagen, an dem sich seit Beginn dieses Jahrhunderts die Konstruktion von Tests orientierte

Question 2

Axiomatik der KTT

Answer 2

1. Axiom: Verknüpfungsaxiom
   - Xi = Ti + Ei
   X: Messwert, T: Wahrer Wert, E: Fehler
   - Grundmodell der Messung
   - Messfehlerkonzept umfasst alle unsystematischen Einflüsse aus das Testergebnis
2. Axiom: Existenzaxiom
   - Voraussetzung: Je Individuum ist T stabil, während E variieren kann
   - Erwartungs-, Mittelwert und Summe der Fehler = 0
   - Fehleranteil mittelt sich über viele Messungen: ME = 0
   - In Vereinigung mit dem 1. Axiom: MX = MT + ME
   - > ME = MT bzw. E(X) = T: X als erwartungstreuer Schätzer von T
3. Axiom:
   - Unabhängigkeit von E und T
   - rT,E = 0 (Korrelation = 0)
   - Ergibt sich eigentlich aus 2. Axiom, da bei Abhängigkeit E systematisch wäre
4. Axiom:
   - Unabhängigkeit von E aus zwei unabhängigen Messungen
   - rE1,E2 = 0
5. Axiom:
   - Unabhängigkeit von E einer Messung von T einer anderen
   - rE1,T2 = 0
6. Axiom:
   - Unabhängigkeit der Fehler zweier Personen

Question 3

Definition Reliabilität in der KTT

Answer 3

Anteil der wahren an der gemessenen Varianz

Grundidee: Je mehr gemessene Varianz allein durch wahre Varianz bedingt, desto reliabler ist Messung

Question 4

Standardmessfehler

Answer 4

• Maß für Ungenauigkeit, die bei Messung mit einem konkreten Testverfahren zu befürchten ist
• > Bezieht sich auf MESSgenauigkeit
• Annahme, dass gemessener Wert direkt wahren Wert repräsentiert (Äquivalenzhypothese)
• Nach KTT ist X erwartungstreuer Punktschätzer für T, Ungenauigkeit dabei kann über Standardmessfehler bestimmt werden
• Nutzen:
  (1) Bestimmung von Konfidenzintervallen bei individueller Messung
  (2) Vergleich zweier Testleistungen:
  (a) Zwei Personen
  (b) Eine Person über zwei Testzeitpunkte
  (c) Subtest-Leistungen

Question 5

Standardschätzfehler

Answer 5

• Beurteilung der VORHERSAGEgenauigkeit
• > Regressionshypothese
• Alternative Vorgehensweise für Bestimmung des KIs, innerhalb dessen sich der geschätzte wahre Wert befindet
• KI-Grenzen nach Regressionshypothese häher am Gesamtmittelwert

Question 6

Kritik an der KTT

Answer 6

1. Überprüfbarkeit/Plausibilität der Grundannahmen:
   - Axiomatik der KTT als Voraussetzung für Ableitungen
   - > Axiome selbst nicht im Rahmen der KTT überprüfbar
   - Fehlertheorie nicht psychologisch fundiert (eigentlich physikalische Messmethode)
   - Implizite und unüberprüfte Annahmen von Intervallskalenniveau
2. Stichprobenabhängigkeit:
   - Personenstichprobe:
   Ereignisse sagen mehr über Items aus, wie gut sie gelöst werden
   Schwierigkeit abhängig von Stichprobe
   Reliabilitätsbestimmung: Rel. höher, wenn Stichprobe breit gefächert
   - Übertragung der Stichprobenergebnisse auf Einzelfall problematisch
   - Teilweise auch bzgl. Itemstichprobe:
   Faktorenanalytische Dimensionierung
   Gleichsetzung von Testscore und Merkmal
3. Annahmen zur Homogenität:
   - Homogenität in KTT nur vage definiert (Itemkorrelationen) -> darauf aufbauende Prüfverfahren und Kennwerte nur schwache Indikatoren der Skalenhomogenität
   - Einige Folgerungen der KTT setzen aber eindeutige Skalenhomogenität voraus, da sie eigentlich nur bei eindimensional erfasstem Konstrukt sinnvoll sind (Testwert = Merkmalsausprägung, Intervallskalierung)
   - Für eindimensionale Skalen Homogenität wichtig, für mehrdimensionale Heterogenität

Gesamtbewertung: Pragmatik vs. Theorie

• Nach KTT konstruierte Tests: Praktische Bewährung
• Konstruktion relativ unaufwendig
• Aber: Theoretisch unbefriedigend

-> PTT und IRT messmethodisch “sauberer”