12 - Probleme der klassischen Testtheorie Flashcards
Die zentrale Annahme der KTT
Axiom: Testwert = wahrer Wert + Messfehler
kann nicht überprüft werden, da sowohl der wahre Wert wie auch der Fehler nicht direkt beobachtbar sind
—> Die “Modellgültigkeit” der KTT ist empirisch nicht nachweisbar
Skalenniveau
Das Skalenniveau der Testwerte kann nicht überprüft werden, die KTT nimmt aber einfach Intervallskalierung an
Qualitative Beobachtungen werden in ein Testergebnis x umgewandelt
Man könnte aber statt x im Grunde auch irgendeine Transformation f(x) nehmen
Diese Transformation darf aber die Zuverlässigkeit des Tests nicht beeinflussen, d.h. die Reliabilität des Tests muss invariant gegenüber Transformationen sein
Das ist bloß dann der Fall, wenn x mind. intervallskaliert ist
Konstruktvalidität
Die Homogenität der Items bzgl des untersuchten Merkmals ist anhand der Modellannahmen nicht überprüfbar
Itemhomogenität ist aber Voraussetzung für die Berechnung des Testwerts als Mittelwert aller Items
Die Beurteilung der Itemhomogenität erfolgt ersatzweise indirekt über Itemtrennschärfen, Itemkorrelationen (als Basis der internen Konsistenz) und Faktoranalyse
Problem: das Merkmal ist so aber nur operational definiert, es ergibt sich nicht aus den Modellannahmen
Heterogenität von Populationen: Abhängigkeit der Reliabilität von der Stichprobe
Annahme: Die Reliabilität eines Tests hängt nur von ihm selbst ab
ABER: Im Rahmen der KTT hängt die Reliabilität eines Tests auch von der Subpopulation = Stichprobe ab. Sie ist eine Eigenschaft des Tests in Bezug auf eine Population mit ihrer gegebenen Variabilität hinsichtlich des latenten Merkmals
Heterogenität von Populationen: Abhängigkeit der Validität von der Stichprobe
Annahme: Die Validität eines Tests hängt nur von ihm selbst ab
ABER: Im Rahmen der KTT hängt die Validität auch von der Subpopulation = Stichprobe ab
Paradoxe Zusammenhänge zwischen Gütekriterien: Reliabilitäts-Validitäts-Dilemma
Paradox: die gleichzeitige Optimierung von Validität und Reliabilität ist nicht möglich
Bei gegebenen Itemvaliditäten sinkt die Kriteriumsvalidität mit steigenden Itemtrennschärfen
Das lässt sich formal aus den Axiomen der KTT ableiten
Antworttendenzen
Ein hoher Testwert kann auf zwei verschiedene Arten entstehen:
(1) ich habe tatsächliche eine hohe Merkmalsausprägung
(2) ich habe nur eine leicht erhöhte Merkmalsausprägung aber eine Tendenz zu extremen Antworten
