6. VL: Reliablität 1: Axiome der Klassischen Testtheorie (KTT) und Ablwitung Reliabilität Flashcards
Womit befasst sich die KTT?
- Dem Zusammenhang zwischen emprischen Testwerten und der zu messenden tatsächlichen Merkmalsausprägung.
- Den Anforderungen, denen ein Test genügen muss, um aufgrund eines Testergebnisses auf die tatsächliche Ausprägung des Merkmals schliessen zu können.
–> Aus diesen Vorgaben können die Gütekriterien (und deren Berechnung) abgeleitet werden.
Was sollen Theorien können?
Theorien sollen vor allem erklären und nicht nur beschreiben!
Soll den systematischen Zusammenhang zwischen Items durch latente Personen-Variablen erklären
Stimmen diese beiden Aussagen?
- Die KTT bildet die Grundlage für die meisten Testverfahren
- KTT befasst sich mit der Messung und deren Ungenauigkeit
Beide Aussagen stimmen.
In welche Bestandteile lassen sich die Messwerte aufgliedern?
Was misst die Reliabilität in diesem Fall?
Ein Testwert (X) enthält:
- wahrer Wert (t)
- Fehler/Zufallswert (e)
Deshalb lässt sich die Reliabilität (Präzision eines Tests) betrachten als..
.. Messgenauigkeit
.. Messfehler
Worüber macht die KTT keine direkten Aussagen?
Es bezieht sich nicht auf den Inhalt eines Tests! Die KTT macht keine direkten Aussagen über die eigentlichen Zusammenhänge zwischen psychologischen Merkmalen und dem Verhalten in einem Test.
Was ist der Unterschied zwischen der Klassischen Testtheorie (KTT) und der Probablistischen Theorie (IRT)?
KTT:
- Befasst sich mit der Messung und deren Ungenauigkeiten
- Bestandteile, in welche sich Messwerte aufgliedern lassen
- macht aber keine Aussage darüber, WIE die Leistung oder Antwort zustande gekommen ist, stellte keine direkte Verbindung her zwischen Fähigkeiten/Merkmal/Eigenschaften und der Itembeantwortung
IRT:
- Befasst sich direkt mit dem Zusammenhang von Testverhalten und dem zu erfassenden psychischen Merkmal
- untersucht das Antwortmuster
- Beziehung zwischen Eigenschaftsausprägung und Itemlösewahrscheinlichkeit ist probabilistisch
- testet direkt, ob das Antwortmuster durch das latente Konstrukt zustande kommt
Beschreibe die Axiome der KTT:
Problemlage: Wie kann aus einer Anzahl von Verhaltensbeobachtungen x von Versuchspersonen v in bestimmten Situationen i auf den wahren Wert t geschlossen werden?
Axiome: formal-logische, nicht falsifizierbare Relation zwischen definierten Modellkomponenten. Bildet die zentrale Grundannahme, die sich selber nicht weiter ableiten lässt – empirisch nicht direkt überprüfbar!
Welches sind die 3 Axiome?
- Existenzaxiom
- Verknüpfungsaxiom
- Unabhängigkeitsaxiom
Beschreibe das Existenzaxiom!
Es existiert ein wahrer Wert (true score) tvi als Erwartungswert E einer Messung Xvi.
tvi = E (Xvi)
Erwartungswert = Mittelwert einer theoretischen Verteilung
Beschreibe das Verknüpfungsaxiom!
Ein beobachteter Messwert X setzt sich zusammen aus einem konstanten wahren Wert t und einem zufälligen Fehlerwert E.
Xvi = Tvi + Evi
Der zufällige Fehlerwert E ist die Differnez zwischen beobachtetem Testwert X und dem wahren Wert T einer Person. Er repräsentiert alle unkontrollierten, unsystematischen Störeinflüsse.
Evi = Xvi - Tvi
Beschreibe das Unabhängigkeitsaxiom!
Messfehler und wahrer Wert korrelieren nicht systematisch miteinander
Corr (tvi, evi) = 0
D.h die Höhe und Richtung des Messfehlers e ist unabhängig vom wahren Ausprägungsgrad t des getesteten Merkmals.
Bsp. Fehlereinflüsse durch die Tagesform sind bei Personen mit hoher bzw. niedriger IQ in gleicher Weise wirksam.
Erkläre die Zusatzannahmen der Axiome!
Die Messfehler einzelner Items sind unkorreliert:
1. Die Messfehler der Messung mit den Items i und j von derselben Person v sind unabhängig voneinander.
Corr ( evj, evi) = 0
- Die Messfehler der Messungen mit demselben Item i von den Personen v und w sind unabhängig voneinander.
Corr (evi, ewi) = 0
Was ergibt sich aus der Kombination von Existenz und Verknüpfungsaxiom?
Aus dem 1. und 2. Axiom in Kombination ergibt sich, dass der Erwartungswert des Zufallsfehler evi gleich null ist.
E(evi) = 0
Auch: Mittelwert der Fehler = 0.
Konzept des Messfehlers: Messfehler umfassen die Gesamtheit alles unsystematischen und nicht kontrollierbaren oder vorhersagbaren potentiellen Einflussgrössen auf das Messergebnis.
Der Erwartungswert des Testwertes einer Person xv (Summe aller Items eines Tests) ist der wahre Wert tv (Summe der wahren Werte der Items.)
Repetition: Was ist Varianz?
Varianz: Durchschnittliche Abweichung/ Fehler zwischen dem Mittelwert und den Beobachtungen.
Bsp. M = 2,6 Freunde, ich habe aber 5
Problem: Einheiten sich quadriert “Quadratfreunde”.
Wurzel aus der Varianz ziehen = Standardabweichung!
- Wenn die Bedingungen gegeben sind, dann ist die Kovarianz der beobachteten und wahren Werte identisch mit der Varianz der wahren Werte.
Was nützten uns die Axiome?
- ermöglicht eine Schätzung des durschschnittlichen Messfehlers eines Tests, erleichtert die Interpretation vom beobachteten Messwert X.
- Messwertsumme wird als Punktschätzung des wahren Wertes gebraucht.
- Schätzung Fehlervarianz: Varianz der Fehler der Person v. hilft bei der Interpretation, wie gut gegebene Messwertsumme als Schätzung des wahren Wertes ist.
