Testtheorie Flashcards
Klassische Testtheorie - Eigenschaften & Ziel
- Eigenschaften:
a) theoretischer Hintergrund: gibt einen theoretischen Hintergrund zur Konstruktion und Interpretation von Testverfahren
b) Reliabilität: liefert theoretische Begründung der Reliabilität
c) Messfehlertheorie: macht Annahmen über Messfehler, welche die Messgenauigkeit (Reliabilität) beeinflussen
d) Grundlage: ist Grundlage der meisten psychologischen Testverfahren - Ziel: Bestimmung der Messgenaugikeit und Schätzung des wahren Werts
Klassische Testtheorie: Definition Messfehler und Arten von Messfehlern
- Definition - Messfehler: Messwert weicht vom wahren Wert einer Person ab –> Testergebnisse einzelner Personen mit den gleichen Test variieren zwischen Messzeitpunkten
- Arten von Messfehlern bzw. Mögliche Gründe:
a) systematischer Fehler: z.B.: Fähigkeit wird durch ein spezielles Aufbautraining (Übungseffekt) verädnert oder Antwortbias
b) unsystematischer Fehler: beeinflusst innere (z.B.: Motivation) oder äußere Einflüsse (z.B.: Regen/Wind)
–> die KKT berücksichtig nur den unsystematischen Fehler
Axiome der KTT - Erstes Axiom
- X = T + e (s.F 17)
Jeder beobachtete Messwert (X) einer Person setzt sich zusammen aus einem kostanten wahren Wert (T) und einem Messfehler (e). Der Messfehler (e) repräsentiert alle unkontrollierten, unsystematischen Störeinflüsse –> Alle weitere Annahmen leiten sich af dieser ab
Axiome der KTT - zweites Axiom
E(e) = 0
Der Erwartungswert E (Mittelwert) des Messfehlers (e) über unendlich viele Messsungen einer Person oder bei Messungen einer unendlich großen Population ist Null
- Der Messfehler ist bei jeder Person eine Zufallsvariable (unsystematischer Messfehler) und verzerrt das Ergebnis mal in die eine mal in die andere Richung –> bei unendlich häufigen Messungen mittelt sich der unsystematische Messfehler aus
- So lässt sich der wahre Wert einer Person über unendlich viele Messungen exakt bestimmen –> man versucht den Messfehler z.B.: durch mehrere Messungen (Items) desselben Merkmals zu reduzieren
Axiome der KTT - Drittes Axiom
r(T,e) = 0
Es besteht keine korrelativer Zusammenhang (r) zwischen dem wahren Wert (T) einer Person und dem Messfehler (e)
- Die Fehler sind zufällig (unsystematisch)
- Der Test misst in allen Bereichen (Merkmalsausprägungen) gleich genau (eine niedrige Ausprägung einer Eigenschaft wird ebenso genau gemessen wir eine mittlere oder hohe Ausprägung)
Axiome der KTT - viertes Axiom
r(T2, e1) = 0
Der Messfehler (e) eines Testes 1 weist keinen Zusammenhang (r) mit dem wahren Wert (T) in einem Test 2 auf
- Die Ausprägung in einem anderen Merkmal hat keinen Effekt auf den Messfehler und andersherum
- z.B.: Die Messgenauigkeit eines Intelligenztests ist nicht davon abhängig wie depressiv eine Person ist
Axiome der KTT - fünftes Axiom
r(e1, e2) = 0
Der Messfehler (e) eines Tests 1 steht nicht im Zusammenhang (r) mit dem Messfehler eines Tests 2
–> wenn die Testwerte beider Tests korrelieren, dann weil die beiden wahren Werte einen Zusammenhang haben
Ableitung aus den Grundannahmen der KTT - Definition Reliabilität
- Definition Reliabilität: Die Reliabilität eines Tests ist der Anteil der Varianz der wahren Werte (T) an der Varianz der beobachteten Werte (X)
- Verhältnis der Varianzen zweier Messwerte zueinander lässt sich als Korrelation zwischen zwei Testwerten (die dasselbe Konstrukt messen) darstellen
Rel (X) = Var(T) / Var(X) = r(X, X´)
Ableitungen aus den Grundannahmen der KTT: Probleme der Reliabilität und Lösung
- Problem: wir kennen den wahren Wert T nicht. Woher sollen wir wissen, wie genau der Testwert X dem wahren Wert T entspricht?
- Lösung: wir nehmen z.B.: die Testwerte von 2 Tests, die beiden den wahren Wert T messen sollen
a) Beide Tests messen dasselbe Konstrukt (T)
b) Sie haben den gleichen Erwartungswert (E), d.h. bei unendliche vielen Messungen gilt T = X, da Messfehler = 0
Grenzen/ Kriktik der KTT
- Unüberprüfbarkeit: Die Axiome der KTT sind nicht überprüfbar, da wahreWerte und Messfehler nicht beobachtbar sind
- Unkorreliertheit nicht immer gegeben: Unkorreliertheit der Messfehler nicht immer gegeben (z.B.: Kopfschmerzen bei der Bearbeitng beider Tests)
- Nullkorrelation nicht immer gegeben: Nullkorrelation zwischen wahren Wert und Messfehler nicht immer gegeben, da in den meisten Tests mittlere Ausprägungen genauer gemessen werden als Ausprägungen im sehr hohen oder sehr niedrgien Bereich
- keine Zufallsfehler: nich alle fehler sind Zufallsfehler, auch systematische Fehler sind möglich und beeinflussen die Testergebnisse z.B.: soziale Erwünschtheit kann bei Berarbeitung von Persönlichkeitstests systematisch auftreten
- Merkmalskonstanz: Aber Eigenschaften verändern sich über bestimmte Zeiträume
Probabilistische Testtheorie (Item-Response-Theorie) - Eigenschaften und Voraussetzung
- Ergänzung zur KTT
- Versucht durch strengere Annahmen die Probleme der KTT zu überwinden
- Modelle beschreiben die Beziehung zwischen manifestem Antwortverhalten und dahinterliegenden latenten Merkmalen
- heute ausschließlich Fokus auf einen kleinen Teilbereich:
a) Dichotome
b) probabilistische latent Trait Modelle - zentrale Annahme/ Voraussetzung: Lokale stochatische Unabhängigkeit (Itemhomogenität)
Probabilistische Testtheorie (Item-Response Theorie): Lokale stochastische Unabhängigkeit - Definition und Überprüfung
- Definition: Präzisierung dessen, was unter Itemhomogenität zu verstehen ist –> Alle Items messen dasselbe Merkmal (latente Variable), Antworten sollten hoch miteinander korrelieren
- Überprüfung:
a) Konstanthalten: Merkmal (latente Variable) wird auf einer lokalen Stufe konstant gehalten, d.h. man schaut sich nur die Antwort von Personen mit der exakt selben Merkmalsausprägung an. So wird alle Varianz, die das Merkmal in der Antwort verursachen könnte rausgenommen
b) Korrelation: Dadruch sollten die Korrelationen zwischen den Items verschwinden, denn übrig bleibt nur der (unsystematische) Messfehler –> Bei einer Korrelation, die von Null verschieden ist, messen die Items systemtisch noch ein anderes Merkmal
Probabilistische Testtheorie (Item-Response-Theorie) Latent-Trait-Modelle: Definition, Item-Charaktersitk-Funktion, PP und IP & Arten von Modellen
- Definition: Zusammenhang zwischen manifestem Antwortverhatlen und latenten Variablen wird in einer mathematischen Funktion dargestellt (empirisch überprüft).
- Item-Charakteristik-Funktion (IC-Funktion): Lösungswahrscheinlichkeit von Items in Abhängigkeit von Modellparametern (Item- und Personenparameter)
- PP und IP:
a) Personenparameter PP = Fähigkeit, Einstellungen oder Dispositionen einer Person
b) Itemparameter IP = Schwierigkeit oder Anforderung eines Items
–> Für jedes Item kann eine Funktion erstellt werden, die angibt, welche Lösungwahrscheinlichkeit für eine Person zu erwarten ist - Arten von Modellen:
a) Das (dichotome) Rasch Modell (1PL)
b) Das (dichotome) Birnbaum-Modell (2PL)
c) Das (dichotome) Rate-Modell von Birnbaum (3PL)
–> Dichotom, da sich diese nur auf dichotome Items beziehen
Probabilistische Testtheorie (Item-Response-Theorie) Latent-Trait-Modelle: Das (dichotome) Rasch Modell (1PL) Woraus setzt sich die Wahrscheinlichkeit zusammen, dass ein Item gelöst wird?
- Die Wahrscheinlichkeit, dass ein Item gelöst wird, setzt sich zusammen aus:
a) der Merkmalsausprägung der Person
b) der Schwierigkeit des Items
–> beide Werte werden auf einer gemeinsamen Skala abgetragen
s. F. 29!
Probabilistische Testtheorie (Item-Response-Theorie) Latent-Trait-Modelle: Das (dichotome) Rasch Modell (1PL) - Lösungswahrscheinlichkeit (p) eines Items (X) Interpretation des Wertes
- Ist der Itemparameter b größer als der Personenparameter: p < .50
- Ist der Itemparameter b kleiner als der Personenparameter: p > .50
- Sind Itemparameter b und Personenparameter gleich groß: p = .50
s. F. 30
