VL 5: Reliabilität Flashcards
KTT: Def. Truescore
Untersucht man eine VP mehrmals auf die gleiche Weise, ergeben sich leicht unterschiedliche Werte –> intraindividuelle Verteilung.
Der Erwartungswert dieser Werte der VP heißt Truescore.
KTT: Def. Fehlerwerte
Abweichung der Messwerte vom Truescore
Fehlerwert_i= Y_i - Truescore_i
Def. Reliabilität
- beschreibend
- mathematisch nach der KTT + Formel
BESCHREIBEND
Rel. = das Ausmaß der Verlässlichkeit bzw. Genauigkeit einer Messung
MATEMATISCH NACH DER KTT
Rel.= der Anteil der Varianz, welche auf den Truescore zurückgeht
Rel (Yi) = Var(tau_i) / Var(Y_i)
Wie wird nach dem Modell 1 (essentiell tau-äqivalente Variablen) die Reliabilität geschätzt?
- Vorgehen
- Annahmen
- Formel
doppelte Messung
- -> Annahmen
- tau ist in beiden Messungen gleich
- Fehler sind unkorreliert (keine personenspezifischen Fehler)
- -> es ergibt sich: Rel(Y1) = Cov (Y1,Y2)/Var (Y1)
Modell 1 (essentiell tau-äqivalente Variablen): Umsetzung -welche Möglichkeiten gibt es? (3)
- Retest
- Paralleltest
- Testhalbierung
Modell 1 (essentiell tau-äqivalente Variablen): Umsetzung: Retest-Methode:
- Probleme (3)
- Bewertung
PROBLEME
- tau muss zeitlich absolut stabil sein, da sonst Annahme verletzt wird (Rel. wird unterschätzt)
- Übung-/Lerneffekte müssen ausgeschlossen werden
→ Dilemma: Nicht zu lange Zeit zwischen beiden Tests, da tau sich sonst ändern könnte, aber auch nicht zu kurze Zeit aufgrund Erinnerungs- & Übungseffekten - Es dürfen (über beide Tests) keine probandenspezifischen Fehler existieren: Cov ( ε 1 , ε 2 ) = 0 (Rel. wird überschätzt)
BEWERTUNG
- gut geeignet für Persönlichkeitstests –> hohe Stabilität von tau
- weniger gut geeignet für Leistungstests –> geringe Stabilität
- für Speedtests aber noch besser geeignet als für Powertests, da Testwiederholungseffekte bei ersterem geringer
Modell 1 (essentiell tau-äqivalente Variablen): Umsetzung: Paralleltest-Methode
- was ist ein Paralleltest?
- Probleme (3)
WAS IST EIN PARALLELTEST?
Tests, welche das selbe erfassen + identischer Mittelwert und identische Standardabweichung + Korrel. nahe 1 aber unterschiedliche Items
PROBLEME
- tau muss (trotz unterschiedlicher Items) identisch sein –> sonst Verletzung der Annahme “tau-Äquivalenz” –> Rel. wird unterschätzt
- keine probandenspezifischen Fehler –> sonst Verletzung der Annahme “unkorrelierte Fehler” –> Rel. wird überschätzt
- Parallelität muss gewährleistet sein –> schwierig vor allem bei Tests, welche enges Merkmal testen, da Universum der Items begrenzt –> meist keine strenk parallelen Testformen
Ausnahme: Speed-Tests (z.B. “d2”): Paralleltest = Retest
Modell 1 (essentiell tau-äqivalente Variablen): Umsetzung: Testhalbierungs-Methode
- Aufteilungsmethoden (5)
- Probleme (3)
- Vorteile
AUFTEILUNGSMETHODEN
- Split-Half: erste Hälfte und zweite Hälfte des Tests
- Odd-Even: Items mit gerader Ziffer und Items mit ungerader Ziffer
- Random: zufällige Aufteilung
- Nach Itemkennwerten: 1. Paarlinge gleicher Schwierigkeit und Trennschärfe bilden; 2. zufällige Zuweisung der Items aus den Paarlingen zu jeweils einer Testform
- bei Speedtests: Halbierung nach Testzeit
PROBLEME
- tau muss (trotz unterschiedlicher Items) identisch sein –> sonst Verletzung der Annahme “tau-Äquivalenz” –> Rel. wird unterschätzt
- keine probandenspezifischen Fehler –> sonst Verletzung der Annahme “unkorrelierte Fehler” –> Rel. wird überschätzt
- Berechnung der Rel. nur für eine Testhälfte –> Hochrechnung mittels Spearman-Brown-Formel
VORTEILE
zahlreiche Störfaktoren lassen sich ausschließen
- Schwankungen in Leistung, Motivation, Stimmung
- zeitliche Veränderung des Merkmals
–> Methode der Wahl
Modell 1 (essentiell tau-äqivalente Variablen): Terminologie-Probleme (2)
1.
Es werden in den genannten Verfahren stets Korrelationen berechnet. Meist
werden diese als „Retest-Reliabilität“, “Paralleltest-Reliabilität” usw. bezeichnet, was irreführend ist, da es nur eine
wahre Reliabilität gibt – es handelt sich nur um verschiedene Schätzer für sie.
2.
Die Retest-Korrelation kann auch als Teststabilität verwendet werden. Eine zeitliche instabile
Messung kann aber dennoch reliabel sein, vor allem wenn es sich um eine situations-
abhängige Variable handelt (state), d.h. tau sich mit der Zeit ändert.
–> Stabilität nichtgleich Reliabilität
Modell 2: “Modell tau-kongenerischer Variablen”
- Grundlagen
- Anwendung
GRUNDLAGEN
Erweiterung des Modells der essentiellen tau-Äquivalenz
–> Annahme: Y-Variablen werden nicht unbedingt in gleichem Ausmaß von tau beeinflusst –> Gewichtungsfaktoren β für den Einfluss von tau
–> Y 1 = β 1 τ + ε 1
Y 2 = β 2 τ + ε 2
–> Var(Y 1 ) = β 1^2 Var( τ ) + Var( ε 1 )
Var(Y 2 ) = β 2^2 Var( τ ) + Var( ε 2 )
–> Rel(Y 1 )= (β 1^2)/ (Var(Y1))
Rel(Y 2 )= (β 2^2)/ (Var(Y2
ANWENDUNG
- Mehrfachmessung via Retest, Paralleltest,…
- Schätzung via Strukturgleichungsmodell
Konsistenzanalyse: Vorgehen
+ einfaches Konsistenzmaß
- jedes Item bildet eigenen “Testteil” (Erweiterung der Testhalbierungt)
- Berechnung der Var. der testscores Var(S)
- Berechnung der Kovarianz der Items untereinander
- wenn Konsistens hoch, sollte die Kov. der Items einen großen Anteil an der Varianz des Testscores haben
- -> einfaches Konsistensmaß: ~
Konsistenzanalyse: Cronbach Alpha
- Def.
- Formel
Erweiterung des einfaches Konsistenzmaßes um einen Korrekturfaktor
–> ~
Konsistenzanalyse: K-R-Formula 20
Erweiterung des einfaches Konsistenzmaßes (für dichotome Items
–> ~
Konsistenzanalyse: Interpretation der Konsistenzmaße
- Konsistenzmaße sind eine “hochgerechnete” standardisierte Kovarianz der Items, also eine Korrelation
- Konsistenzmaße können als Schätzer für die Reliabilität verwendet werden
- sind konservativ –> untere Schranke der Reliabilität
- Wertebereich zwischen 0 und 1
KTT: Axiome (3)
- Ein Messwert besteht aus wahrem Wert und Fehler
–> Y i = τ i + ε i
2.
Der Erwartungswert des Fehlers ist null:
–> E( ε i ) = 0
3.
Die Fehler sind unkorreliert:
–> Cov( ε i , τ i ) = Cov( ε i , ε k ) = 0
