5. VL Itemanalyse II: Trennschärfe, Itemselektion und Testwertverteilung Flashcards
Was ist der wichtigste Itemkennwert?
Trennschärfe.
Drückt inhaltlich aus, wie gut ein Item das gleiche Merkmal (Eigenschaft oder Fähigkeit) misst, wie der Rest des Tests.
d.h. hohe Trennschärfe: wenn eine Person gut im Gesamttest ist, dann ist sie auch gut in diesem Item.
Wie wird die Trennschärfe berechnet?
Korrelation zwischen Item- und Testscore: rit
- Produkt-Moment-Korrleation als Trennschärfe (Item und Skala intervallskaliert)
- Punktbiserale Korrelation als Trennschärfe (Item dichotom, Skala intervall skaliert)
Was ist eine Korrelation und was ist die Kovarianz?
Korrelation beschreibt den Zusammenhang zwischen zwei intervallskalierten Items/Variablen X und Y.
Die Kovarianz beschreibt das Ausmass der gemeinsamen Variation zwischen zwei Variablen oder Items
(Korrelation ist die Standardisierung der Kovarianz)
Was ist die Voraussetzung für eine Produkt-Moment-Korrleation?
- intervallskalierte Items und Skala
- intervallskalierte Item-Score
- lineare Beziehung zwischen Item-Score und Test-Score
Beschreibe das Problem der Autokorrelation.
Problem der Autokorrelation bei der Berechnung der Trennschärfe: der Wert des Items geht zweimal in dir Berechnung ein, d.h. die Trennschärfe wird erhöht.
Lösung: Teil-Ganz-Korrektur (Part Whole Korrektur)
Dabei wird der Wert des jeweiligen Items vom Testscore subtrahiert, dieser korrigierte Testscore geht in die Berechnung ein.
Der Einfluss dieser Korrektur ist umso geringer, je grösser die Anzahl der Items und je homogener die Skala.
Ist die Trennschärfe nach der Teil-Ganz-Korrektur grösser oder kleiner als unkorrigiert?
Tiefere Trennschärfe, wenn die Teil-Ganz-Korrektur angewendet wurde.
Wie verhält sich die Trennschärfe bei dichotomen Items?
Was muss man dabei beachten?
Wenn es sich um dichotome Items handelt, dann ist die Punkt-Biserale-Korrelation zu wählen.
Was ist die gewünschte Höhe und Richtung der Trennschärfe?
Fisseni für Part-Whole-Korrigierte Trennschärfe:
.50 hoch
Moosbrugg und Kelava: Trennschärfe zwischen .40 - .70 ist “gut”. (allg. Daumenregel: >.50 klar gut)
Je höher die Trennschärfe eines Items, desto mehr wird das Item von Probanden mit hohem Testwert gelöst / symptomatisch beantwortet (und von denen mit tiefem Testwert nicht).
Negative Trennschärfe bedeutet, dass das Item von Probanden mit niedrigem Testwert gelöst / symptomatisch beantwortet wurde (und von denen mit einem hohen TW nicht).
Wann ist die beste Differenzierung zwischen Probanden zu erreichen?
Unabhängig von seiner Schwierigkeit (ausser P=0 und P=100) könnte jedes Item eine Trennschärfe (rit) von 1 erreichen.
Praktisch treten aber nicht alle Trennschärfen gleich häufig auf.
Am effizientesten sind Items mit P=50 und rit=1, da sie die beste Differenzierung zwischen Probanden ermöglichen.
Was sind Boden- bzw. Deckeneffekte?
Reichen die Itemschwierigkeiten an den Rand der Antwortskala, entstehen Boden- und Deckeneffekte. D.h. man kann nicht mehr differenzieren!
Bodeneffekte: Niemand hat es richtig gelöst
Deckeneffekte: Alle haben es richtig gelöst
Wie hängen Itemvarianz und Trennschärfe zusammen?
Eine hohe Itemvarianz begünstigt eine hohe Trennschärfe.
Was setzt eine hohe Trennschärfe voraus?
Eine hohe Trennschärfe setzt eine hohe Item-Interkorrelation voraus.
Erkläre die Homogenität:
Ziel: Items eines Test erfassen dasselbe Merkmal. Aber verschiedene Items erfassen unterschiedliche Facetten.
Homogenität = Überlappung dieser Facetten.
Die Homogenität ist ein Mass dafür, inwiefern die Items eines Tests dieselbe Eigenschaft erfassen.
Wo liegt der Unterschied zwischen Homogenität und Trennschärfe?
Homogenität: Bezug der Items “unter sich”
Trennschärfe: Bezug eines Items zum Gesamttest
Homogenität ist die Voraussetzung für eine hohe Trennschärfe (aber nicht für einen Test).
Beschreibe die Homogenität im Sinne von…
…Interkorrelation
…Faktorenanalyse
…Rasch-Modell
Interkorrelation: Homogenität = Mittelwert der Korrelation, berechnet über Fischer’s z-Transformation.
Faktorenanalyse: basiert auf der Interkorrelationsmatrix. Ordnet Variablen gemäss ihrer korrelativen Beziehung in Gruppen. Jedes Item erhält eine Faktorenladung auf jedem Faktor. Homogene Items laden auf demselben Faktor vergleichsweise hoch.
Im Rasch-Modell kann getestet werden, ob den beobachteten Variablen genau nur ein latentes Konstrukt zugrunde liegt = Homogenität.
