Itemanalyse und Itemselektion im Rahmen der KTT Flashcards
Was passiert bei der Itemanalyse?
Test wird mögl repräsentativen Stichprobe vorgelegt, um Eignung der Items deskriptivstatistisch und evtl faktorenanalytisch zu untersuchen
übliche Kennwerte:
- Itemschwierigkeit
- Itemvarianz -> Differenzierfähigkeit
- Itemtrennschärfe
Was besagt die Itemschwierigkeit und wie wird sie berechnet?
Pᵢ= (Σxᵥᵢ-Nmin(Xᵢ)
/N(max(Xᵢ)-min(Xᵢ) * 100
Pᵢ….Schwierigkeitsindex eines Items i
N … Anzahl Personen
min (Xᵢ) … minimal möglicher Punktewert des Items
max (Xᵢ) …. maximal möglicher Punktewert des Items
Was besagt die Itemvarianz und wie wird sie berechnet?
- aus der Statistik bekannte Formeln für Varianz
- vereinfacht gilt: je größer Varianz um so besser die Diskiminationsfähigkeit
unterschiedliche Formeln für metrische und dichtotome Items (siehe Folie 221)
Was ist die Itemtrennschärfe und wie wird sie berechnet?
- korrelativer Zusammenhang zwischen den Punkten, die von Person v im Item i und den Punkten die Person v im Gesamttest erreicht hat
rᵢ,ₑ=r(Xᵢ,ᵥ, Xᵥ) -> unkorrigiert
Wie wird die korrigierte Itemtrennschärfe berechnet?
Punktezahl im Gesamttest wird um Punktezahl im jeweiligen Item erzielt wurde reduziert
rᵢ,ₑ=r(Xᵢ,ᵥ, Xᵥᵢ) mit Xᵥ*ᵢ= Xᵥ-Xᵥ,ᵢ
Wie läuft die Itemselektion ab?
- basiert u.a. auf gleichzeitigen Berücksichtigung der ermittelten Testkennwerte
- auch Ergebnisse der Faktorenanalyse
Was besagt das Verdünnungsparadoxon?
Zusammenhang Itemtrennschärfe, Itemvalidität und Validität des Gesamttests
-> Gesamttestvalidität steigt wenn Itemvalidität steigt ABER Testvalidität nimmt mit hoher Itemtrennschärfe ab —-> Itemtrennschärfe sollte nicht zu hoch sein
val(X)=Σσ(Xᵢ) * val(Xᵢ)
/Σσ(Xᵢ) * ρ
-> wenn Itemvalidität als auch Trennschärfe vorliegt, kann der Quotient (Qᵢ) dafür verwednet werden, welche Items bei einer geplanten Testverkürzung aus einem Test entfernt werden können, um dabei die Testvalidität möglichst groß zu halten
Qᵢ= vâl(Xᵢ)/rᵢ,ₑ
die gewünschte Anzahl von Items mit den geringsten Quotienten wird entfernt
Welche Schritte der Itemanalyse gibt es?
- Erstellung der Datenmatrix
- Analyse der Itemschwierigkeiten
- Bestimmung der Itemvarianzen
- Vorläufige Testwertermittlung
- Trennschärfeanalyse der Items
- Itemselektion auf Basis von Itemschwierigkeit, Itemvarianz und Trennschärfe
- Erneute Testwertbestimmung
Was ist der Schwierigkeitsindex Pi?
Quotient aus der erreichten Punktesumme aller n Testpersonen und der maximal errechenbaren Punktsumme aller n Testpersonen
Pᵢ= (Σ[yᵥ-min(yᵢ)] / n*[max(yᵢ)-min(yᵢ)]) * 100
-> Pᵢ Wertebereich zwischen 0 und 100
- Pᵢ umso größer, je mehr Vpn Item lösen konnten
-> numerische Höhe bezeichnet eigentlich die Leichtigkeit des Items, ist gleich dem prozentualen Anteil der auf diese Aufgabe entfallenden richtigen Antworten in Beziehung zur Analysestichprobe von der Größe n
–> Pᵢ bei schwierigen Aufgaben niedrig, bei leichten aufgaben hoch
–> kann als durchschnittliches Ausmaß der Zustimmung auf der k-stufigen Antwortskala interpretiert werden
Wie unterscheiden sich Schwierigkeitsindex der KTT und (Leichtigkeits)parameter der IRT?
- in KTT so parametrisiert, dass numerische Höhe die Leichtigkeit des Items angibt
- in IRT so parametrisiert, dass der Parameter tatsächlich die Schwierigkeit des Items kennzeichnet
(siehe Kap 13 und 16)
Was ist die Itemvarianz?
- Maß für die Differenzierungsfähigkeit eines Items i in Stichprobe
- Ausprägung der Itemvarianz ist durch Itemschwierigkeit begrenzt: sehr schwierige oder sehr leichte items geben wenig differenzierung, am Besten mittelschwere Items
Var(yᵢ)= Σ(yᵥᵢ-ȳᵢ)²/n -> nicht Formelsammlung
wenn Itemschwierigkeit bekannt:
Var(yᵢ)=Σ(yᵥᵢ-pᵢ*(k-1))² / n -> nicht Formelsammlung
bei zweistufigen Items:
Var(yᵢ)=pᵢ*(1-pᵢ) -> nicht Formelsammlung
-> quadratische Standardabweichung der Items
Itemvarianz steht in Verhältnis zur Itemschwierigkeit
Wie stehen Itemmittelwert ȳᵢ und Itemschwierigkeit Pᵢ miteinander in relation?
ȳᵢ=pᵢ*(k-1)
funktionale Abhängigkeit zu einander
Was ist Crohnbachs Alpha?
besagt wie gut ein item oder eine Gruppe von items in einem Fragebogen ein einziges unilatentes Konstrukt messen
-> inwieweit Items miteinander korrelieren
- Werte zwischen -1 und 1
- ab Alpha>.7 ein akzeptabler Wert
Was ist Crohnbachs Alpha?
besagt wie gut ein item oder eine Gruppe von items in einem Fragebogen ein einziges unilatentes Konstrukt messen
-> inwieweit Items miteinander korrelieren
- Werte zwischen -1 und 1
- ab Alpha>.7 ein akzeptabler Wert
Was besagt die Itemtrennschärfe?
Schätzt wie gut ein Item zwischen Personen mit hoher und niedriger Merkmalsausprägung trennt
-> korrelativer Zusammenhang eines einzigen Items mit dem Gesamttest
Korrelation eines Items i mit dem Gesamtergebnis eines Tests
r(Xᵢ, X) bzw r(Xᵢ, X⁺) mit X⁺=X-Xᵢ
Xᵢ… Werte des items i
X⁺… Gesamtwert des Tests minus Item i -> whole-part Korrektur
-> die Korrelation den Werten des Items i mit dem Gesamtwert des Tests minus des Items i
- Wertebereich liegt zwischen -1 und 1
-> hoher Wert: Item erfasst etwas ähnliches wie Gesamttest
-> nahe 0: Item hat mit restlichem Test wenig gemeinsam
-> negativer Wert: Hinweis auf falsche Polung
-> gibt erste Hinweise ob die einzelnen Items das selbe Merkmal messen
