Itemanalyse und Itemselektion im Rahmen der KTT Flashcards
Was passiert bei der Itemanalyse?
Test wird mögl repräsentativen Stichprobe vorgelegt, um Eignung der Items deskriptivstatistisch und evtl faktorenanalytisch zu untersuchen
übliche Kennwerte:
- Itemschwierigkeit
- Itemvarianz -> Differenzierfähigkeit
- Itemtrennschärfe
Was besagt die Itemschwierigkeit und wie wird sie berechnet?
Pᵢ= (Σxᵥᵢ-Nmin(Xᵢ)
/N(max(Xᵢ)-min(Xᵢ) * 100
Pᵢ….Schwierigkeitsindex eines Items i
N … Anzahl Personen
min (Xᵢ) … minimal möglicher Punktewert des Items
max (Xᵢ) …. maximal möglicher Punktewert des Items
Was besagt die Itemvarianz und wie wird sie berechnet?
- aus der Statistik bekannte Formeln für Varianz
- vereinfacht gilt: je größer Varianz um so besser die Diskiminationsfähigkeit
unterschiedliche Formeln für metrische und dichtotome Items (siehe Folie 221)
Was ist die Itemtrennschärfe und wie wird sie berechnet?
- korrelativer Zusammenhang zwischen den Punkten, die von Person v im Item i und den Punkten die Person v im Gesamttest erreicht hat
rᵢ,ₑ=r(Xᵢ,ᵥ, Xᵥ) -> unkorrigiert
Wie wird die korrigierte Itemtrennschärfe berechnet?
Punktezahl im Gesamttest wird um Punktezahl im jeweiligen Item erzielt wurde reduziert
rᵢ,ₑ=r(Xᵢ,ᵥ, Xᵥᵢ) mit Xᵥ*ᵢ= Xᵥ-Xᵥ,ᵢ
Wie läuft die Itemselektion ab?
- basiert u.a. auf gleichzeitigen Berücksichtigung der ermittelten Testkennwerte
- auch Ergebnisse der Faktorenanalyse
Was besagt das Verdünnungsparadoxon?
Zusammenhang Itemtrennschärfe, Itemvalidität und Validität des Gesamttests
-> Gesamttestvalidität steigt wenn Itemvalidität steigt ABER Testvalidität nimmt mit hoher Itemtrennschärfe ab —-> Itemtrennschärfe sollte nicht zu hoch sein
val(X)=Σσ(Xᵢ) * val(Xᵢ)
/Σσ(Xᵢ) * ρ
-> wenn Itemvalidität als auch Trennschärfe vorliegt, kann der Quotient (Qᵢ) dafür verwednet werden, welche Items bei einer geplanten Testverkürzung aus einem Test entfernt werden können, um dabei die Testvalidität möglichst groß zu halten
Qᵢ= vâl(Xᵢ)/rᵢ,ₑ
die gewünschte Anzahl von Items mit den geringsten Quotienten wird entfernt
Welche Schritte der Itemanalyse gibt es?
- Erstellung der Datenmatrix
- Analyse der Itemschwierigkeiten
- Bestimmung der Itemvarianzen
- Vorläufige Testwertermittlung
- Trennschärfeanalyse der Items
- Itemselektion auf Basis von Itemschwierigkeit, Itemvarianz und Trennschärfe
- Erneute Testwertbestimmung
Was ist der Schwierigkeitsindex Pi?
Quotient aus der erreichten Punktesumme aller n Testpersonen und der maximal errechenbaren Punktsumme aller n Testpersonen
Pᵢ= (Σ[yᵥ-min(yᵢ)] / n*[max(yᵢ)-min(yᵢ)]) * 100
-> Pᵢ Wertebereich zwischen 0 und 100
- Pᵢ umso größer, je mehr Vpn Item lösen konnten
-> numerische Höhe bezeichnet eigentlich die Leichtigkeit des Items, ist gleich dem prozentualen Anteil der auf diese Aufgabe entfallenden richtigen Antworten in Beziehung zur Analysestichprobe von der Größe n
–> Pᵢ bei schwierigen Aufgaben niedrig, bei leichten aufgaben hoch
–> kann als durchschnittliches Ausmaß der Zustimmung auf der k-stufigen Antwortskala interpretiert werden
Wie unterscheiden sich Schwierigkeitsindex der KTT und (Leichtigkeits)parameter der IRT?
- in KTT so parametrisiert, dass numerische Höhe die Leichtigkeit des Items angibt
- in IRT so parametrisiert, dass der Parameter tatsächlich die Schwierigkeit des Items kennzeichnet
(siehe Kap 13 und 16)
Was ist die Itemvarianz?
- Maß für die Differenzierungsfähigkeit eines Items i in Stichprobe
- Ausprägung der Itemvarianz ist durch Itemschwierigkeit begrenzt: sehr schwierige oder sehr leichte items geben wenig differenzierung, am Besten mittelschwere Items
Var(yᵢ)= Σ(yᵥᵢ-ȳᵢ)²/n -> nicht Formelsammlung
wenn Itemschwierigkeit bekannt:
Var(yᵢ)=Σ(yᵥᵢ-pᵢ*(k-1))² / n -> nicht Formelsammlung
bei zweistufigen Items:
Var(yᵢ)=pᵢ*(1-pᵢ) -> nicht Formelsammlung
-> quadratische Standardabweichung der Items
Itemvarianz steht in Verhältnis zur Itemschwierigkeit
Wie stehen Itemmittelwert ȳᵢ und Itemschwierigkeit Pᵢ miteinander in relation?
ȳᵢ=pᵢ*(k-1)
funktionale Abhängigkeit zu einander
Was ist Crohnbachs Alpha?
besagt wie gut ein item oder eine Gruppe von items in einem Fragebogen ein einziges unilatentes Konstrukt messen
-> inwieweit Items miteinander korrelieren
- Werte zwischen -1 und 1
- ab Alpha>.7 ein akzeptabler Wert
Was ist Crohnbachs Alpha?
besagt wie gut ein item oder eine Gruppe von items in einem Fragebogen ein einziges unilatentes Konstrukt messen
-> inwieweit Items miteinander korrelieren
- Werte zwischen -1 und 1
- ab Alpha>.7 ein akzeptabler Wert
Was besagt die Itemtrennschärfe?
Schätzt wie gut ein Item zwischen Personen mit hoher und niedriger Merkmalsausprägung trennt
-> korrelativer Zusammenhang eines einzigen Items mit dem Gesamttest
Korrelation eines Items i mit dem Gesamtergebnis eines Tests
r(Xᵢ, X) bzw r(Xᵢ, X⁺) mit X⁺=X-Xᵢ
Xᵢ… Werte des items i
X⁺… Gesamtwert des Tests minus Item i -> whole-part Korrektur
-> die Korrelation den Werten des Items i mit dem Gesamtwert des Tests minus des Items i
- Wertebereich liegt zwischen -1 und 1
-> hoher Wert: Item erfasst etwas ähnliches wie Gesamttest
-> nahe 0: Item hat mit restlichem Test wenig gemeinsam
-> negativer Wert: Hinweis auf falsche Polung
-> gibt erste Hinweise ob die einzelnen Items das selbe Merkmal messen
Wie funktioniert die vorläufige Testwertermittlung?
- wenn zum Messen des selben Merkmals mehrere Items konstruiert wurden
- pro Person vorläufige Zusammenfassung der Testwerte Yv
Yv=Σyvi
Vorliegen von Eindimensionalität ist die wesentliche Grundvoraussetzung
Was gibt die Item Trennschärfe an?
- ob und wie gut die Merkmalsdifferenzierung des Items i mit der Merkmalsdifferenzierung, die alle Items gemeinsam leisten, übereinstimmt
- hohe Trennschärfe gibt Information, kann unterschiedliche Ausprägungen scharf trennen
rᵢ,ₒ eines Items i drückt aus wie groß der Zusammenhang zwischen Variablen der Itemwerte yᵢ der Testpersonen und der Testvariablen Y ist - Wertebereich -1 bis 1
Wie wird die Itemtrenschärfe berechnet?
- Korrelation der Punkten von Person v in Item i und den Punkten die von Person v im Gesamttest erzielt werden
rᵢ,ₒ=r(Xᵢ,ᵥ,Xᵥ) -> unkorrigierte Trennschärfe
part-whole korrigierte Trennschärfe: rᵢ,ₒ=r(Xᵢ,ᵥ,Xᵥ⁺) mit Xᵥ-Xᵢ,ᵥ
Wie wird die Itemtrennschärfe interpretiert?
- Werte zwischen ]-1;1[
- hoch positiv: Item i wird von Personen je nach Merkmalsausprägung symptomatisch beantwortet, Personen mit hoher Ausprägung hoher score, Personen mit niedriger Ausprägung niedriger Score -> kann gut differenzieren
hohe Varianz begünstigt hohe Trennschärfe - nahe 0: Item i hat wenig Zusammenhang mit der Differenzierung durch den Gesamttest; was auch immer Item i misst es ist unabhängig vom gesamt summierten Test
- hoch negativ: Personen mit niedriger Ausprägung haben hohe scores, Personen mit hohes Ausprägung niedrige Scores -> invers, Hinweis, dass falsch gepolt wurde
Wie läuft die Itemselektion ab?
Ziel:
1.) Items sollen Items differenzieren können
2.) Items sollen Items die dasselbe messen zusammengefasst werden
- Betrachtung Schwierigkeitsindex + Varianz:
Pi= 50 gute Schwierigkeit da am meisten Info aber auch wichtig ob ganzes Merkmalsspektrum (auch Extremfälle) dargestellt werden soll -> dann auch Items mit Trennschärfe 5 ≤ Pi ≤ 95 wählen, auch wenn die Itemvarianz von Items PI ≤ 20 und Pi ≥ 80 klein ist - Betrachtung Itemtrennschärfe:
-r(Xᵢ,X)
- Itemwerte zwischen -1 und 1
- hohe Werte gut, unterscheiden gut zwischen Fällen
- Items mit Werten nahe 0 sollten gestrichen werden
Was ist bei der Testwertbestimmung X zu beachten?
Xᵢ ist die Summe aller Testwerte xᵥ,ᵢ aller Personen v im allen Items i
zu beachten: Itemhomogenität, Eindimensionalität
-> kann mit Faktorenanalyse geprüft werden
Was ist die deskriptivstatistische Itemanalyse und welche Maße werden hierfür herangezogen?
- erste empirische Erprobung neu konstruierter Items
- “Pilotstudie”
- Itemschwierigkeit
- Itemvarianz
- Itemtrennschärfe
Welche Methoden zur Testwertinterpretation kennen wir?
Zur Interpretation müssen Testwerte in Maßstab gesetzt werden
- normorientierte Interpretation = Realnorm:
relativ zur Bezugsgruppe, Testnorm bezieht sich nur auf relative Position in Bezugsgruppe
- kriteriumsorientierte Interpretation = Idealnorm
theoretische Vorstellungen darüber wie das Beantworten bestimmter Aufgaben mit genau definierten Kriterien in Zusammenhang steht
Wie funktioniert die normorientierte Testwertinterpretation?
-> Test Wert (Rohwert) wird in Normwert umgewandelt
nichtlineare Transformation: PR
-> benötigt nur kumulierte Häufigkeiten
-> benötigt keine Normalverteilung
ABER: darf nicht intervallskaliert interpretiert werden, keine Differenzbildung, keine Verhältnisse
PR= 100 * (freq(kumuliert) / N)
–> Prozentrang Normtabelle
lineare Transformation: z-Transformation
-> intervallskaliert vorausgesetzt aber beliebig verteilt
- standardisierter Mittelwert und Standardabweichung
z= y-ȳ / s(y)
Mittelwert von z = 0
s(z)= 1
z - Wert = Standardwert
