Deskriptivstatistische Evaluation von Items (Itemanalyse) und Testswertverteilungen Flashcards
Schwierigkeitsindex
Der Schwierigkeitsindex Pi eines Items ist der Quotient aus der bei diesem Item tatsächlich erreichten Punktsumme aller n Probanden und der maximal erreichbaren Punktsumme, multipliziert mit 100.
Interpretation
• Wertebereich 0 <= Pi <= 100
• Je größer Pi
–> desto leichter ist das Item („Leichtigkeit“!)
–> desto mehr Pbn konnten das Item lösen oder haben symptomatisch i.S. der Merkmalsausprägung geantwortet.
!Anders als bei probabilistischer Testtheorie: hohe Werte= Schwierigkeit!!!
Das Ziel ist dann Merkmalsdifferenzen zu erfassen, also Unterschiede zwischen den Probanden.
Varianz im Antwortverhalten. Um das zu schaffen müssen die Aufgaben weder zu leicht nich zu schwierig sein.
Ratekorrektur
Die Formeln zum Schwierigkeitsindex die wir biher gesehen haben, dürfen nur dann angewendet werden, wenn man die gut begründete Annahem machen kann, dass Einflüsse des Ratens für die Bearbeitung vernachlässigber unbedeutend sind. Wenn solch eine Annahme nict gerechtfertigt ist:
Korrigierter Schwierigkeitsindex Pi:
Trennschärfe
Die Trennschärfe
r it eines Items i drückt aus, wie groß der
korrelative Zusammenhang zwischen den Itemwerten x vi
der Pbn und den Testwerten x v der Pbn ist.
wie stark die Differenzierung zwischen den Probanden auf Basis des jeweiligen Items, mit der Differenzierung zwischen den Probanden auf Basis des mit allen Items gebildeten Test übereinstimmt.
Interpretation der Trennschärfe
3 Fallunterscheidungen
- r it nahe 1 (relativ hoch)
• Item wird von Pbn mit hohem Testwert gelöst /
symptomatisch beantwortet und von Pbn mit niedrigem Testwert nicht
• einzelne Items differenzieren ähnlich wie Gesamttest
–>ITEMS WERDEN IM FRAGEBOGEN BEIBEHALTEN - r it nahe 0
• Durch Item erzielte Differenzierung: Kein Zusammenhang mit Differenzierung durch Gesamttest
–> Item ist ungeeignet , zwischen Pbn mit hohem vs. niedrigem Testwert zu unterschieden
• Item misst unabhängig von dem, was übrige Items und Testwert messen
–> ITEMS WERDEN IM FRAGEBOGEN NICHT BEIBAHLTEN - r it nahe 1
• Item wird von Pbn mit niedriger Merkmalsausprägung gelöst / symptomatisch beantwortet und von Pbn mit hoher Merkmalsausprägung nicht
• Ursachen
- Mängel in Instruktion oder Itemformulierung
-Keine Umpolung invertierter Items
• Persönlichkeitstests: ggf. Nutzen invertierter Items, indem man Kodierungsrichtung ändert und sie als invertierte Items auffasst
- positive Trennschärfe
- aber evtl. theoretisch problematisch
Trennschärfen von 0.4 bis 0.7 gelten als „gut“.
Itemselektion
Auf Grundlage von
- Itemschwierigkeit
- Itemvarianz
- Itemstrennschärfe
Zusätzlich: Reliabilität und Variabilität des tests beachten!
Normalisierung
•
Wenn Merkmal in Population normalverteilt und nur Stichprobe abweicht
–> Transformation der Testwerte
Normalisierung bezeichnet den Vorgang, bei dem die Testwerteverteilung durch nichtlineare Transformation der Testwerte einer NV angenähert wird.
•Verschiedene Möglichkeiten der Verteilungsanpassung
- Logarithmierung
- Quadrieren
- Flächentransformation
Logarithmierung
- Anreißer der rechtsschiefen Verteilung an Mitte angenähert
- Linksschiefe Verteilung: Logarithmierung würde Schiiefe verstärken; nicht geeignet
Quadrieren
Ausreißer der linksschiefen Verteilung an Mitte angenähert
Flächentransformation
Bei der Flächentransformation werden die
Histogrammsäulen der Testwerteverteilung in der Weise verändert, dass die einzelnen Säulen hinsichtlich Höhe und Breite der NV angepasst werden. Gemäß dem Prinzip der Flächentreue bleiben die jeweiligen Flächenanteile unter der Verteilung dabei unverändert.
