05 Itemanalyse und Item-Response-Theorie Flashcards
Was drückt die Itemschwierigkeit aus?
drückt aus, wie schwer oder leicht eine Aufgabe ist
Was ist mit Lösungs- bzw. Zustimmungsrate gemeint und wie formuliert man sie als Formel?
= Anteil an Personen, die ein Item i richtig lösen
pi = Ri / Ni
Ri = Anteil richtiger Antworten
Ni = Gesamtzahl der Antworten
Bsp: 15 von 20 SuS haben Aufgabe richtig beantwortet:
pi = 15/20 = 0.75
Was bedeuten die Werte 0 und 1 bei der Lösungs- bzw. Zustimmungsrate?
0 = niemand konnte Aufgabe lösen
1 = alle konnten die Aufgabe lösen
–> kleine Werte = schwer
Wie berechnet sich die Itemschwierigkeit bei Aufgaben, in denen mehr als ein Punkt erreicht werden kann?
pi = x bar / xmax
x bar = Mittelwert des Items
x max = maximale Anzahl von Punkten, die erreicht werden kann
Beispiel:
In einer Klausur kann man für eine Aufgabe maximal 3 Punkte erreichen. In einer Klassenarbeit war die durchschnittlich erreichte Punktzahl 2.4.
pi = 2.4/3 = 0.8
Welche Itemschwierigkeit sollte in Tests verwendet werden?
- sehr leichte oder schwere Items sind wenig informativ
–> p = 0.5 optimal - hier werden Fähigkeitsausprägungen besonders differenziert erfasst
- Test sollte breite Streuung von Itemschwierigkeiten umfassen (0.2-0.8)
- Dadurch ist es möglich, im unteren und oberen Fähigkeitsbereich zu differenzieren
Wie sieht eine Item-charakteristische Funktion in Bezug auf die Lösungswahrscheinlichkeit und die Information aus?
Was gibt die Steigung der Kurve bei einer Item-charakteristischen Funktion an?
Gibt an, wie informativ das Item an verschiedenen Stellen des Fähigkeitsspektrums ist.
Je trennschärfer ein Item ist, desto steiler steigt seine item-charakteristische Funktion an
Wie ist die Trennschärfe definiert?
Trennschärfe = Ausmaß, in dem ein Item das Gesamtergebnis des Tests repräsentiert
Wozu ist die Trennschärfe gut?
Sie ermöglicht eine Einschätzung, wie gut ein Item zwischen Personen mit hoher und niedriger Fähigkeitsausprägung “trennt”
Items mit geringer Trennschärfe werden von Personen unabhängig von ihrem Fähigkeitsgrad gelöst
Worüber wird die Trennschärfe üblicherweise bestimmt? Wie kann man das als Formel darstellen?
Über die Item-Gesamt-Korrelation
Das ist die Korrelation der Itembeantwortung mit dem Gesamttestwert:
rit = r(Xi, Xges-i)
Xi = die Antwort von Item i
Xges-i = der Testwert der Person auf allen anderen Items außer Item i
(Zur Erinnerung: Die mittlere Item-Gesamt-Korrelation ist ein Index für die Reliabilität (interne Konsistenz ) eines Tests -> Cronbachs alpha
Was ist der Wertebereich der Trennschärfe?
-1 bis 1
Wie wird die Trennschärfe interpretiert?
- Bei einer hohen positiven Trennschärfe erfasst das Item etwas ähnliches wie der Gesamttest.
-Eine Trennschärfe von Null bedeutet, dass das Lösungsverhalten bei dem Item nichts mit dem Antwortverhalten bei den anderen Aufgaben zu tun hat.
- Eine negative Trennschärfe bedeutet, dass eine Aufgabe von fähigen Personen seltener gelöst.
- Dies kann darauf hinweisen, dass in der Aufgabe ein Fehler ist oder die Aufgabe mehrdeutig gestellt worden ist.
–> Hohe Trennschärfe gut (> .4)
Wie sind die Trennschärfe und die Schwierigkeit miteinander verbunden?
- Je schwieriger oder leichter, desto geringer die Trennschärfe
- Je mehr Personen ein Item lösen (oder nicht lösen), desto geringer wird die Variabilität der Antworten
- Das item kann deswegen nicht mehr stark mit dem Gesamtwert eines Tests kovariieren
Was gibt die Dimensionalität eines Tests an?
Gibt an, ob der Test nur ein Merkmal bzw. Konstrukt erfasst (eindimensionaler Test) oder ob mit den Testitems mehrere Konstrukte bzw. Teilkonstrukte erfasst werden (mehrdimensionaler Test)
Was setzt das Konzept der Trennschärfe und Homogenität voraus?
Dass ein Test nur einen einheitlichen Aspekt abdeckt
Was ist eine Faktorenanalyse und was wird dabei gemacht?
Die Faktorenanalyse ist ein statistisches Verfahren, die auf der Interkorrelationsmatrix aller Items basiert
In einer Faktorenanalyse werden mehrere manifeste Items auf wenige latente, zugrunde liegende Faktoren reduziert
Woran kann man die Trennschärfe in einer Item-charakteristischen Kurve ablesen?
an der Steigung der Funktion
Wie geht man bei der Faktorenanalyse vor?
Gruppen von Items werden identifiziert, die untereinander hoch, aber gering mit anderen Items korrelieren
Worauf können die Gemeinsamkeiten zwischen den Items bei der Faktorenanalyse zurückgeführt werden?
Auf die latenten Faktoren
Was gibt die Faktorladung an und welcher anderen Größe entspricht sie?
- Wie sehr eine Aufgabe zu dem latenten Faktor beiträgt
- entspricht der Trennschärfe des Items und kann zur Gewichtung verwendet werden
- Items mit niedrigen Faktorladungen (< .4) zeigen, dass das ein Item nicht gut zu einem Faktor passt.
Können verschiedene latente Faktoren miteinander korrelieren?
Ja –> sog. latente Korrelation
Wie prüft man die Dimensionalität eines Tests?
Mit einer explorativen oder konfirmatorischen Faktorenanalyse
- Ein Test ist eindimensional, wenn es nur einen Faktor gibt.
- Bei mehrdimensionalen Tests wird für jeden Faktor eine separate Skala gebildet.
Was ist die Explorative Faktorenanalyse?
o bei der explorativen Faktorenanalyse trifft man keine Vorannahmen darüber, welche Aufgaben zu welchem Faktor gehören.
o man betrachtet die Faktorenstruktur korrelierter Variablen
Was ist die konfirmatorische Faktorenanalyse?
o Hypothesentestend.
o Testet, ob die Daten zu einer theoretisch angenommen Faktorenstruktur passen.
Welcher Punkt in der Auftragung der Itemcharakteristischen Funktion beschreibt die Itemschwierigkeit?
Der Punkt, an dem die Lösungswahrscheinlichkeit 50% ist
Was kann mit einer Wright-Map beurteilt werden?
die Passung des Tests
(Vergleich Personen- und Itemparameter)
Wie ist die PISA-Studie designt?
- Konstrukte sollen möglichst breit erfasst werden, gleichzeitig ist Testzeit pro Schüler:in begrenzt → Multi-Matrix-Design.
- Items sind in sog. Units organisiert, d.h. Itemstamm mit 3-4 Aufgaben, diese werden Clustern zugewiesen.
- Testeinheiten werden auf verschiedene Testversionen verteilt, um Positions- und Carry-over-Effekte zu kontrollieren.
Wie funktioniert die Adaptive Testung der PISA-Studie?
- Am Anfang bearbeiten die Schüler:innen eine von 8 Basis-Units
- Abhängig von ihrer Leistung wurde in einem zweiten Schritt eine Unit mit einfachen/schweren Aufgaben zugewiesen.
- In einem dritten Schritt wurde das Vorgehen wiederholt und leistungsabhängig eine einfache oder schwere Unit bearbeitet.
