Brainscape's Knowledge GenomeTM

Browse over 1 million classes created by top students, professors, publishers, and experts.


See full index

Testtheorie > IRT Item Response Theory > Flashcards

IRT Item Response Theory Flashcards

1
Q

Was ist die Grundidee der IRT?

A
  • setzt bereits an der Formulierung des Zusammenhangs von latenter Dimension und manifester Variable an
  • will manifestes Antwortverhaten durch individuelle Merkmalsausprägungen der Person erklären

Annahme:
3 Komponenten beeinflussen Antwort:
- Eigenschaften der Person
- Eigenschaften des Items
- zufällige Einflüsse

außerdem von Existenz einer einzigen (nicht mehr) latenten Dimension ausgegangen die die beobachteten Antworten beeinflusst

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Wie unterscheiden sich Modelle innerhalb der IRT?

A
  • Annahmen über Zusammenhang zwischen Ausprägung einer latenten Dimension und der Wahrscheinlichkeit einer bestimmten Antwort
    -> Itemcharakteristik: eindeutige aber nicht zwingend eindeutig umkehrbare Funktion
    zB jedes Personen-Trait ist eine eindeutige Lösungswahrscheinlichkeit für ein bestimmtes Item zugeordnet, aber es kann Personen mit unterschiedlicher Fähigkeit geben, die dieselbe Lösungswahrscheinlichkeit bei einem bestimmten Item besitzen -> Itemcharakteristik Kurve (ICC)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Welche Typen von Itemcharakteristik Kurven (ICC) kennen wir?

A
  1. streng monotone Funktionen:
    - Lösungswahrsch nimmt mit zunehmender Ausprägung der Person stetig zu oder ab
    -> stetige kurven, linear oder quadratisch
    -> kontinuierlicher Fall = Latent Trait
  2. monotone Funktionen
    - können Plateaus auftreten; Personen mit ähnlichen Fähigkeiten gleiche Lösungswahrscheinlichkeiten haben
    ->treppenförmige oder sattelförmige Kurven
    -> Latent Class
  3. nicht monotone Funktionen
    - können sowohl steigen als auch fallen
    -> U und S förmige Kurven

-> laut Forderung der spezifischen Objektivität folgt, dass sich ICC nicht schneiden dürfen -> im Raschmodell haben IC Kurven von verschiedenen Items immer dieselbe Steigung (=Diskrimination)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Was besagt die Annahme der lokalen stochastischen Unabhängigkeit?

A
  • Annahme in den meisten IRT Modellen
  • in einer Gruppe Personen mit gleicher Fähigkeit ist die Lösungswahrscheinlichkeit unabhängig davon ob die Person das vorgegebene Item gelöst hat oder nicht
    -> Lösung von Aufgaben darf nicht aufeinander aufbauen bzw. die Reihenfolge der Bearbeitung darf keine Rolle spielen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Was ist die Guttman Skala oder auch Skalogramm Analyse?

A
  • modellierte erstmals Zusammenhang der lokalen statistischen Unabhängigkeit
  • Sprungfunktion: Itemlösungswahrscheinlichkeit kann nur Ausprägungen 0 oder 1 annehmen
    -> Modell ist nicht probabilistisch sondern deterministisch

-> wesentliche Erkenntnisse für die IRT

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Was ist die Guttman Skala?

A
  • modellierte erstmals Zusammenhang
  • Sprungfunktion: Wahrscheinlichkeit kann nur Ausprägungen 0 oder 1 annehmen
    -> Modell ist nicht probabilistisch sondern deterministisch

-> wesentliche Erkenntnisse für die IRT
- Schwierigkeit des Items und Personenfähigkeit kann an der selben Skala abgelesen werden -> Personenfähigkeit an der Sprungstelle der Guttman Skala markiert Itemschwierigkeit
- nur eine Dimension wird zur Modellierung der Lösungswahrscheinlichkeit aller Items angenommen
- anhand Guttman Skala Vorhersagen machbar, die anhand manifester Items überprüfbar sind -> ‘erlaubte’ Antwortmuster
- stellt unrealistische Forderungen an die Items

-> siehe Folie 253 Bild

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Was ist das Latent Distance Model?

A
  • stellt realistischere Forderungen als die Guttman Skala
  • probabilistisch statt deterministisch
  • Sprungfunktion
  • pro Item zwei Itemlösungswahrscheinlichkeiten modelliert
  • Itemslösungsschwierigkeiten bei jedem Item anders
  • aus Daten geschätzt -> alle Antwortmuster sind möglich, nur mit unterschiedlichen Wahrscheinlichkeiten
    Kritik:
  • Annahme von konstant bleibenden Itemlösungswahrscheinlichkeiten bei steigender Personenfähigkeit wenig realistisch, eher dass Lösungswahrscheinlichkeit mit steigender Personenfähigkeit zunimmt
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Wie sind die Werte des Rasch Modells zu interpretieren?

A

Die Wahrscheinlichkeit dass Person v das Item i löst liegt zwischen 0 und 1. Entspricht die Schwierigkeit des Items der Personenfähigkeit p(+|v,i)= 0,5
Ist das Item schwieriger als die Fähigkeit p<0.5
Ist das Item weniger schwierig als die Fähigkeit p>0.5

-> S-förmige Kurve

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Wie ist im Raschmodell die Itemcharakteristik gegeben?

A

p (+|v,i) = f(U)= eᵘ / (1 + eᵘ)
mit U=ѯᵥ-σᵢ

e … eulersche Zahl
U … Paramter
ѯᵥ … Fähigkeit der Person v (ksi)
σᵢ … Schwierigkeit von Item i

Wertebereich immer zwischen 0 und 1
hängt ausschließlich vom Parameter U ab

Alternativ:

p(+|v,i)= (θᵥεᵢ) /(1+θᵥεᵢ)

mit
θᵥ=e^ѯᵥ … Fähigkeit der Person
εᵢ=e^-σᵢ … Leichtigkeit des Items

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Wie kann man die Wahrscheinlichkeit berechnen, dass Person v das Item i NICHT löst?

A

p(-|v,i)=1-p(+|v,i) -> Wahrscheinlichkeit dass Item gelöst und dass Item nicht gelöst wird ist indirekt proportional zu einander

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Welche Forderungen hatte Rasch an sein Modell?

A
  1. Verhältnis der Schwierigkeiten 2er Items soll unabhängig von Stichprobe sein
  2. Verhältnis Fähigkeiten 2er Personen soll unabhängig vom Erhebungstool sein
    –> 1&2: Forderung nach spezifischer Objektivität von Vergleichen
  3. Anzahl gelöste Items soll gesamte Info der Daten über Person enthalten
  4. Personenzahl die ein Item lösen kann, soll gesamte Info der Daten über Schwierigkeit des Items enthalten
    —> 3&4: Forderung nach erschöpfenden (suffizienten) Statistiken

Siehe Folie 270 Diagramm

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Wie sehen die IC Kurven im Raschmodell aus?

A
  • sie sind S förmig
  • sie dürfen sich nicht schneiden
  • sie haben immer die selbe Steigung (=Diskrimination)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Wie kann die Existenz der erschöpfenden Statistiken gezeigt werden?

A
  • anhand der Likelihood der Daten
    -> Wahrscheinlichkeit die erhobenen Daten zu erhalten

-> Datenmatrix mit N PVpn und I_k Items -> 0 oder 1, gelöst oder nicht gelöst
–> Wahrscheinlichkeit p(xᵥ,ᵢ=0) p(xᵥ,ᵢ=1) … dass Person v auf Item i eine Antwort gegeben hat

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Wie kann laut Rasch Modell die Wahrscheinlichkeit berechnet werden, dass Person v ein Antwortmuster zeigt?

A

-> lokal stochastische Unabhängigkeit
p(aᵥ,₁)* p(aᵥ,₂)* … * p(aᵥ,₂)* p(aᵥ,ₑ) =
Πp(aᵥ,ᵢ)=pᵥ

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Wie ist die Likelihood der Daten im Raschmodell gegeben?

A

Likelihood= Πpᵥ=Π Πp(aᵥ,ᵢ)=
Likelihood= Π Π e^(kѮᵥ-σᵢ) / ( 1 + e ^(kѮᵥ-σᵢ)) * 1 / (1 + e^(kѮᵥ-σᵢ)
-> kann durch Rechenregeln verschönert werden, siehe Folie 279

pᵥ ist das Antwortmuster der Person v
pᵥ = Πp(aᵥ,ᵢ)= p(aᵥ,₁)* p(aᵥ,₂)* … * p(aᵥ,₂)* p(aᵥ,ₑ)

p(aᵥ,ᵢ) = e^(kѮᵥ-σᵢ) / ( 1 + e ^(kѮᵥ-σᵢ)) * 1 / (1 + e^(kѮᵥ-σᵢ)
-> Formel kann gekürzt werden je nachdem ob 0 oder 1 (richtig/falsch beantwortet) der Fall ist

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Wie ist im dichotom logistischen Rasch Modell die Wahrscheinlichkeit gegeben, dass eine Person eine Frage richtig(1) oder falsch (2) beantwortet?

A

p(1|v,i)= e^(kѮᵥ-σᵢ) / ( 1 + e ^(kѮᵥ-σᵢ))
p(0|v,i)= 1 / (1 + e^(kѮᵥ-σᵢ)

-> je nach Fall muss die richtige Variante gewählt werden!

17
Q

Welche Schlüsse kann man aus dem Rasch Modell ziehen?

A
  • Personen die im Test die selbe Anzahl gelöster Aufgaben erzielen werden die selben Fähigkeitsparameter zugeordnet
  • Erkenntnis dass erschöpfende Statistiken nur gelten, wenn die Items den Anforderungen des Modells von Rasch (RM) entsprechen, hat weitreichende Konsequenzen -> zB in KTT vorgesehene Summenbildung zur Gewinnung eines Rohscores ist nur fair wenn die Items dem RM entsprechen
18
Q

Was bedeutet die spezifische Objektivität im Raschmodell?

A

dass das Verhältnis zweier Itemschwierigkeiten unabhängig von der Stichprobe bzw Vpn ist

                     Item 2 
                      -           + Item 1       -    ///.         a
              \+.   b       ////

-> Anzahl jener Personen die beide Items lösen/nicht lösen werden nicht berücksichtigt da es von Qualität der Stichprobe abhängt, Personenparameter kürzen sich raus

p(1,0|rᵥ=1;v,εₐ,εₒ) = εₐ, / (εₐ + εₒ)
p(0,1|rᵥ=1;v,εₐ,εₒ) = εₒ, / (εₐ + εₒ)
-> Wahrscheinlichkeit, dass Person v Item A löst aber Item B nicht, vorausgesetzt Person v kann genau eines der beiden Items lösen
-> darin steckt das Verhältnis der Itemschwierigkeiten

19
Q

Wofür ist das dichotom logistische Modell von Rasch geeignet?

A
  • wenn Menge von Items IRT Modell entspricht -> Personen können miteinander verglichen werden auch wenn unterschiedliche Aufgaben bearbeitet wurden
    –> Tests können an Personen angepasst werden (=adaptives Testen)
  • Vergleichbarkeit von Personen die unterschiedliche Items bearbeitet haben ist nicht mehr über die Zahl der gelösten Aufgaben sondern nur über die geschätzten Personenparameter möglich
  • adaptives Testen viele Vorteile -> erhöht auch die Genauigkeit der Schätzung des Personenparameters
20
Q

Welche Arten des adaptiven Testens kennen wir?

A
  1. Tailored Testing (maßgeschneidertes Testen)
    - üblich: zu Beginn mittelschwere(s) Item
    - nach jedem Item Personenparameter neu geschätzt
    - aus Itempool jenes Item gewählt, dessen Schwierigkeit der Fähigkeit am besten entspricht
    –> rechenintensiv, comuptergestützt
  2. Branched Testing (verzweigtes Testen)
    –> bereits bei Testentwicklung Items in Gruppen zusammengestellt
    - je nachdem ob in ersten Itemgruppe gut/schlecht abgeschnitten -> 2. Itemgruppe
21
Q

Wie funktioniert die explizite Methode der Parameterschätzung im Raschmodell?

A
  • basiert auf spezifischen Objektivität ->
    p(1,0|rᵥ=1;v,εₐ,εₒ) = εₐ, / (εₐ + εₒ) /
    p(0,1|rᵥ=1;v,εₐ,εₒ) = εₒ, / (εₐ + εₒ)

-» Parameter = εₐ/ εₒ ~~ n(1,0)/n(0,1)

-> Matrix aus Items gelöst/nicht gelöst

Π nₑ,ᵢ / nᵢ,ₑ ~~ Πεᵢ/εₑ ~~ εᵢᵏ(Πεₑ)
e=1
e≠i

^εᵢ= √Πnₑ,ᵢ / nᵢ,ₑ

^ε1, ^ε2, ^ε3 -> alleine bedeuten die Parameter nix, nur im vergleich zu einander

22
Q

Was ist die Maximum-Likelihood Methode?

A

-> Schätzung der unbekannten Parameter im Raschmodell
- unbekannte Parameter werden so geschätzt, dass die Likelihood der Daten maximal wird

3 Arten
1. unbedingte Maximum Likelihood Methode (UML)
2. bedingte Maximum Likelihood Methode (CML)
3. marginale Maximum Likelihood Methode (MML)

23
Q

Wie funktioniert die unbedingte Maximum Likelihood Methode?

A

-basiert auf der Totalen Likelihood der Daten
- Personenfähigkeits- und Itemschwierigkeitsparameter gleichzeitig geschätzt
- für jedes Item für jede Person ein eigener Parameter
–> jede neu hinzukommende Person braucht einen weiteren Personenfähigkeitsparameter
—-> große Probleme bei der Schätzung

24
Q

Wie funktioniert die bedingte Maximum Likelihood Methode?

A
  • Annahme: pro Person Zahl der gelösten Aufgaben bekannt
  • Personenparameter werden durch Anzahl gelöster Aufgaben ersetzt
  • zunächst “nur” Itemschwierigkeitsparameter geschätzt
  • Schätzung erfolgt mittels UML: Personen mit gleichen Anzahl an gelösten items wird der selbe Personenparameter zugeordnet
  • für Personen die alle oder kein item gelöst haben kein Fähigkeitsparameter!
25
Q

Wie funktioniert die marginale Maximum Likelihood Methode?

A
  • zunächst nur Itemparameter geschätzt
  • Anstatt von pro Person bekanntem Rohscore auszugehen wird von einer bestimmten Verteilung der Personenparameter ausgegangen (zB Normalverteilt)
    -> somit müssen zuerst anstatt einzelner Personenparameter vorerst nur Parameter der Verteilung (zB Mittelwert und Varianz) geschätzt werden
    -> nach Schätzung der Itemparameter werden Personenparameter mittels UML geschätzt
    Verzerrungen ergeben sich wenn vorab angenommene Verteilung der Personenparameter falsch ist
26
Q

Welche Probleme ergeben sich bei der Parameterschätzung im RM?

A
  • wenn es kein definiertes Maximum der Likelihoodfunktion gibt:
  • wenn Funktion mehrere Maxima hat
  • das Maximum kein Punkt sondern ein Plateau oder eine Fläche ist

-> Genauigkeit der Schätzung ist abhängig davon wie viel Infos man über einen Parameter besitzt

27
Q

Was besagt die Informationsfunktion?

A

-Information die Person v über Item i beinhaltet und umgekehrt
-je ähnlicher Schwierigkeit des Items i der Fähigkeit der Person v ist, umso höher ist Info die eine Person über ein Item bzw. über eine Person liefert
-Informationsfunktion die höchste Informationsgehalt wenn Lösungswahrscheinlichkeit 0,5 (siehe Folie 310)
- je größer Info über Item oder Personen umso genauer kann Personen- bzw. Itemparameter schätzen
–> Messgenauigkeit eines Tests ist nicht bei allen Personen gleich
—> je stärker die Itemschwierigkeit von der durchschnittlichen Personenfähigkeit einer Gruppe abweicht umso ungenauer ist die Schätzung der Itemschwierigkeit

Iᵥ,ᵢ= p(+|v,i)p(-|v,i)
Iᵥ,ᵢ= e^(Ѯᵥ-σᵢ) / 1+e^(Ѯᵥ-σᵢ)1/(1+e^(Ѯᵥ-σᵢ))

28
Q

Wofür kann die Informationsfunktion genutzt werden?

A

daraus berechnete Varianz der Parameterschätzer (=Schätzfehlervarianz) kann verwendet werden um KIs für die geschätzten Parameter zu bestimmen

σᵢ₁,₂=^σᵢ±z(krit)√(1/I(σᵢ) bzw. σᵢ₁,₂=^σᵢ±z(krit)^σ(^σᵢ)

Ѯᵥ₁,₂=Ѯᵥ₁±(1/I(Ѯᵥ) bzw. Ѯᵥ₁,₂=Ѯᵥ₁±z(krit)*^σ(^Ѯᵥ)

29
Q

Was besagt die IC Funktion?

A

Wahrscheinlichkeit dass Person v mit Fähigkeit eta ein konkretes Antwortverhalten y zeigt
-> höhere Beantwortungswahrsch wenn höhere Fähigkeit -> geht asymptotisch gegen 1
-> niedrige symptomatische Beantwortungswahrscheinlichkeit geht gegen 0

30
Q

Was ist der Diskriminationsparameter λᵢ?

A

sind die Diskriminationsparameter konstant, vereinfacht sich die Gleichung der IC Funktion auf das Rasch Modell
-> konstante Diskriminationsparameter bedeuten dass alle Items gleich gut zwischen Personen mit hoher und Personen mit niedriger Ausprägung differenzieren -> parallele IC Kurven

-> im Rasch Modell alle Diskriminationsparameter = 1
-> spezifische Objektivität

31
Q

Was ist der Leichtigkeitparameter?

A
32
Q

Was ist die entscheidende Größe für die Lösungswahrscheinlichkeit eines Items laut IRT?

A

Differenz zwischen der latenten Merkmalsausprägung η einer Person und der jeweiligen Itemschwierigkeit (Leichtigkeitsparameter?) β
-> gemeinsame Skala (Joint Scale), individuelle Personenwerte können durch ihre Abstände zu den Itemschwierigkeiten interpretiert werden

33
Q

Was ist die spezifische Objektivität?

A

Von den Items unabhängige Vergleiche der Merkmalsausprägungen zweier Personen und von den Vpn unabhängige Vergleiche der Itemschwierigkeit
- im Rasch Modell und PCM Modell: λ immer konstant -> Items immer parallel -> unabhängig

34
Q

Was ist die Rasch-Homogenität?

A

Annahme im Rasch Modell dass alle Items im Test eindimensional sind
-> Diskriminationsparameter auf 1 fixiert
- Itemschwierigkeiten dürfen sich unterscheiden
- für jedes Item ein Itemparameter geschätzt -> 1PL-Modell
- immer dichotom

35
Q

Was ist das Partial Credit Modell?

A
  • Erweiterung des Rasch Modell
  • kategoriale Antwortvariablen mir geordneten Antwortkategorien
  • Annahmen des Rasch-Modells auf mehrere Schwellen übertragen
  • Diskriminationsparameter für alle Items ident
  • Schwellenparameter frei geschätzt
  • Anzahl der Kategorien für alle Items gleich
  • polytomer Antwortmodus mit geordneten Antwortkategorien
36
Q

Was sind die Modellparameter des Raschmodells?

A
  • dichotomer Antwortmodus
  • Diskriminationsparameter bei allen Items = 1
  • Schwierigkeitsparameter frei geschätzt
37
Q

Was ist das Birnbaum Modell?

A
  • Erweiterung des Rasch Modells
  • dichotomer Antwortmodus
  • Diskriminationsparameter frei geschätzt -> weniger streng
  • Schwierigkeitsparameter frei geschätzt
  • keine spezifische Objektivität!
  • Item- und Personenparameter sind nicht separierbar

-> 2 Parameter werden geschätzt -> 2PL Modell

Testtheorie (10 decks)

Brainscape helps you reach your goals faster, through stronger study habits.
© 2024 Bold Learning Solutions. Terms and Conditions