HC10 Introductie item-responstheorie Flashcards
Kenmerken van Klassieke TestTheorie
- gericht op betrouwbaarheid meten –> RXX en SE
- hoe meet je hypothetisch begrip? –> betrouwbare score T schatten met testscore X
Nadelen KTT
- T en X zijn afhankelijk van respondent en test
- geen controle op het model (er is geen manier om na te gaan of X = T + E wel klopt)
- intervalmeetniveau van X oncontroleerbaar
- implausibele aanname: nauwkeurigheid van de meting SE is voor iedereen gelijk
Item-responstheorie
- moderne testtheorie
- Alternatief voor KTT
- statistisch model om verschillen in item- en testscores te kunnen verklaren aan de hand van de te gemeten eigenschap
Wat doen modellen
- beschrijven fenomeen
- versimpelde weergave werkelijkheid
- passen in meer of mindere maten
Onvoorwaardelijke kans
Voldoende score op een van de items
–> onvoorwaardelijke simultane kans = voldoende score op beide items
Voorwaardelijke kans
voldoende score op de ene delen door de voldoende score op de ander
–> ook andersom
Item-kansen bij dichotome items
- p-waarde: proportie die vraag goed maakt
- dit is een onvoorwaardelijke kans –> P(X = 1)
- maar: niet iedereen heeft precies die kans op goedmaken vragen (ligt aan vaardigheid respondent)
Item-kansen en vaardigheidsniveau
- bij bepalen van discriminatie-index D keken we naar phigh en plow
- in de hoogste 30% zitten ook gradaties van kansen
- steeds verder opsplitsen
- wat we willen is de kans op item goed gegeven jouw exacte vaardigheidsniveau –> centraal bij IRT
Theta
- latente trek
Geeft iemands vaardigheidsniveau aan (bijv. hoe goed je bent in wiskunde)
- vergelijkbaar met betrouwbare score in klassieke testtheorie
- iedereen heeft eigen waarde op theta
aanname: theta standaardnormaal verdeeld
IRT en item-karkateristieke functie
- IRT draait om bepalen van kans op goedmaken vraag gegeven vaardigheidsniveau theta
- de beschijving van de itemkans als functie van theta noemen we de item-karakteristieke functie
- item-karakteristieke functie laat zien hoezeer je vaardigheid uitmaakt voor kans op goedmaken vraag
Item-karakteristieke functies
Beschrijving van de kans op goed antwoord gegeven theta
- item-karakteristieke functie voor ieder item anders door moeilijkheid en discriminatie
- als je IKF weet en theta weet, kun je de kans op goedmaken vraag bepalen –> door figuur te lezen
Item-karakteristieke functies en IRT modellen
- Hoe kun je IKF bepalen –> IRT model maakt aannames over de vorm van de IKF, hiermee kun je IKF schatten
Rasch model formule
P(X = 1|theta) = (e^theta-b)/(1 + e^theta-b)
Rasch model
- one parameter logistic model
- slechts 1 item-parameter: beta; itemmoelijkheid
- gebruik de formule
Beta in 1-PLM
Moeilijkheid van de test/items
Item-informatie bij Rasch model
- Rasch items verschillen onderling in moeilijkheid (beta)
als theta dicht bij beta ligt is het niveau van de test gelijk aan het niveau van de respondent
–> theta hoger dan beta is meer kans op goed
–> theta lager dan beta is minder kans op goed
Item-informatie functie
- iteminformatie functie IX(theta) –> hoger = meting theta nauwkeuriger
Stappen IRT analyse
- kies je IRT model
- trek een grote steekproef uit de populatie
- schat de item-parameters
- daarna kun je de test gerbuiken om bij personen theta te schatten
- theta niet geobserveerd, dus krijgen we een schatting
Bepalen schatting theta
- van iedere persoon weten we welke vragen ze goed hebben
- aan de hand van responspatroon zijn sommige waardes van theta realistischer dan andere
- iemand met theta -2 zal niet vaak vragen met beta 1 goed maken
Populatie-onafhankelijkheid Rasch
- moeilijke rekentest (M) en gemakkelijke rekentest (G)
- KTT: TjanG > TineM: zegt niks over rekenvaardigheid van Jan ten opzichte van Ina
- Rasch: thetajanM = thetajanG = thetajan en zo ook voor Ina, we kunnen dan de theta van jan vergelijken met die van Ina
Strengheid van Rasch
- alle functies discrimineren in dezelfde mate; geen gok-kans
- daarmee: weinig flexibele item-karakteristieke functie
- gevolg: model past vaak niet
Birnbaums twee-paramter model
P(X = 1|theta) = (e^alfa(theta-b))/(1 + e^alfa(theta-b))
- uitgebreid met alfa (discriminatieparameter)
Alfa 2-PML
- geeft aan hoe goed item i mensen onderscheidt op latente trek (theta)
- items verschillen nu dus in hoe goed ze discrimineren (alfa>0)
- hogere alfa is beter –> stijlere item-karakteristieke functies (= nauwkeuriger)
Item-informatie bij 2PLM
- items verschillen onderling is alfa én beta
- items leveren meeste informatie over theta in de buurt van beta (ook bij Rasch)
- items verschillen in hoe goed ze discrimineren (bij Rasch niet)
- hogere alfa is meer informatie
