HC11 IRT in de praktijk Flashcards
Doel van item-respons theorie
- Testconstructie
- Testafname
Testconstructie IRT
- schat het item karakteristieke functies
- selecteer beste items
Testafname IRT
- schat theta voor alle respondenten op basis van itemscores en item karakteristieke functies
- leid de nauwkeurigheid af waarmee theta geschat is
Nauwkeurigheid van de schatting van T in KTT
- klassieke testtheorie: geschatte T = X; Se voor iedereen gelijk
- iteminformatie functie Ix(theta): hoger –> meting theta nauwkeuriger
- Rasch-item: beta = 0; thetaA = -2, thetaB = 0, thetaC = 3
–> geschatte theta nauwkeuriger in de buurt van thetaB dan bij A of C (omdat die gelijk is aan beta, dan is het op het zelfde niveau)
Test-informatie functie
- Testinformatie functie: Itest(theta) = Ix1(theta) + Ix2(theta) + … + Ixk(theta)
- test met twee Rasch items beta1 = -3, beta2 = -2 en thetaA = -2, thetaB = 0
–> geschatte theta bij theta = -2 dan bij theta = 0; kleinste bbh-interval rond geschatte theta
Nauwkeurigheid van de meting
Standaardfout van geschatte theta voor de test (SEtest(geschatte tetha)) wordt bepaald door de testinformatie en hangt dus ook af van theta
–> SEtestgeschatte theta) = 1 / wortel(Itests)
95% betrouwbaarheidsinterval voor theta
geschatte theta +/- 1.96 x SEtest(geschatte theta)
Testconstructie op basis van een itembank 1
Itembank: relatief grote verzameling makkelijk toegankelijke items. IKF en items beschrijving bekend
- precies die items kiezen die goed bijdragen aan wat je met de test wilt meten
- wat is de gewenste nauwkeurigheid van geschatte theta voor alle verschillende mogelijke waardes van geschatte theta
Testconstructie op basis van een itembank 2
Met IRT is populatie-onafhankelijk meten mogelijk. Met itembanken kunnen verschillende tests samengesteld worden; afhankelijk van doel van test
Testconstructie op basis van een itembank 3
- IRT maakt het dus mogelijk om een test op maat te maken
- ander doel –> andere doelinformatiefunctie –> andere testsamenstelling
- zo kunnen we tests ontwikkelen die nauwkeurig meten in een specifieke deelpopulatie (bijv. hoog-/laagvaardige groep)
- populatie-onafhankelijk –> resultaten blijven vergelijkbaar
- nog verder doorgevoerd: iedereen persoonlijke test
Adaptieve tests
- iedere respondent krijgt een unieke op maat gemaakte test
- items worden gekozen zodat ze aansluiten bij vaardigheid repsondent
- veel efficiënter meten
- itembank met items die een IRT model voldoen noodzakelijk bijna altijd via de computer: Coputer adaptive testing (CAT)
Hoe maak je een adaptieve test
Kies meest informatie item voor theta = 0
–> pas theta aan op basis van antwoord
–> pas theta opnieuw aan op basis van nieuwe antwoorden
–> blijf dit doen totdat theta zo precies mogelijk is met een lage SEtest
Voordelen adaptieve test
- nauwkeurige meting bij iedereen
- op individu afgestemd
- objectief
- korte testtijd
- snelle terugkoppeling mogelijk
- prestaties op verschillende tests kunnen vergeleken worden
Nadelen adaptieve test
- IRT modellen zijn restrictief
- hoge kosten
- vaak is het moeilijk veel items te construeren voor een construct
Multi stage testing
Eenvoudige vorm van adaptief testen
- iedereen krijgt hetzelfde eerste deel van de test
- aan de hand van prestatie eerste deel toewijzing vervolgdeel
- kan met 2 ‘stages’ maar ook met meer
- minder efficiënt dan adaptief, maar wel makkelijk te doen
Kenmerken IRT tegenover KTT
- levert een manier om ons meetmodel te toetsen
- erkent dat nauwkeurigheid metingen afhangt van vaardigheid (SEtest(geschatte theta) varieert met theta)
- maakt populatie-afhankelijk vergelijken personen en vergelijken items mogelijk
- maakt adaptief testen mogelijk
Kenmerken KTT tegenover IRT
- is simpeler dan IRT
- biedt ook middelen om een goede test op te stellen (betrouwbaarheid en validiteit)
- resultaten verschillen vaak niet zo sterk
- is in meer standaard-software te vinden
Betrouwbare score in IRT
- in KTT: betrouwbare score = gemiddelde score van persoon over replicaties (betrouwbare score = verwachte score)
- in IRT dus verwachte score bepalen
–> som van de verwachte itemscores –> SOMP(X = 1|theta)
Betrouwbare score versus theta in IRT
Als we T kunnen bepalen in IRT, waarom werken we dan met theta
- theta is neit afhankelijk van de testkeuze
- theta wel van interval meetniveau, T niet
- theta waarde direct te interpreteren, want we weten gemiddelde is 0 en SD is 1 –> net als Z-score
Gebruik van theta in de praktijk
- je kunt theta dus behandelen als z-score
- daarmee is theta te vertalen naar bewerkte score
- IQ-score en M-score en stanines
