H7: Itemresponstheorie Flashcards

Question

De kans om het item goed te maken is in de IRT een wiskundige functie van θ (het veronderstelde, latente kenmerk of vaardigheid) en van δg, αg en γg. Hoe heet de wiskundige functie die hierbij hoort?

Answer 1

Itemresponsfunctie De IRF is in principe een monotoon niet-dalende functie van θ; de vorm wordt bepaald door de drie itemparameters. Belangrijk is om te onthouden dat de IRF ervan uitgaat dat de onderliggende data zich als een monotoon niet-dalende functie laat uitdrukken. Later in het hoofdstuk zal besproken worden dat deze aanname niet zondermeer opgaat.

Answer 2

1. Moeilijkheid δ: de moeilijkheid (voor modellen met een dichotome uitkomst; §7.2), of locatie (voor modellen met polytome uitkomsten; §7.5.1) is de vaardigheid die iemand moet bezitten om 50 procent kans te hebben om het item (of de categorie) ‘goed’ te hebben. 2. Discriminatiewaarde α: de steilheid van de IRF is een indicatie hoe scherp het item rond een gegeven moeilijkheid onderscheid kan maken. De hoger de discriminatiewaarde, des te steiler loopt de functie, des te sneller en scherper loopt de functie van 0 naar 1. 3. Pseudokans γ: Er is altijd een baselinekans dat een item goed beantwoord wordt, puur op basis van gokken. Deze kans kan per item verschillen en de pseudokansparameter kan daarom per item variëren. Op een meerkeuzetentamen met vier antwoordopties zijn er bijvoorbeeld vragen waar 25 procent kans is om het juiste antwoord te gokken, maar als er vragen tussen zitten met twee absurde antwoordopties en twee die een ‘educated guess’ goed mogelijk maken, dan kan de kans zelfs oplopen tot 50 procent. Tegenwoordig zijn er weinig IR-modellen die pseudokansparameters schatten.

Answer 3

Dit is het eenvoudigste model waarin enkel de moeilijkheid (δ) van de items varieert; de discriminatiewaarden (α) van de items worden gelijk geacht. Tevens is het pseudokansniveau γ = 0.Er zijn twee formuleringen van het Rasch-model (zie formule 7.1: verschilschaal en formule 7.4: ratioschaal). De kans op het goed maken van het item komt voor beide formuleringen op hetzelfde neer (dat is, beide formuleringen geven dezelfde succeskans).

Answer 4

In een Birnbaum-model varieert naast de moeilijkheid (δ) ook de discriminatiewaarde (α) van de items. De discriminatiewaarden van alle items worden nu vrij geschat, dus de α’s mogen nu ongelijk zijn. Net als in een Rasch-model is het pseudokansniveau van alle items γ = 0.

Answer 5

Hetzelfde model als het twee-parametermodel, alleen het pseudokansniveau γ is nu ongelijk aan nul. Het pseudokansniveau mag per item variëren. Een IR-model met een pseudokansniveau dat ongelijk is aan 0 is te herkennen aan een intercept dat de y-as snijdt op een punt >0. Niet besproken in het boek is een vier-parametermodel; men kan zich voorstellen dat als de hoogte van de ‘start’ van de lijnfunctie (dat is, het intercept) kan variëren (zie het drie-parametermodel), ook de hoogte van de ‘stop’ van de lijnfunctie kan worden gevarieerd. Bij de hierboven besproken modellen liep de lijnfunctie door tot 1. Dit betekent dat mensen met een oneindig hoge latente trekwaarde (theta) een kans van 1 hebben om het item goed te maken. In het vier-parametermodel wordt zelfs voor personen met de hoogste thetawaarden nog een foutenkans toegedicht, waardoor de lijnfunctie niet doorloopt tot 1. Dit aspect wordt in een ander type model besproken (het Mokken-model) in paragraaf 7.2.3.

Answer 6

Een centraal concept in het model van Mokken is ‘monotonie’. De monotonie betreft hier de vorm van de IR-functie. Een IR-functie is monotoon stijgend wanneer de functie over waarden van x alleen toeneemt of stilstaat, maar nooit ergens daalt. Dit is een belangrijke eigenschap van een IR-functie, want de succeskans moet alleen oplopen wanneer de vaardigheid toeneemt. Het mag eigenlijk niet zo zijn dat de succeskans voor een bepaald item voor mensen met een hoger vaardigheidsniveau lager ligt ten opzichte van mensen met een lager vaardigheidsniveau. Het probleem met de eerder genoemde modellen is dat deze monotone stijging niet altijd in de praktijk gegarandeerd kan worden. De oplossing in de Mokken-modellen is om veel eisen aan het model op te leggen, zodat er altijd een monotoon stijgende functie kan worden gecreëerd. Dit kan bijvoorbeeld worden gedaan door met het meetniveau van de schaal te spelen (deze bijvoorbeeld ordinaal te maken). In sommige instanties wordt er zelfs met de volgorde van antwoordcategorieën geschoven om een monotone stijging te forceren. In het Mokken-model van monotone homogeniteit is de enige restrictie aan de IRF dat deze monotoon niet-dalend is. Het meetniveau is ordinaal. Men ordent de personen op de (onbekende) θ-schaal met behulp van de ware (betrouwbare) scores T die op de gewone manier geschat kunnen worden (zie hoofdstuk 6). De ordening van de items naar hun moeilijkheid is wél populatieafhankelijk.

Answer 7

Ook in dit model zijn de IRF’s monotoon niet-dalend, maar nu mogen de IRF’s van afzonderlijke items elkaar niet snijden. De meting is ook hier op ordinaal niveau. Dit model leidt tot populatieonafhankelijke ordeningen van zowel personen als van items.

Answer 8

Dan neemt met de items die in dat punt de grootste informatiewaarden hebben.

Answer 9

Het voorleggen van items die qua moeilijkheid zo goed mogelijk overeenkomen met het niveau van de persoon. De computer biedt willekeurig een item aan met een willekeurige moeilijkheid. Afhankelijk van het antwoordpatroon probeert de computer een inschatting van de testafnemers θ te maken en blijft items aanbieden totdat nieuwe antwoorden geen relevante informatie meer opleveren.

Answer 10

een verzameling van een groot aantal items die aan een bepaald IR-model voldoen. anneer de items in de itembank voldoen aan de eisen van een IR-model, maakt het in principe niet uit welke items we aan een persoon voorleggen; het schatten van een populatieonafhankelijke meetwaarde is dan mogelijk. Echter, de nauwkeurigheid van de schatting is niet populatieonafhankelijk; voor de nauwkeurigheid van de meting maakt het wél uit welke items men selecteert.

Answer 11

Als de IRF in twee groepen identiek is, want personen uit verschillende populaties maar met eenzelfde θ-waarde moeten dezelfde succeskans op een bepaald item hebben. Zijn die succeskansen verschillend, dan zijn er meerdere eigenschappen in het spel. Wat de ene eigenschap betreft zijn de personen qua niveau vergelijkbaar (zelfde θ-waarde), terwijl ze op de andere eigenschap verschillen. Vraagonzuiverheid is vaak een kwestie van verborgen meerdimensionaliteit. Statistisch gebleken vraagonzuiverheid moet ook inhoudelijk geïnterpreteerd worden.

Answer 12

Wanneer het vaak voorkomt dat items foutief beantwoord worden door een persoon die op basis van zijn/haar θ een grote succeskans zou moeten hebben en items goed beantwoord worden waarop hij of zij een lage succeskans heeft, dan spreekt men in de IRT van een afwijkend scorepatroon (zie paragraaf 7.4.5). Ook afwijkende scorepatronen moeten inhoudelijk geïnterpreteerd kunnen worden.

Answer 13

Voordelen van de itemresponstheorie zijn: – adaptief testen – controlemogelijkheid of het IR-model past bij de testgegevens – het meetniveau is afleidbaar uit de theorie – mogelijkheid tot populatieonafhankelijk meten.

Answer 14

Populatieonafhankelijk meten betekent dat iemands meetniveau vastgesteld kan worden onafhankelijk van de moeilijkheid van de items. Dus als items en personen voldoen aan een IR-model, verkrijgen we voor een willekeurige deelpopulatie dezelfde meetwaarden, ongeacht welke deelpopulatie items aan de personen voorgelegd wordt.

Answer 15

De succeskans is de kans op een goed antwoord op een item bij een gegeven meetwaarde (θ). Notatie: P(Xg = +1|θ). De succeskans is een wiskundige functie van θ en van de drie itemparameters: αg (discriminatiewaarde), δg (moeilijkheid) en γg (pseudokansniveau).

Answer 16

Een itemresponsfuntie (IRF) is een wiskundige functie die enerzijds θ, α, δ en γ verbindt aan de succeskans (P) anderzijds.

Answer 17

De vorm van de IRF wordt bepaald door de drie itemparameters.

Answer 18

Voor de items die aan het Rasch-model voldoen, geldt: – het pseudokansniveau is gelijk aan 0: γg = 0; – de discriminatiewaarden zijn gelijk: αg = αh.

Answer 19

In het algemeen zijn díe transformaties toegestaan die de succeskans niet veranderen.

Answer 20

In het Rasch-model zijn op de θ-schaal de volgende transformaties toegestaan: θ* = θ + b en δ* = δ + b (b is een constante).

Answer 21

In het Rasch-model zijn op de ξ-schaal de volgende transformaties toegestaan: ξ* = aξ en ε* = aε.

Answer 22

In het Rasch-model hebben de items gelijke discriminatiewaarden; in de Birnbaum-modellen mogen de discriminatiewaarden ongelijk zijn.

Answer 23

De Mokken-modellen kennen geen specifieke IRF, terwijl dat in het Rasch-model en de twee Birnbaum-modellen wél het geval is.

Answer 24

In het Mokken-model van de dubbele monotonie kunnen de IRF’s elkaar niet snijden; in het model van de monotone homogeniteit kunnen de IRF’s elkaar wél snijden.

Answer 25

Odds: de verhouding van de kans op een positief antwoord en de kans op een negatief antwoord op hetzelfde item voor een vaste meetwaarde ξ: P(Xg = 1|ξ)/P(Xg = 0|ξ).

Answer 26

In de klassieke testtheorie wordt de nauwkeurigheid van de meting uitgedrukt in de standaardmeetfout, die voor de gehele test geldt. In de item-responstheorie is een test niet op de hele θ-schaal even nauwkeurig: de test is voor sommige θ-waarden informatiever dan voor andere.

Answer 27

Een itembank is een verzameling van een groot aantal gemakkelijk toegankelijke testvragen die aan een bepaald IR-model voldoen. De persoons- en itemparameters zijn bekend (geschat) en worden op een gemeenschappelijke schaal afgebeeld (calibreren, equivaleren)..

Answer 28

Wanneer men rondom θo nauwkeurig wil meten, neemt men die items waarvan de informatiefuncties rondom θo hun hoogste waarden bereiken.

Answer 29

Adaptief testen in de IRT is het voorleggen van een item aan een persoon en op grond van het antwoord wordt het volgende item gekozen. Dit gaat zo door tot de schatting van de meetwaarde een bepaalde mate van nauwkeurigheid heeft bereikt. Verschillende personen kunnen dus verschillende items voorgelegd krijgen.

Answer 30

In de IRT is een item zuiver wanneer de IRF van het item in twee verschillende groepen identiek is. Dus vraagonzuiverheid betekent dat personen uit verschillende groepen maar met eenzelfde meetwaarde (θ), een verschillende succeskans hebben.

Answer 31

De drie strategieën zijn: – inspectie van de ‘onzuivere’ items op opvallende kenmerken – het zoeken naar relaties tussen eigenschappen van personen enerzijds en kritische kenmerken van de items anderzijds – experimenteel onderzoek, bijvoorbeeld het vervangen van een moeilijk woord om te kijken of het verschil tussen de twee groepen dan verdwijnt.

Answer 32

In de IRT spreekt men van een ‘afwijkend scorepatroon’ wanneer de kans op dit patroon, gegeven de meetwaarde en de itemkenmerken, zeer laag is.

Answer 33

In de klassieke testtheorie (KTT) wordt de test voor elke testscore even betrouwbaar geacht; in de IRT is de test voor sommige meetwaarden betrouwbaarder dan voor andere. In de KTT wordt geen aanname gedaan over de dimensionaliteit van de test (over hoeveel factoren er aan de testprestatie ten grondslag liggen), in de IRT worden de items die aan een bepaald IR-model voldoen, geacht één begrip te meten (eendimensionaliteit). De KTT is gebaseerd op aannamen die in het algemeen niet toetsbaar zijn, in de IRT zijn de aannamen wél toetsbaar (kan men toetsen of de testgegevens passen bij een bepaald IR-model).

Answer 34

De verzamelnaam ▌item-responstheorie verenigt een klasse van verwante testmodellen, waaronder de modellen voorgesteld door Lord, Rasch en Birnbaum.

Answer 35

De reden daarvoor ligt voor een deel in de gebruiksmogelijkheden, zoals die van adaptief testen.

Answer 36

Een gunstige eigenschap van item-responsmodellen is dat zij meeteigenschappen hebben die onderdeel zijn van die modellen. Een voorbeeld is de schaal die in sommige modellen ordinaal meetniveau en in andere intervalmeetniveau heeft. Als na controle met statistische methoden blijkt dat een model een goede beschrijving geeft, dan volgt daaruit dat de meeteigenschappen ervan ook in concrete toepassingen van de test gelden.

Answer 37

Het klassieke testmodel gaat uit van meeteigenschappen die soms terecht en soms niet terecht worden verondersteld. Er kan maar ten dele worden gecontroleerd of in een concreet geval de vooronderstellingen van de theorie in overeenstemming zijn met empirisch verkregen testgegevens. Dit wordt ▌meten bij fiat genoemd: aangenomen wordt dat bepaalde eigenschappen geldig zijn, zonder dat dit kan worden aangetoond.

Answer 38

In de klassieke testtheorie is meten populatie-afhankelijk: de betrouwbare score, en daarmee ook de totaalscore, zijn afhankelijk van het moeilijkheidsniveau van de gebruikte test. Om iemands testprestatie te kunnen begrijpen, dient deze dus gerelateerd te worden aan het niveau van de test. Het probleem is dat het niveau van de proefpersoon niet gescheiden kan worden van het niveau van de test. Als we over een grote verzameling items beschikken, die alle dezelfde eigenschap meten, en als we veronderstellen dat in eerder onderzoek is vastgesteld dat de gegevens die met de items zijn verzameld met een item-responsmodel kunnen worden beschreven, kunnen we naar believen tests voor de bedoelde eigenschap samenstellen. Die tests kunnen verschillen in niveau, en zijn daarmee populatie-onafhankelijk. Voor het Rasch-model komt populatie-onafhankelijkheid erop neer dat iemands meetwaarde, verkregen met een gemakkelijke test, kan worden vergeleken met de meetwaarde van iemand die een moeilijker test heeft gemaakt. Voor de vergelijkbaarheid van de meetwaarden maakt het niet uit wat het niveau van de tests was. Hierin is de gedachte van adaptief testen te herkennen.

Answer 39

De kansen zijn samen 1.

Answer 40

Succeskans

Answer 41

1. Ten eerste is in de figuur te zien dat personen met lage θwaarden een succeskans hebben die duidelijk groter is dan 0. Dat is bijvoorbeeld plausibel in het geval van meerkeuze-items in prestatietests, omdat personen die weinig weten blind kunnen gissen. Als het aantal alternatieven A is, is de giskans 1/A. Dit is in theorie de kleinst mogelijke succeskans op dit item. In de praktijk worden zowel lagere als hogere giskansen gevonden. De exacte giskans hangt niet alleen af van het aantal alternatieven, maar ook van inhoudelijke kenmerken van het item. We spreken daarom van het ▌pseudokansniveau, en niet van de giskans. Het pseudokansniveau wordt aangegeven op de verticale as van de grafiek. Het is de kans dat op item g het goede antwoord wordt gegeven door mensen met een zeer lage meetwaarde θ. Deze wordt aangegeven met P(Xg = 1|θ) = γg. Het itemkenmerk ▌γg wordt de ▌pseudokansniveauparameter genoemd. 2. Ten tweede is te zien dat de curve een specifieke locatie op de θ-schaal heeft. Dit is meestal het punt op de schaal waarvoor de succeskans gelijk is aan (1 + γg)/2: de kans die halverwege ligt tussen het pseudokansniveau γg en de maximale succeskans van 1. Het punt op de θ-schaal dat geassocieerd wordt met deze succeskans wordt aangeduid als de ▌locatieparameter, ▌δg. Wanneer de item-responsfunctie naar rechts verschuift, neemt voor iedere respondent de succeskans af. Het item is dan moeilijker geworden, wat tot uiting komt in een grotere waarde van δ. Deze parameter wordt daarom ook de ▌moeilijkheidsparameter genoemd 3. Het derde itemkenmerk betreft de steilheid van de functie in het kritische gebied. Naarmate de curve in dit gebied steiler is, wordt de verdeling van de personen op de θ-schaal scherper in tweeën gedeeld. Binnen het kritische gebied hebben zeer kleine veranderingen in θ grote veranderingen in de succeskans tot gevolg. Het ▌discriminerend vermogen van het item is een functie van de richtingscoëfficiënt a/b van de raaklijn aan de item-responsfunctie in het punt (δg, (1 + γg)/2). Het discriminerend vermogen van item g wordt aangeduid als ▌αg, de zogenaamde ▌discriminatieparameter. Zijn de itemkenmerken bekend, dan is het mogelijk om voor een specifieke meetwaarde θ de succeskans op het item te bepalen. Het schatten van de itemparameters en de θ-waarde van een bepaald persoon valt buiten het bestek van dit boek.

Answer 42

Rasch-model

Answer 43

Rasch-model

Answer 44

Een strenger model laat bijvoorbeeld niet toe dat respondenten gissen naar het goede antwoord. Dit komt tot uiting in een pseudokansniveauparameter γg = 0 voor alle items in de test. Of respondenten zich hiernaar gedragen is maar de vraag, maar het model gaat er wel van uit. Zwakkere modellen laten het antwoordgedrag en de daarmee corresponderende gegevensstructuur meer vrijheid. Gevolg hiervan is dat empirische testgegevens vaak beter in overeenstemming zijn met zwakkere dan met strengere modellen. De prijs voor het werken met zwakkere modellen is echter dat de resulterende test minder fraaie meeteigenschappen heeft, zoals meting op een lager meetniveau. Er is dus sprake van een spanning tussen de mate van praktische toepasbaarheid van een model en de kwaliteit van de daaruit resulterende meting.

Answer 45

Het één-parameter logistische model genoemd.

Answer 46

Ten eerste is voor zeer kleine θ-waarden de succeskans vrijwel gelijk aan 0. De pseudokansniveauparameter γg komt in het model niet voor. Dit is een voorbeeld van een beperking die door een testmodel aan de testgegevens wordt opgelegd. Ten tweede hebben alle items uit een test die aan het Raschmodel voldoet, hetzelfde discriminerend vermogen. Door deze keuze komt ook de discriminatieparameter α in formule 7.1 niet voor. Vooral dit tweede punt legt veel beperkingen op aan de structuur van de testgegevens, omdat alle mogelijke items die een beroep doen op dezelfde psychologische eigenschap in dezelfde mate onderscheid moeten maken tussen personen. Een alternatief is dat diverse deelverzamelingen apart schaalbaar zijn, waarbij iedere deelverzameling gekenmerkt wordt door een specifiek niveau van discriminerend vermogen. Het is echter de vraag of dit zinvol is

Answer 47

Meting volgens het Rasch-model vindt plaats op een schaal waarop verschuivingen van de θen δ-waarden met dezelfde constante hoeveelheid zijn toegestaan zijn toegestaan wanneer zij geen invloed hebben op de succeskans volgens formule 7.1. ▌verschilschalen

Answer 48

Met transformaties van het type ξ* = bξ en ε* = bε blijven de succeskansen onveranderd. Schalen met toegestane transformaties van dit type noemen we ▌verhoudingsschalen of ▌ratioschalen

Answer 49

Een belangrijke eigenschap van meting volgens het Rasch-model is dat meetwaarden populatie-onafhankelijk zijn. Dat betekent bijvoorbeeld dat we de θ-waarden van kinderen uit verschillende leeftijdsgroepen (deelpopulaties) uit een grotere populatie met elkaar kunnen vergelijken, ook al hebben zij tests van verschillend moeilijkheidsniveau gemaakt. Populatieonafhankelijkheid houdt in dat θ-waarden onafhankelijk zijn van de moeilijkheden van de items δ in de gebruikte tests. De wiskundige structuur van het Rasch-model is zodanig dat, anders dan bij het klassieke testmodel, de effecten van personen en items op de succeskansen onafhankelijk zijn en interacties tussen personen en items geen rol spelen. Personen zijn hierdoor vergelijkbaar, onafhankelijk van het moeilijkheidsniveau van de gebruikte items. Omgekeerd geldt ook dat de moeilijkheden van items vergelijkbaar zijn, onafhankelijk van de personen die het item hebben gemaakt. De term populatie-onafhankelijkheid betekent niet ‘geldig, ongeacht welke populatie men beschouwt’. Onderzochte deelpopulaties moeten immers uit dezelfde populatie komen.

Answer 50

Twee-parameter logistisch model

Answer 51

Punten van overeenstemming met het Rasch-model zijn dat items mogen variëren in moeilijkheid en dat voor lage θ-waarden de succeskans op het item naar 0 nadert. Gegevens van items waarvoor geldt dat bij lage θ-waarden de succeskans groter is dan 0 en waarbij het plausibel is dat personen zullen raden naar het goede antwoord, zijn evenmin geschikt om geanalyseerd te worden met het Birnbaum-model

Answer 52

θ* = bθ + a, δ* = bδ + a en α* = α/b

Answer 53

De schaal heeft de eigenschappen van een intervalschaal, zodat de eenheid en het nulpunt arbitrair gekozen kunnen worden. Wat onveranderd blijft, is de verhouding van verschillen.

Answer 54

De bepaling van meetwaarde θi is onafhankelijk van de itemmoeilijkheden δ, maar afhankelijk van de discriminatieparameters α, van de door respondent i correct beantwoorde items. In de afbeelding is te zien dat links van het snijpunt van de functies item g in termen van succeskansen het gemakkelijkst is, en rechts item h. De keuze van de specifieke deelpopulatie heeft dus consequenties voor de ordening van de succeskansen. Uit het voorgaande blijkt dat het kiezen van een minder streng testmodel gepaard gaat met verlies aan meeteigenschappen. Door middel van het Birnbaum-model kunnen alleen de personen populatie-onafhankelijk worden gemeten, maar niet de items. In het Rasch-model is dat laatste ook mogelijk.

Answer 55

Alleen ndien de populatie-afhankelijke itemparameters bekend zijn. Deze populatie-afhankelijkheid laat onverlet dat men itemparameters kan schatten mits een bekende verdeling van θ is verondersteld. Ze zijn echter gebonden aan een vaste populatie van personen

Answer 56

Mokken gaat ervan uit dat over veel psychologische eigenschappen zo weinig kennis bestaat, dat het gebruik van de tot hiertoe besproken, relatief strenge modellen niet gerechtvaardigd kan worden. De modellen leggen te veel beperkingen op aan de testgegevens. Ook veronderstellen de modellen dat de item-responsfunctie eerst een lage, vrijwel constante waarde heeft, vervolgens relatief snel stijgt en daarna een constante waarde heeft dichtbij 1. In werkelijkheid kan het verloop van sommige functies anders zijn. Mokken stelt daarom voor uit te gaan van item-responsfuncties die wel monotoon niet-dalend zijn, maar er verder geen beperkingen aan op te leggen. Verder moet het antwoordgedrag op alle items een afspiegeling zijn van dezelfde psychologische eigenschap die wordt gemeten op de θ-schaal. Het idee is dat met de toename van θ ook de kans toeneemt (of tijdelijk constant blijft) dat het positieve antwoord wordt gegeven, maar zonder verder restricties op te leggen aan hoe die toename precies verloopt

Answer 57

Ten eerste volgen de schaaleigenschappen uit het specifieke item-responsmodel, het meten bij implicatie. De theoretisch afleidbare schaaleigenschappen gelden ook in de praktijk, en hoeven niet te worden aangenomen zoals in het klassieke model, het meten bij fiat. Ten tweede vindt meting volgens de modellen van Rasch en Birnbaum en het drie-parameter logistische model, plaats op een metrische schaal (interval-, verschil- en rationiveau). De modellen van Mokken impliceren ordeningen van meetwaarden. Ten derde kunnen met behulp van de modellen van Rasch en Birnbaum en het model met drie itemparameters, personen en items op dezelfde schaal worden afgebeeld. De modellen van Mokken laten dat alleen op aparte schalen toe. Ten slotte is de meting volgens item-responsmodellen in specifieke gevallen populatie-onafhankelijk, zoals hiervoor beschreven

Answer 58

De eerste bewerking dient om de schaal te relateren aan een specifieke normgroep. Een specifieke score is dan te interpreteren in het kader van de verdeling van scores binnen die normgroep. De tweede bewerking dient om meetwaarden te relateren aan een of meer referentiepunten die onafhankelijk zijn van een groep of populatie, en die een zinvolle interpretatie mogelijk maken. Naast deze bewerkingen valt ook nog te denken aan een omzetting in percentielscores, in odds, of in betrouwbare scores T

Answer 59

Van ▌lokale betrouwbaarheid is sprake als een test goed bij iemands niveau past. De test is dan ▌informatief. Voor ieder afzonderlijk item en voor de gehele test kan het informatiegehalte (of de lokale betrouwbaarheid) voor de schatting van θ worden bepaald en in een ▌informatiefunctie worden weergegeven. Algemeen geldt: hoe groter de waarden van de informatiefunctie, des te nauwkeuriger de meting

Answer 60

Ten eerste zijn standaardtests niet altijd representatief voor een inhoudelijk domein. Dit is het probleem van de inhoudsvaliditeit. Een bijkomend probleem is dat een respondent op iedere standaardtest uit een bepaald domein een andere betrouwbare score heeft. Ten tweede is er het probleem dat standaardtests het bestaan van standaardpopulaties veronderstellen. Die bestaan in de onderwijscontext nauwelijks. Ten derde is er de individualisering van het leerproces. Een standaardtest is dan niet het juiste middel om leerlingen te evalueren.

Answer 61

Dit veronderstelt ten minste twee meetmomenten, en hierbij kunnen geheugeneffecten optreden of kan sprake zijn van ▌vloereffecten en ▌plafondeffecten. In het laatste geval is de test op het tweede meetmoment te gemakkelijk geworden en behaalt bijna iedereen de maximale score. Ook hier bestaat de behoefte aan verschillende tests voor dezelfde eigenschap maar van verschillend moeilijkheidsnivea

Answer 62

Moderne complex De reden dat deze twee hand in hand gaan is gelegen in de eigenschap van populatie-onafhankelijkheid van metingen Hierdoor is het mogelijk om alle items uit een bank op dezelfde schaal af te beelden en daaraan meetwaarden toe te kennen, het zogenaamde ▌kalibreren.

Answer 63

et afbeelden, op een gemeenschappelijke schaal, van gekalibreerde items die afkomstig zijn uit verschillende tests die hetzelfde psychologische begrip meten, wordt ▌equivaleren van itemkenmerken genoemd.

Answer 64

een vooraf vastgestelde grensscore θ0 nodig. Dit wordt de ▌aftestgrens of ▌cesuur genoemd. De geschatte waarde van θ dient in de buurt van de aftestgrens zo nauwkeurig mogelijk te worden geschat. Nuanceringen binnen de twee categorieën van testresultaten zijn minder belangrijk. De waarden van de informatiefunctie moeten op en rond θ0 dus groot zijn. De testconstructeur bepaalt zelf welke nauwkeurigheid acceptabel is. De na te streven testinformatiefunctie wordt ▌doelinformatiefunctie genoemd. De testconstructeur selecteert nu items, zodanig dat de testinformatiefunctie van deze items in zijn geheel boven de doelinformatiefunctie ligt. Itemselectie komt er dus op neer dat, gegeven de eisen die aan de items en de test gesteld worden, uit efficiëntieoverwegingen de kleinst mogelijke deelverzameling van items wordt geselecteerd, waarvan de testinformatiefunctie voor alle waarden van θ ten minste even groot is als de doelinformatiefunctie.

Answer 65

is een grote itembank nodig, waarin naast de items ook de itemparameters zijn opgeslagen

Answer 66

door steeds twee of meer items aan te bieden voordat weer berekeningen worden uitgevoerd. De eenvoudigste procedure daarvoor is ▌two-stage testing. In het eerste stadium krijgen alle respondenten dezelfde, korte test van middelmatige moeilijkheid voorgelegd. Welke test een respondent in het tweede stadium krijgt, hangt af van diens prestatie op de eerste test. Tussen two-stage testing en adaptief testen zijn vele varianten van ▌multi-stage testing mogelijk. Opgemerkt moet worden dat zowel two-stage testing als elk van deze varianten tot minder nauwkeurige metingen leiden dan de item-voor-item aanpak.

Answer 67

1. Per respondent wordt een nauwkeurige meting verricht. 2. Respondenten worden geconfronteerd met tests die op hun niveau zijn afgestemd. 3. De adaptieve testprocedure is geautomatiseerd en daardoor objectief. 4. De testtijd is relatief kort, waardoor meer respondenten kunnen worden onderzocht. 5. Door de automatisering kan een snelle terugkoppeling plaatsvinden. 6. Prestaties op verschillende tests kunnen met elkaar worden vergeleken, als gevolg van de eigenschap van populatie-onafhankelijk meten, die het mogelijk maakt om θ-waarden die zijn verkregen met verschillende tests via equivalering op dezelfde schaal af te beelden.

Answer 68

1. Item-responsmodellen leggen vele restricties op aan de testgegevens. 2. Er zijn hoge kosten gemoeid met de ontwikkeling van een itembank en adaptief systeem. 3. Vooral de operationalisering van psychologische begrippen en de constructie van items zijn een achilleshiel van testconstructie op basis van een itembank. Doordat theorieën vaak onvoldoende eenduidig zijn geformuleerd, is operationalisering moeilijk.

Answer 69

deze items uit de aard van de te meten eigenschappen of de samenstelling van het kennis- en inzichtsdomein inhoudelijk heterogener zijn dan item-responsmodellen veronderstellen. Een probleem met het aantal items doet zich vooral voor bij persoonlijkheids- en attitudemetingen. Ten slotte blijft de vaag over hoe erg het is dat het item-responsmodel niet altijd past bij de gegevens. Er is altijd wel enige discrepantie tussen een statistisch model en empirische gegevens. Het is dus van belang om te weten hoe groot deze discrepantie mag zijn, maar hierover is weinig bekend.

Answer 70

De eerste strategie behelst de inspectie van partijdige items naar opvallende kenmerken waardoor deze zich onderscheiden van de overige items. Op basis hiervan worden hypothesen geformuleerd over de oorzaken. Deze strategie kan gemakkelijk tot speculatie leiden. Bij de tweede strategie wordt een verband gelegd tussen eigenschappen van personen enerzijds en kritische kenmerken van partijdige items in vergelijking met onpartijdige items anderzijds. De derde strategie is het experimentele onderzoek naar de oorzaken van vraagonzuiverheid.

Answer 71

dat de kans op een patroon van itemscores wordt berekend gegeven iemands meetwaarde en de kenmerken van alle items, en dat die kans wordt vergeleken met de verwachte kans onder een specifiek item-responsmodel of ander testmodel

Answer 72

Een recente aanpak gaat uit van de ▌persoon-responsfunctie, het spiegelbeeld van de item-responsfunctie. De persoonresponsfunctie geeft de kans dat een persoon met een gegeven θ-waarde een goed antwoord geeft, als functie van de moeilijkheid van items die een gegeven eigenschap meten

Answer 73

Polytoom gescoorde items hebben drie of meer geordende antwoordcategorieën.

Answer 74

Itemresponsmodellen voor polytome scores definiëren een responsfunctie voor elke score die op een item mogelijk is. De kans op een specifieke itemscore wordt dus voor iedere score apart gemodelleerd. De som van de kansen per θ-waarde is gelijk aan 1. Item-responsmodellen voor polytome items zijn veel ingewikkelder dan modellen voor dichotome items. Het gevolg is dat ook het bepalen van het passen van een model bij de gegevens en het schatten van de itemkenmerken lastiger zijn.

Answer 75

1. Item-responsmodellen kunnen als nulhypothese op de testgegevens worden getoetst. Past een model bij de gegevens, dan gelden bij de implicatie de eigenschappen van het model voor de gegevens. 2. Personen en (in sommige modellen) items worden populatie-onafhankelijk gemeten. Dit maakt het mogelijk om de prestaties van personen die met verschillende tests voor dezelfde eigenschap zijn gemeten op dezelfde schaal af te beelden. 3. De betrouwbaarheid van de meting varieert over de schaal, waardoor aan het licht komt dat de ene persoon met de test nauwkeuriger kan worden gemeten dan de andere. De test kan voor de ene persoon dan ook geschikter zijn dan voor de andere.

Answer 76

1. De klassieke theorie is eenvoudiger dan de item-responstheorie en daardoor wellicht beter toegankelijk. 2. Er kan niet direct worden getoetst of de theorie bij de gegevens past, maar dat betekent niet dat de validiteit van de tests minder is dan die volgens een item-responsmodel. 3. De klassieke testtheorie werkt bij de testconstructie bijna altijd, doordat van elke verzameling items de item-restcorrelaties kunnen worden gebruikt om eventueel items weg te laten en van de resterende verzameling de betrouwbaarheid kan worden bepaald

Answer 77

iemands meetwaarde onafhankelijk is van de moeilijkheid van de test.

Answer 78

één factor; de items meten gezamenlijk één psychologische eigenschap.

Answer 79

70 procent kans heeft om een bepaald item g goed te hebben.

Answer 80

Alleen I is juist.

Answer 81

niet op alle plaatsen van de θ-schaal even groot.

Answer 82

elke IRF voldoet zo lang deze maar monotoon niet-dalend is.

Answer 83

is vastgesteld dat zij een beroep doen op één en dezelfde psychologische eigenschap.

Answer 84

uit verschillende populaties maar met dezelfde meetwaarde dezelfde succeskans hebben.

Answer 85

gelijk aan de minimumwaarde van de testinformatiefunctie die nog acceptabel is; de waarde van de testinformatiefunctie mag niet lager zijn.

Answer 86

Alleen II is juist.

Answer 87

op grond van de antwoorden op items die voor elke persoon verschillend kunnen zijn, een zo nauwkeurig mogelijke schatting van iemands meetwaarde geeft.