College 4 Flashcards
Betrouwbaarheid
refereert naar de consistentie of stabiliteit van testresultaten. Je kijkt naar hoe
nauwkeurig de meetprocedure is. Betrouwbaarheid is een vereiste voor validiteit.
classical test theory/true score theory (CTT) – Spearman
elke score op een mentale test
bestaat uit 2 componenten; de werkelijke score en de foutenmarge
Focust op random meetfouten
Systematische meetfouten
meetfouten die systematisch zorgen voor
verschillen in testprestatie tussen individuen of groepen, wat komt door factoren
die niet te maken hebben met het construct dat gemeten wordt. Hier gaat CTT
dus niet over!
3 bronnen van toevallige meetfouten
- content sampling error (selectie van testitems dekken niet het hele domein)
- time sampling error (reflecteert individuele factoren: moeheid, honger, angst, en omgevingsfactoren: herrie, temperatuur)
- administratieve/scoringsfouten (error door manier van beoordeling)
Betrouwbaarheidscoefficient (rxx)
symbool voor betrouwbaarheid van testresultaten
Betrouwbaarheidsindex
reflecteerd de correlatie tussen werkelijke en geobserveerde
scores. Het is de wortel van betrouwbaarheidscoëfficient.
test-hertest betrouwbaarheid
dezelfde test afnemen bij dezelfde groep op verschillende
tijdstippen en de correlatie tussen de scores berekenen (stabiliteit).
parallele testbetrouwbaarheid
de resultaten van twee parallele testen vergelijken (andere
items, maar zelfde construct, format, groep, enz).
interne consistentie
meet fouten gerelateerd aan content sampling, gebaseerd op de relatie
tussen items binnen de test.
generalizability theory
Dit is een uitbreiding van de classical test theory (CTT). CTT laat ons een
ongedifferentieerde error component zien, maar in werkelijkheid bestaat error
uit meer dan één component. Met CTT kan je niet bepalen hoeveel error door
welke componeent komt. Dit kan wel met de generalizability theory.
item-analysis statistics/procedures
zijn kwantitatieve procedures om de kwaliteit en measurement
eigenschappen van individuele test-items te analyseren (niet de gehele test)
difficulty index/item difficulty level
het percentage/proportie personen die de test maken
die correct een item beantwoorden.
percent endorsement
De percent endorsement berekent het percentage van de geteste mensen dat
een bepaald antwoord gegeven heeft.
item-discrimination
de mate waarin een item accuraat
onderscheid kan maken tussen de verschillen tussen personen die de test hebben ingevuld, op het
gemeten construct.
discrimination index (D)
Dit is een statistische manier om de mate van discriminatie te testen. Dit is
gebaseerd op het verschil in prestatie tussen twee groepen. Meestal kiest men
voor de top en laagste groep van 27% van de deelnemers
item-total correlation coëfficients;
correlatie tussen performance op een specifiek item en
de totale test score.
Distracter analysis
laat je zien hoeveel personen in de top en bottom groep een bepaalde optie
hebben geselecteerd op een multiple-choice item (sluit aan bij onderdeel moeilijkheidsgraad KTT).
Distracters zijn verkeerde antwoordmogelijkheden die personen afleiden van het juiste antwoord
Effectieve distracters zouden vaker gekozen moeten worden dan juiste antwoord door mensen in de bottem groep dan in de top groep = negatieve discriminatie
Meer mensen in de top groep kiezen het juiste antwoord dan mensen in de bottom groep= positieve discriminatie
item-characteristic curve (ICC)
curve met op horizontale
as de vaardigheid en op verticale as de
waarschijnlijkheid dat iemand het juiste antwoord geeft.
IRT-modellen
- one-parameter model/Rasch model; suggereert dat items verschillen op maar 1
parameter, namelijk difficulty. Alleen de locatie verschilt, de helling is hetzelfde. - two-parameter model; suggereert dat items verschillen op zowel difficulty als
discrimination. - three-parameter model; suggereert dat de lijn niet begint bij 0, omdat het kan zijn
dat iemand met 0 vaardigheidsniveau toch een item goed beantwoord door gokkans
(c-parameter
computer adaptive testing
een deelnemer krijgt een item en op basis van
zijn antwoord krijgt hij een makkelijker of moeilijker item. De test gaat door
tot een bepaald niveau is bereikt
