Hoorcollege 12: Test fairness & bias

Question 1

Begripsvaliditeit

Answer 1

• Iedereen met dezelfde vaardigheid moet dezelfde verwachte testscore hebben, als dit niet zo is –> vertekening testscore.
  Construct bias = item meet naast het construct ook nog iets anders

Question 2

Construct bias

Answer 2

Item meet naast het construct ook nog iets anders

Question 3

Criteriumvaliditeit

Answer 3

• voor mensen met dezelfde testscore krijgen we dezelfde voorspelde waarde op het criterium, als dit niet zo is –> vertekening voorspeld criterium
  Predictive bias

Question 4

Wanneer is er geen sprake van construct bias?

Answer 4

Als voor ieder item geldt dat iedereen met hetzelfde vaardigheidsniveau dezelfde kans heeft om de vraag goed te beantwoorden.
Gelijke kansen alleen gegeven hetzelfde vaardigheidsniveau!
Als naast Thèta nog andere factoren een rol spelen = construct bias

Question 5

Uniforme item bias

Answer 5

Een item is altijd moeilijker voor één groep dan de andere. Het moeilijkheidsniveau Bi verschilt dus per groep. IKF van de ene groep altijd hoger dan die van de andere groep.

Question 6

Niet-uniforme item bias

Answer 6

Een item in een subgroep functioneert slechter.
Het item discrimineert slechter in de ene groep
Discriminatie parameter verschilt voor de groepen.
IKF’s lopen niet even stijl, en snijden elkaar daardoor.
Niet-uniforme item bias biedt voor sommige waardes van thèta een voordeel.

Question 7

Bij construct bias is vrijwel altijd ook predictive bias, dit hoeft andersom niet zo.

Answer 7

Juist

Question 8

Soorten predictive bias

Answer 8

• Intercept bias
• Slope bias

Question 9

Intercept bias

Answer 9

Je ziet voor twee groepen een verschil in het intercept –> verschillende regressielijn voor het voorspellen van het criterium (bijvoorbeeld mannen en vrouwen). één groep wordt altijd benadeeld en één groep wordt altijd bevoordeeld

Question 10

Slope bias

Answer 10

Verschillende hellingen voor de twee groepen: voor hoogvaardige mensen maakt het meer uit of ze man of vrouw zijn. Bij laagvaardige mensen is het verschil veel kleiner tussen man of vrouw. ze worden allebei niet veel bevoordeeld of benadeeld.

Question 11

Construct bias/predictive bias

Answer 11

Construct bias = relatie tussen item/testscore en te meten construct
Predictive bias = relatie tussen testscore en criterium