Hoorcollege 9: Criteriumvaliditeit

Question 1

Criteriumvaliditeit

Answer 1

Kunnen we de test gebruiken om voorspellingen te doen over of de onderzochte personen aan een relevant criterium (zullen) voldoen.

Question 2

Predictieve validiteit

Answer 2

= Criterium validiteit
correlatie tussen testscore X en criterium Y: rXY
Correlatie = 1 : test is perfecte stand-in voor criterium
Correlatie = 0 : test staat compleet los van criterium, voegt niets toe aan het beslissingsproces

Question 3

Waardoor wordt de geschatte correlatie beïnvloedt?

Answer 3

1. Restriction of range bij testscore X
2. Restriction of range bij criterium Y
3. Niet-lineaire samenhang testscore en criterium
4. Heteroscedasticiteit

Question 4

Wat gebeurt er bij restriction of range?

Answer 4

Bij restriction of range bij testscore X wordt de toegelaten groep veel homogener dan de groep in zijn geheel, de correlatie is daar dus veel lager.
Bij restriction of range bij criteriumscore Y wordt er nog een extra voorwaarde aan toegevoegd waardoor de geselecteerde groep nog homogener wordt en de geschatte correlatie praktisch 0 is

Question 5

Niet lineaire samenhang

Answer 5

Criteriumvaliditeit gaat over lineaire samenhang! Correlatie tussen testscore X en criterium Y is hier vrijwel 0 : smiley

Question 6

Heteroscedasticiteit

Answer 6

Spreiding op het criterium hangt af van de testscore ; spreiding is groter wanneer de testscore groter is; criterium moeilijker te bepalen
Sterkte samenhang tussen testscore en criterium hangt af van de testscore

Question 7

Wat kunnen we zeggen over predictieve validiteit?

Answer 7

Ook als deze 4 problemen niet spelen is de predictieve validiteit vaak laag. Mogelijke redenen:
- Meting criterium Y is onbetrouwbaar
- Meting criterium Y is niet valide
De betrouwbaarheid van de meting is erg belangrijk rXY

Question 8

Wat staat er in vakje ABCD?

Answer 8

A: Positieve missers/false negatives: mensen ten onrechte afgewezen
B: Positieve treffers / true positives: mensen terecht toegelaten
C: Negatieve treffers / true negatives: mensen terecht afgewezen
D: Negatieve missers / false positives: mensen ten onrechte toegelaten

Question 9

Selectieratio

Answer 9

Proportie toegelaten mensen (proportie met testscore hoger dan de cutoff
Selectieratio = (B+D) : Totaal

Question 10

Base rate

Answer 10

(toevalskans) = proportie mensen die aan criterium voldoen (proportie met criteriumscore hoger dan cutoff)
Base rate = (A+B) : Totaal

Question 11

Succesratio

Answer 11

Van de toegelaten mensen, porportie die terecht is toegelaten (je wilt je succesratio hoger dan je base rate)
Succesratio = B : (B+D)

Question 12

Sensitiviteit

Answer 12

van de mensen die aan het criterium voldoen, proportie die is toegelaten.
Sensitiviteit = B : (A+B)

Question 13

Specificiteit

Answer 13

Van de mensen die aan het criterium voldoen, proportie die is afgewezen
Specificiteit = C : (C+D)

Question 14

Validiteit

Answer 14

Correlatie tussen gedichotomiseerde test- en criteriumscore (=phi)

Question 15

Taylor-Russel tabellen

Answer 15

Relatie succesratio / validiteit / base rate en selectieratio
Validiteit en selectieratio bepalen succesratio!
Als selectieratio toeneemt komt succesratio dichter bij base rate –> dit willen we dus niet!
Als validiteit = 0 –> succesratio = base rate