HC9 Criteriumvaliditeit

Question 1

Inzetten test in de praktijk

Answer 1

• test kan betrouwbaar zijn en goede begripsvaliditeit hebben
• vertelt nog niet of de test praktisch relevant is
• kan de test gebruikt worden om voorspellingen te doen over of de onderzochte personen aan een relevant criterium voldoen
  –> criteriumvaliditeit

Question 2

Criteriumvaliditeit

Answer 2

• test kan betrouwbaar zijn en goede begripsvaliditeit hebben
• vertelt nog niet of de test praktisch relevant is
• kan de test gebruikt worden om voorspellingen te doen over of de onderzochte personen aan een relevant criterium voldoen

Question 3

Logica van gebruiken test bij beslissingen

Answer 3

• vaak worden beslissingen genomen aan de hand van criteria dat niet voor handen is
• vaak is het criterium onmogelijk om te meten vóór je de beslissing hebt genomen
• aan de hand van test van relevantie eigenschap hoop je criterium te voorspellen
• test als ‘stand-in’ voor het niet-geobserveerde criterium
• mate waarin de testscore helpt bij het nemen van de juiste beslissing zal afhangen van de samenhang tussen de testscore en het criterium

Question 4

Onderzoeken criteriumvaliditeit

Answer 4

• criteriumvaliditeit wordt bepaald door de samenhang testscore en criterium
• normaal zal het criterium niet beschikbaar zijn als je de beslissing neemt
• bepalen criteriumvaliditeit vraagt om spreciaal onderzoek
• als zowel testscore X als criterium Y bepaald zijn kun je de validiteit onderzoeken
  –> correlatie rXY (= predictieve validiteit)

Question 5

Predictieve validiteit in de praktijk

Answer 5

• in de praktijk wordt vaak lage correlatie tussen testscore en criterium gevonden
• geschatte correlatie wordt beïnvloed door:
• restriction of range bij testscore X
• restrition of range bij criterium Y
• niet-lineaire samenhang testscore en criterium
• heteroscedasticiteit

Question 6

Heteroscedasticiteit

Answer 6

De spreiding van Y gegeven X is voor elke X hetzelfde –> bij elke X moet er dus een redelijk dezelfde variantie zijn voor Y bij die X waarde
- wanneer de variantie overal verschilt is er sprake van heteroscedasticiteit

Question 7

Restriction of range bij testscore X

Answer 7

Toegelaten groep ( > 1: voldoen aan criterium) is veel homogener dan de groep als geheel –> lagere geschatte correlatie

Question 8

Restriction of range bij het criterium

Answer 8

• Hetzelfde probleem kan ook bij het criterium spelen
• niet iedereen bij wie de test is afgenomen is later nog beschikbaar voor het meten criterium
• als uitval afhangt van het criterium vertekent dit het beeld
• komt vaak voor bij selectietest, omsdat slecht functionerende individuen niet ‘overleven’ tot meetmomenten criterium
• ook hier is de overgebleven groep weer homogener dan de groep als geheel –> lagere correlatie
  –> overgebleven groep (Y > 1.5) en (X > 1) is nog weer homogener dan de groep die we geselecteerd hadden

Question 9

Niet-lineaire samenhang testscore en criterium

Answer 9

Sterkte en richting samenhang tussen testscore en criterium hangt nu af van de testscore

Question 10

Heteroscedastisciteit

Answer 10

Sterkte samenhang russen testscore en criterium hangt nu af van de testscore
- zie eerdere flashcard

Question 11

Predictieve validiteit vaak laag

Answer 11

• zonder 4 voorgenoemde problemen is de predicitieve validiteit vaak laag
• door bij meting van het criterium Y is onbetrouwbaar of meting van het criterium is niet valide

Question 12

Betrouwbaarheid en maximale predictieve validiteit

Answer 12

• predictieve validiteit wordt gemeten door rXY
• rXY - rTxTy x wortelRXX x wortelRYY
• rXY is dus laag als RXX en RYY laag zijn
• betrouwbaarheid meting criterium erg belangrijk, maar vaak over het hoofd gezien

Question 13

Validiteit criteriummeting

Answer 13

• idee is dat de test het daadwerkelijke criterium voorspelt
• als we dit criterium verkeerd meten beïnvloedt dit rXY
• rXY kan lager zijn dan echte samenhang tussen testscore en daadwerkelijk functioneren

Question 14

Criteriumvaliditeit bij dichotome beslissingen

Answer 14

• Tests worden vaak ingezet bij dichotome beslissingen (het een of het ander)
• goede classificatie is belangrijkst
• X en Y in een 2 bij 2 frequentietabel zetten
• X > Xcrit voor een score van 1

Question 15

Voorbeeld criteriumvaliditeit en beslissingen

Answer 15

• studenten zonder wiskunde moeten testimonium halen
• Studiesucces is nog niet bekend, dus testimoniumscore is de ‘stand-in’

Question 16

2x2 tabel voor criteriumvaliditeit

Answer 16

Zelfde dichotome indeling als de Phi-tabel
Je wordt daadwerkelijk toeglaten als je X hoog genoeg is, niet Xcrit
A –> X = 0, Xcrit = 1
B –> X = 1, Xcrit = 1
C –> X = 0, Xcrit = 0
D –> X = 1, Xcrit = 0

Question 17

A) positieve missers/false negatives

Answer 17

Ten onrechte afgewezen worden
X = 0, Xcrit = 1

Question 18

B) positieve treffers/true positives

Answer 18

Terecht toegelaten worden
X = 1, Xcrit = 1

Question 19

C) negatieve treffers/true negatives

Answer 19

Terecht afgewezen worden
X = 0, Xcrit = 0

Question 20

D) negatieve missers/false positives

Answer 20

Ten onrechte toegelaten worden
D –> X = 1, Xcrit = 0

Question 21

Selectieratio

Answer 21

Proportie toegelaten studenten
- B+D/totaal
–> alle mensen die volgens de testscore zijn toegelaten

Question 22

Base rate (toevalskans)

Answer 22

Proportie studenten boven het criterium
- A+B/totaal
–> alle mensen die een score van 1 hebben op Xcrit

Question 23

Succesratio

Answer 23

Proportie studenten die terecht is toegelaten
- B/B+D
–> alle mensen die op zowel het criterium als X voldoende scoorde in proportie tot alle mensen die volgens de testscore zijn toegelaten

Question 24

Sensitiviteit

Answer 24

Van de studenten die aan het criterium voldoen, proportie die is toegelaten
- B/B+A

Question 25

Specificiteit

Answer 25

Van de studenten die niet aan het criterium voldoen, de proportie die is afgewezen
- C/C+D
–> tegenovergestelde sensitiviteit

Question 26

Validiteit bij dichotome beslissingen

Answer 26

Correlatie tussen gedichotomiseerde test- en criteriumscore –> phi
- criterium staat verticaal, testscore staat horizontaal

Question 27

Succesratio/selectieratio afhankelijk van baserate

Answer 27

A+B wordt groter ten opzichte van het totaal –> B wordt groter ten opzichte van B+D
- base rate neemt toe als kwaliteit aanbod beter wordt
- base rate neemt toe als criterium minder streng wordt

Question 28

Succesratio/sensitiviteti afhankelijke van…

Answer 28

Validiteit:
- als phi groter wordt –> B en C groter, A en D kleiner –> B/B+D groter
Selectieratio:
- Meer personen afwijzen –> B groter ten opzichte van B+D

Question 29

Problemen bij dichotome beslissingen in de praktijk

Answer 29

Probleem: veel van de aangenomen kandidaten zijn ongeschikt –> lage validiteit tests en/of lage base rate en/of hoge selectieratio
Probleem: optimale balans positieve/negatieve missers –> negatieve missers (D), is het ernstig dat de persoon ongeschikt is / positieve missers (A), is het ernstig dat een geschikt persoon is afgewezen
–> bij een strengere selectie wordt D kleiner en A groter
–> meer coulante selectie heeft een kleinere A en een grotere D

Question 30

Relatie succesratio, validiteit, base rate en selectieratio via Taylor-RUssel tabellen

Answer 30

a. base rate = .60; validiteit = .20 (laag); selectieratio = .10 (streng) en succesratio = .73
b. als selectieratio toeneemt komt de succesratio dichter bij de base rate
c. als validiteit = 0 dan succesratio gelijk aan base rate
d. bij zeer hoge of zeer lage base rate: selectie vrijwel zinloos