Bijdrage van de test in het beslissingsproces Flashcards
Bijdrage test aan beslissingsproces
Niet: predictieve validiteit
Wel: ‘incremental validity’ of toegevoegde waarde test in vergelijking met beslissingen o.b.v. apriori informatie
gevolg: toegevoegde waarde groter als niet-overlappende informatie test en apriori informatie en als geen hoge of lage toevalskans
beslissingsstrategie
Normatief of ‘feitelijk gevolgd’
Één- of meerstapsprocedure
Plaatsing
Aantal kandidaten (aanbod) en aantal plaatsingen (vraag); numerus fixus
Vaste of variabele behandeling
bij gebruik van een selectieproef zijn er steeds vier groepen van deelnemers
Correcte beslissingen of treffers:
- B: positieve treffer
- C: negatieve treffer
- A: vals negatief
- D: vals positief
Belangrijke begrippen bij evaluatie kwaliteit selectie
Selectie ratio: (B+D)/(A+B+C+D)
Toevalskans: (A+B)/(A+B+C+D)
Succesratio: B/(B+D)
sensitiviteit
𝐵/(𝐴+𝐵)
proportie afwijkende testscores (‘positieve uitslagen’) binnen de groep van afwijkende (zieke) personen
specificiteit
𝐶/(𝐶+𝐷)
proportie niet-afwijkende testscores (‘negatieve uitslagen’) binnen de groep van normale personen
D > 0
Redenen
r(test, criterium) laag
Lage kwaliteit kandidaten
Weinig kandidaten
Relatie D en A
Als je D wil beperken, dan stijgt A
Focus op vermijden van D
vb dure opleiding
Focus op vermijden van A
screening bevolking op ernstige ziekte
Focus op beide
zoek optimaal kritische testscore i.f.v. utiliteit
relatie tussen sensitiviteit en specificiteit
Kritische testscore stijgt sensitiviteit daalt, specificiteit omhoog
kritische testscore daalt: Sensitiviteit stijgt, specificiteit daalt
Basislijn toegevoegde waarde: wat indien geen selectie
Als de selectieratio = 1,
dan is de succesratio = toevalskans
Bij hoge toevalskans
heeft zelfs een test met hoge validiteit weinig toegevoegde waarde.
De succesratio van die test stijgt weinig uit boven de toevalskans
Bovendien heb je dan een grote A-groep
Bij lage toevalskans
kan zelfs een test met lage validiteit toch een toegevoegde waarde hebben
De succesratio is groter dan de toevalskans
Bovendien heb je dan een grote groep C al terecht afgewezent.o.v. kleine groep A (maar wel een grote D groep)
validiteit en selectieratio
Bij zeer hoge selectieratio is
een test met hoge validiteit nodig opdat de succesratio groter zou worden dan de toevalskans
Bij zeer lage selectieratio kan een test met een lage validiteit al zorgen dat de succesratio groter wordt dan de toevalskans.
conclusie
De waarde van een selectie-instrument hangt af van context
Daarnaast blijft ook predictieve waarde belangrijk
Oordelen en waardebepalingen
Bepaling kritische criteriumscore door opdrachtgever cf. toevalskans
aantal kandidaten dat moet worden aangenomen (cf. selectieratio)
Na te streven succesratio
Keuze voor type fout (A of D) dat vermeden moet worden
