H2 Flashcards
Single stage (non-sequential decisions)
Beslissingen in een enkele fase worden genomen
Sequential decisions
Beslissingen in een meerdere fase worden genomen
Multiple cut-off procedure
Veelvoudige minimumscore. Hierbij wordt voor iedere test afzonderlijk een kritische score vastgesteld, beneden welke geen kandidaten mogen worden aangenomen. Iedere kandidaat die testscores heeft hoger dan of gelijk aan de minimumtestscores wordt aangenomen. (conjuctief)
Sequentiële beslissingsmodellen
Trapsgewijze selectie. Voorselectie/onderzoek -> voortgezet onderzoek –> eventuele heraling. Vaak superieur aan eenmalige selectie, vanwege geld/tijd besparing
Cut and fit method
Eerst worden de meest bekwame kandidaten in de best bij hen passende functies geplaatst en daarna worden de minder bekwame kandidaten min of meer aselect of naar een of andere vuistregel over de open gebleven functies verdeeld
Bijdragen van test in beslissingsproces (2)
1) Wetenschappelijke waarde test
* Hangt af van wetenschappelijk belang hypothetisch begrip
* Intelligentietest grotere waarde dan test die lengte meet
2) Praktische waarde
* Hangt af van bijdrage oplossingen praktisch probleem
* Praktische waarde (nut) bepaald in vergelijking met situatie waarin test niet voorhanden is
* Beslissingsstrategie
- Kan expliciet en consequent gevolgd worden, niet altijd geval
- Beslissingen worden gemaakt aan de hand van kansen en waarderingen
- Vooral gericht op nader onderzoek
Taxonomie van beslissingen (3/2/2/2)
a) Onderscheiding individuele en institutionele beslissingen
1) Individuele beslissingen
- Eenmalige beslissing
- Gedacht vanuit de individu die beslissing moet nemen of voor wie beslissing geld
- Succes hang af van de waarden en voorkeuren van individu
- Beroepskeuze, keuze studiepakket
2) Institutionele beslissingen
- Groot aantal gelijksoortige beslissingen
- Waardesysteem nog steeds een rol, maar dan op basis van instituut/organisatie
- Vaste serie beslissingsregels voor uiteenlopende gevallen
- Succes afhankelijk van rendement gemiddelde succes van afzonderlijke beslissingen
- Doel rendement maximaliseren of verlies minimaliseren
- Toelatingsprocedure voor een schol, examen voor rijbewijs, keuze therapie in kliniek
b) Aard van test
1) Alternatieven verschillen kwantitatief in 1 dimensie (Univariaat)
- Keuzes verschillen in 1 dimensie of elkaars verlengde
- Beslissing baseren om 1 single test
- Dezelfde informatie gebruiken voor voorspelling van succes binnen verschillende alternatieven
- Univariaat: Informatie die op 1 dimensie kan worden geschaald
- Schooltypen die verschillen per niveau, maar niet van aard
- Opleiding die je in 1, 2 of 3 jaar kan halen
2) Qualitatively different alternatives (Multivariaat)
- Keuzes verschillen in meer dan 1 dimensie
- Beslissing baseren om multiple tests
- Gaat om een andere structuur en samenstelling van eigenschappen
- Keuzealternatieven die qua aard en niet uitsluiten qua niveau verschillen
- Multivariaat: Informatie van multiple testen, meerdere dimensies
- Mogelijkheid tot differentiële voorspelling
- Keuze tussen opleiding
c) Aantal keuzes (Binnen univariate informatie)
1) Two alternatives: 1 treatment (wel/niet)
2) Meer dan twee alternatives: Meerdere alternatieven (klassen)
Beslissingen
-Soort keuze
-Niveaukeuze
-Plaatsing (soort)
-Plaatsing (niveau)
-Selectie
-Ja/nee keuze
-Selectie: Univariate- dichotomie- institutionele (wel/niet toegelaten)
-Ja/nee keuze: Univariate- dichotomie- individuele (wel/niet master starten)
-Plaatsing (niveau): Univariate-meer dan 2 alternatives- institutionele (hoog, middel of laag niveau plaatsingen)
-Niveaukeuze: Univariate-meer dan 2 alternatives- individueel (kiezen hoog, middel of laag niveau)
-Plaatsing (soort): Multivariate-meer dan 2 alternatives- institutionele (toegewezen aan behandeling A, B, C)
-Soort keuze: Multivariate-meer dan 2 alternatives- individueel (kiezen UVA, VU, UU)
Aspecten Enkelvoudig selectiemodel (2)
1) Criterium (horizontaal)
- Wel geschikt: boven criterium
- Niet geschikt: onder criterium
2) Test (verticaal)
- Wel toegelaten: rechts
- Niet toegelaten: links
Mogelijke uitkomsten enkelvoudig selectiemodel (4)
A) Positieve misser: Ten onrechte afgewezen (false negative)
B) Positieve treffer: Terecht aangenomen (true positive)
C) Negatieve treffer: Terecht afgewezen (true negatives)
D) Negatieve misser: Onterecht aangenomen (false positves)
Berekeningen enkelvoudig selectieproces (4)
1) Base rate/toevalskans:
- (A+B)/(A+B+C+D (totaal))
- Percentage geschikte kandidaten
- Aantal geschikte personen in een populatie
- Antecedent probability
2) Selectie ratio:
- (B+D)/(A+B+C+D (totaal))
- Percentage dat wordt aangenomen
3) Succes ratio:
- B/(B+D)
- Proporties van toegelaten studenten dat terecht is toegelaten
- Dit zo hoog mogelijk willen hebben
- Deze hoger willen hebben dan base rate, dan succes
- Afhankelijk van
§ Validiteit van de test (hoe hoger, hoe beter)
§ Base rate (hoe hoger, hoe beter)
§ Selection ratio (lage kritische testscore zorgt voor lage succesratio)
- Niet bruikbaar als
§ Validiteit erg laag is
§ Base rate erg hoog/laag is
§ Selection ratio erg hoog is
4) Validiteit
- Correlatie tussen (dichotome) test en criteriumprestatie
- Effect van validiteit op succesratio
- Validiteitscoëfficiënt: R(X,Y)ϕ=(B∗C −A∗D)/√((A+C)(B+D)(A+B)(C+D))
- Loopt van -1 tot +1
§ Hoe smaller de lijn, hoe hoger de validiteit en correlatie
§ Bij grote spreiding dan dichter bij 0
® Geen extra bijdrage aan beslissingsproces.
® Maakt niet uit waar je testgrens ligt
® Gelijk aan Base-rate
- Als ϕ groter wordt,
§ Dan B & C groter
§ A & D kleiner
§ Succesratio (B/(B+D) ) neemt toe
- Geef correlatie bij 2x2 tabel
Taylor-Russel tabellen
- Enkelvoudig selectieproces
- Relatie tussen succesratio, validiteit, selectieratio en base-rate
- R-functie
- Validiteit=0, dan succesratio=baserate
- Als selectieratio toeneemt, succesratio dicht bij base-rate
- Bij zeer hoge/lage base-rate is selectie zinloos
Utiliteit
- Nut van bepaalde uitkomst
- Vaak uitgedrukt in gewicht of geld
Enkelvoudige selectie met twee tests:
- Procedure selecteren
- De regel dat een kandidaat voor een examen geslaagd is: (4)
1) Conjuctief (a)
- Alle vakken van een examen een score behaalt boven een, eventueel voor alle vakken verschillende, grenswaarde
- Combineren van testscores
- Geen compensatie mogelijk; alles halen
- X1 > c1 en X2 > c2
2) Compensatorisch (b)
- Het berekende gemiddelde van de vakken, al dan niet gewogen, hoger dan een bepaalde grenswaarde is
- Wel compensatie
- Als het gecombineerd maar mogelijk is
- X1+X2 > c
3) Combinatie (c)
- Je mag combineren, maar geen mag lager zijn dan bijv. een 5
- X1 > c1 en X2 >c2 en X1+X2> c
4) Disjunctief
- Een van de onderdelen of vakken waaruit het examen bestaat een score heeft behaald die hoger is dan een bepaalde grenswaarde
- Voor iedere test afzonderlijk een kritische score vastgesteld
Selectie in meerdere fasen: & voordelen (3)
- Trapsgewijze toetsing (eenvoudige CAT)
- Korte test (screening)
- Respondenten classificeren in ‘zeker wel’, ‘zeker niet’ en ‘onzeker’
- Eventueel meerdere screenings om groep ‘onzeker’ te reduceren
- Lange test bij groep ‘onzeker’
- Voordelen
- Goedkoop
- Efficiënt (voor zekere en onzekere respondenten)
- Niet meer foutieve beslissing
Plaatsing
- Niveaus
- Univariate
- Kwalitatieve verschillen (soort)
- Multivariate
- Differentiële predictie
- Differentiële validiteit
§ Relatie tussen voorspellende variabele (X) en verschilscores (Y1-Y2)
§ In hoeverre is iemand geschikt voor A en niet voor B
§ Groter als verschil tussen r(x,Y1) en r(x,Y2) groter wordt
R(X,Y1−Y2 )=S(Y1)r(X,Y1) − S(Y2)r(X,Y2) / S(Y1−Y2)
Open vragen (2/2/2)
- Beslissingsproces zonder vooraf gedefinieerde categorieën
- Valt buiten taxonomie-schema
Testen in fasen
1) Mogelijkheden reduceren
- Vragen met grote bandwith (interview, autobiografisch opstel)
- Geen betrouwbare test vereist, wel zoveel mogelijk gestandaardiseerd
- Leidt tot hypotheses
- Alles wordt open gehouden
2) Toetsingsonderzoek
- Tests met grote fidelity
- Specifiek toetsen
- Betrouwbare en valide tests
Compromis tussen bandwijdte en zuiverheid
* Bandwidth (bandwijdte) –> Eerste fase
- Gestandaardiseerde test
- Voldoende items
- Specifieke normgegevens voor verschillende relevante populaties
- Niet gebruiken voor definitieve beslissingen
* Fidelity (zuiverheid –> Tweede fasen
- Betrouwbaar
- Valide
* Een grote bandwijdte gaat ten koste van de zuiverheid en vice versa
Ontwikkelen hypothese open vragen (3)
1) Zo veel mogelijk aansluiten bij resultaten literatuur of eigen ervaring in vergelijkbare situaties
2) Gebruik maken van impliciete en expliciete theorieën
3) Afzien van projectietests, vanwege naïeve constructie en lage testtechnische kwaliteiten
Expectation (E)
- E: Verwachte rendement van de plaastingsbeslissing per individu
- E(rendement)= P(A) x W(A) + P(-A) x W(-A)
- P(A): Kans om halen van opleiding A
- P(-A): Kans op het niet halen van opleiding A
- W(A): Waardering van halen opleiding A
- W(-A): Waardering van het niet halen van opleding A
Soorten voorspellingen: (2)
1) Actuarische voorspelling
* Een statistisch proces van wegen van testscores en eventueel berekenen van succeskansen
* Superieur aan intuïtieve methode
2) Intuïtieve voorspelling
* Intuïtief, niet-statistisch proces van weging en voorspelling.
* Een van situatie tot situatie fluctuerende combinatie van gegevens
* Proces is minder geformaliseerd, minder vaste strategie volgen dan bij statistische procedure
* Spelen vooroordelen, stereotypen en niet-geverifieerde veronderstellingen een rol naast ervaring/kennis
Incremental validity
Nagaan hoezeer de correlatie in vergelijking met het ‘a-prioriniveau’ wordt verhoogd door toevoeging van de testinformatie, niet alleen afgaan op correlatie met criterium
Afwijzingsmodel
Hoe hoog de correlatie minimaal moet zijn dat de test in selectieproces zinvol is
differentiele validiteit groter als…
verschil tussen de twee correlaties toeneemt
