Hoofdstuk 9. Besliskunde

Question 1

toegevoegde waarde van de test

Answer 1

De toegevoegde waarde van de test wordt bepaald door het wetenschappelijk belang van de eigenschap die door de test wordt gemeten. De praktische waarde wordt beoordeeld n.a.v. de beslissingen die met de test worden genomen. B.v. toelating of afwijzing voor een opleiding. In algemene zin is de bijdrage van een test de verbetering in vergelijking met de situatie zonder test.

Question 2

Externe factoren

Answer 2

Bij het nemen van beslissingen wordt rekening gehouden met diverse externe factoren, zoals persoonlijkheidseigenschappen en leefomstandigheden van de onderzochte persoon, eisen van de werkgever, aantal beschikbare sollicitanten, enzovoorts. Als gevolg van verschillen in externe factoren kunnen identieke testresultaten tot verschillende beslissingen leiden. De toegevoegde waarde van testresultaten op basis waarvan beslissingen worden genomen, is nauw verwant met het begrip incrementele validiteit.

Question 3

A-prioriestrategie

Answer 3

Het totaal aan voorspellingsmogelijkheden min de test.

Question 4

Antecedent probability

Answer 4

Wordt ook wel base rate genoemd. Het percentage geschikte personen in de populatie. Dit is zeer groot op het moment dat vanuit aselect selecteren een test geen verbetering meer geeft op de selectie. De test voegt dus niets toe.

Question 5

Drie elementen voor een beslissing

Answer 5

• Een individu waarvoor de beslissing geldt
• Twee of meer behandelingen (treatments) waartussen men moet kiezen.
• Informatie die dient als basis voor de beslissing.
Behandeling wordt breed opgevat: training, schoolopleiding enz. valt daaronder. Het kan gebeuren dat informatie nog ontoereikend is om een beslissing te nemen, dan is verder onderzoek nodig.

Question 6

Beslissingsstrategie

Answer 6

Het samenstellen van beslissingsregels.

Question 7

Indelingsprincipes m.b.t. beslissingen over mensen

Answer 7

• Onderscheid tussen individuele en institutionele beslissingen. Bij individuele beslissingen wordt gedacht vanuit het individu, de beslissing is eenmalig. Het resultaat van de beslissing moet beoordeeld worden tegen achtergrond van het individu. Bij institutionele beslissingen wordt een groot aantal gelijksoortige beslissingen genomen die gelden voor een systeem. B.v. toelatingsprocedure voor een school of keuze van therapie in een kliniek.
• Onderscheid m.b.t. onderlinge relatie van de te kiezen alternatieven. De alternatieven kunnen kwantitatief van elkaar verschillen maar wel in elkaars verlengde liggen. B.v. scholen die op basis van niveau van elkaar verschillen. De alternatieven kunnen ook gericht zijn op een andere structuur, een andere samenstelling van eigenschappen. Het gaat dan om kwalitatief verschillende alternatieven. Dit maakt differentiële voorspelling mogelijk.
• Bij beslissingen op basis van univariate informatie is er onderscheid tussen beslissingen waarbij het gaat om een (negatieve of positieve) keuze voor één enkele treatment, of een keuze tussen verschillende alternatieven

Question 8

Univariate vs multivariate informatie

Answer 8

Univariaat: Informatie die op één dimensie (b.v. niveau) kan worden geschaald.
Mulitvariaat: keuzealternatieven die qua aard en niet uitsluitend qua niveau, verschillend zijn.

Question 9

Taxonomie van beslissingen (differentiaties)

Answer 9

Voor de taxonomie zie pag. 403. Er kunnen enkele differentiaties worden gemaakt.
• De twee soorten beslissingen ‘plaatsing in qua niveau verschillende alternatieven’ en ‘selectie’ kunnen soms in één model worden gecombineerd als één van plaatsingsmogelijkheden een afwijzing is.
• Binnen plaatsingsbeslissingen is het belangrijk of met rekening moet houden met beperkingen van aantallen kandidaten.
• Bij onderscheid bij plaatsingsbeslissingen kan ook een onderscheid worden gemaakt tussen variabele of vaste treatments.
• Er kan onderscheid worden gemaakt tussen beslissingen in enkele fase (single- stage, non-sequential-decisions) of in verschillende fasen (sequential descisions)

Question 10

Enkelvoudige selectie

Answer 10

Van enkelvoudige selectie is sprake als individuen worden onderzocht met het oog op een enkel criterium waarbij er slecht twee mogelijkheden zijn: onderzochte voldoet niet of wel aan de eisen. Dit wordt ook wel het afwijzingsmodel genoemd. Het gaat om institutionele beslissingen waarbij gebruik wordt gemaakt van univariate informatie. Dit kan ook met meerdere testen. De scores worden dan wel gecombineerd tot een enkele predictorvariabele.

Question 11

Het gebruik van een enkele test

Answer 11

De eerste vraag bij een afwijzingsmodel is hoe hoog de correlatie met een criterium ten minste moet zijn, wil de test in het selectieproces een zinvolle functie hebben. De effectiviteit van de selectie hangt van meer factoren dan alleen de validiteit van de test af. Andere factoren zijn toevalskans en selectieratio. De resultaten van een enkele test kunnen verdeeld worden in een soort raster (zie fig. 9.3). De zwarte verticale lijn is de aftestgrens. Rechts wordt men aangenomen, links afgewezen. De zwarte horizontale lijn is de kritische criteriumscore. Scores erboven is voldoende, eronder onvoldoende. Dit geeft vier vakken.
A= onterecht afgewezen (Positieve misser, lage testscore, voldoende criterium)
B= terecht aangenomen. (Positieve treffer, voldoende testscore en criterium)
C = Terecht afgewezen. (Negatieve treffer, lage testscore en criterium)
D= onterecht aangenomen. (Negatieve misser, hoge testscore, onvoldoende criterium)
Vanaf dit punt is niet langer sprake van intervalschalen maar van nominale schalen.

Question 12

Selectieratio

Answer 12

Het percentage kandidaten dat wordt aangenomen. Selectieratio = (B+D)/(A+B+C+D)

Question 13

Toevalskans

Answer 13

Het percentage geschikte kandidaten wanneer men niet zou selecteren maar volgens toeval (of allen) zou aannemen. Toevalskans = (A+B)/(A+B+C+D)

Question 14

Succesratio

Answer 14

Het percentage succesvolle kandidaten binnen de aangenomen groep. B/(B+D). succesratio kan worden afgelezen uit tabellen van Taylor en Russell. Een belangrijke vraag is waarvan de succesratio (welke een indicatie is v.d. effectiviteit van de selectie) afhankelijk is.
• Afhankelijk van de correlatie van de test met het criterium: oftewel, afhankelijk van de validiteit van de test. Hoe hoger de correlatie, hoe meer BC en gevuld zijn en hoe leger AD. Succesratio wordt dan groter.
• Succesratio wordt beïnvloed door de toevalskans. Wordt AB groter in verhouding tot het totaal, dan gebeurt dit ook bij B in verhouding tot BD. De toevalskans is afhankelijk van kwaliteit van het aanbod en de strengheid van de beoordeling.
• De succesratio wordt beïnvloed door de selectieratio. Hoe meer personen worden afgewezen (verticale lijn naar rechts), hoe groter de breuk B/(B+D)

Question 15

Andere kengetallen naast selectieratio, toevalskans en succesratio

Answer 15

• Sensitiviteit of de proportie van mensen met de ziekte/conditie die ook als zodanig zijn geïdentificeerd. B / (A + B).
• Specificiteit of de proportie van mensen die niet de ziekte/conditie hebben en die ook als zodanig zijn geïdentificeerd. C / (C + D).
• Positief predictieve waarde (PPW) of de proportie van mensen met een positief testresultaat die daadwerkelijk de ziekte/conditie hebben. B /(B + D) (succesratio)
• Negatief predictieve waarde (NPW) of de proportie van mensen met een negatief testresultaat die daadwerkelijk niet de ziekte/conditie hebben, C / (A + C).

Question 16

Afkappunt

Answer 16

Een afkappunt is de testscore die als grenswaarde wordt gehanteerd om te bepalen of de geteste persoon wel of niet behandeld moet worden. Voor het bepalen van het optimale afkappunt kunnen eerdergenoemde kengetallen helpen. Omdat bij het meest optimale afkappunt, het aantal false negatives (A) en false positives (D) gelijk is aan 0, zullen de vier kengetallen steeds gelijk zijn aan 1 (of 100 als dit in percentages wordt berekend). Voor de meeste tests of meetschalen bestaat een dergelijk optimaal afkappunt niet. Men zou dan een afkappunt moeten kiezen afhankelijk van het doel.

Question 17

Verschillende doelen en afkappunten

Answer 17

• Bij het doel uitsluiten van conditie wil de diagnosticus zeker weten dat de geteste persoon niet afwijkend scoort op het criterium, bijvoorbeeld niet depressief is. In dit geval is het aantal A extreem laag of 0. Dan hebben sensitiviteit en NPW de hoogste waarden.
• Als het doel screenen voor de conditie is, dan probeert men het maximale uit de test te halen waarbij rekening wordt gehouden met de kosten van mogelijke fouten (positieve missers en negatieve missers). Het optimale afkappunt is afhankelijk van de nadelen van foutieve beslissing.
• Bij het insluiten van de conditie wil de diagnosticus de eerder gestelde diagnose of een zeer sterk vermoeden dat iemand ziek is bevestigen In dit geval is het aantal D extreem laag of gelijk aan 0, dus hebben specificiteit en de PPW de hoogste waarden. Ook in dit geval zoekt men naar een afkappunt met een maximale som maar nu van specificiteit en de PPW.
Vaak wordt in de literatuur een afkappunt van een test geselecteerd waarbij de som van sensitiviteit en specificiteit maximaal zijn. Dit afkappunt is echter alleen relevant als de kosten van onterechte negatieven en de kosten van onterechte positieven gelijk zijn. In alle andere gevallen is het belangrijk om een ander afkappunt te kiezen. Het optimale afkappunt is dus afhankelijk van het gekozen doel en van de kosten die onjuiste beslissingen met zich meebrengen.

Question 18

Toevalskans en prevalentie v.s. kengetallen

Answer 18

Prevalentie is de toevalskans in de populatie. Het kennen van de toevalskans is belangrijk voor het bepalen van het optimale afkappunt omdat de PPW en NPW van de toevalskans afhankelijk zijn. Het kennen van prevalentie is dus nodig voor PPW en NPW. Verandering in toevalskans heeft geen invloed op sensitiviteit en specificiteit.

Question 19

Likelihood ratios

Answer 19

Als de toevalskans of de prevalentie voor een specifieke studie onbekend is of als de PPW en de NPW onbekend of niet bruikbaar zijn, moeten we kijken naar andere kengetallen voor het bepalen van het optimale afkappunten. De twee onderstaande likelihoodratio’s zijn niet afhankelijk van de prevalentie of de toevalskans:
• Positive likelihood Ratio (LR+, de positieve aannemelijkheidsverhouding. De verhouding tussen de kans dat een persoon met een conditie (ziekte, een bepaalde criteriumscore) een positief testresultaat heeft en de kans dat een persoon zonder deze conditie een positief testresultaat heeft.
• Negative likelihood Ratio (LR-, de negatieve aannemelijkheidsverhouding). Dit is de verhouding tussen de kans dat een persoon zonder een conditie een negatief testresultaat heeft en de kans dat een persoon met deze conditie een negatief testresultaat heeft. Een LR- lager dan 0.1 wijst sterk op afwezigheid van de conditie.

Question 20

Repercussies voor enkele beslissing

Answer 20

• Het aannemen van ongeschikte kandidaten hoeft niet aan de test te liggen. Dit kan ook kwaliteit van aanbod zijn.
• Oordelen en waardebepalingen spelen altijd een rol waar test(psycholoog) niet verantwoordelijk voor is maar wat ligt aan beleid van opdrachtgever. De horizontale lijn, wat bepaald wat (on)voldoende is, is in het geding. Daarnaast speelt ook de vraag hoeveel kandidaten moeten aangenomen en welk succesratio men nastreeft.
• Een validiteit heeft niet steeds dezelfde waarde voor de beslissing. Is toevalskans bijna 1, dan heeft tegen vrijwel geen zin omdat succesratio weinig kan verhoogd.
• Bij zeer hoge selectieratio is bij constant blijven van de toevalskans een veel hogere validiteit nodig dan wanneer een strenge selectie mogelijk is.
• Een strengere selectie (aftestgrens naar rechts) heeft tot gevolg dat méér kandidaten onterecht worden afgewezen.
• Bij zeer lage toevalskans (bv klinische psychologie) kan een test met lage ‘base rate’ (matige validiteit) het aantal foutieve beslissingen vergroten. Ook bij meer valide zijn er toch nog veel ten onrechte afgewezen kandidaten.

Question 21

Gelijktijdig gebruiken van diverse tests

Answer 21

De best voorspellende testbatterij voor een heterogeen criterium bestaat uit een serie tests die allen zo hoog mogelijk correleren met de criteriumprestatie maar onderling zo laag mogelijk correleren. Hoog correlerende tests zouden elkaar inhoudelijk overlappen en dus geen onafhankelijke bijdrage leveren die de validiteit doet stijgen. Wanneer de test maximaal samenhangen zou een enkele test volstaan.

Question 22

Gefixeerde selectieratio

Answer 22

Het percentage te selecteren kandidaten ligt vast.

Question 23

Gefixeerde succesratio

Answer 23

Aangenomen kandidaten moeten minstens een kans P op succes hebben.

Question 24

Gegevens afzonderlijke tests combineren

Answer 24

De gewenste beslissingen kunnen op twee manieren worden bereikt.
• Via een statistisch proces van wegen van testscores en evt. bereken van succeskansen. Dit is een actuarische verwerking
• Via een intuïtief, niet statistisch proces van weging en voorspelling. Het proces is minder geformaliseerd, men volgt minder een vaste strategie. Het idee is dat in het geval van een intuïtieve of klinische voorspelling de gewichten per gediagnosticeerde persoon kunnen worden aangepast, waardoor meer recht gedaan zou worden aan de uniciteit van het individu.
Het statistische proces is superieur aan de intuïtieve methode. De actuarische verwerking leidt tot betere resultaten, tot minder foute beslissingen.

Question 25

Compensatorisch model

Answer 25

Het regressiemodel is een voorbeeld van een compensatorisch model. Lage scores op een bepaalde test kunnen worden gecompenseerd door hoge scores op een andere test. Alleen de hoogte van de gewogen totaalscore is van belang.

Question 26

Conjuctief model

Answer 26

Het conjunctieve model wordt gekenmerkt door het hanteren van een minimumscore alvorens de overige scores te gebruiken. In het conjunctieve model wordt een absolute meting gebruikt. Wanneer voor verscheidene tests een minimumscore wordt gebruikt, spreekt men van een veelvoudige minimumscore. Voor de selectie wordt de multiple cut-off procedure gehanteerd. Hierbij wordt voor iedere test afzonderlijk een kritische score vastgesteld, beneden welke geen kandidaten worden aangenomen.

Question 27

Selectie in één of meer fasen

Answer 27

Trapsgewijze selectie is in de meeste gevallen superieur aan eenmalige selectie, aangezien meestal veel tijd en geld bespaard kunnen worden zonder dat er meer foutieve beslissingen vallen.

Question 28

Plaatsingsbeslissingen

Answer 28

Bij plaatsingsbeslissingen wordt een keuze gemaakt uit diverse alternatieven. Het gaat niet om wel/niet maar om waar iemand geplaatst wordt. Ook hier kan onderscheid worden gemaakt tussen alternatieven die verschillen in aard en niveau. Het belangrijkste verschil ligt in de aard van informatie (univariaat of multivariaat). De rol van psycholoog in een beslissingssituatie bij niveauverschil:
• Enerzijds de kansen op het behalen van de verschillende resultaten van beslissingen bepalen en expliciteren.
• Anderzijds ervoor zorgen dat de beslisser zich rekenschap geeft over de prioriteiten in zijn waardesysteem en de adequate waardering van de uitkomsten.
Het gaat dus om kansen (P) en waardering (W).

Question 29

Rendement

Answer 29

De verhouding tussen opbrengt en inleg. Het rendement kan worden berekend door E=P(A) x W(A) + P(-A) x W (-A). Waarbij:
E= rendement.
P= kans op…
W=waardering.
A= is in dit voorbeeld b.v. opleiding A. Dus P (A) is de kans op het behalen van en P (- A) kans op het niet behalen van opleiding. Is de kans op het behalen 0,7 maakt dat de kans op niet behalen automatisch 0,3.
Door het rendement te berekenen kan voor een bedrijf inzichtelijk worden welke keuze moet worden gemaakt (b.v. in dit geval welke opleiding). Echter gaat dit uit van een onbeperkt aantal opleidingsplaatsen. Dit is vaak niet de realiteit. Met beperkte aantal plaatsen zal er een keuze moeten worden gemaakt, ook als het rendement voor ieder individu hoog is. Dan worden keuzes toch ‘op het gevoel’ genomen.

Question 30

Kwantitatieve vs kwalitatieve verschillen

Answer 30

Bij diagnostische informatie hebben de kwantitatieve verschillen betrekking op de hoeveelheid of sterkte van een bepaalde eigenschap. De kwalitatieve verschillen hebben betrekking op de aard.

Question 31

Kwalitatieve verschillen

Answer 31

Ook bij kwalitatieve verschillen gaat het om de kansen op succes en anderzijds de waarde van het goed vervullen. Centraal staat nu de mogelijkheid tot differentiële voorspelling en hiervoor is een andere soort test(batterij) nodig. Op basis van testprestaties moet een schatting worden gemaakt voor de kansen van beide opties. De testprestaties moeten tussen beide opties differentiëren. Een hoge correlatie van de test met de criteria is niet voldoende. Een test moet hoog correleren met het ene criterium en laag met het andere. Ook de differentiële validiteit is van belang. Ook deze beslissingen worden in de praktijk vaan op gevoel genomen.

Question 32

Differentiële validiteit

Answer 32

De correlatie tussen predictorscore X en het verschil van twee criteriumscores Y1-Y2

Question 33

Individuele beslissingen

Answer 33

Het is mogelijk dat bij individuele beslissingen in zekere zin een groter beroep gedaan moet worden op de psycholoog dan bij institutionele beslissingen, omdat beslissingen niet volgens een min of meer vastliggende procedure totstandkomen. De taak van de psycholoog bestaat er vooral in, een cliënt zo veel mogelijk bewust te maken van diens capaciteiten, sterke en zwakke persoonlijkheidseigenschappen, normen- en waardepatroon, enzovoorts, zodat de cliënt in staat is een verantwoorde keuze uit de beschikbare mogelijkheden te maken. Vervolgens kan alsnog de formule van rendement worden ingevuld waarbij de W zelf wordt geïnterpreteerd.

Question 34

Beslissingen bij een open vraag

Answer 34

Er moet gestart worden met een vraag- en probleemanalyse. Voor beantwoording van de vraaganalyse moeten de volgende stappen worden genomen.
• Het grote aantal mogelijkheden reduceren tot een beperkte keuze of gericht veronderstelling. Het gaat hier om bandwijdte (bandwidth). Een grote bandwijdte gaat ten koste van de zuiverheid.
• Beslissing nemen of de veronderstelling als hypothese kan worden getoetst. In deze fase moet de test betrouwbaar zijn omdat beslissingen worden genomen. Het gaat om zuiverheid (fidelity).

Question 35

De zuiverheid van brede-bandtests verbeteren

Answer 35

Tests met grote bandwijdte hebben een geringe zuiverheid. Om de zuiverheid toch te verbeteren zijn maatregelen voorgesteld. De validiteit en betrouwbaarheid neemt toe (en bandbreedte dus af wat eigenlijk niet de bedoeling was)
• Een goede standaardisering van de procedure van afnemen en het gebruik van een voldoende objectief verwerkingssysteem.
• De test dient voldoende items te bevatten om een behoorlijke spreiding in testprestaties op te leveren.
• Voor verschillende relevante populaties moeten specifieke normgegevens beschikbaar zijn.
• Beoordeelde kenmerken moeten een omschreven plaats krijgen in een theorie over het construct zodat duidelijk is weke psychologische betekenis aan de kenmerken wordt toegekend.