Hoofdstuk 8 deel4 Flashcards
In welke onderzoeken wordt er steeds nagegaan of een bepaalde test geschikt is voor een
specifieke voorspellingsdoel.
Antwoord.
Valideringsonderzoek, de opvatting dat de predicatieve validiteit in hoge mate
situatispecifiek is , heeft aanleiding gegeven tot duizenden validersingzonderzoeken.
De opvatting dat de predictieve validiteit in hoge mate situatiespecifiek is, heeft aanleiding gegeven
tot duizenden valideringsonderzoeken. Wat is juist
1 Men gaat ervan uit dat predictieve validiteit niet varieert over wisselende combinaties van
voorspellende tests en te voorspellen criterium.
2Men gaat ervan uit dat predictieve validiteit varieert over wisselende combinaties van
voorspellende tests en te voorspellen criterium.
2
Methode Schmidt en Hunter beantwoorden in hoeverre predictieve validiteit daadwerkelijk zo
situatiespecifiek is en in hoeverre gebleken validiteit kan worden gegeneraliseerd:
* Situatiespecificiteit: voor alle combinaties van een specifieke test en gedragingen in een specifieke
functie worden op basis van vakliteratuur de beschikbare validiteitscoëfficiënten verzameld. Deze
worden opgevat als de waarden van een variabele en van deze waarden wordt de standaarddeviatie
bepaald. De standaarddeviatie geeft de variatie in gevonden validiteitscoëfficiënten van een bepaald
type tests over praktische toepassingen. Daarna wordt de standaarddeviatie gecorrigeerd voor
veronderstelde methodologische fouten (steekproeffouten, onbetrouwbaarheid van predictoren en
criteria en beperking van de variatiebreedte of ‘restriction of range’. Wanneer de resulterende
21
standaarddeviatie van de validiteitscoëfficiënten na de correctie gelijk is aan 0, betekent dit dat de
validiteit van de tests niet verschilt over selectiesituaties en dat de hypothese van situatiespecificiteit
verworpen kan worden. Uit onderzoek blijkt dat validiteitscoëfficiënten vaak weinig situatiespecifiek
zijn en generalisatie over organisatie, geografische gebieden, functies en tijdvakken dus mogelijk is.
* Generaliseerbaarheid naar nieuwe voorspellingssituaties: e wordt een schatting gemaakt van de
methodologische fouten (= effectiviteit) die kan worden opgevat als de representatieve validiteit
binnen een specifieke categorie van tests en functies. Op basis van onderzoek naar
validiteitsgeneralisatie blijkt dat de effectiviteit groot genoeg en de resterende variantie klein genoeg
is om in 90%-95% van de nieuwe toepassingen een positieve validiteit te verwachten. Voor tests voor
cognitieve vaardigheden zou er zelf helemaal geen situatiespecificiteit zijn, de validiteit is dan
constant over situaties.
Kritiek op de methode van Schmidt en Hunter:
- Ingewikkelde criteria zoals beroepssucces zijn op veel te eenvoudige manieren gemeten. Slecht
geoperationaliseerde criteria leidt tot te lage validiteiten met te weinig spreiding. Met betere
metingen zou de mogelijkheid van situatiespecificiteit niet verworpen worden. - De correctie van de standaarddeviatie van validiteitscoëfficiënten is vaak te groot. Zo blijken de
methodologische fouten (steekproeffouten, onbetrouwbaarheid van predictoren en criteria en
beperking van de variatiebreedte) soms meer dan 100% van de variantie te verklaren, met
uitschieters boven 200%
Wat stellen Schmidt, Hunter en Caplan mbt de invloed van kleine steekproeven op de verdeling
van de validiteitscoefficienten vs de effecten van meetfouten in predictor- , criteriumscores en van
variatiebeperking? P365
a invloed van kleine steekproeven is groter
b invloed van grote steekproeven is groter
invloed van kleine steekproeven is groter
Hoe kan effectiviteit worden opgevat in het kader van de toetsing van generaliseerbaarheid van
validiteit? P366
De representatieve validiteit binnen een specifieke categorie van tests en functie
Welke ondergrens wordt meestal aangehouden voor de validiteit binnen een bepaalde categorie
van tests en functies?
l.
Het tiende percentiel
Wanneer is er sprake van situatiespecificiteit? P366
1 Wanneer de standaarddivatie van de validiteitscoëfficiënten na correctie van de methodologische
fouten niet gelijk aan nul.
2 Wanneer de standaarddivatie van de validiteitscoëfficiënten na correctie van de methodologische
fouten niet gelijk zijn aan nul.
2
Wat stelt Schmidt op vasis van het empirisch onderzoek naar validiteitsgeneralisatie voor tests van
cognitieve vaardigheden? P366
1 Dat de gecorrigeerde standaarddeviatie niet gelijk is aan nul (geen situatiespecificiteit) en
dus generaliseerbaar is.
Dat de gecorrigeerde standaarddeviatie gelijk is aan nul (geen situatiespecificiteit) en dus
generaliseerbaar is.
2
Waar houdt het onderzoek naar predictieve validiteit zich mee bezig.
Antwoord.
De selectie van de voor de voorspelling beste predatoren
Hoe kunnen de beste predictor worden vastgesteld.
Antwoord.
Regressienalayse
Wat is juist.
1 predicotren die hoog collereren met het criterium en laag met andere predictoren
leveren een unieke bijdrage aan de voorspelling en krijgen een zwaar gewicht
2 predicotren die laag collereren met het criterium en hoog met andere predictoren
leveren een unieke bijdrage aan de voorspelling en krijgen een zwaar gewicht
Antwoord
1
Wie voerde het begrip construct validity in.
Antwoord.
Cronhach en Meehl. Dit voerde ze in om de testpsychologie te redden uit het slop van
inhoudsloze correlatierekening.
Dit is met oog op het wetenschappelijke onderbouwing van het meten met behulp van
tests een onmisbaar van tentconstructie. Wat men hier doet is door middel van emperish
onderzoek achterhalen wat de test precies meet.
Antwoord.
Bergripsvalidering.
Het onderzoek naar predictieve validiteit houdt zich bezig met de selectie van de voor de
voorspelling beste predictoren, dit kan obv regressie analyse. Soms zijn verbanden van tests met
criteria heel duidelijk (bvb numerieke test voor rekenprestaties) en soms niet. Construct validity of
begripsvalidering is een onmisbaar onderdeel van testconstructie, omdat:
- Blind toepassen van een test omdat deze nu eenmaal werkt, zonder te weten waarom, leidt niet
tot inzichten. - Blind afgaan op de grootste correlaties impliceert dat men alle predictoren moet onderzoeken,
wat onmogelijk is. - Er kan sprake zijn van een unieke of zeldzame situatie, waarvoor niet of nauwelijks een criterium
vast te stellen is, bvb nieuwe functie waarmee nog geen ervaring is opgedaan. Indien er wel inzicht is
in de psychologische betekenis van testgedrag, kunnen toch enkele hypotheses geformuleerd
worden - Een psycholoog die zonder theorie een motiverende beschrijving probeert te maken van een cliënt
zal snel vastlopen. - Betekenisanalyse en begripsvaliditeit bieden de mogelijkheid om het sacrosancte criterium van zijn
voetstuk te halen en te analyseren. Vooral als men nauwkeurig weet wat een test meet, geeft
onderzoek naar de relatie van de test met een gegeven criterium veel informatie over de aard en
betekenis van dat criterium.
De conclusie is dat predicatieve validiteit en onmisbaar begrip is voor de praktijk van het
voorspellend testgebruik maar dat een test pas een werkelijk nuttige functie krijg, zowel in
wetenschappelijk als praktisch opzich als met deze empirische correlaties tevens een begripsanalyse
gepaard gaat.
Betekenis en begripsvaliditeit.
Aan begripsvalidering gaat meestal een process van betekenisanalyse vooraf, In de betekenisanalyse
worden dezelfde fases doorlopen als in de theorievorming en de toetsing van theorieën in algemene
zin:
- Creatieve fase: hypothetische theorie opstellen die het testgedrag kan verklaren. Dit moet
ondubbelzinnig te onderzoeken zijn. - Theorie bevestigen (begripsvalidering) door een concrete voorspelling te doen.
Gaat het volgende over de creatieve fase of over de theorie bevestigen.
Er wordt gezoxht naar plausibele verklaringen, hierbij zijn de procedure en de methode niet
voorgeshreven en bindend,
Antwoord,
Creatieve fase,
Wat wordt hier beschreven.
Hierbij gaat het om het vinden van een theorie of een theoretisch begrip als verklaring voor het
testgedrag
1begripsvalidering
2.betekeninsanalyse
3.trekvalidering
Nomologische validering
antwoord
betekenisanalyse
wat wordt hier beschreven. Hierbij gaat het om het empirisch bevestigen van de bovengenoemde
verklaring.
1begripsvalidering
2.betekeninsanalyse
3. trekvalidering
4 Nomologische validering
antwoord
begripsvalidering
wat wordt hier beschreven. Hierbij is het de vraag in hoeverre het testgedrag verklaard kan worden
met behulp van een persoonlijkheidstrek of een geschiktheid
1begripsvalidering
2.betekeninsanalyse
3. trekvalidering
4 nomologische validering
Antworod
Trekvalidering hierbij gaat het niet noodzakelijk om een theorie
wat wordt hier beschreven. Hierbij wordt het testgedrag verklaard vanuit een psychologische
theorie.
1begripsvalidering
2.betekeninsanalyse
3. trekvalidering
4 nomologische validering
Antwoord.
4
De mogelijkheid om testgedrag te relateren aan een nomologisch netwerk is groter naarmate de
psychologie als wetenschap verder vordert en er meer dergelijke nomologische netwerken ontstaan,
bvb een test voor transitief redeneren die gebaseerd is op elementen van 3 verschillende theorieën
over de eigenschap.
De systematische constructie van items obv een volledig gekruist ontwerp, waarin alle combinaties
van de eigenschappen die relevant zijn voor de oplossing van een bepaald probleem in de gebruikte
items gerepresenteerd worden, heeft raakvlakken met de facettheorie voor het in kaart brengen van
attitudes (sociale psychologie).
Nomologische validering is nog jong en testgedrag wordt doorgaans gevalideerd in termen van
trekvaliditeit.
Is eenmaal een trek of nomologisch netwerk gekozen als potentiële verklaring van het testgedrag,
dan start de fase van begripsvalidering: voorspellingen formuleren om te toetsen of de vermoedens
over de test juist zijn, de uitkomsten empirisch toetsen op juistheid van de potentiële verklaring
hypothese te bevestigen maar ook om alternatieve hypothesen te verwerpen welke hoort waarbij
A de oorspronkelijk hypothese bevestigen.
B alternatieve hypotheses verwerpen
1 Confirmerende validering:
2 Discriminante validering:
Antwoord
1= Confirmerende validering:a
2= Discriminante validering:b
Wat is het verschil tussen begripsvalidering en betekenisanalyse? P371
a Begripsvaliderin gaat om het vinden van een theorie of een theoretisch begrip als verklaring voor
het testgedrag Betekenisanalyse gaat om het empirisch bevestigen van deze verklaring.
b Betekenisanalyse gaat om het vinden van een theorie of een theoretisch begrip als verklaring voor
het testgedrag Begripsvalidering gaat om het empirisch bevestigen van deze verklaring.
Betekenisanalyse gaat om het vinden van een theorie of een theoretisch begrip als verklaring voor
het testgedrag Begripsvalidering gaat om het empirisch bevestigen van deze verklaring.
zijn deze 4 punten van belang bij bergipsanalyse of betekenisanalyse?
1) De fase is creatief; er wordt gezocht naar mogelijke plausibele verklaringen
2) De voorspelling moet ondubbelzinnig te onderzoeken zijn
3) De voorspelling kan nooit definitief bewezen worden, maar kan enkel de theoretische verklaring
versterken of verzwakken
4) Het verwerpen van alternatieve hypothesen is net zo belangrijk als het accepteren van de
oorspronkelijke hypothese
betekenisanalyse?
Wat houdt het volgende in.
Een ruim, theoretisch kader, waarbinnen een groot aantal begrupen en relaties tussen die begrippen
voorkomen, die in het ideale geval alle empirisch gefundeerd zijn. Het voordeel hiervan is dat bij
inbedding van testgedrag in een ….., de betekenis van de test in meer algemene psychologische
termen kan worden begrepen. De constructie van een test voor transitief redeneren en cognitieve
ontwikkeling middels balanstaken en perceptuele classificatie zijn voorbeelden die op deze manier
tot stand zijn gekomen
.
Antwoord
een nomologisch netwerk in? P372
Betekenisanalyse . op zoek naar de betekenis. 376.
Er zijn 2 manieren om het testgedrag te analyseren:
* Structuuronderzoek: psychologische analyse van de inhoud van items gevolgd door een analyse van
formele kenmerken van de items en test.
* Relatieonderzoek ter ondersteuning van de testbetekenis (dus als bron van ideeën of hypotheses)
kan 4 vormen aannemen:
* Spreiding en normen kunnen in verschillende groepen bestudeerd worden.
* Experimenteel onderzoek in verschillende condities.
- Factoranalyse: exploratieve methode om informatie die in een groot aantal variabelen vervat zit
samen te vatten in een kleiner aantal factoren. Een factor is de gewogen somsvan itemscores of
testscores. Indien de correlatie tussen testscores ongeveer 0 is, zijn de tests onafhankelijk. Bij hoge
correlaties is tussen de tests in psychologische zin veel overlap, dus de tests meten dezelfde
eigenschap. Bij factoranalyse worden de gewichten zodanig gekozen dat de informatie in de
testscores zo goed mogelijk wordt samengevat (bij regressieanalyse worden gewichten zo gekozen
dat het criterium goed wordt voorspeld). - Wat kan de test voorspellen? Dit is een wisselwerking tussen betekenisanalyse en predictieve
validiteit. Voorspellingen geven aanleiding tot zinvolle veronderstellingen over de testbetekenis.
Zowel structuuronderzoek als relatieonderzoek dragen bij tot de voorlopige formulering van een
antwoord op de betekenisvraag
Alternatieve verklaringen Een test die verondersteld wordt om eigenschap A te meten, mag geen
relatie vertonen met tests of variabelen die eigenschap B meten, waarvan wordt verondersteld dat
deze niet met eigenschap A samenhangt. De waarde van het verwerpen van alternatieve
verklaringen is afhankelijk van:
- De precisie van het experimenteel onderzoek: een onjuiste of slordige opzet kan ervoor zorgen dan
een alternatief onterecht verworpen wordt. - De plausibiliteit van de alternatieve verklaring. Het is zinvol om een aantal alternatieven routineus
te controleren: - Samenhang met intelligentie.
- Sociaal wenselijkheid als onbedoelde eigenschap, vooral bij persoonlijkheidsvragenlijsten. Wanneer
een test in grote mate sociaal wenselijkheid meet, kan worden gesteld dat de test niet goed
functioneert: - Individuele sociaal wenselijkheid (test attitude of test-taking attitude): kan bevraagd worden of
door het vergelijken van anonieme/niet-anonieme antwoorden. - Algemene sociaal wenselijkheid: onderzoeken door een aparte groep van proefpersonen de sociaal
wenselijkheid van antwoorden te laten beoordelen en op basis hiervan een sociaal
wenselijkheidssleutel te maken. - Antwoordtendenties: neiging tot een consistent keuzepatroon in het antwoordgedrag op tests:
- Instemtendentie (aquiescence-set)/tendentie tot ontkennen.
- positievoorkeur.
- Semantische interpretaties.
- Sequentietendentie, bvb even vaak ja/nee
- Snelheidstendentie versus precisietendentie.
- uitvoerigheidstendentie.
- Gistendentie.
- Voorkeur voor formele kenmerken, bvb langste antwoord, wetenschappelijke termen,.
Er zijn enkele variabelen waarvan het zinvol is om deze altijd te toetsen als alternatieve verklaringen
van het criterium. Welke zijn dit? P384
1) Samenhang met intelligentie
2) Sociale wenselijkheid, kan vooral een probleem vormen bij persoonlijkheidsvragenlijsten
3) Antwoordtendenties – neiging tot consistent keuzepatroon in het antwoordgedrag
4) Instemtendenties – overmatig eens zijn met stellingen
5) Positievoorkeur – voorkeur voor neutraal of juist extreem antwoorden
6) Semantische interpretatie – interpretatie van keuzeopties (zelden vs soms)
7) Sequentietendentie – bepaalde regels in de volgorde van het beantwoorden
8) Snelheidstendenties vs precisietendenties 9) Uitvoerigheidstendenties
10) Gistendentie
11) Formele kenmerken tendentie – neiging tot kiezen van bijv ingewikkelde of lange antwoorden.
Waarvan is er spraken als je ta maken hebt met het volgende
De test de eigenschap met veel ruis meet –
Nauwelijks valide is –
Laag correleert met andere variabelen –
De predictieve validiteit gering is
1lage validiteit
2lage betrouwbaarheid
Antwoord
Een lage betrouwbaarheid
Betrouwbaarheid en validiteit.
Wat is juist.
- Een lage betrouwbaarheid betekent dat een test niet de eigenschap meet. Dit staat los van
validiteit. - Een lage betrouwbaarheid betekent dat een test wel de eigenschap meet, maar dan met
veel ruis. Dit staat los van validiteit
- Een lage betrouwbaarheid betekent dat een test wel de eigenschap meet, maar dan met
- Een lage betrouwbaarheid betekent dat een test wel de eigenschap meet, maar dan met
veel ruis. In die zin is de test weinig valide.
- Een lage betrouwbaarheid betekent dat een test wel de eigenschap meet, maar dan met
Antwoord.
3.
Wat is juist.
1een grote meetfout betekend dat de test laag correleert met andere variable.
2een grote meetfout betekend dat de test hoog colereert met een andere variable.
.
Antwoord
1 de predictive validiteit van een dergelijek rest kan dan ook niet anders zijn dan gering
Als een persoon op een weegschaal weegt wordt dit gedaan aan de hand van een afgestemde
weegschaal. Hierdoor kunnen er telkens ander resultaten uitkomen. De weegschaal geeft wel een
aanduiding van het gewicht maar variërend binnen zekere grenzen. Hebben we het hier over
onbetrouwbaarheid van het meetinstrument of onvoldoende validiteit van het meetinstrument.
Antwoord
Onbetrouwbaarheid, maar nog steeds wordt het gewicht geschat en niet het licmaamstemperatuur
dus het is wel valide, het meet wat het moet meten.
Campbell en Fiske beschrijven de multitrek-multimethode benadering: er wordt geschat in hoeverre
de variantie van de testscore wordt bepaald door de variantie in de bedoelde trek en juist niet door
zowel de variantie ten gevolge van de gebruikte methode als de variantie in niet-bedoelde trekken
Waarover gaat het volgende.
Belangrijk hier is het idee dat een test voor een bepaalde eigenscha zou kunnen worden vervangen
door een andere test die dezelfde eigenschap presenteert te meten. Dit lukt doorgaans niet perfect
waardoor de variantie in de test resultaten voor een deel is toe te schrijven aan variantie van de
onderzochte groep op de bedoelde en de specifieke eigenschap van verschillende
meetsintrumenten.
Antwoord.
Multitrek- multimethode matrix.
som over multitrek multimethode benadering
pagina 390
Wat is het nut van de multitrek-multimethode benadering?
Het is een model waarin enederzijds de betrouwbaarheid en anderzijds zowel de confirmerende als
de discriminante validiteit van een test kan worden onderzocht
Taxonomie van validiteit
