Validiteit & Predictieve Validiteit

Question 1

Betrouwbaarheid

Answer 1

• consistentie, herhaalbaarheid;

- noodzakelijke, maar geen voldoende voorwaarde voor de validiteit van een test.

Question 2

Validiteit

Answer 2

• Gaat over doel en waarde in gebruik
• Mogelijke synoniemen: nuttigheid, voorspellend vermogen, accuraatheid in het gebruik, interpreteerbaarheid, juistheid, doelmatigheid

Question 3

Predictieve validiteit

Answer 3

voorspellen

Question 4

begripsvaliditeit

Answer 4

vaststellen

Question 5

Predictieve validiteit versus begripsvaliditeit

Answer 5

Alternatieve positie: onderscheid is principieel niet nodig:

Onderscheid wordt echter wel gemaakt:
Praktisch
Methodologisch!

Question 6

Vier belangrijke soorten validiteit

Answer 6

Predictive validity
Concurrent validity
Content validity
Construct validity

Question 7

Concurrent validity

Answer 7

gelijktijdige validiteit
paradictie
r(test, gelijktijdig beschikbaar criterium)

Question 8

Construct validity

Answer 8

Welke psychologische begrippen (‘hypothetical constructs’) worden door de test gemeten?

Question 9

Content validity

Answer 9

Representativiteit items voor domein

statistisch toetsbaar?

• In principe r(testscore, domeinscore),
• in praktijk niet

Question 10

Synthetische validiteit

Answer 10

Procedure
Stap 1: analyseren
opsplitsen van criterium in deelaspecten (functie-elementen)
Componentiële analyse
Verwant aan betekenisanalyse

Stap 2: synthetiseren
O.b.v. voorspelling op elk deelaspect wordt voorspelling voor hele functie gesynthetiseerd
Verwant aan predictieve validiteit

Question 11

congruent validity

Answer 11

Congruente validiteit of soortgenotenvaliditeit:
r (test A, test A’)
r( test, andere test die zelfde eigenschap meet)

Question 12

face validity

Answer 12

Indrukvaliditeit

transparantie van testprocedure in (psycho)diagnostiek

Question 13

incremental validity

Answer 13

toegevoegde waarde test
Verbetering van voorspelling m.b.v. test in vergelijking met voorspelling o.b.v. andere informatie
r(test, criterium) > r(andere gegevens, criterium)

Question 14

Opzet van een test(batterij) met predictieve validiteit

Answer 14

Fase 1: operationalisatie criterium
Fase 2: keuze en constructie tests
Fase 3: proefafname bestaande of nieuwe tests
Fase 4: validatie van de testprocedure
Fase 5: Samenstelling predictorbatterij
Fase 6: kruisvalidering

Question 15

Fase 4 valideringsonderzoek: Mogelijke problemen

Answer 15

• Gelijktijdig of toekomstig criterium
• Longitudinaal design
  Positief t.a.v. validiteit, maar is duur en duurt langer
  Risico’s
  Uitval deelnemers Restriction of range daling r(X,Y)
  Contaminatie criterium stijging r(X,Y)

Question 16

Homoscedasticiteit of homogeniteit van variantie

Answer 16

Men zegt dat een rij stochastische variabelen homoscedastisch is als alle dezelfde eindige variantie hebben.

Question 17

heteroscedasticiteit

Answer 17

wanneer de fouten niet constant zijn gedurende de gehele steekproef. De term is in strijd met homoscedasticiteit.

Question 18

Suppressorvariabele

Answer 18

X2 correleert met dat deel van X1 dat niet samenhangt met Y

Gevolg: een betere voorspelling door toevoeging van X2

In praktijk weinig voorkomend

Question 19

moderatorvariabele

Answer 19

Modereert (verandert) relatie tussen X en Y

Detectie kan erg belangrijk zijn voor validiteit

Question 20

moderated regression

Answer 20

Inhoudelijk: hoge scores op X1 en X2 versterken elkaar (en daardoor stijging correlatie met het criterium)

Question 21

Samenstelling predictorbatterij

Answer 21

O.b.v. meervoudige regressie-analyse

b1 hoog als r(X1, Y) hoog en r(X1, Xg) laag

Question 22

Fase 6: kruisvalidering

Answer 22

Controle model best op nieuwe gegevens

Mogelijke werkwijze: verdeel steekproef in twee delen

• Deelsteekproef 1: bepaal regressiemodel en r(y ,yest)
• Deelsteekproef 2: bepaal r(y, yest) o.b.v. model uit Deelsteekproef 1
• Als groot verschil, dan allicht toevals- of kanskapitalisatiefout

Question 23

kanskapitalisatie

Answer 23

als je veel variabelen opneemt in je model en die elk toetst op hun significantie, verhoogt de kans dat je (ten onrechte) een significant verband vindt naarmate je meer variabelen opneemt.

Question 24

Redenen voor lage validiteitscoëfficiënt

Answer 24

Betrouwbaarheid
Niet-lineair verband
Niet-homogene populatie
Niet-vergelijkbare doelgroepen
Onterechte vereenvoudiging

Question 25

Beperkingen van predictieve validiteit

Answer 25

Geen blinde selectie
maar begripsanalyse
- generalisatie nieuwe situaties
- beschrijving onderzochte
- betekenis criterium