Validiteit & Predictieve Validiteit Flashcards
Betrouwbaarheid
- consistentie, herhaalbaarheid;
- noodzakelijke, maar geen voldoende voorwaarde voor de validiteit van een test.
Validiteit
- Gaat over doel en waarde in gebruik
- Mogelijke synoniemen: nuttigheid, voorspellend vermogen, accuraatheid in het gebruik, interpreteerbaarheid, juistheid, doelmatigheid
Predictieve validiteit
voorspellen
begripsvaliditeit
vaststellen
Predictieve validiteit versus begripsvaliditeit
Alternatieve positie: onderscheid is principieel niet nodig:
Onderscheid wordt echter wel gemaakt:
Praktisch
Methodologisch!
Vier belangrijke soorten validiteit
Predictive validity
Concurrent validity
Content validity
Construct validity
Concurrent validity
gelijktijdige validiteit
paradictie
r(test, gelijktijdig beschikbaar criterium)
Construct validity
Welke psychologische begrippen (‘hypothetical constructs’) worden door de test gemeten?
Content validity
Representativiteit items voor domein
statistisch toetsbaar?
- In principe r(testscore, domeinscore),
- in praktijk niet
Synthetische validiteit
Procedure Stap 1: analyseren opsplitsen van criterium in deelaspecten (functie-elementen) Componentiële analyse Verwant aan betekenisanalyse
Stap 2: synthetiseren
O.b.v. voorspelling op elk deelaspect wordt voorspelling voor hele functie gesynthetiseerd
Verwant aan predictieve validiteit
congruent validity
Congruente validiteit of soortgenotenvaliditeit:
r (test A, test A’)
r( test, andere test die zelfde eigenschap meet)
face validity
Indrukvaliditeit
transparantie van testprocedure in (psycho)diagnostiek
incremental validity
toegevoegde waarde test
Verbetering van voorspelling m.b.v. test in vergelijking met voorspelling o.b.v. andere informatie
r(test, criterium) > r(andere gegevens, criterium)
Opzet van een test(batterij) met predictieve validiteit
Fase 1: operationalisatie criterium Fase 2: keuze en constructie tests Fase 3: proefafname bestaande of nieuwe tests Fase 4: validatie van de testprocedure Fase 5: Samenstelling predictorbatterij Fase 6: kruisvalidering
Fase 4 valideringsonderzoek: Mogelijke problemen
- Gelijktijdig of toekomstig criterium
- Longitudinaal design
Positief t.a.v. validiteit, maar is duur en duurt langer
Risico’s
Uitval deelnemers Restriction of range daling r(X,Y)
Contaminatie criterium stijging r(X,Y)
Homoscedasticiteit of homogeniteit van variantie
Men zegt dat een rij stochastische variabelen homoscedastisch is als alle dezelfde eindige variantie hebben.
heteroscedasticiteit
wanneer de fouten niet constant zijn gedurende de gehele steekproef. De term is in strijd met homoscedasticiteit.
Suppressorvariabele
X2 correleert met dat deel van X1 dat niet samenhangt met Y
Gevolg: een betere voorspelling door toevoeging van X2
In praktijk weinig voorkomend
moderatorvariabele
Modereert (verandert) relatie tussen X en Y
Detectie kan erg belangrijk zijn voor validiteit
moderated regression
Inhoudelijk: hoge scores op X1 en X2 versterken elkaar (en daardoor stijging correlatie met het criterium)
Samenstelling predictorbatterij
O.b.v. meervoudige regressie-analyse
b1 hoog als r(X1, Y) hoog en r(X1, Xg) laag
Fase 6: kruisvalidering
Controle model best op nieuwe gegevens
Mogelijke werkwijze: verdeel steekproef in twee delen
- Deelsteekproef 1: bepaal regressiemodel en r(y ,yest)
- Deelsteekproef 2: bepaal r(y, yest) o.b.v. model uit Deelsteekproef 1
- Als groot verschil, dan allicht toevals- of kanskapitalisatiefout
kanskapitalisatie
als je veel variabelen opneemt in je model en die elk toetst op hun significantie, verhoogt de kans dat je (ten onrechte) een significant verband vindt naarmate je meer variabelen opneemt.
Redenen voor lage validiteitscoëfficiënt
Betrouwbaarheid Niet-lineair verband Niet-homogene populatie Niet-vergelijkbare doelgroepen Onterechte vereenvoudiging
Beperkingen van predictieve validiteit
Geen blinde selectie maar begripsanalyse - generalisatie nieuwe situaties - beschrijving onderzochte - betekenis criterium
