College 5 Flashcards
Validiteit
De mate waarin interpretaties van testscores voor het bedoelde testgebruik ondersteund kunnen worden door bewijs en theoretische achtergrond
-gaat over testscores, niet over de test zelf
-heeft altijd context nodig
-als testscores op meerdere manieren geïnterpreteerd kunnen worden, moet elke manier valide zijn
-validiteit is niet statisch, maar constant in beweging
Hoe hangen betrouwbaarheid en validiteit samen?
Betrouwbaarheid is een noodzakelijke, maar onvoldoende voorwaarde voor validiteit
-lage betrouwbaarheid=lage validiteit
-hoge betrouwbaarheid = niet gegarandeerd hoge validiteit
Welke 3 elementen werden er onderscheden om validiteit te beschrijven? (nu is het woordje evidence toegevoegd)
-content: kijkt of de content van de test representatief en relevant is vergeleken met de content van het gehele domein
-criterion-related: kijkt naar de relatie tussen testscores en scores op externe variabelen die hetzelfde construct zouden meten
-construct validiteit: integratie van bewijs gerelateerd aan de betekenis van de interpretatie van de testscores; dit is nu het enige type validiteit, met bronnen van bewijs die je verzamelt om iets te kunnen concluderen over de construct validiteit van testscores
Wat zijn de 5 validiteitsbronnen?
-consequential basis of validity evidence: waarde oordelen, maatschappelijke consequenties
-evidential basis of validity evidence: inhoudsgerelateerd bewijs/test content
-criteriumgerelateerd bewijs
-bewijs gerelateerd aan interne structuur
-bewijs gerelateerd aan antwoordprocessen
Consequential basis of validity evidence
-bewuste en onbewuste consequenties van een testscore-interpretatie en testgebruik op korte en lange termijn
-waarde-oordelen en maatschappelijke consequenties
-als je denkt dat er vooral nadelige gevolgen zijn van testgebruik, dan is er geen consequential basis validiteitsbewijs
Evidential basis of validity evidence/ inhoudsgerelateerd bewijs/ content validiteit
-relatie tussen de inhoud van de test met het construct of domein waarvoor de test ontworpen is
-item relevantie: sluit elk item aan bij de content van het domein
-content coverage: de mate waarin alle items samen het domein representeren
-meestal kwalitatief
Wat zijn bedreigingen voor inhoudsvaliditeit?
-construct onderrepresentatie: minder meten dan het beoogde construct; belangrijke aspecten construct zijn niet inbegrepen
-construct irrelevante test variantie: meer meten dan het beoogde construct; factoren ongerelateerd aan construct veroorzaken variabiliteit
Indruksvaliditeit/face validideit
-de uiterlijke verschijningsvorm van een test en het oppervlakkige idee over validiteit dat mensen daarbij hebben
Criteriumgerelateerd bewijs (3 soorten)
-het gaat om de relatie van de testscores tussen de scores op andere testen. De andere testen noem je criterium-maten
-3 soorten zijn: groepsverschillen, concurrent/gelijktijdig en predictive/voorspellend
Groepsverschillen (criteriummaat)
-verwachte verschil in scores tussen groepen (ANOVA). Als je geen verwachte groepsverschillen vind op basis van de theorie dan heb je geen criterium gerelateerd bewijs
Concurrent/gelijktijd (criteriummaat)
-testen gegeven op zelfde moment, zonder interval (correlatie)
Predictive/voorspellend (criteriummaat)
-criterium test wordt in de toekomst gegeven, met interval
-scores op de Predictor mogen scores op criterion niet beïnvloeden. als dit wel gebeurd heet dit criterium contamination en de validiteitscoefficient is dan hoger dan normaal
Convergente en discriminante evidence
-convergent: hoge correlatie tussen jou test en de testen die hetzelfde construct meten. Verzamel je met MH
-discriminant: lage correlatie tussen jou test en testen die het tegenovergestelde construct meten. Verzamel je met HH of HM
-combinatie: multitrait-multimethode methode
-trail: het construct dat je meet, monotrait=hetzelfde construct, heterotrait=verschillende contstructen binnen vragenlijst
-method: meetinstrument, monomethod=zelfde vragenlijst, heteromethod=andere vragenlijs6
-correlaties tussen de methode die zelfde traits beogen te meten is hoger dan correlatie met methode die andere traits beogen te meten
Contrasted group studies
-correlatie bekijken tussen testscores van verschillende groepen waarvan je verwacht dat de resultaten verschillen
Beperken criteriumvaliditeit
-het kan lastig zijn om een goed criterium meetinstrument te vinden om te correleren met de testscores van te valideren meetinstrumenten. Alle instrumenten zijn in bepaalde mate beperkt in het representeren van een construct
