week 7 Flashcards
construct validiteit bestaat uit:
test content/content validiteit,
internal structure,
response processes,
consequences of test use
association with other variables
geef aan welke gevoelig zijn voor item bias en welke voor prediction bias
Waarmee wordt responsbias geassocieerd in termen van bewijs voor constructvaliditeit?
Responsbias wordt geassocieerd met reactieprocessen.
Welk type bias houdt verband met de gevolgen van testgebruik?
Voorspellingsbias.
Wanneer treedt responsbias op?
Als er systematische verschillen zijn tussen reacties of als er een patroon is in de antwoordprocessen van deelnemers.
welke zes type response bias kunnen we onderscheiden?
Wat betekent Acquiescence bias?
Het verwijst naar de neiging om op elke vraag positief of negatief te antwoorden.
Wat betekent Extreem of matig reageren?
Het is wanneer iemand het ofwel helemaal eens of helemaal oneens met de items.
Wat betekent Sociale wenselijkheid in de context van psychologie?
Het verwijst naar het geven van antwoorden die sociaal wenselijk zijn in plaats van eerlijk te zijn, vooral in gebieden van persoonlijk gedrag.
Hoe ga je om met malingering in testantwoorden?
Je kunt dit tegengaan door simpelweg te kijken of iemand liegt over een aandoening of niet. Dit kan gedaan worden door waarschuwingen of door het evalueren van antwoordpatronen.
Wat is het verschil tussen Onzorgvuldig en willekeurig reageren?
Onzorgvuldig reageren is wanneer mensen eerlijk zijn over hun antwoorden, terwijl willekeurig reageren is wanneer ze zomaar antwoorden kiezen zonder erover na te denken.
Wat is de impact van sociale wenselijkheid op testantwoorden?
Het kan leiden tot vertekende resultaten omdat mensen antwoorden geven die ze denken dat anderen willen horen.
Wat is het belangrijkste doel van het aanpassen van de inhoud van een test?
Om de test zo te ontwerpen dat hij niet direct naar een bepaald antwoord leidt en om te zorgen dat de vragen neutraal en niet-oordelend zijn.
Wat gebeurt er als er een groepsbias wordt gedetecteerd?
Als je de bias in één groep vindt, moet je deze resultaten meenemen in je (theoretische) model en conclusies.
Wat is Item bias?
Item bias, ook bekend als construct bias of meetbias, treedt op wanneer de inhoud of interne structuur van een test niet overeenkomt met het beoogde construct.
Welke analyse kan helpen bij het controleren van item bias?
CFA’s (confirmatory factor analyses) kunnen worden gebruikt om te controleren of de interne structuur van een test consistent is voor verschillende groepen.
Hoe kan itembias worden geëvalueerd?
Dit kan worden gedaan met methoden zoals IRT of CTT en door de interne structuur van de test te onderzoeken voor verschillende groepen.
Wat betekent construct bias?
Het betekent dat de test waarschijnlijk is bevooroordeeld als twee groepen verschillende interne structuren vertonen in hun antwoorden.
Hoe kun je de betrouwbaarheid van een test schatten voor verschillende groepen?
Door de interne consistentie (coëfficiënt alfa) afzonderlijk voor elke groep te berekenen.
Wat is de functie van een factoranalyse in de context van itembias?
Factoranalyse verdeelt testitems in clusters of “factoren” en kan helpen om verschillen tussen groepen te identificeren.
Wat betekent een hoge itemdiscriminatie-indexwaarde?
Dat mensen met een hoge vaardigheid waarschijnlijker zijn om een vraag correct te beantwoorden in vergelijking met die met een lage vaardigheid.
Wat kan een verschil in itemdiscriminatie-indexen tussen groepen aangeven?
Het kan wijzen op de aanwezigheid van bias in de test.
Wat betekent differentieel item functioneren (DIF)?
In klassieke testtheorie verwijst DIF naar het evalueren van iteminteractie via de itemdiscriminatie-index.
Wat zijn de percentages gebruikt om de DIF te evalueren?
25% hoogst scorende mensen en 25% laagst scorende mensen.
Als de discriminatie-indexen gelijk zijn voor twee groepen, waar duidt dit dan op?
Dit duidt op een uniforme DIF.
Hoe bereken je de itemdiscriminatie-index?
Door ‘verhouding eens hoogst scorende groep - verhouding eens laagst scorende groep’.
Wanneer is er sprake van niet-uniforme bias?
Als het itemgedrag voor beide groepen niet gelijk is.
Hoe verschilt DIF in Item Response Theorie van klassieke testtheorie?
in IRT worden parameters per groep afzonderlijk berekend, terwijl in klassieke testtheorie de discriminatie-index wordt gebruikt.
Wat betekent het als een item een niet-uniforme DIF heeft in IRT?
Het item maakt onderscheid tussen hoge en lage eigenschapsniveaus op verschillende manieren voor verschillende groepen.
Wat veroorzaakt constructieve bias?
Wat veroorzaakt voorspellingsbias?
In het voorbeeld, wat betekent een itemdiscriminatie-index van 0,19 voor jongens?
Het verschil in scores tussen de 25% hoogst scorende en 25% laagst scorende jongens voor dat specifieke item.
Wat is uniforme DIF in IRT
elke groep zijn eigen moeilijkheidsgraad en itemdiscriminatieparameter krijgt voor hetzelfde item. Als de moeilijkheidsgraad voor beide groepen verschillend is, hebben we een uniforme DIF. Dit betekent dat het item het karakterniveau niet op dezelfde manier meet voor beide groepen; het item is moeilijker voor de ene groep dan voor de andere.
Wat is niet-uniforme DIF in IRT
Als de itemdiscriminatie voor elke groep anders is hebben we een niet-uniforme DIF. Dit betekent dat het item onderscheid maakt tussen hoge en lage eigenschapniveaus op een verschillende manier voor beide groepen
Wat betekent het als twee ICC’s van een item zeer vergelijkbaar zijn tussen twee groepen?
Het is waarschijnlijk dat het item niet vertekend is voor die groepen.
Wat betekent het als er een interceptbias is in een regressiegrafiek?
Het betekent dat op elk niveau van de testscore de voorspelling van de criteriumscore verschilt voor beide groepen.
systematische over (onderste lijn) en onderschatting van groepen (bovenste lijn)
Wat wordt er bedoeld met “Bias van de helling”?
Het verwijst naar het verschil in voorspelling van de criteriumscore op basis van de testscore, wat kan variëren tussen groepen afhankelijk van het niveau van de testscore.
een groep wordt systematisch onderschat (dalende lijn) en 1 groep wordt overschat (stijgende lijn)
regressie formule
vul de regressie vergelijking in aan de hand van de data.
Dames (code 1) mannen (code 0) bepaal aan de hand van de data en regressie formule welke groep wordt over- en welke onderschat.
Als we kijken naar gelijke testscores (IQ-scores) zou dit betekenen dat voor de vrouwelijke groep 11,936 wordt afgetrokken van de Y-score (en 0,087 wordt toegevoegd), maar niet voor de mannelijke groep, omdat zij gecodeerd werden met 0. Dus, als de mannelijke en vrouwelijke groep gelijke X-scores hebben, dan scoren de vrouwen lager dan de mannen op de Y-score. De vrouwen krijgen dus de laagste regressielijn, wat betekent dat ze overschat worden
Wanneer is er sprake van
Uniforme bias of niet-uniforme bias
en wanneer van
bias intercept of
bias hellingshoek
Als ze het hebben over 1 item–>uniform of niet uniform
als ze het hebben over hele test–>bias intercept of hellingshoek
Wat zijn de twee manieren om (statistisch) bias vast te stellen?
- Samenhang tussen itemscores (‘interne structuur’). 2. Samenhang tussen testscore en externe variabelen.
Welke methoden worden gebruikt voor het evalueren van samenhang tussen itemscores?
CFA, KTT, IRT.
Hoe wordt de samenhang tussen itemscores ook wel genoemd?
Item-, meet- of constructbias.
Hoe wordt de samenhang tussen testscore en externe variabelen ook wel genoemd?
Predictie- of testbias.
Welke methode wordt gebruikt om de samenhang tussen testscore en externe variabelen te evalueren?
Regressie-analyse.
