week 7 Flashcards

1
Q

construct validiteit bestaat uit:
test content/content validiteit,
internal structure,
response processes,
consequences of test use
association with other variables

geef aan welke gevoelig zijn voor item bias en welke voor prediction bias

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Waarmee wordt responsbias geassocieerd in termen van bewijs voor constructvaliditeit?

A

Responsbias wordt geassocieerd met reactieprocessen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Welk type bias houdt verband met de gevolgen van testgebruik?

A

Voorspellingsbias.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Wanneer treedt responsbias op?

A

Als er systematische verschillen zijn tussen reacties of als er een patroon is in de antwoordprocessen van deelnemers.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

welke zes type response bias kunnen we onderscheiden?

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Wat betekent Acquiescence bias?

A

Het verwijst naar de neiging om op elke vraag positief of negatief te antwoorden.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Wat betekent Extreem of matig reageren?

A

Het is wanneer iemand het ofwel helemaal eens of helemaal oneens met de items.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Wat betekent Sociale wenselijkheid in de context van psychologie?

A

Het verwijst naar het geven van antwoorden die sociaal wenselijk zijn in plaats van eerlijk te zijn, vooral in gebieden van persoonlijk gedrag.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Hoe ga je om met malingering in testantwoorden?

A

Je kunt dit tegengaan door simpelweg te kijken of iemand liegt over een aandoening of niet. Dit kan gedaan worden door waarschuwingen of door het evalueren van antwoordpatronen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Wat is het verschil tussen Onzorgvuldig en willekeurig reageren?

A

Onzorgvuldig reageren is wanneer mensen eerlijk zijn over hun antwoorden, terwijl willekeurig reageren is wanneer ze zomaar antwoorden kiezen zonder erover na te denken.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Wat is de impact van sociale wenselijkheid op testantwoorden?

A

Het kan leiden tot vertekende resultaten omdat mensen antwoorden geven die ze denken dat anderen willen horen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Wat is het belangrijkste doel van het aanpassen van de inhoud van een test?

A

Om de test zo te ontwerpen dat hij niet direct naar een bepaald antwoord leidt en om te zorgen dat de vragen neutraal en niet-oordelend zijn.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Wat gebeurt er als er een groepsbias wordt gedetecteerd?

A

Als je de bias in één groep vindt, moet je deze resultaten meenemen in je (theoretische) model en conclusies.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Wat is Item bias?

A

Item bias, ook bekend als construct bias of meetbias, treedt op wanneer de inhoud of interne structuur van een test niet overeenkomt met het beoogde construct.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Welke analyse kan helpen bij het controleren van item bias?

A

CFA’s (confirmatory factor analyses) kunnen worden gebruikt om te controleren of de interne structuur van een test consistent is voor verschillende groepen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Hoe kan itembias worden geëvalueerd?

A

Dit kan worden gedaan met methoden zoals IRT of CTT en door de interne structuur van de test te onderzoeken voor verschillende groepen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Wat betekent construct bias?

A

Het betekent dat de test waarschijnlijk is bevooroordeeld als twee groepen verschillende interne structuren vertonen in hun antwoorden.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Hoe kun je de betrouwbaarheid van een test schatten voor verschillende groepen?

A

Door de interne consistentie (coëfficiënt alfa) afzonderlijk voor elke groep te berekenen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Wat is de functie van een factoranalyse in de context van itembias?

A

Factoranalyse verdeelt testitems in clusters of “factoren” en kan helpen om verschillen tussen groepen te identificeren.

20
Q

Wat betekent een hoge itemdiscriminatie-indexwaarde?

A

Dat mensen met een hoge vaardigheid waarschijnlijker zijn om een vraag correct te beantwoorden in vergelijking met die met een lage vaardigheid.

21
Q

Wat kan een verschil in itemdiscriminatie-indexen tussen groepen aangeven?

A

Het kan wijzen op de aanwezigheid van bias in de test.

22
Q

Wat betekent differentieel item functioneren (DIF)?

A

In klassieke testtheorie verwijst DIF naar het evalueren van iteminteractie via de itemdiscriminatie-index.

23
Q

Wat zijn de percentages gebruikt om de DIF te evalueren?

A

25% hoogst scorende mensen en 25% laagst scorende mensen.

24
Q

Als de discriminatie-indexen gelijk zijn voor twee groepen, waar duidt dit dan op?

A

Dit duidt op een uniforme DIF.

25
Q

Hoe bereken je de itemdiscriminatie-index?

A

Door ‘verhouding eens hoogst scorende groep - verhouding eens laagst scorende groep’.

26
Q

Wanneer is er sprake van niet-uniforme bias?

A

Als het itemgedrag voor beide groepen niet gelijk is.

27
Q

Hoe verschilt DIF in Item Response Theorie van klassieke testtheorie?

A

in IRT worden parameters per groep afzonderlijk berekend, terwijl in klassieke testtheorie de discriminatie-index wordt gebruikt.

28
Q

Wat betekent het als een item een niet-uniforme DIF heeft in IRT?

A

Het item maakt onderscheid tussen hoge en lage eigenschapsniveaus op verschillende manieren voor verschillende groepen.

29
Q

Wat veroorzaakt constructieve bias?

A
30
Q

Wat veroorzaakt voorspellingsbias?

A
31
Q

In het voorbeeld, wat betekent een itemdiscriminatie-index van 0,19 voor jongens?

A

Het verschil in scores tussen de 25% hoogst scorende en 25% laagst scorende jongens voor dat specifieke item.

32
Q

Wat is uniforme DIF in IRT

A

elke groep zijn eigen moeilijkheidsgraad en itemdiscriminatieparameter krijgt voor hetzelfde item. Als de moeilijkheidsgraad voor beide groepen verschillend is, hebben we een uniforme DIF. Dit betekent dat het item het karakterniveau niet op dezelfde manier meet voor beide groepen; het item is moeilijker voor de ene groep dan voor de andere.

33
Q

Wat is niet-uniforme DIF in IRT

A

Als de itemdiscriminatie voor elke groep anders is hebben we een niet-uniforme DIF. Dit betekent dat het item onderscheid maakt tussen hoge en lage eigenschapniveaus op een verschillende manier voor beide groepen

34
Q

Wat betekent het als twee ICC’s van een item zeer vergelijkbaar zijn tussen twee groepen?

A

Het is waarschijnlijk dat het item niet vertekend is voor die groepen.

35
Q

Wat betekent het als er een interceptbias is in een regressiegrafiek?

A

Het betekent dat op elk niveau van de testscore de voorspelling van de criteriumscore verschilt voor beide groepen.

systematische over (onderste lijn) en onderschatting van groepen (bovenste lijn)

36
Q

Wat wordt er bedoeld met “Bias van de helling”?

A

Het verwijst naar het verschil in voorspelling van de criteriumscore op basis van de testscore, wat kan variëren tussen groepen afhankelijk van het niveau van de testscore.

een groep wordt systematisch onderschat (dalende lijn) en 1 groep wordt overschat (stijgende lijn)

37
Q

regressie formule

A
38
Q

vul de regressie vergelijking in aan de hand van de data.

A
39
Q

Dames (code 1) mannen (code 0) bepaal aan de hand van de data en regressie formule welke groep wordt over- en welke onderschat.

A

Als we kijken naar gelijke testscores (IQ-scores) zou dit betekenen dat voor de vrouwelijke groep 11,936 wordt afgetrokken van de Y-score (en 0,087 wordt toegevoegd), maar niet voor de mannelijke groep, omdat zij gecodeerd werden met 0. Dus, als de mannelijke en vrouwelijke groep gelijke X-scores hebben, dan scoren de vrouwen lager dan de mannen op de Y-score. De vrouwen krijgen dus de laagste regressielijn, wat betekent dat ze overschat worden

40
Q

Wanneer is er sprake van
Uniforme bias of niet-uniforme bias

en wanneer van
bias intercept of
bias hellingshoek

A

Als ze het hebben over 1 item–>uniform of niet uniform

als ze het hebben over hele test–>bias intercept of hellingshoek

41
Q

Wat zijn de twee manieren om (statistisch) bias vast te stellen?

A
  1. Samenhang tussen itemscores (‘interne structuur’). 2. Samenhang tussen testscore en externe variabelen.
42
Q

Welke methoden worden gebruikt voor het evalueren van samenhang tussen itemscores?

A

CFA, KTT, IRT.

43
Q

Hoe wordt de samenhang tussen itemscores ook wel genoemd?

A

Item-, meet- of constructbias.

44
Q

Hoe wordt de samenhang tussen testscore en externe variabelen ook wel genoemd?

A

Predictie- of testbias.

45
Q

Welke methode wordt gebruikt om de samenhang tussen testscore en externe variabelen te evalueren?

A

Regressie-analyse.

46
Q
A