Hoofdstuk 4. Constructie van items Flashcards

1
Q

Veel voorkomende items zijn te onderscheiden in

A
  • Van de respondent gevraagde activiteit.
  • De vorm waarin het antwoord wordt gegeven.
  • De uiterlijke verschijningsvorm van het item.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Items

A

Stimuli waarop de respondenten reageren. Uit hun reacties (het observeerbare gedrag) wordt het niveau afgeleid op een niet-observeerbare psychologische eigenschap. D.m.v. items wordt respondenten gevraagd activiteiten te verrichten, op basis waarvan een psychologische eigenschap wordt beoordeeld.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Items m.b.t. Van de respondent gevraagde activiteit.

A
  • Theoretische opdrachten. Voorbeeld uit intelligentietesten zijn blokken bouwen, doolhof maar ook rekenopdrachten en taalvraagstukken. Antwoorden op opdrachten zijn goed of fout of soms gedeeltelijk goed/fout. Cognitieve capaciteiten en vaardigheden worden gemeten.
  • Stellingen over eigen persoonlijkheid of significante anderen. Met stellingen worden persoonlijkheidstrekken, opinies, houdingen en voorkeuren gemeten. Antwoorden zijn niet goed of fout maar de houding wordt gemeten.
  • Vragen waarvan de respondent aangeeft in hoeverre hij het ermee eens is. M.b.v. vragen worden opinies, voorkeuren en houdingen gemeten. Antwoorden zijn niet goed of fout maar geven een standpunt of houding aan.
  • Praktijkproeven. Afhankelijk van het type proef is gedrag te classificeren als (gedeeltelijk) goed of fout of als adequaat/niet adequaat.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Capaciteiten

A

Mentale vermogens met een duidelijk erfelijke component.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Items m.b.t. de vorm waarin het antwoord wordt gegeven.

A

Reacties van respondenten kunnen in twee categorieën worden onderscheiden.
• De respondent bepaalt zelf hoe hij reageert. = Open vraagvorm.
• De respondenten kiest uit een beperkt aantal geformuleerde reacties. Correspondeert met gesloten vraagvorm. Wordt ook wel geprecodeerde vraagvorm, MC vraagvorm of meerkeuzevraagvorm genoemd.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Voor- en nadelen open vraagvorm

A
  • Open vragen biedt de mogelijkheid te laten zien wat je kan en weet, om creatief te zijn en blijk te geven van meer dan allen de direct gevraagde kennis.
  • Het beantwoorden, beoordelen en categoriseren van open vragen kost veel tijd.
  • Respondenten snappen de vraag niet altijd maar geven wel antwoord of wijden uit naar wat hen raakt. Hierdoor zijn antwoorden soms niet relevant voor de meting van de bedoelde eigenschap.
  • Respondenten zijn niet altijd in staat om hun gedachten op papier te zetten. Taalgebruik, taalbeheersing en onduidelijk handschrift speelt hierin mee.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Voor- en nadelen gesloten vraagvorm

A

• Beantwoording en categorisering gaat zeer snel waardoor meer vragen kunnen worden gesteld = meer informatie = hogere betrouwbaarheid. Meer vragen = ook een betere dekking van de bedoelde eigenschap = betere validiteit.
• De respondent krijgt geen gelegenheid om op irrelevante zaken in te gaan en is de kans op het verkeerd begrijpen van de stelling kleiner.
• Interpretatie van het antwoord door de onderzoeker speelt geen rol.
• Het bedenken van meerkeuzevragen en m.n. de antwoordmogelijkheden is lastig.
• Door te raden kunnen respondenten goede antwoorden geven. Je kan dit rechttrekken door een correctie toe te passen voor de ‘goed gegokte’
antwoorden. Of b.v. zoals in de Test voor Niet -Verbale Abstractie (Drenth) gebeurt per item 2 juiste mogelijkheden uit 6 kiezen en pas bij beide juiste wordt de vraag goedgekeurd.
• Gesloten vragen richt zich vooral op geheugen, herkenning en daarmee op kennis maar niet op inzicht en creativiteit.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Items m.b.t. uiterlijke verschijningsvorm

A

Er zijn vele mogelijkheden. Voorbeelden die nu worden benoemd zijn:
• Meerkeuzevragen voor meting van het prestatieniveau. De items bestaan uit een uitspraak, een bewering, een vraag of een probleemstelling. De uitspraak (min de antwoorden) wordt de stam genoemd. De antwoordmogelijkheden zijn de gesleutelde respons (het goede antwoord) en de afleiders. De variatie binnen meerkeuze-antwoordenvorm is groot. bv: kiezen, rangschikken en toeschrijven
• De ‘rating scale’ voor de meting van gedragswijzen. B.v. twee uiterste hokjes of veel meer, teveel heeft echter ook geen zin. Belangrijk is dat de respondent niet in de verleiding komt om een kruisje tussen twee keuzemogelijkheden te zetten. Wanneer de mogelijkheid moet kunnen bestaan om neutraal te kiezen moet je oneven aantal hebben, wanneer kleur bekend moet worden een even aantal.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Meerkeuzemogelijkheid ‘kiezen’

A
  • Tweekeuzevorm: eens/oneens.
  • (In)correcte antwoordvorm. Slechts één antwoord is juist.
  • Meest/minst juiste antwoordvorm. Welk antwoord komt het dichtst in de buurt
  • Verschillende-antwoordvorm. Meerdere antwoorden zijn juist.
  • Complexe vorm. B.v. gecombineerde antwoordenvorm.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Meerkeuzemogelijkheid toeschrijving

A

Wordt in het Engels ook wel matching genoemd. Uit verschillende rijen moet de juiste combinatie worden gemaakt.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Likert items

A

De meest bekende rating scale met vijf keuzemogelijkheden.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Kwalitatieve antwoorden omzetten naar itemscores. (kwantificeren)

A

In de eerste plaats zijn reacties van respondenten kwalitatief. Hier zullen meetwaarden aan moeten worden toegekend. Bij een rating scale betekent dit dat een score van 3 een hogere positie moet hebben dan 2 en 1. Bij meerkeuze is een goed antwoord gecategoriseerd als 1 en een fout antwoord 0. Als op deze wijze itemscores aan kwalitatieve reacties worden toegekend, kan vervolgens d.m.v. statistische berekeningen op deze scores worden vastgesteld of er een voor een meting gewenste systematiek in het gedrag aanwezig is. Is dit het geval dan heeft de
test goede meeteigenschappen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Dichotoom item

A

Een item met twee antwoordcategorieën: Goed of fout. Dit betekent dus niet dat er maar twee antwoordmogelijkheden zijn. Dit kunnen er nog steeds vier zijn waarvan er drie fout zijn. Meestal worden scores 0 en 1 toegekend maar dit kan in principe ook totaal anders zijn.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Scores

A

De aan de antwoordcategorieën op de items toegekende getallen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Polytome items

A

Items met ten minste drie antwoordcategorieën.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

beoordeling van de kwaliteit van items in vooronderzoek

A

Een testconstructie-onderzoek kent twee fasen waarin empirisch onderzoek wordt gedaan naar de kwaliteit van de items.
• In het vooronderzoek is er een kleine steekproef waarbij de reacties van de proefpersonen op de eerste versie van de items wordt geanalyseerd. De steekproefgrootte ligt tussen de 20 en 100. De steekproef hoeft niet representatief te zijn, deelgroepen die moeite kunnen hebben met items kunnen juist goed oververtegenwoordigd zijn. Er zijn meer items nodig dan uiteindelijk in de test gebruikt zullen worden zodat na afvallen van items genoeg overblijven.
• In het hoofdonderzoek is de steekproefgrootte tussen de 500 en 2000 en is representatief. Deze zijn zo groot omdat in de populatie vaak verschillende deelgroepen zijn waarvoor aparte normen moeten worden opgesteld. B.v. leeftijds- en niveaugroepen of differentiatie op basis van functie. Hoofddoel van het hoofdonderzoek is de kwaliteit van de gehele test vaststellen in verband met het gebruik ervan in de beoogde populatie.

17
Q

Strata en gestratificeerde steekproef

A

Strata is de deelgroep, verkregen uit een gestratificeerde steekproef. Een gestratificeerde steekproef is in het geval van vaststellen van normen beter. Stel: in NL is het aantal allochtonen binnen de populatie 10%, dan is dit te weinig om binnen een aselecte steekproef een normering voor op te stellen. Dan moet eerst vastgesteld worden wie allochtoon en wie niet om uit beide groepen een steekproef te trekken.

18
Q

Relatieve frequentieverdeling bij dichotome items

A

Relatieve frequenties worden berekend door de frequentie op het antwoord te delen door de steekproefgrootte. Dus stel 50 van de 150 mensen hebben gekozen voor antwoord A, dan is de relatieve frequentie 50/150=0,33. De relatieve frequentie op het goede antwoord is de p-waarde van het item. De relatieve frequenties op de afleiders zijn de a-waarden (verdeeld over a1, a2 enz.). De antwoorden kunnen worden genoteerd in een relatieve frequentieverdeling.

19
Q

Wanneer functioneert een item goed?

A

Een item uit een studietoets heeft goed gefunctioneerd als de meeste respondenten het goede alternatief hebben gekozen en de afleiders door de overige respondenten ongeveer even vaak is gekozen.

20
Q

Gemiddelde op een polytoom item berekenen

A

Het gemiddelde op een polytoom item kunnen we berekenen als een gewogen som van de itemscores. Je berekent per item de som van de itemscores. Elke score wordt gewogen (vermenigvuldigt) met de relatieve frequentie. Dus bij een polytome item met vijf antwoord categorieën krijg je b.v. 0.1x0 + 0.1 x1 + enz. Wanneer de gemiddelde score boven de waarde van de neutrale categorie ligt, wordt dit geïnterpreteerd als een positieve reactie.