Hoofdstuk 4

Question 1

Wat houdt betrouwbaarheid in?

Answer 1

Hoe consistent een methode iets meet, als hetzelfde specifieke onderzoek consistent kan worden bereikt door dezelfde methoden te gebruiken onder dezelfde omstandigheden

Question 2

Hoe verschillen validiteit en betrouwbaarheid van elkaar?

Answer 2

• validiteit: meten wat we beogen te meten?
• betrouwbaarheid: zelfde resultaten als onderzoek op dezelfde wijze uitvoeren

Question 3

Welke twee soorten fouten zijn er?

Answer 3

1 systematische fouten
- toe te schrijven aan construct irrelevante surplus
- validiteitsprobleem
2. toevalsfouten
- niet eigen aan de meting of de gestandaardiseerde context van de meting (onvoorziene omstandigheden)
- betrouwbaarheidprobleem

Question 4

Wat zijn oorzaken van onbetrouwbaarheid?

Answer 4

1. testconstructie
2. testafname
   - factoren eigen aan testcontext
   - factoren eigen aan geteste persoon
   - factoren eigen aan testleider
3. testscoring en testinterpretatie

Question 5

Wat is de basisassumptie van de klassieke testtheorie?

Answer 5

Geobserveerde score = ware score + fout (𝑋𝑗 = 𝑇𝑗 + 𝐸𝑗)

Question 6

Wat zijn de bijkomende assumpties van de klassieke testtheorie?

Answer 6

• de verwachte waarde van de fout moet 0 zijn (𝐸(𝐸𝑗) = 0)
• de fouten mogen niet met elkaar correleren (𝜌𝐸𝐸 = 0)
• de fouten mogen niet correleren met de ware score (𝜌𝑇𝐸 = 0)
• de variantie van de geobserveerde score kan gezien worden als de som van de variantie van de ware score en de variantie van de fouten (𝜎²𝑋 = 𝜎²𝑇 + 𝜎²𝐸)
• de betrouwbaarheid in de populatie is de verhouding tussen de variantie van de ware scores gedeeld door de variantie van de geobserveerde scores (𝜌𝑋𝑋= 𝜎²𝑇/𝜎²𝑋 = 1−𝜎²𝐸/𝜎²𝑋)
• de standaardmeetfout is gelijk aan de standaarddeviatie van de geobserveerde scores maal de vierkantswortel van 1-betrouwbaarheid (𝜎𝐸=𝜎𝑋 sqrt(1−𝜌))

Question 7

Wat zijn de verschillende manieren om betrouwbaarheid te schatten?

Answer 7

• test-hertestbetrouwbaarheid
• parallele/alternatieve vormen van betrouwbaarheid
• interne consistentie
• interbeoordelaarsbetrouwbaarheid

Question 8

Wat houdt test-hertesbetrouwbaarheid in?

Answer 8

• 2 afnames van dezelfde test
• enkel voor stabiele kenmerken
• foutbron: omstandigheden testafname
• maat: pearsoncorrelatie (stabiliteitscoëfficiënt)

Question 9

Wat houden parallele/alternatieve vormen van betrouwbaarheid in?

Answer 9

• 1 of 2 afnames: 2 versies ofwel op 1 moment afnemen ofwel op 2 momenten
• parallelle vormen: zelfde geobserveerde gemiddelden, standaarddeviatie, correlatie met ware score
• alternatieve vormen: enkel equivalent in termen van inhoud en itemmoeilijkheid (minder strikt)
• foutbron: testconstructie en testafname
• maat: pearsoncorrelatie (correlatie tussen score op eerste versie en tweede versie)

Question 10

Wat houdt interne consistentie in?

Answer 10

• 1 afname
• samenhang tussen items binnen een schaal: evalueren van homogeniteit
• foutbron: testconstructie
• 3 maten
  
  1. split-half reliaability (Spearman-Brown)
  2. Kuder-Richardson 20 (dichotome items)
  3. Cronbach’s alfa (Likert schalen)

Question 11

Wat houdt interbeoordelaarsbetrouwbaarheid in?

Answer 11

• 1 afname
• overeenkomst tussen beordelaars van zelfde antwoord
• foutbron: scoring en interpretatie
• 3 maten
  
  1. Cohen’s kappa
  2. pearsoncorrelatie
  3. interklasse correlatie

Question 12

Welke 2 betrouwbaarheidskwesties zijn er?

Answer 12

1. restriction of range: een test heeft geen vaste betrouwbaarheid, maar hangt af van de populatie
2. regression to the mean: hoe hoger een individu scoort op een test, hoe kleiner de kans dat het individu nog hoger zal scoren bij een volgende test

Question 13

Welke 3 typen van gebruik voor de grootte van de betrouwbaarheidscoëfficiënt zijn er volgens de COTAN?

Answer 13

1. belangrijke beslissingen op individueel niveau
   - r < 0.80 -> onvoldoende
   - 0.80 ≤ r < 0.90 -> voldoende
   - r ≥ 0.90 -> goed
2. minder belangrijke beslissingen op individueel niveau
   - r < 0.70 -> onvoldoende
   - 0.70 ≤ r < 0.80 -> voldoende
   - r ≥ 0.80 -> goed
3. experimenteel gebruik
   - r < 0.60 -> onvoldoende
   - 0.60 ≤ r < 0.70 -> voldoende
   - r ≥ 0.70 -> goed

Question 14

Wat houdt de generaliseerbaarheidstheorie in?

Answer 14

Identificeren van alle facetten die mogelijkerwijze aanleiding geven tot fouten in de meting en samen onderzoeken -> in welke mate hebben verschillende bronnen van mogelijke onbetrouwbaarheid invloed/effect op de variabiliteit in de scores

Question 15

Wat is de basis van de betrouwbaarheid binnen de moderne testtheorie?

Answer 15

Logistische modellen op basis van 1, 2 of 3 parameters

Question 16

Wat wordt er bestudeerd bij logistische modellen?

Answer 16

• probabiliteitsfunctie
• iteminformatiefuncties
• testinformatiefuncties
• standaardmeetfout

Question 17

Wat houdt een logistisch model in?

Answer 17

De kans dat iemand het item juist beantwoord is een functie van zijn onderliggende trekscore en de moeilijkheid van het item

Question 18

Waar kijkt het 1 parameter model naar?

Answer 18

Moeilijkheid: curve meer naar links of rechts
-> meer naar links = makkelijker
-> meer naar rechts = moeilijker

Question 19

Waar kijkt het 2 parameter model naar?

Answer 19

• Moeilijkheid: curve meer naar links of rechts
  -> meer naar links = makkelijker
  -> meer naar rechts = moeilijker
• Onderscheidend vermogen: curve steiler of vlakker
  -> vlakker = makkelijker
  -> steiler = moeilijker

Question 20

Waar kijkt het 3 parameter model naar?

Answer 20

• Moeilijkheid: curve meer naar links of rechts
  -> meer naar links = makkelijker
  -> meer naar rechts = moeilijker
• Onderscheidend vermogen: curve steiler of vlakker
  -> vlakker = makkelijker
  -> steiler = moeilijker
• Correctie voor raden: curve start hoger of lager op de y-as

Question 21

Wat geeft de itemkarakteristieke curve weer?

Answer 21

De kans om het item correct op te lossen, gegeven een bepaalde vaardigheid

Question 22

Hoe bekom je de iteminformatie?

Answer 22

De kans om het item correct op te lossen x de kans om het item niet correct op te lossen

Question 23

Hoe bekom je de testinformatiecurve?

Answer 23

De som van alle iteminformatiecurves

Question 24

Hoe berekenen we de standaardfout van de meting?

Answer 24

Vierkantwortel van 1 op de testinformatie (√(1/I(θ))

Question 25

Wat is het verschil tussen de klassieke testtheorie en de moderne testtheorie in verband met de standaardfout?

Answer 25

Bij de moderne testtheorie kan er een standaardfout van de meting berekend worden per vaardigheidsniveau. Bij de klassieke testtheorie wordt er één standaardfout van de meting berekend voor de volledige test

Question 26

Waar is de standaardfout van de meting het kleinst?

Answer 26

In het midden

Question 27

Wat hebben we nodig voor het berekenen van een betrouwbaarheidsinterval

Answer 27

• puntschatting
• betrouwbaarheidsniveau
• standaardfout

Question 28

Wat zijn de nadelen van de klassieke testtheorie?

Answer 28

• gebruik van somscore in plaats van gewone score
• schatting van betrouwbaarheid gevoelig voor homogeniteit van de steekproef
• regressie naar het gemiddelde is sterker naarmate betrouwbaarheid minder hoog is
• noodzaak van normering
• measurment by fit: intervalniveau wordt verondersteld, maar niet aangetoond
• prestaties alleen interpreteren binnen test
• standaardmeetfout gelijk op ieder niveau van de vaardigheid

Question 29

Wat zijn de voordelen van de klassieke testtheorie?

Answer 29

• eenvoudig
• gekend

Question 30

Wat zijn de nadelen van de moderne testtheorie?

Answer 30

• mathematisch complex
• zelden hogere test-criteriumcorrelatie voor MTT-test dan voor KTT-test

Question 31

Wat zijn de voordelen van de moderne testtheorie?

Answer 31

• valideren interne structuur: unidimensionaliteit wordt getoetst
• specifieke standaardmeetfout: krijgen zicht op standaardmeetfout conditioneel op het vaardigheidsniveau
• equivaleren
• bestuderen itemvertekening: nagaan of het item hetzelfde werkt in verschillenede contexten

Question 32

Wat houdt “betrouwbaarheid is de bovengrens van de validiteit” in?

Answer 32

Hoe onbetrouwbaarder een test, hoe lager de validiteitscoëfficiënten zijn die kan observeren

Question 33

Hoe berekenen we de correctie voor attenuatie?

Answer 33

• rXY = rTU × sqrt(rXX × rYY)
• rTU = rXY / sqrt(rXX × rYY)