Hoofdstuk 4 Flashcards
Wat houdt betrouwbaarheid in?
Hoe consistent een methode iets meet, als hetzelfde specifieke onderzoek consistent kan worden bereikt door dezelfde methoden te gebruiken onder dezelfde omstandigheden
Hoe verschillen validiteit en betrouwbaarheid van elkaar?
- validiteit: meten wat we beogen te meten?
- betrouwbaarheid: zelfde resultaten als onderzoek op dezelfde wijze uitvoeren
Welke twee soorten fouten zijn er?
1 systematische fouten
- toe te schrijven aan construct irrelevante surplus
- validiteitsprobleem
2. toevalsfouten
- niet eigen aan de meting of de gestandaardiseerde context van de meting (onvoorziene omstandigheden)
- betrouwbaarheidprobleem
Wat zijn oorzaken van onbetrouwbaarheid?
- testconstructie
- testafname
- factoren eigen aan testcontext
- factoren eigen aan geteste persoon
- factoren eigen aan testleider - testscoring en testinterpretatie
Wat is de basisassumptie van de klassieke testtheorie?
Geobserveerde score = ware score + fout (𝑋𝑗 = 𝑇𝑗 + 𝐸𝑗)
Wat zijn de bijkomende assumpties van de klassieke testtheorie?
- de verwachte waarde van de fout moet 0 zijn (𝐸(𝐸𝑗) = 0)
- de fouten mogen niet met elkaar correleren (𝜌𝐸𝐸 = 0)
- de fouten mogen niet correleren met de ware score (𝜌𝑇𝐸 = 0)
- de variantie van de geobserveerde score kan gezien worden als de som van de variantie van de ware score en de variantie van de fouten (𝜎²𝑋 = 𝜎²𝑇 + 𝜎²𝐸)
- de betrouwbaarheid in de populatie is de verhouding tussen de variantie van de ware scores gedeeld door de variantie van de geobserveerde scores (𝜌𝑋𝑋= 𝜎²𝑇/𝜎²𝑋 = 1−𝜎²𝐸/𝜎²𝑋)
- de standaardmeetfout is gelijk aan de standaarddeviatie van de geobserveerde scores maal de vierkantswortel van 1-betrouwbaarheid (𝜎𝐸=𝜎𝑋 sqrt(1−𝜌))
Wat zijn de verschillende manieren om betrouwbaarheid te schatten?
- test-hertestbetrouwbaarheid
- parallele/alternatieve vormen van betrouwbaarheid
- interne consistentie
- interbeoordelaarsbetrouwbaarheid
Wat houdt test-hertesbetrouwbaarheid in?
- 2 afnames van dezelfde test
- enkel voor stabiele kenmerken
- foutbron: omstandigheden testafname
- maat: pearsoncorrelatie (stabiliteitscoëfficiënt)
Wat houden parallele/alternatieve vormen van betrouwbaarheid in?
- 1 of 2 afnames: 2 versies ofwel op 1 moment afnemen ofwel op 2 momenten
- parallelle vormen: zelfde geobserveerde gemiddelden, standaarddeviatie, correlatie met ware score
- alternatieve vormen: enkel equivalent in termen van inhoud en itemmoeilijkheid (minder strikt)
- foutbron: testconstructie en testafname
- maat: pearsoncorrelatie (correlatie tussen score op eerste versie en tweede versie)
Wat houdt interne consistentie in?
- 1 afname
- samenhang tussen items binnen een schaal: evalueren van homogeniteit
- foutbron: testconstructie
- 3 maten
- split-half reliaability (Spearman-Brown)
- Kuder-Richardson 20 (dichotome items)
- Cronbach’s alfa (Likert schalen)
Wat houdt interbeoordelaarsbetrouwbaarheid in?
- 1 afname
- overeenkomst tussen beordelaars van zelfde antwoord
- foutbron: scoring en interpretatie
- 3 maten
- Cohen’s kappa
- pearsoncorrelatie
- interklasse correlatie
Welke 2 betrouwbaarheidskwesties zijn er?
- restriction of range: een test heeft geen vaste betrouwbaarheid, maar hangt af van de populatie
- regression to the mean: hoe hoger een individu scoort op een test, hoe kleiner de kans dat het individu nog hoger zal scoren bij een volgende test
Welke 3 typen van gebruik voor de grootte van de betrouwbaarheidscoëfficiënt zijn er volgens de COTAN?
- belangrijke beslissingen op individueel niveau
- r < 0.80 -> onvoldoende
- 0.80 ≤ r < 0.90 -> voldoende
- r ≥ 0.90 -> goed - minder belangrijke beslissingen op individueel niveau
- r < 0.70 -> onvoldoende
- 0.70 ≤ r < 0.80 -> voldoende
- r ≥ 0.80 -> goed - experimenteel gebruik
- r < 0.60 -> onvoldoende
- 0.60 ≤ r < 0.70 -> voldoende
- r ≥ 0.70 -> goed
Wat houdt de generaliseerbaarheidstheorie in?
Identificeren van alle facetten die mogelijkerwijze aanleiding geven tot fouten in de meting en samen onderzoeken -> in welke mate hebben verschillende bronnen van mogelijke onbetrouwbaarheid invloed/effect op de variabiliteit in de scores
Wat is de basis van de betrouwbaarheid binnen de moderne testtheorie?
Logistische modellen op basis van 1, 2 of 3 parameters
Wat wordt er bestudeerd bij logistische modellen?
- probabiliteitsfunctie
- iteminformatiefuncties
- testinformatiefuncties
- standaardmeetfout
Wat houdt een logistisch model in?
De kans dat iemand het item juist beantwoord is een functie van zijn onderliggende trekscore en de moeilijkheid van het item
Waar kijkt het 1 parameter model naar?
Moeilijkheid: curve meer naar links of rechts
-> meer naar links = makkelijker
-> meer naar rechts = moeilijker
Waar kijkt het 2 parameter model naar?
- Moeilijkheid: curve meer naar links of rechts
-> meer naar links = makkelijker
-> meer naar rechts = moeilijker - Onderscheidend vermogen: curve steiler of vlakker
-> vlakker = makkelijker
-> steiler = moeilijker
Waar kijkt het 3 parameter model naar?
- Moeilijkheid: curve meer naar links of rechts
-> meer naar links = makkelijker
-> meer naar rechts = moeilijker - Onderscheidend vermogen: curve steiler of vlakker
-> vlakker = makkelijker
-> steiler = moeilijker - Correctie voor raden: curve start hoger of lager op de y-as
Wat geeft de itemkarakteristieke curve weer?
De kans om het item correct op te lossen, gegeven een bepaalde vaardigheid
Hoe bekom je de iteminformatie?
De kans om het item correct op te lossen x de kans om het item niet correct op te lossen
Hoe bekom je de testinformatiecurve?
De som van alle iteminformatiecurves
Hoe berekenen we de standaardfout van de meting?
Vierkantwortel van 1 op de testinformatie (√(1/I(θ))
Wat is het verschil tussen de klassieke testtheorie en de moderne testtheorie in verband met de standaardfout?
Bij de moderne testtheorie kan er een standaardfout van de meting berekend worden per vaardigheidsniveau. Bij de klassieke testtheorie wordt er één standaardfout van de meting berekend voor de volledige test
Waar is de standaardfout van de meting het kleinst?
In het midden
Wat hebben we nodig voor het berekenen van een betrouwbaarheidsinterval
- puntschatting
- betrouwbaarheidsniveau
- standaardfout
Wat zijn de nadelen van de klassieke testtheorie?
- gebruik van somscore in plaats van gewone score
- schatting van betrouwbaarheid gevoelig voor homogeniteit van de steekproef
- regressie naar het gemiddelde is sterker naarmate betrouwbaarheid minder hoog is
- noodzaak van normering
- measurment by fit: intervalniveau wordt verondersteld, maar niet aangetoond
- prestaties alleen interpreteren binnen test
- standaardmeetfout gelijk op ieder niveau van de vaardigheid
Wat zijn de voordelen van de klassieke testtheorie?
- eenvoudig
- gekend
Wat zijn de nadelen van de moderne testtheorie?
- mathematisch complex
- zelden hogere test-criteriumcorrelatie voor MTT-test dan voor KTT-test
Wat zijn de voordelen van de moderne testtheorie?
- valideren interne structuur: unidimensionaliteit wordt getoetst
- specifieke standaardmeetfout: krijgen zicht op standaardmeetfout conditioneel op het vaardigheidsniveau
- equivaleren
- bestuderen itemvertekening: nagaan of het item hetzelfde werkt in verschillenede contexten
Wat houdt “betrouwbaarheid is de bovengrens van de validiteit” in?
Hoe onbetrouwbaarder een test, hoe lager de validiteitscoëfficiënten zijn die kan observeren
Hoe berekenen we de correctie voor attenuatie?
- rXY = rTU × sqrt(rXX × rYY)
- rTU = rXY / sqrt(rXX × rYY)
