7. Structurele validiteit met Item Response Theory Flashcards
Item Response Theory (IRT) richt zich op..
The kwaliteit van individuele items binnen een meetinstrument.
Classical Test Theory (CTT) richt zich op…
(hoofdzakelijk) op de kwaliteit van sub-schalen. De focus ligt op (de ontwikkeling van) het instrument
Beoordeling middels Factor Analyse (FA)
IRT en CTT zijn alleen relevant voor..
Multi-item instruments, based on a reflective model
Wat is het doel van IRT?
Het ontwikkelen van een schaal (metric) om een bepaald construct te meten.
PROMS gebaseerd op CTT hebben geen gemeenschappelijke schaal (de scores zijn niet vergelijkbaar)
Wat biedt IRT?
Een gemeenschappelijke schaal om scores vergelijkbaar te maken
Hoe ziet het IRT metric er uit?
metric = Theta (θ)
mean = 0
SD = 1
(In de populatie waarin het IRT model is ontwikkeld)
Wat zijn mogelijke toepassingen voor IRT?
- Bestaande instrumenten op een gemeenschappelijke schaal plaatsen (cross-walk)
- Het ontwikkelen van een ‘item bank’ and het selecteren van vragen van de item bank voor de intwikkeling van instrumenten
Wat wordt er bedoelt met een ‘item bank’?
- Een grote set aan vragen, geordent op een schaal in op basis van ‘moeilijkheid’ (difficulty/ ability)
- Hoe meer items er zijn, hoe meer precies
- Dit kan ook worden gebruikt om tailored PROMs te ontwikkelen (bijv. verschillende vragenlijsten voor subgroepen zoals ouderen)
Alle items moeten hetzelfde construct meten
Wat is Computerized Adaptive Testing (CAT)?
- Een geavanceerdere vorm van IRT
- Hierbij begin je bij een vraag in het midden van de schaal, en gebaseerd op de antwoorden van de respondent kan er meer en meer precies worden bepaald waar de respondent zich op de schaal (theta metric) bevind
- Meestal zijn er 5 tot 7 vragen nodig om een goede inschatting te kunnen maken
Wat zijn de voordelen van CAT?
- Patienten krijgen meer relevante vragen
- Patienten hoeven minder vragen te beantwoorden
- CATs hebben betere measurement properties
Wat modelleert IRT?
De relatie tussen de vragenlijst vragen en de personen die daarop antwoorden
* gebaseerd op kansen; hoe meer van een onderliggend construct (eigenschap, vermogen) een persoon heeft, hoe waarschijnlijker het is dat de persoon een bepaald antwoord zal geven.
Wat is de ‘item difficulty’? Bij IRT
De waarde voor Theta waar p=0.5
Wat is ‘item discrimination’ bij IRT?
De helling (slope) bij p=0.5
Des te stijler de helling, des te beter de discrimination (onderscheidend vermogen)
Welke twee soorten IRT zijn er?
1-parameter model (Rash model)
Hierbij verschillen de items in difficulty, maar hebben ze wel het zelfde onderscheidende vermogen (helling is hetzelfde)
2-parameter model
Hierbij verschillen de items in difficulty én in onderscheidend vermogen
Wat als een item meerdere reponse opties heeft?
Dit noem je polytomous items
Hierbij wordt de kans op elke respons gemodelleert (zie figuur aantekeninen)
* Theta metric is waar de kans op het geven van een bepaald antwoord van de ene naar de andere categorie verschuift.
= Meerdere thresholds (aantal antwoord opties - 1), maar wel maar één discrimination parameter (slope)
Wat zijn de assumpties voor IRT?
- Het construct is gebaseerd op een reflectief model
- De item bank is unidimensional
- Resterende correlaties tussen items moeten klein zijn; geen local dependence
- De waarschijnlijkheid om een hogere item-antwoordcategorie te krijgen moet toenemen (of in ieder geval niet afnemen) met toenemende niveaus van het onderliggende construct (=monotoniciteit)
Hoe and de unidimensionality wordt gechecked?
Met Confirmatory Factor Analysis (CFA)
* CFI: >0.95
* TLI: >0.95
* RMSEA: <0.06
* SRMR: <0.08
Steeds vaker wordt ook bi-factor analyse gebruikt:
* Explained common variance (ECV) > 0.70
* Omega-hierarchical index (wH) > 0.80
Hoe kan local dependence wordt beoordeeld?
Door het bekijken van de residual correlations tussen items (gebaseerd op de correlatie matric van CFA)
**Residual correlations: <0.20 **
Hoe kan monotonicity worden beoordeeld?
Middels de Mokken scoring:
item H >0.30
item bank H > 0.50
Grafiek moet vergelijkbaar zijn met die van de polytomous items
monotonicity = De waarschijnlijkheid om een hogere item-antwoordcategorie te krijgen moet toenemen (of in ieder geval niet afnemen) met toenemende niveaus van het onderliggende construct
Hoe beoordeel je de validiteit van een IRT model?
Dit doe je voor elk item apart!
S-X^2 wordt vaak gebruikt –> vergelijkt de waargenomen (observed) en verwachte (expected) responsfrequenties onder het geschatte IRT-model vergelijkt de observed en expected response frequencies
P-waarde van de S-X^2 moet NIET <0.001 zijn
Wat is Differential Item Functioning (DIF) en waarom is dat belangrijk voor de validiteit van een IRT
DIF vindt plaats wanneer mensen met hetzelfde ability level een andere kans hebben op een item
Uniform DIF = zelfde helling, maar consistent lagere hogere probability (confounding)
Non-uniform DIF = verschillende helling; kruisen elkaar (effect-modificatie)
Hoe bepaal je de betrouwbaarheid (reliability) in CTT en IRT?
CTT: Cronbach’s alpha –> een waarde voor iedereen
IRT: SE (theta) –> vershillend per persoon
SE = 1/√ I (information)
Reliability = 1 - SE^2
SE (theta) is een parameter voor interne consistentien
