4. Face and content validiteit Flashcards
Definieer validiteit
De mate waarin een meetinstrument daadwerkelijk het construct meet wat het beoogt te meten
Definieer face validity
De mate waarin (de items van) een meetinstrument een adequate afspiegeling lijken te zijn van het te meten construct
Definieer content validiteit
De mate waarin de inhoud van een meetinstrument een adequate weerspiegeling is van het te meten construct
Content validiteit verwijst naar de relevance, comprehensiveness, and comprehensibility of the content of the instrument, for the construct and population of interest and the context of use
Wat is de belangrijkste measurement property / meet eigenschap en waarom?
Content validity, want dit heeft invloed op alle andere meeteigenschappen
Onbelangrijke items verminderen de:
* Interne consistentie (internal consistency)
* Structurele validiteit (structural validity)
* Interpreteerbaarheid (interperetability)
Het ontbreken van belangrijke issues verminderd mogelijk de:
* Reliability (betrouwbaarheid)
* Responsiveness (responsitiviteit)
En ook andersom:
* A high Cronbach’s alpha does not guarentee that no important items are missing
* Een hoge reliability of responsiveness does not imply that all items are relevant and no important aspects are missing
Wat zijn de drie belangrijkste aspecten van content validiteit?
1. Relevance
= All included Items/ tests are relevant for the construct, population, and context of use
2. Comprehensiveness
= Are no key aspects of the construct missing?
3. Comprehensibility
= Are the instructions, questions, etc. understood by patients (and clinicians) as intended?
Hoe beoordeel je face validity?
= first impression (eyeball test)
* You can not design a study to assess face validity, you can only give your opinion about whether it looks as though the intstrument measures the construct of interest
Je kunt o.a. kijken naar:
* De titel van het instrument
* De beschrijving van het instrument and het te meten construct
* Instructies
* Content (vragen, taken, metingen)
* Antwoordopties
* Scoring algorithm
Hoe beoordeel je content validiteit?
Has mainly been developed for PROMs; less clear for other instruments
COSMIN criteria
1. Relevance:
* Are the items relevant for: (1) the construct of interest, (2) the target population of interest, and (3) the context of use of interest?
* Are the response options appropriate?
* Is the recall period appropriate?
2. Comprehensiveness:
* Are all key concepts included?
3. Comprehensibility:
* Are the PROM instructions understood by the population of interest as intended?
* Are the PROM items and response options understood by the target population as intended?
* Are the PROM items appropriately worded?
* Do the response options match the questions?
Patients and professionals should be asked about the relavance, comprehensiveness, and comprehensibility of the measurement instrument!!
Hoe ziet het design van een studie naar de content validiteit van een PROM er uit?
Twee opties:
1. Qualitatieve study
Interviews or focus groups with patients and/ or professionals
= preferred over a survey because more valuable information is obtained in personal contact, especially with patients
2. Quantitative study
Survey among patients and/ or professionals
Wat zijn de richtlijnen voor een kwalitatieve studie naar content validiteit?
- Interviews (cognitive debriefing) of focus groepen
- Ten minste 7 patienten, maar saturatie is het belangrijkste
- Skilled group moderator/ interviewer
- Gebruik van een topic/interview guide: vraag naar relevantie, comprehensiveness, en comprehensibility voor elk item apart!
- Meetings/ interviews moeten worden opgenomen en woordelijk getranscribeerd
- Adequate kwalitatieve methoden voor het analyseren van de data
Wat zijn de richtlijnen voor een kwantitatieve studie naar content validiteit?
Licht ook toe wat er wordt bedoeld met CVI
- Ten minste 50 patienten
- Vraag naar de relevantie, comprehensiveness, en comprehensibility voor elk item apart
- Data moet kwantitatief geanalyseerd worden, bijvoorbeeld middels het berekenen van gemiddelden (mean scores) of de Content Validity Index (CVI)
Content Validity Index:
Elk item wordt gescoort op een 4-punts schaal (1) not relevant, (2) somewhat relevant, (3) quite relevant, (4) highly relevant
Item - CVI = % of experts that score or 4
Scale - CVI = the proportion of items given a rating of 3 or 4 by all raters
Wat zijn indicatoren voor een gebrek aan content validiteit?
- Ontbrekende items
- Scheve scoreverderlingen
- Floor/ ceiling effecten
- Lage correlaties tussen items in een schaal
- Een lage Cronbach’s alpha
- Niet passende items (factor analysis, IRT)
- Poor coverage of the constuct (IRT)
Belangrijkste punten van college samengevat:
- Het is nuttig om de face-validity te beoordelen wanneer je een instrument selecteert voor gebruik in onderzoek of klinische praktijk
- In klinimetrie studies moet content validiteit worden beoordeeld (meer systematisch en transparant)
- Drie aspecten van content validiteit moeten worden beoordeeld: relevanties, comprehensiveness, and comprehensibility
- Een kwalitatieve studie (naar content validiteit) heeft de voorkeur en opzichte van een survey
