3. Development of PROMs Flashcards
What are the 6 steps in the development of a PROM?
- Definition and elaboration of the construct of interest
- Choice of measurement method
- Developing items
- Scoring options
- Pilot testing
- Field testing
Zie ook notities met figuur!
Licht onderstaande stap voot de ontwikkeling van een PROM toe
Step 1: Definition and elaboration of the construct of interest
“What do you want to measure?”
- Construct
- Target population
- Purpose of measurement
Licht onderstaande stap voor de ontwikkeling van een PROM toe
Step 2: Choice of measurement method
Beslissen over:
* Type of outcome measurement (e.g., questionnaire, performance based, etc.)
* Feasibility / haalbaarheid (e.g., length, burden, costs, multi or single item)
* Drie verschilelnde typen PROMS: (1) Generic instruments, (2) Condition specific instruments, (3) Disease specific instruments
Wat verschillen tussen multi en single item instruments?
- In a multi-item instrument, the content of the items is more specific and includes all the dimesions considered to be relevant for the construct
- In a single-item instrument we leave it to the patient to define the meaning of the construct
For complex constucts a multi-item instrument is recommended!
Licht onderstaande stap voor de ontwikkeling van een PROM toe
Step 3: Developing items
Drie verschillende bronnen van informatie:
- Literature search
- Expert opinion
- Patient input
Relevante domeinen / items identificeren middels kwalitatief onderzoek (interviews, focusgroepen)
Wat zijn de standaarden voor de ontwikkeling van items (stap 3) middels kwalitatief onderzoek? (interviews, focusgroepen)
- Purposive sample (doelgerichte steekproef) with variation in disease characteristics and levels of the construct of interest
- Trained interviewers / moderators
- Sample size: ≥2 groups, 5-12 patients per group, or > 20 interviews
- Standardized analysis, multiple coders
- Saturation
Wat zijn de standaarden voor de ontwikkeling van een vragenlijst (stap 3: item development)
- Content relevance and comprehensiveness of aspects
- Formulating items, response options, and instructions for completion
Structure (i.e. reflective/ formative model; uni-multi-dimensionality - Scoring algorithm
-> first draft -> reformulations, new formulations
Wat zijn kenmerken van een goed geformuleerde vraag voor een vragenlijst/enquête?
1. Leesniveau: 12 jaar
2. No ambiguity
“Have you seen a doctor recently?”
3. No double barrelled questions
“My eyes are red and teary”
4. No jargon
“range of motion”, “caregiver”
5. No value-laden words
“Do you often go to your doctor with trivial problems?”
6. Geen lange zinnen
7. Geen nevatieve bewoordingen
“I have no pain when walking slowly”
Zie notities voor voorbeelden
What are possible scoring options?
- Response scales: number of options and wording
- VAS scale (e.g., for pain severity)
See notes for examples
Licht onderstaande stap voor de ontwikkeling van een PROM toe
Step 4: Scoring algorithm
Item response should be converted to a score
Calculate subscore based on proposed (unidimensional or multidimensional) structure of the questionnaire
Licht onderstaande stap voor de ontwikkeling van een PROM toe
Step 5: Pilot testing
Kan worden gedaan middels een cognitive interview study
Leg uit wat een cognitive interview study is
An intensive qualitative analysis of the draft questionnaire to verify:
- Relevance
- Comprehensiveness
- Comprehensibility
- Feasibility
While completing the draft questionnaire, participants will be asked about their experience in face to face interviews or unsing the think aloud method
Wat zijn de standaarden voor een Cognitive interview study?
- Purposive sample with variation in disease characteristics and levels of the construct of interest
- Trained moderators
- Sample size of 4-20 patients
- Ask about understanding of items/ tasks and instructions
- Ask about missing content
- Standardized analysis
Licht onderstaande stap voor de ontwikkeling van een PROM toe
Step 6: Field testing
Doel = item reduction en data structure
i.e. examening the dimensionality and deciding on the definitive selection of items per domain
- Onderzoeken van item scores:
* missing items
* verdeling van item scores
* vloer- en plafond effecten - Importance of items
- Examening dimensionality of the data (= factor analysis)
- Internal consistency
- Item response theory (IRT)
Belangrijkste punten uit college samengevat:
- Geeft een duidelijke definitie van het construct
- Gebruik (of ontwikkel) een conceptueel model
- Verkrijg input van de doelgroep
- Doe een pilot test
Belangrijkste vraag bij de onwikkeling van een instrument en de evaluatie ervan:
“Wat wil je meten?”
