UA4 - outils Flashcards
Définition instrument validé
Instrument dont la qualité des mesures a été validé
Questionnaire destiné à mesurer des concepts abstraits et/ou multidimensionnels ( Douleur, satisfaction face aux services de santé, niveau de stress ou d’anxiété, sévérité d’une hémorragie)
Instrument destiné à mesurer des paramètres physiques (ex.Coagucheck)
Exemple d’un questionnaire évaluant la qualité de vie
SF-36 :
Ensemble de questions (items) destinés à mesurer différents domaines d’un concept et dont les propriétés psychométriques ont été évaluées:
- Concept: qualité de vie reliée à la santé (Health-related quality of life)
- 8 domaines: perception de la santé, capacité physique, limitations dues à des problèmes de santé physique, limitations dues à des troubles émotifs, fonctionnement social, douleur corporelle, vitalité, santé mentale
- 36 items
Exemple d’un questionnaire qui évalue la sévérité d’un saignement
Bleeding Severity Index (contient des items très précis pour réduire la variabilité)
Comment développer un questionnaire validé (7 étapes)
1) Définir le concept
2) Sélectionner les dimensions à évaluer
3) Définir le nombre d’items par dimension
4) Créer chaque item
5) Choisir une échelle de mesure pour chaque item 6)Définir comment les résultats seront calculés
7) Validation
Quels sont les avantages d’utiliser un questionnaire validé (3)
- Économie de temps et d’argent
- Permet de comparer nos résultats avec ceux obtenus dans d’autres populations à d’autres moments
- Crédibilité
Quels sont les désavantages d’utiliser un questionnaire validé (3)
- Plus ou moins adapté à notre étude
- L’évaluation des propriétés psychométriques (validité fiabilité et capacité de détecter le ∆) est incomplète ou plus ou moins pertinente pour notre étude
- Aspects pratiques ne conviennent pas (longueur, langue, mode d ’administration)
Comment sélectionner un instrument
- Connait le but : Le choix du questionnaire peut varier en fonction de l’objectif de l’utilisation du questionnaire. Le questionnaire est-il utilisé pour répondre à un objectif primaire ou un objectif secondaire?
- Connaître son hypothèse de recherche : Le choix du questionnaire dépend du concept et des domaines que l’on désire évaluer
- Dépend des ressources disponibles : Évaluer les ressources disponibles pour la cueillette, l’entrée et l’analyse des résultats
- Temps requis pour l’administration (Auto-administré/ entrevue téléphonique: 30 minutes
Face-à-face: jusquà 60 minutes)
- Coût d’acquisition du questionnaire, manuel de codage, programme pour calculer les résultats
- Personnel requis pour la collecte (interviewer, formation de l ’interviewer), programmation (statisticien) - Connaître la population à l’étude
- Symptômes et incapacités (Le questionnaire est-il adapté à la population à l’étude? Les participants seront-ils en bonne santé ou plutôt malades?)
- Âge (Le questionnaire est-il adapté pour des enfants ou des personnes âgées?)
- Habileté cognitive (Les répondants seront-ils capables de compléter le questionnaire? Le questionnaire peut-il être complété par un proche? Doit-on évaluer l’habileté cognitive avant d’administrer le questionnaire?)
- Culture et identité ethnique (Le questionnaire est-il disponible en français et en anglais? Est-ce que le niveau de langage est approprié?) - Consulter les répertoires d’outils, faire la recherche informatisé et consulter les experts
- Documenter les propriétés psychométriques (validité, fiabilité et capacité de détecter des ∆ dans le temps)
Quelle est l’état CRUCIALE quand on cherche un outil validé ?
Aller voir ses propriétés psychométriques
Nommer les propriétés psychométriques d’un instrument
Fiabilité
Validité
Responsivness (capacité de détecter des ∆ dans le temps)
Quelles sont les 4 échelles de mesure
nominale, ordinale, intervalle et de ratio
Échelle homme =1 ; femme = 2
Échelle nominale
Échelle très important = 1; important = 2; peu important = 3
Échelle ordinale
Échelle : QI de 95; 105; 115
Intervalle
Échelle nominale définition
o Identifier choses/personnes
o Chiffres servent d’étiquettes
Échelle ordinale définition
o Sert à distinguer des sous-groupes selon un ordre d’importance.
o L’intervalle entre les sous-groupes n’est pas nécessairement égale.
Intervalle (échelle) définition
o La distance entre chaque graduation est égale.
o Il n’existe pas de zéro absolu.
Échelle de ratio (exemple)
salaire annuel
Vrai ou faux : Les tests statistiques doivent être choisis en fonction du type d’échelle de mesure
Vrai
Quelles sont les échelles de mesure de moyenne ?
Ratio et intervalle
Quelles sont les échelles de mesure de proportion ?
nominale et ordinale
Qu’est-ce qui se passe lorsqu’on passe d’une échelle à une autre? Quelle est la solution ?
Perte d’information
On devrait choisir l’échelle la plus complète possible.
Fiabilité (définition)
- Capacité de mesurer un objet (concept) de façon
reproductible et logique - Indique dans quelle mesure les résultats obtenus sont précis
- Plus un instrument est précis ou fiable, plus il produit des scores similaires lorsque les mesures sont répétées dans des conditions similaires aux mêmes sujets
- précision
Comment déterminer la fiabilité d’un test ? (3 méthodes)
- Fiabilité du test-retest
- Cohérence interitems
- Fiabilité interévaluateurs
Qu’est-ce la fiabilité du test-retest (test-retest reliability) ?
Habileté d’un test à reproduire les mêmes résultats lorsque réadministré, dans des conditions similaires, aux mêmes sujets
Qu’est-ce que la cohérence interitems (internal consistency) ?
Homogénéité des items (questions) ou le degré de corrélation entre les différents items d ’un test mesurant le même domaine
Qu’est-ce que la fiabilité inter correcteurs (inter-rater reliability) ?
Mesure de concordance entre les mesures obtenues par différents évaluateurs
Quelles sont les 2 méthodes statistiques adéquates pour évaluer la fiabilité d’un test-retest ?
*Coefficient de corrélation intraclasse
*Coefficient de concordance (Kappa)
Qu’est-ce que le coefficient de Pearson ou de Spearman ?
Indique le niveau de correspondance entre les scores obtenus au test et au retest
Que veut dire un coefficient de 1 et un coefficient de 0 au test de coefficient de Pearson/Spearman ?
Coefficient = 1 indique une correspondance parfaite entre les résultats du test et du retest
Coefficient = 0 indique qu ’il n ’y a pas de correspondance entre les résultats du test et du retest
Quels sont le problème du coefficient de Pearson/Spearman ?
Ne détecte pas les différences systématiques entre le test et le retest (si on améliore les résultats de tous, on a encore une diagonale)
Dépend de la variabilité (ou étendue) des résultats (plus l’écart entre les résultats individuels augmente, plus la corrélation est élevée, on se rapproche d’une diagonale).
Pour quel type de variable peut-on utiliser le coefficient de Pearson ?
mesures continues (échelles d’intervalles, ou de ratio)
Qu’est-ce que le coefficient de corrélation intraclasse ?
Indique la proportion de la variance totale qui est attribuable à des différences réelles entre les répondants
Comment se calcule un coefficient IC (CIC) ?
CIC = variance entre les participants/variance totale
CIC = vraie variance/variance totale
Qu’est-ce que la variance totale ?
Variance :
o Inter-individus
o Entre le test et le retest
o Due aux erreurs de mesures
Qu’est-ce que la vraie variance ?
Variance entre les répondants/les individus
Que signifie un ratio CIC = 1 ?
100% de la variance est attribuable à des différences réelles
Aucune erreur de mesure, précision parfaite
Que signifie un ratio CIC = 0 ?
0% de la variance est attribuable à des différences réelles
Aucune précision
Quand est-ce que la CIC et la corrélation de Pearson sont-elles équivalentes ?
La corrélation de Pearson et le CIC sont équivalents s’il n ’y a pas de différence systématique entre le test et le retest
Vrai ou faux : le CIC n’est pas sensible à la variabilité des résultats
FAUX : il est sensible à la variabilité (étendue) des résultats
Quelles sont les valeurs de CIC que l’on utilise en pratique ?
> = 0.7 pour utilisation au niveau des groupes
- ex: échelle de mesure de la douleur pour comparer deux groupes dans un essai clinique
- Comparaison de moyenne
> = 0.9 pour utilisation au niveau individuel
- ex: échelle de mesure de la douleur pour décider si on doit augmenter la dose d’analgésique
- On doit être bcp plus fiable
Comment s’interprète la comparaison des scores moyens obtenus au test et au retest
Si aucune différence entre le score moyen obtenu au test et au retest alors on conclut que le test est fiable
Quel est le problème de la comparaison des scores de moyennes obtenus au test et au retest ?
De grandes différences entre les résultats du test et du retest pourraient passer inaperçues si elles se produisent dans des directions inverses. Pour contourner ce problème, on peut calculer la moyenne des différences absolues.
Qu’est-ce que le coefficient kappa ?
Indique le degré de correspondance entre le test et le retest lorsque les mesures sont faites sur:
- Kappa: échelle nominale (ex: présent/absent, oui/non, accord/désaccord)
- Kappa pondéré: échelle ordinale à plus de 2 niveaux
Comment calcule-t-on un coefficient kappa ?
K = (proportion observée - proportion attendue)/ (1 - proportion attendue)
Validité (définition)
- Capacité d’un test de mesurer ce qu’il est censé mesurer
- Indique dans quelle mesure les résultats obtenus sont exacts
- Processus long et complexe
Quelles sont les types de validité ? (3)
Contenu
Critère
Conceptuelle
Quelle est la relation entre la sensibilité et la spécificité ?
Quand on augmente la sensibilité, alors on diminue la spécificité.
Quand veut-on un test plus sensible ?
maladie très sérieuse
Quand veut-on un test plus spécifique ?
Dépistage de facteur de risque
Est-ce qu’une sensibilité très élevée est toujours bonne ?
Ça dépend de ce que l’on mesure.
Pour un premier test, quel type de test veut-on ? (+ sensible vs + spécifique) ?
premier test : soit sensible soit spécifique, mais pas trop sensible parce qu’on ne veut pas sélectionner tout le monde
Quel est le type de test (sensible vs spécifique) où tous les résultats (même ceux négatifs) sont positifs?
Test très sensible
Quel est le type de test (sensible vs spécifique) où tous les résultats positifs sont positifs et tous les résultats négatifs sont négatifs?
Spécificité à 100%
Sensibilité à 100%
test parfait = en pratique n’existe pas
Quelle est la validité basée sur le test étalon?
Validité de critère
Quelle est la validité qui inclut la validité convergente et la validité divergente ?
Validité conceptuelle
Quelle est la validité qui s’assure que tous les éléments pertinents sont mesurés et bien formulés ?
Validité de contenu
Quelle propriété psychométrique est plus difficile à établir entre la fiabilité et la validité ?
Validité
À quelle validité correspond cette définition : Représente le degré d’efficacité d’un test
Validité de critère
À quelle validité correspond cette définition :
Processus subjectif basé sur le jugement d’experts, de patients et de cliniciens
Validité de contenu
À quelle validité correspond cette définition : Degré de certitude quant à l’habileté d’un test de mesurer le concept qu’il est censé mesurer.
Validité conceptuelle
Quel type de validité est très subjective?
Validité de contenu
Qu’est-ce que la validité concourante ?
Sous-type de validité de critère.
Administre le test et un test étalon (gold standard) /mesure objective aux mêmes sujets en même temps
Qu’est-ce que la validité prédictive ?
Sous-type de validité de critère
Administre le test au temps zéro et le test étalon/mesure objective au temps 1
Quels test statistiques fait-on pour évaluer la validité de critère ?
Mesures ordinales : Coefficient intraclasse et modèle multivarié
mesures nominales : Sensibilité, spécificité, valeur prédictive positive. valeur prédictive négative et receiving Operator Characteristics (courbes ROC)
Quel test statistique doit-on éviter quand on évalue la validité de critère ?
Corrélation de Pearson/Spearman
Qu’est-ce que la validité convergente ?
Sous-type de validité conceptuelle
Le test produit des résultats similaires à ceux d ’un autre test mesurant un concept similaire
Qu’est-ce que la validité discriminante ?
Sous-type de validité conceptuelle
Le test produit des résultats différents de ceux d ’un autre test mesurant un concept différent
Quel est le tableau de mesure étalon **SAVOIR
Maladie présente Maladie absente
test + Vrai positif Faux positif
test - faux négatif vrai négatif
Qu’est-ce que la sensibilité ?
Capacité d’un test à détecter la maladie chez des personnes malades.
Probabilité d’identifier correctement les gens malades.
Vrai positif / Vrai positif + Faux négatif
Qu’est-ce la spécificité ?
Capacité d’un test à ne pas détecter la maladie chez des personnes qui ne sont pas malades
Probabilité d’identifier correctement les personnes non malades
Vrai négatif / Faux positif + vrai négatif
Qu’est-ce que la valeur prédictive positive ?
probabilité qu’une personne ayant un test positif ait la maladie
Vrai positif / vrai positif + faux positif
Qu’est-ce que la valeur prédictive négative
Vrai négatif / vrai négatif + faux négatif
Que se passe-t-il lorsque la prévalence de la maladie change?
La prévalence ne modifie pas la sensibilité ni la spécificité d’un test
Seulement la VPP et la VPN vont varier.
Si la prévalence diminue, comment se comportent la VPP et la VPN ?
VPP : diminue
VPN : augmente
Si la prévalence augmente, comment se comportent la VPP et la VPN ?
VPP : augmente
VPN : diminue
Vrai ou faux : 1 seule étude est nécessaire pour établir la validité conceptuelle d’une test
FAUX, il faut plusieurs études
Quelle est une autre question à se poser quand on évalue la validité conceptuelle d’un test ?
Est-ce que le test produit des résultats qui sont intuitivement raisonnables?
—> Est-ce que l’on mesure la bonne chose ?
Vrai ou faux : on n’utilise pas vraiment la validité discriminante en pratique
vrai
Qu’est ce que l’on fait pour évaluer la validité (les 3 types) pour un devis expérimental ? SAVOIR
Contenu : revue de littérature, experts, cliniciens, patients, étude pilote
De critère : administre le test et un test étalon à un même groupe de sujet (t0/t0 et t1)
Conceptuelle : administre le test et un test mesurant un concept similaire ou différent à un même groupe de sujets/ou à des groupes différents.
Qu’est ce que l’on fait pour évaluer la validité (les 3 types) avec des tests statistiques ? SAVOIR
contenu : évaluation qualitative, analyses factorielles
de critère :
- variable continue : corrélation, CIC, modèles multivariés
- variable catégorique : sensibilité, spécificité, VPP, VPN, courbe ROC
conceptuelle :
- variable continue : corrélation, CIC, modèles multivariés
- variable catégorique : kappa et kappa pondéré
Comment peut-on améliorer la capacité de détecter des changements dans le temps (3) ?
Augmenter le nombre de catégories de réponses
Utiliser une question de transition
Présenter les réponses antérieures
Quelle est la propriété psychométrique que l’on peut changer la plus facilement ?
Responsiveness
Nommer une technique de traduction appropriée ?
Backward –> Forward
À quel type de variables s’applique un kappa ?
nominales (vrai ou faux par ex.)
À quel type de variables s’applique un kappa pondéré ?
ordinales
À quel type de variables s’applique un coefficient intraclasse ?
intervalle ou de ratio
À quel type de variables s’applique la formule de Kruder-Richardson?
nominales
À quel type de variables s’applique le coefficient alpha de Cronbach ?
ordinales, intervalle ou de ratio
À quel type de variables s’applique le coefficient de Pearson ?
intervalle ou de ratio
