12-Validité d'un instrument de mesure Flashcards
Définition de instrument validé
Instrument dont la qualité à été évalué
Un instrument validé peut être… (2)
- Questionnaire destiné à mesurer des concepts abstraits et/ou multidimensionnels (ex: douleur, niveau de stress)
- Instrument destiné à mesurer des paramètres physiques (ex: coagucheck)
SF-36
Évaluation de la qualité de vie
Ensemble de questions (items) destinés à mesurer différents domaines d’un concept et dont les propriétés psychométriques ont étés évalués
Il y a combien de domaines et d’items dans le SF-36?
8 domaines, 36 items
Nommer les 8 domaines du SF-36
Perception de la santé
Capacité physique
Limitations dues à des troubles émotifs
Limitations dues à des problèmes de santé physique
Fonctionnement social
Douleur corporelle
Vitalité
Santé mentale
Nommer un instrument validé concernant le sang
Bleeding Severity Index
Étapes (7) de développement d’un questionnaire validé
- Définir le concept
- Sélectionner les dimensions à évaluer
- Définir le nombre d’items par dimension
- Créer chaque item
- Choisir une échelle de mesure pour chaque item (continue ou catégorielle?)
- Définir comment les résultats seront calculés
- Validation
Avantages (3) des questionnaires validés
- Économie de temps et d’argent
- Permet de comparer nos résultats avec ceux obtenus dans d’autres populations à d’autres moments
- Crédibilité
Désavantages (3) des questionnaires validés
- Plus ou moins adapté à notre étude
- L’évaluation des propriétés psycochométriques est incomplète ou plus ou moins pertinente pour notre étude
- Aspects pratiques ne conviennent pas (longueur, langue, mode d’administration)
Quels 3 éléments il faut considérer quand on évalue les ressources disponibles pour la cueillette, l’entrée et l’analyse des résultats?
- Temps requis pour l’administrations
- Coût d’acquisition du questionnaire (manuel de codage, programme pour calculer les résultats)
- Personnel requis pour la collecte (interviewer + sa formation, statisticien pour la programmation)
Temps requis (en moyenne) pour l’administration d’un instrument?
Auto-administré/entrevue téléphonique: 30 minutes
Face-à-face: jusqu’a 60 minutes
Nommer les 3 catégories de propriétés psychométriques
- Fiabilité
- Validité
- Capacité de détecter des changements dans le temps
Définition de la propriété psychométrique: fiabilité
Est ce que les résultats sont précis?
Définition de la propriété psychométrique: validité
Est ce que les résultats sont justes? Est ce que le tes mesure bien ce qu’il est censé mesurer?
Définition de la propriété psychométrique: capacité de détecter ds changements dans le temps
Est ce que le test peut détecter des changements dans le temps associés à la progression de la maladie ou à une intervention/traitement?
Nommer 4 échelles de mesure
- Nominale
- Ordinale
- Intervalle
- De ratio
Définition de fiabilité d’un instrument de mesure
Capacité de mesurer un objet (concept) de façon reproductible et logique
Plus un instrument est précis ou fiable, plus il produit des scores similaires lorsque les mesures sont répétées dans des conditions similaires aux mêmes sujets
Nommer les 3 tests pour évaluer la fiabilité
- Fiabilité de test-retest
- Cohérence inter-items
- Fiabilité intercorrecteurs
Expliquer la fiabilité du test-retest
Habileté d’un test a reproduire les mêmes résultats lorsque réadministré, dans des conditions similaires, aux mêmes sujets
Qu’est ce qui arrive si l’intervalle entre le test et le re-test est trop court?
Surestimation due à la mémoire, on va juste remettre les mêmes réponses
Qu’est ce qui arrive si l’intervalle entre le test et le retest est trop long?
Ce que l’on mesure peut avoir changé (si on est dans une période de changement)
Conditions d’administration du test-retest
Doivent être les mêmes aux deux moments d’administration (environnement, consignes, limites de temps)
Nommer les 4 tests statistiques pour évaluer les résultats du test-retest
- Coefficient de corrélation de Pearson ou de Spearman
- Coefficient de corrélation intra-classe
- Différence moyenne entre le test et le re-test
- Coefficient de concordance: Kappa
Coefficient de corrélation de Pearson ou de Spearman: bon ou mauvais test?
Mauvais
Expliquer le test statistique: Coefficient de corrélation de Pearson ou de Spearman
Indique le niveau de correspondance entre les scores obtenus au test et au retest
Coefficient de corrélation de Pearson ou de Spearman: que veut dire un coefficient de 1
Correspondance parfaite entre les resultats du test et du retest (le même individu a eu le même score au test et au retest)
Coefficient de corrélation de Pearson ou de Spearman: que veut dire un coefficient de 0
Pas de correspondance entre les resultats du test et du retest
Nommer 3 désavantages du test statistique Coefficient de corrélation de Pearson ou de Spearman
- Ne détecte pas les différences systématiques entre le test et le retest (ex: tout le monde s’est mis a vrm étudier)
- Dépend de la variabilité (ou étendue) des résultats
- Pour des mesures obtenues sur une échelle d’intervalle ou de ratio
Pourquoi le Coefficient de corrélation de Pearson ou de Spearman depend de la variabilité (ou l’étendue) des résultats
Parce que plus l’écart entre les résultats individuels est grand, plus la corrélation sera élevée
Coefficient de corrélation intraclasse: bon ou mauvais test?
Bon
Expliquer le Coefficient de corrélation intraclasse
Indique la proportion de la variance totale qui est attribuable à des différences réelles entre les répondants
Formule du coefficient de corrélation intraclasse
CIC=vraie variance/variance totale
vraie variance= variance entre les répondants
variance totale= variance entre les répondants+variance entre le test et le retest+variance due aux erreurs de mesure+variance due aux manipulateurs
Que signifie un CIC=1?
100% de la variance est attribuable à des différentes réelles
Aucune erreur de mesure, précision parfaite
Que signifie un CIC=0?
0% de la variance est attribuable à des différences réelles
Aucune précision
Dans quel cas est ce que la corrélation de Pearson et le CIC sont équivalents?
Quand il n’y a pas de différence systématique entre le test et le reste mais on ne sait pas quand il y a des différences systématiques
Le CIC est sensible à
la variabilité (l’étendue) des résultats
CIC d’un test fiable pour utilisation au niveau des groupes
Plus grand ou égal a 0.7 = 70% de ce que je mesure est de la vrai variance (la variabilité inter-sujet)
CIC d’un test fiables pour utilisation au niveau individuel
Plus grand ou égal a 0.9 (on veut vrm s’assurer d’avoir les mêmes résultats au test et au retest vu que c’est la même personne, on est très sévère)
Comparaison des scores moyens obtenus au test et au re-test: bon ou mauvais test?
Mauvais
Expliquer: Comparaison des scores moyens obtenus au test et au re-test
Si aucune différence entre le score moyen obtenu au test et au retest alors on conclut que le test est fiable
Quel est le problème du test statistique de la comparaison des scores moyens obtenus au test et au re-test?
Des grandes différences entres les résultats du test et du retest pourraient passer inaperçues si elles se produisent dans des directions inverses
Pour contourner le problème: calculer la moyennes des différences absolues (on veut quelle soit basse)
Coefficient Kappa: bon ou mauvais test
Bon test
Expliquer le coefficient kappa
Indique le degré de correspondance entre le test et le retest lorseque les mesures sont faites sur:
- kappa: échelle nominale (oui/non)
- kappa pondéré: échelle ordinale à plus de 2 niveaux
donc variables catégoriques
Désavantage de l’effet Kappa
Peut enlever la proportion hasard
Formule du coefficient de kappa
K=(proportion observée-proportion attendue)/1.0-proportion attendue
Kappa < 0,4
Concordance faible
Kappa 0,4-0,6
Concordance modere
Kappa 0,61-0,8
Concordance eleve
Kappa > 0,8
Concordance très élevé, presque parfaite
Expliquer la cohérence interitems
Homogénéité des items (questions) ou le degré de corrélation entre les différents items d’un test mesurant le même domaine
Le test doit être formé de plusieurs items qui mesurent un même concept
Plus la corrélation entre les items sera grande plus la fiabilité sera élevée
Devis expérimental de la cohérence inter-items
Administre le test à un groupe de participants à une seule occasion
Nommer les 3 tests statistiques de la cohérence inter-items
- Bissection
- Formule de Kruder-Richardson
- Coefficient alpha de Cronbach
Expliquer le test statistique de la bissection? Bcp utilisé?
Le questionnaire est séparé en deux parties égales et on évalue la corrélation entre les résultats de chaque partie
Peu utilisé, les résultats varient en fonction de la façon de diviser le questionnaire
Expliquer le test statistique de la formule de kruder-richardson? s’applique seulement a?
La moyenne de tout les coefficients de bissection (on fait la moyenne de toutes les façons de separer le test en 2)
S’applique a des mesures nominales (vrai/faux, oui/non)
Expliquer le test statistique du coefficient alpha de cronbach? s’applique a?
La moyenne de tout les coefficients de bissection
S’applique a des mesures obtenues sur une échelle ordinale, d’intervalle ou de ratio
Définition de fiabilité intercorrecteurs
Mesure de concordance entre les mesures obtenues par différents évaluateurs
Devis expérimental de la fiabilité interévaluateurs
On demande a différents évaluateurs d’évaluer un même objet et on mesure le degré de corrélation entre les résultats des différents évaluateurs
Nommer les 3 tests statistiques de la fiabilité de interévaluateurs et ils sont pour quelles genres de mesures
- Kappa: nominales (vrai/faux)
- Kappa ponderé: mesures ordinales (bon, mauvais, moyen)
- Coefficient intra-classe: mesures d’intervalles ou de ratios (les scores varient entre 1 et 10)
La fiabilité est une condition essentielle mais non..
suffisante
Moins un test est fiable, plus le nombre de sujets requis pour détecter une différence statistiquement significative sera…
élevée
Les mesures de fiabilité sont spécifiques aux…
populations étudiées
CIC est pour quelles genres de variables
continues
Définition de la propriété psychométrique de la validité
Exactitude et justesse
Capacité d’un test de mesurer ce qu’il est censé mesurer
Indique dans quelle mesure les résultats obtenus sont exacts
Pourquoi mesure de la validité est un processus long et complexe
On a pas tjrs le gold standard
Nommer les 3 types de validité
Validité de contenu
Validité de critère
Validité conceptuelle
Questions a poser: Validité de contenu
Est ce que tous les aspects importants d’un domaine sont mesurés? Est ce que les items sont formulés correctement?
Expliquer la validité de contenu
Déterminer si le contenu d’un test est un échantillon représentatif du domaine mesuré
Processus subjectif basé sur le jugement d’experts, de patients et de cliniciens
Important de savoir comment le questionnaire a été développé
Expliquer la validité de critère
Il doit y avoir un gold standard!!!!
Est ce que le test peut prédire les résultats d’un test étalon (test de référence=le gold standard) ou d’une mesure objective obtenu au même moment (validité concourante) ou plus tard dans le temps (validité prédictive)
Définition de validité de critère
degré d’efficacité d’un test
deux types de validité de critère
concourante
prédictive
Donner un exemple de validité concourante
On compare les résultats d’un test d’intelligence conventionnel vs un test d’intelligence abregé
Donner un exemple de validité prédictive
On évalue si les résultats d’un test d’intelligence à l’admission dans un programme (temps 0) peuvent prédire le succès académique (temps 1)
Validité de critère: tests statistiques pour des mesures ordinales, d’intervalle ou de ratio
CIC
Modèle multivarié
Validité de critère: tests statistiques pour des mesures nominales
Sensibilité
Spécificité
VPP
VPN
Receiving Operator Characteristics (ROC)
Sensibilité
Probabilité d’identifier correctement les personnes malades
VP/VP+FN
Spécificité
Probabilité d’identifier correctement les personnes non malades
VN/VN+FP
VPP
Probabilité qu’une personne ayant un test positif aie la maladie
VP/VP+FP
VPN
Probabilité qu’une personne ayant un test negatif n’ait pas la maladie
VN/VN+FN
la sensibilité et la spécificité ont une relation…
trade-off
si un augmente l’autre diminue et vice-versa
courbe ROC
y: sensibilité
x: 1-spécificité
on veut une grande aire sous la courbe
Si on traite une maladie très sérieuse on veut un test plus spécifique ou sensible?
Sensible: pour capter le plus de cas possibles
Si on fait le dépistage d’un facteur de risque ont veut un test plus spécifique ou sensible?
Spécifique: pour pas qu’on en manque 1 et qu’il aille infecter tout le monde
Est ce que la spécificité et la sensibilité changent avec la prévalence de la maladie?
NON
Est ce que la VPP et la VPN changent avec la prévalence de la maladie?
OUI
Si la prévalence diminue, la VPP ___ et la VPN ___
diminue, augmente
Si la prévalence augment, la VPP ___ et la VPN ___
augmente, diminue
la VPP est tjrs plus grande dans un environnement ou__
la prévalence est plus élevée
Définition de validité conceptuelle
Degré de certitude quant a l’habileté d’un test de mesurer le concept qu’il est censé mesurer
Plusieurs études sont nécessaires pour évaluer la validité conceptuelle d’un test
2 types de validité conceptuelles
convergente
discriminante
autre = est ce que les résultats obtenus sont conformes aux résultats attendus (score de qualité de vie de patients à différents stades de la maladie)
validité convergente
est ce le test produit des résultats similaires à ceux d’un autre test mesurant un concept similaire? (SF-36 et un autre questionnaire de qualité de vie)
validité discriminante
est ce que le test produit des résultats différents de ceux d’un autre test mesurant un concept différent? (questionnaire sur depression+questionnaire sur douleur)
tests statistique pour la validité de contenu
évaluation qualitative, analyses factorielles
validité conceptuelle, convergente, discriminante + autre test statistique pour les variables continues
CIC, modèles multivariés
validité conceptuelle, convergente, discriminante + autre test statistique pour les variables catégoriques
kappa et kappa ponderé
Question à poser pour le responsiveness?
Est ce que l’instrument peut détecter des changements importants qui se produisent dans le temps?
Définition de la propriété psychométrique de la capacité de détecter des changements dans le temps
Habileté à détecter des changements importants qui se produisent dans le temps, même si ces changements sont de faible amplitude
Devis expérimental pour le responsiveness (2)
- Étude prospective mesurant l’évolution des patients durant une période de changement
- Étude prospective comparative (2 groupes de patients recevant des traitements différents)
Comment améliorer la capacité de détecter des changements dans le temps avec un questionnaire? (3)
- Augmenter le nombre de catégories de réponses
- Présenter les réponses antérieures
- Utiliser une question de transition
méthode de traduction des questionnaires
on a 2 traducteurs et on compare leurs versions, doit être exactement pareil
anglais a suédois (#1)
suedois a anglais (#2)
