module 5 : qualités métrologiques des instruments de mesure Flashcards
que permettent de déterminer les qualités métrologiques?
1) si un outil a été développé en conformité avec le concept qu’il est censé mesurer (p. ex. : la force statique, l’amplitude articulaire, la dépression ou l’autonomie fonctionnelle);
2) si les scores ou observations qu’il produit sont relativement exempts d’erreurs de mesure; et
3) s’il peut discriminer différents degrés d’intensité du concept qu’il mesure (c’est-à-dire des changements significatifs).
quelles sont les 2 qualités métrologiques manquantes
_____,________,fidélité, validité, sensibilité aux changements
applicabilité, faisabilité, fidélité, validité, sensibilité aux changements
qu’est-ce que l’applicabilité?
consiste à déterminer dans quel contexte il peut être appliqué ou, inversement, s’il peut s’appliquer au contexte clinique avec un groupe particulier. De fait, on doit vérifier si les caractéristiques de l’outil sont compatibles avec nos besoins cliniques.
Aucune procédure statistique n’est utilisée pour déterminer l’applicabilité d’un outil, puisqu’il s’agit d’un jugement que l’on porte sur sa capacité à satisfaire les besoins de l’étude.
qu’est-ce que la faisabilité?
consiste à déterminer si son utilisation est compatible avec les contraintes inhérentes dans le milieu de pratique et si elle n’entraîne pas un fardeau trop important. Il faut également se demander si les usagers peuvent être soumis aux procédures qui, dans certains cas (comme les outils de laboratoire), peuvent demander beaucoup de temps.
il s’agit ici de déterminer si les contraintes de la passation ou de l’administration de l’outil de mesure sont essentielles à notre démarche clinique.
Comme pour l’applicabilité, aucune procédure statistique n’est utilisée pour évaluer cette qualité métrologique.
qu’est-ce que la fidélité
Nomme 2 concepts reliés
orrespond à sa capacité à donner des mesures exemptes d’erreurs aléatoires et donc à sa constance à donner des résultats identiques lorsqu’il est appliqué dans le même contexte à plusieurs occasions.
Deux concepts : cohérence interne et stabilité de l’outil
si nous désirons suivre l’évolution de la condition d’un usager en comparant les résultats obtenus avant et après une intervention, la fidélité de l’outil de mesure doit avoir été démontrée.
vrai ou faux : un outil de mesure n’est pas fidèle en soi, mais que sa fidélité dépend du contexte d’utilisation.
vrai
v ou f : fiabilité, reproductibilité et répétabilité sont des synonymes de fidélité
vrai
v ou f : En recueillant des données à l’aide d’un outil non fidèle, il sera impossible d’établir si les changements de performance sont associés à une erreur aléatoire ou à un réel changement dans la condition de l’usager
vrai
v ou f : la fidélité n’assure cependant pas qu’il soit valide pour mesurer ce que l’on souhaite et qu’il soit sensible aux changements.
vrai
d’ou peuvent provenir les différentes variations qui peuvent entrainer des erreurs de mesure
La différence obtenue entre des mesures répétées d’une même caractéristique (source de variabilité) peut être attribuée à quatre composantes :
1) de l’outil de mesure lui-même (c’est-à-dire l’appareil, la procédure ou le questionnaire);
2) de caractéristiques de l’évaluateur;
3) de caractéristiques entre des évaluateurs différents; ou
4) des caractéristiques des usagers eux-mêmes.
quelles sont les diverses sources de variabilité
V ou f
Le changement de position est attribuable à l’usager?
comment se passe une étude méthodologique de fidélité?
qu’est-ce que la fidélité test-retest
consiste à répéter une mesure chez les mêmes participants, avec le même outil et dans les mêmes conditions pour en mesurer la stabilité dans le temps. Le terme « test-retest » s’applique lors de l’administration d’un outil de mesure au cours de laquelle il n’y a pas d’influence possible d’un évaluateur comme, par exemple, lorsqu’un questionnaire est envoyé par la poste ou lorsque l’usager est invité à remplir un questionnaire en l’absence d’un intervenant.
qu’est-ce que la fidélité intraévaluateur?
indique la stabilité d’une mesure réalisée par le même évaluateur ou sa capacité à répéter plusieurs fois une mesure et à obtenir les mêmes résultats. L’étude de ce type de fidélité implique donc, pour un même participant, deux passations ou plus effectuées par le même évaluateur.
qu’est-ce que la fidélité interévaluateur?
indique la stabilité d’une mesure réalisée par plusieurs évaluateurs chez les mêmes participants à l’étude, et ce, de façon indépendante. Selon les conditions expérimentales, la collecte des données nécessaires à la détermination de la fidélité interévaluateurs peut se réaliser en une seule session, lors de laquelle au moins deux évaluateurs effectuent simultanément leur prise de mesure. Dans certaines situations, des séances subséquentes à intervalles de quelques jours seront nécessaires pour éviter des biais de rappel (p. ex. : dans le cas de la passation d’un questionnaire en entrevue) ou pour éviter une fatigue indue qui pourrait influencer les résultats.
comment est l’interprétation des résultats d’une étude méthodologique de fidélité?
Des analyses statistiques seront utilisées afin de déterminer le niveau d’association (aussi appelée corrélation) entre les résultats de deux évaluations ou entre les résultats obtenus par deux évaluateurs. Selon le type de variable, soit quantitative ou qualitative, et le type de fidélité à l’étude, l’association pourra être évaluée à l’aide de différents coefficients.
ce sont des coefficients de corrélation qui permettent l’interprétation des résultats de fidélité
coefficients de corrélation
Quelles variables pour quel coefficients?
Kappa
ICC
Pour des variables de type proportionnel ou par intervalle, les coefficients de corrélation intraclasse (en anglais : intraclass correlation coefficient ou ICC) seront utilisés. Pour des variables nominales ou ordinales, des coefficients de Kappa seront utilisés.
Plus la valeur du coefficient s’approchera de 1, plus la fidélité de la mesure sera
élevée et, inversement, plus elle tendra vers « zéro », plus il y aura de variabilité et, par conséquent, de sources potentielles d’erreur dans la mesure.
interprétation des coefficients de Kappa et coefficient de corrélation interclasse (CCI)
Qu’est-ce que l’erreur standard de mesure et erreur minimale détectable?
Erreur min détectable calculée avec quoi?
L’erreur standard de mesure (standard error of the measure ou SEM) est utilisée pour quantifier la fidélité d’une mesure dans la même unité que les mesures originales.
L’erreur minimale détectable (minimal detectable change ou MDC) représente une estimation du plus petit changement qui peut être détecté par le patient, un changement qui est supérieur à l’erreur de mesure. Ainsi, l’erreur minimale détectable est calculée en multipliant le score Z correspondant au niveau de signifiance voulu (normalement 90 %, correspondant à 1,65, ou 95 %, correspondant à 1,96), par la racine carrée de 2, et par l’erreur standard de mesure.
Reprenons l’exemple de la mesure de l’amplitude du genou à l’aide d’un goniomètre. Disons que l’erreur standard de mesure est de 5,6 degrés. Si un clinicien veut calculer l’erreur minimale détectable à 95 %, le calcul sera le suivant : 5,61,96racine carrée de 2 = 15,5 degrés. Ainsi, 15,5 degrés représentent le changement minimal qui devra être observé à la suite d’une intervention afin de s’assurer à 95 % qu’un vrai changement s’est produit. L’erreur minimale détectable est utilisée en clinique pour déterminer des objectifs de traitement à court terme.
qu’est-ce que la cohérence interne
Nomme la statistique utilisée
un outil qu’il est cohérent ou homogène lorsque ses items représentent un ensemble cohérent ou un même concept.En d’autres mots, plus les réponses aux items sont corrélées entre elles et au résultat total de l’outil, plus la cohérence de cet outil est élevée.Au contraire, si les réponses de plusieurs items vont dans le sens contraire du résultat total, on peut douter de la cohérence de cette échelle.
Plus l’outil de mesure est fidèle au sens de la cohérence interne des items, plus on peut croire que
les items mesurent un seul et même construit
plus la cohérence interne est élevée, plus les items mesurent
le résultat réel de l’individu, diminuant ainsi l’erreur de mesure qui fait varier le résultat total d’une mesure à l’autre dans le temps
Prenons l’exemple du questionnaire WOMAC, qui documente les symptômes reliés à la raideur, à la douleur et aux incapacités reliées à l’arthrose. Celui-ci vous a été présenté au module 2. Pour vérifier la cohérence interne de cet outil de mesure, chacune des cinq questions sur la douleur serait considérée comme étant un item évaluateur de cette dimension.
comment s’interprète le coefficient de alpha de Cronbach
Le coefficient alpha de Cronbach s’interprète comme tout coefficient de corrélation dont la valeur est positive, c’est-à-dire que la valeur alpha varie entre 0 et 1. La cohérence interne est d’autant plus forte que le coefficient alpha est près de 1. En pratique, la cohérence interne doit être assez grande, mais le coefficient ne doit pas est trop près de 1, puisque cela signifierait que plusieurs items sont redondants.
que désigne la validité
la validité désigne la capacité d’un outil à mesurer ce qu’il prétend mesurer
quels sont les trois types de validité
de contenu
de critère
de construit
v ou f : un outil fidèle qui présente une mesure stable n’est pas nécessairement valide
vrai
v ou f : Un outil valide limitera la présence d’erreur systématique
vrai
v o f : Tout comme pour la fidélité, la validité d’un outil peut être en lien avec une population spécifique et un contexte précis.
vrai
Rappelez-vous l’exemple mentionné précédemment, soit la SCIM par opposition à la FIM. Dans le cadre du présent module, on décrira trois types de validité : la validité de contenu, la validité de critère et la validité de construit.
qu’est-ce que la validité de contenu?
Surtout pour quel type d’outil?
Le processus consiste à soumettre l’outil à un groupe d’experts composé environ de dix à quinze personnes qui connaissent bien le domaine d’intérêt et qui auront à porter un jugement sur la qualité de l’outil, à partir de certains critères. Par exemple, on demandera aux experts de déterminer si l’outil comprend tous les items ou éléments pour couvrir adéquatement le concept à l’étude. On vérifiera également si les énoncés d’items, les procédures ou les consignes au sujet sont libellés de façon explicite, sans risque de mauvaise interprétation. Bref, la validité de contenu décrit comment l’outil de mesure reflète l’information à propos d’un concept particulier.
À la suite de cette consultation, le chercheur utilisera les commentaires et recommandations du groupe d’experts pour bonifier son outil de mesure. Il s’agit d’un processus plutôt qualitatif, puisqu’il ne repose pas sur une méthodologie quantitative et qu’il n’y a habituellement pas d’expérimentation associée directement à ce processus.
qu’est-ce que la validité de critère
Ce processus permet de déterminer s’ils présentent des résultats similaires, en étudiant la validité concomitante de façon plus spécifique, ou s’ils présentent des résultats que l’on peut prédire, lorsque la validité prédictive est à l’étude. Cela nous permet de déterminer si l’outil évalue bien le concept à l’étude.
qu’est-ce que la validité concomitante? (De critère)
s’évalue en mesurant un groupe de participants avec le nouvel outil et avec un outil déjà reconnu comme une mesure étalon dans le domaine à l’étude. Par exemple, en développant une mesure de force musculaire qui utilise un dynamomètre manuel, le chercheur souhaitera comparer sa procédure de mesure avec le gold standard du domaine, soit la mesure réalisée avec un dynamomètre isocinétique (p. ex. : Biodex), qui donne une valeur précise de la force. Des analyses de corrélations détermineront si les mesures des deux procédures sont fortement associées, ce qui confirmerait la validité de la procédure de dynamométrie manuelle.
qu’est-ce que la validité prédictive ? (De critère)
Par exemple, l’amplitude articulaire au genou mesurée dans les premières semaines qui font suite à une arthroplastie semble être associée à la vitesse de marche à six mois post-chirurgie.
Ainsi, une expérimentation qui compterait deux moments de mesure, soit à trois semaines et à six mois post-chirurgie, et qui inclurait une procédure de mesure d’amplitude articulaire et un test de marche permettrait de déterminer si cette procédure peut effectivement prédire la vitesse de marche à six mois post-chirurgie, tel qu’anticipé.
qu’est-ce que la validité de construit?
Dans certaines situations, il n’existera pas de mesure étalon (gold standard) pour déterminer si l’outil développé évalue bien le concept sous-jacent. Le chercheur devra alors présenter une argumentation pour démontrer que l’outil mesure bien ce concept.
Il pourrait indiquer quelle définition du concept il a opérationnalisée et décrire les dimensions qui sont mesurées par l’outil et leur lien avec le concept. Ce processus fait partie de la validité de construit, définie comme l’étendue avec laquelle une mesure est liée ou est représentative du construit à l’étude.
La validité de construit peut également se démontrer lorsque l’outil peut discriminer entre des groupes de personnes ayant des caractéristiques différentes, ce que l’on appelle la validité discriminante. Si l’outil est bien construit, il devrait donner des valeurs différentes entre les groupes.
qu’est-ce que la validité convergente?
qu’est-ce que la validité divergente?
V de construit (convergente , divergente, discriminante)
qu’est-ce que la validité discriminante?
Type de validité de construit
selon les cible dire si fidèle / valide ou non fidèle / non valide
qu’est-ce que la sensibilité au changement
Pertinent dans quelle type d’étude?
Bien entendu, afin de s’assurer que le changement est bien réel et n’est pas dû à une erreur aléatoire de mesure, il est essentiel que l’outil utilisé soit fidèle
La sensibilité aux changements est particulièrement pertinente dans le cas d’une étude longitudinale, c’est-à-dire une étude qui permet de mesurer une variable chez un groupe de participants à différents moments dans le temps. Un outil sensible permettra alors de mettre en évidence la présence ou non de changements dans la condition du participant.
La sensibilité aux changements se définit comme la capacité de la mesure à détecter l’effet d’une intervention jugée cliniquement importante ou sa capacité à détecter des différences de scores qui sont cliniquement importantes même si ces différences sont petites.
quel est le calcul de la taille de l’effet
Interprete. Les valeurs 0.2 0.5 et 0.8
Le calcul de la taille de l’effet est relativement simple. Celui-ci consiste tout d’abord à soustraire le résultat post-intervention (T2) du résultat préintervention (T1) afin d’obtenir une différence. Par la suite, on doit diviser la moyenne des différences (T2 – T1) par l’écart-type des résultats obtenus en préintervention (T1). Des valeurs de 0,2, 0,5 et 0,8 correspondent, respectivement, à des effets considérés comme petits, moyens et larges.
comment calculer la réponse moyenne standardisée
La réponse moyenne standardisée consiste, quant à elle, à diviser la moyenne des différences (T2 – T1) par l’écart-type de ces différences (T2 – T1). Vous noterez que ces deux méthodes diffèrent peu l’une de l’autre.
qu’est-ce que le changement minimal cliniquement important
Le changement minimal cliniquement important (minimal clinically important difference ou MCID) représente le changement minimal requis pour démontrer un changement significatif du point de vue du patient.
La différence entre l’erreur minimale détectable (minimal detectable change ou MDC) et le changement minimal cliniquement important est que l’erreur minimale détectable réfère à un changement qui est statistiquement supérieur à l’erreur de mesure, tandis que le changement minimal cliniquement important réfère à un changement qui est cliniquement significatif pour le patient
Le changement minimal cliniquement important est défini à l’aide de
la courbe de ROC
qu’est-ce que la courbe de ROC
la méthode des courbes ROC (receiver operating characteristic) pouvait permettre l’estimation du changement minimal cliniquement important d’un outil de mesure.
la sensibilité aux changements est décrite en terme de sensibilité et de spécificité, soit la probabilité de classifier correctement les participants qui se sont véritablement améliorés (Sensibilité) ou ceux qui ne se sont pas améliorés (Spécificité) à partir d’un critère externe (p. ex. : un expert ou les résultats d’un autre outil de mesure). Pour certaines valeurs critiques de changements entre deux passations (disons 1, 3 ou 5 unités sur l’échelle de mesure de l’outil), la sensibilité et la spécificité seront calculées à partir de méthodes statistiques qui utiliseront le critère externe choisi pour déterminer le meilleur seuil de changement. Les résultats de sensibilité et de spécificité pour chacune de ces valeurs seront présentés graphiquement sur une courbe ROC, telle qu’illustrée dans la figure de la diapositive.
C’est le calcul de la surface sous la courbe qui détermine la sensibilité aux changements de l’outil. Ainsi, des données de sensibilité et de spécificité qui seraient représentées par la ligne jaune indiqueraient que l’outil n’a aucune sensibilité aux changements. Par contre, des données telles que celles représentées par la ligne hachurée de couleur bleue suggéreraient un outil dont la sensibilité aux changements est élevée. La ligne rouge représente les données présentées par Clermont Dionne et ses collaborateurs (2006) sur la capacité d’une évaluation clinique de première ligne à prédire l’incapacité chronique (selon une échelle de 1 à 100) chez les personnes consultant pour un épisode de lombalgie. Le changement minimal cliniquement important sera
obtenu en trouvant la valeur qui se situe le plus près du coin supérieur gauche du graphique (point vert sur le graphique). Ce point est donc un compromis entre une bonne spécificité et une bonne sensibilité
qu’est-ce que la sensibilité?
La sensibilité d’un test est la probabilité que le test soit positif si la personne est atteinte de la maladie. C’est le nombre de vrais positifs (tests positifs chez des personnes atteintes de la maladie) divisé par le nombre total de personnes atteintes de la maladie (a/a+c).
v ou f : Plus un test est sensible, moins il comporte de faux négatifs et mieux il permet, s’il est négatif, d’exclure la maladie
vrai
qu’est-ce que la spécificité
La spécificité d’un test est la probabilité que le test soit négatif si la personne testée n’est pas atteinte de la maladie. C’est le nombre de vrais négatifs (tests
32
négatifs chez des personnes non atteintes par la maladie) divisé par le nombre total de personnes non atteintes par la maladie (d/b+d). Plus un test est spécifique, moins il occasionne de faux positifs (tests positifs chez des personnes non atteintes par la maladie) et mieux il permet, s’il est positif, d’affirmer la maladie.
vrai ou f : La sensibilité et la spécificité d’un test sont interdépendantes si le test peut prendre plusieurs valeurs
vrai
l’augmentation de la sensibilité d’un test se fait toujours au détriment de sa spécificité, et inversement. En pratique, le test doit offrir un bon compromis entre sensibilité élevée (pour identifier le plus grand nombre de personnes suspectes) et spécificité élevée (pour éviter de procéder à des tests plus approfondis ou des traitements inutiles chez des personnes qui n’ont pas la pathologie). Un test dont la sensibilité ou la spécificité serait inférieure 50 % est moins performant qu’un diagnostic fait au hasard.
qu’est-ce que la valeur prédictive positive (VPP)
d’un test est la probabilité que la personne soit réellement malade si son test est positif.
C’est le nombre de vrais positifs (tests positifs chez des personnes atteintes de la maladie) divisé par le nombre total de personnes dont le test est positif (a/a+b).
La valeur prédictive positive d’un signe pour un diagnostic est la probabilité que le diagnostic soit vrai si le signe est présent.
La valeur prédictive négative (VPN) d’un test est la probabilité que la personne n’ait pas la maladie si son test est négatif. C’est le nombre de vrais négatifs (tests négatifs chez des personnes non atteintes par la maladie) divisé par le nombre total de personnes dont le test est négatif (d/c+d).
La valeur prédictive négative d’un signe pour un diagnostic est la probabilité que le diagnostic soit faux si le signe est absent
