module 5 : qualités métrologiques des instruments de mesure

Question 1

que permettent de déterminer les qualités métrologiques?

Answer 1

1) si un outil a été développé en conformité avec le concept qu’il est censé mesurer (p. ex. : la force statique, l’amplitude articulaire, la dépression ou l’autonomie fonctionnelle);
2) si les scores ou observations qu’il produit sont relativement exempts d’erreurs de mesure; et
3) s’il peut discriminer différents degrés d’intensité du concept qu’il mesure (c’est-à-dire des changements significatifs).

Question 2

quelles sont les 2 qualités métrologiques manquantes

_____,________,fidélité, validité, sensibilité aux changements

Answer 2

applicabilité, faisabilité, fidélité, validité, sensibilité aux changements

Question 3

qu’est-ce que l’applicabilité?

Answer 3

consiste à déterminer dans quel contexte il peut être appliqué ou, inversement, s’il peut s’appliquer au contexte clinique avec un groupe particulier. De fait, on doit vérifier si les caractéristiques de l’outil sont compatibles avec nos besoins cliniques.

Aucune procédure statistique n’est utilisée pour déterminer l’applicabilité d’un outil, puisqu’il s’agit d’un jugement que l’on porte sur sa capacité à satisfaire les besoins de l’étude.

Question 4

qu’est-ce que la faisabilité?

Answer 4

consiste à déterminer si son utilisation est compatible avec les contraintes inhérentes dans le milieu de pratique et si elle n’entraîne pas un fardeau trop important. Il faut également se demander si les usagers peuvent être soumis aux procédures qui, dans certains cas (comme les outils de laboratoire), peuvent demander beaucoup de temps.
il s’agit ici de déterminer si les contraintes de la passation ou de l’administration de l’outil de mesure sont essentielles à notre démarche clinique.
Comme pour l’applicabilité, aucune procédure statistique n’est utilisée pour évaluer cette qualité métrologique.

Question 5

qu’est-ce que la fidélité

Nomme 2 concepts reliés

Answer 5

orrespond à sa capacité à donner des mesures exemptes d’erreurs aléatoires et donc à sa constance à donner des résultats identiques lorsqu’il est appliqué dans le même contexte à plusieurs occasions.

Deux concepts : cohérence interne et stabilité de l’outil

si nous désirons suivre l’évolution de la condition d’un usager en comparant les résultats obtenus avant et après une intervention, la fidélité de l’outil de mesure doit avoir été démontrée.

Question 6

vrai ou faux : un outil de mesure n’est pas fidèle en soi, mais que sa fidélité dépend du contexte d’utilisation.

Answer 6

vrai

Question 7

v ou f : fiabilité, reproductibilité et répétabilité sont des synonymes de fidélité

Answer 7

vrai

Question 8

v ou f : En recueillant des données à l’aide d’un outil non fidèle, il sera impossible d’établir si les changements de performance sont associés à une erreur aléatoire ou à un réel changement dans la condition de l’usager

Answer 8

vrai

Question 9

v ou f : la fidélité n’assure cependant pas qu’il soit valide pour mesurer ce que l’on souhaite et qu’il soit sensible aux changements.

Answer 9

vrai

Question 10

d’ou peuvent provenir les différentes variations qui peuvent entrainer des erreurs de mesure

Answer 10

La différence obtenue entre des mesures répétées d’une même caractéristique (source de variabilité) peut être attribuée à quatre composantes :

1) de l’outil de mesure lui-même (c’est-à-dire l’appareil, la procédure ou le questionnaire);
2) de caractéristiques de l’évaluateur;
3) de caractéristiques entre des évaluateurs différents; ou
4) des caractéristiques des usagers eux-mêmes.

Question 11

quelles sont les diverses sources de variabilité

V ou f
Le changement de position est attribuable à l’usager?

Answer 11

Question 12

comment se passe une étude méthodologique de fidélité?

Answer 12

Question 13

qu’est-ce que la fidélité test-retest

Answer 13

consiste à répéter une mesure chez les mêmes participants, avec le même outil et dans les mêmes conditions pour en mesurer la stabilité dans le temps. Le terme « test-retest » s’applique lors de l’administration d’un outil de mesure au cours de laquelle il n’y a pas d’influence possible d’un évaluateur comme, par exemple, lorsqu’un questionnaire est envoyé par la poste ou lorsque l’usager est invité à remplir un questionnaire en l’absence d’un intervenant.

Question 14

qu’est-ce que la fidélité intraévaluateur?

Answer 14

indique la stabilité d’une mesure réalisée par le même évaluateur ou sa capacité à répéter plusieurs fois une mesure et à obtenir les mêmes résultats. L’étude de ce type de fidélité implique donc, pour un même participant, deux passations ou plus effectuées par le même évaluateur.

Question 15

qu’est-ce que la fidélité interévaluateur?

Answer 15

indique la stabilité d’une mesure réalisée par plusieurs évaluateurs chez les mêmes participants à l’étude, et ce, de façon indépendante. Selon les conditions expérimentales, la collecte des données nécessaires à la détermination de la fidélité interévaluateurs peut se réaliser en une seule session, lors de laquelle au moins deux évaluateurs effectuent simultanément leur prise de mesure. Dans certaines situations, des séances subséquentes à intervalles de quelques jours seront nécessaires pour éviter des biais de rappel (p. ex. : dans le cas de la passation d’un questionnaire en entrevue) ou pour éviter une fatigue indue qui pourrait influencer les résultats.

Question 16

comment est l’interprétation des résultats d’une étude méthodologique de fidélité?

Answer 16

Des analyses statistiques seront utilisées afin de déterminer le niveau d’association (aussi appelée corrélation) entre les résultats de deux évaluations ou entre les résultats obtenus par deux évaluateurs. Selon le type de variable, soit quantitative ou qualitative, et le type de fidélité à l’étude, l’association pourra être évaluée à l’aide de différents coefficients.

ce sont des coefficients de corrélation qui permettent l’interprétation des résultats de fidélité

Question 17

coefficients de corrélation
Quelles variables pour quel coefficients?
Kappa
ICC

Answer 17

Pour des variables de type proportionnel ou par intervalle, les coefficients de corrélation intraclasse (en anglais : intraclass correlation coefficient ou ICC) seront utilisés. Pour des variables nominales ou ordinales, des coefficients de Kappa seront utilisés.

Question 18

Plus la valeur du coefficient s’approchera de 1, plus la fidélité de la mesure sera

Answer 18

élevée et, inversement, plus elle tendra vers « zéro », plus il y aura de variabilité et, par conséquent, de sources potentielles d’erreur dans la mesure.

Question 19

interprétation des coefficients de Kappa et coefficient de corrélation interclasse (CCI)

Answer 19

Question 20

Qu’est-ce que l’erreur standard de mesure et erreur minimale détectable?

Erreur min détectable calculée avec quoi?

Answer 20

L’erreur standard de mesure (standard error of the measure ou SEM) est utilisée pour quantifier la fidélité d’une mesure dans la même unité que les mesures originales.

L’erreur minimale détectable (minimal detectable change ou MDC) représente une estimation du plus petit changement qui peut être détecté par le patient, un changement qui est supérieur à l’erreur de mesure. Ainsi, l’erreur minimale détectable est calculée en multipliant le score Z correspondant au niveau de signifiance voulu (normalement 90 %, correspondant à 1,65, ou 95 %, correspondant à 1,96), par la racine carrée de 2, et par l’erreur standard de mesure.

Reprenons l’exemple de la mesure de l’amplitude du genou à l’aide d’un goniomètre. Disons que l’erreur standard de mesure est de 5,6 degrés. Si un clinicien veut calculer l’erreur minimale détectable à 95 %, le calcul sera le suivant : 5,61,96racine carrée de 2 = 15,5 degrés. Ainsi, 15,5 degrés représentent le changement minimal qui devra être observé à la suite d’une intervention afin de s’assurer à 95 % qu’un vrai changement s’est produit. L’erreur minimale détectable est utilisée en clinique pour déterminer des objectifs de traitement à court terme.

Question 21

qu’est-ce que la cohérence interne

Nomme la statistique utilisée

Answer 21

un outil qu’il est cohérent ou homogène lorsque ses items représentent un ensemble cohérent ou un même concept.En d’autres mots, plus les réponses aux items sont corrélées entre elles et au résultat total de l’outil, plus la cohérence de cet outil est élevée.Au contraire, si les réponses de plusieurs items vont dans le sens contraire du résultat total, on peut douter de la cohérence de cette échelle.

Question 22

Plus l’outil de mesure est fidèle au sens de la cohérence interne des items, plus on peut croire que

Answer 22

les items mesurent un seul et même construit

Question 23

plus la cohérence interne est élevée, plus les items mesurent

Answer 23

le résultat réel de l’individu, diminuant ainsi l’erreur de mesure qui fait varier le résultat total d’une mesure à l’autre dans le temps

Prenons l’exemple du questionnaire WOMAC, qui documente les symptômes reliés à la raideur, à la douleur et aux incapacités reliées à l’arthrose. Celui-ci vous a été présenté au module 2. Pour vérifier la cohérence interne de cet outil de mesure, chacune des cinq questions sur la douleur serait considérée comme étant un item évaluateur de cette dimension.

Question 24

comment s’interprète le coefficient de alpha de Cronbach

Answer 24

Le coefficient alpha de Cronbach s’interprète comme tout coefficient de corrélation dont la valeur est positive, c’est-à-dire que la valeur alpha varie entre 0 et 1. La cohérence interne est d’autant plus forte que le coefficient alpha est près de 1. En pratique, la cohérence interne doit être assez grande, mais le coefficient ne doit pas est trop près de 1, puisque cela signifierait que plusieurs items sont redondants.

Question 25

que désigne la validité

Answer 25

la validité désigne la capacité d'un outil à mesurer ce qu'il prétend mesurer

Question 26

quels sont les trois types de validité

Answer 26

de contenu de critère de construit

Question 27

v ou f : un outil fidèle qui présente une mesure stable n’est pas nécessairement valide

Answer 27

vrai

Question 28

v ou f : Un outil valide limitera la présence d’erreur systématique

Answer 28

vrai

Question 29

v o f : Tout comme pour la fidélité, la validité d’un outil peut être en lien avec une population spécifique et un contexte précis.

Answer 29

vrai Rappelez-vous l’exemple mentionné précédemment, soit la SCIM par opposition à la FIM. Dans le cadre du présent module, on décrira trois types de validité : la validité de contenu, la validité de critère et la validité de construit.

Question 30

qu'est-ce que la validité de contenu? Surtout pour quel type d’outil?

Answer 30

Le processus consiste à soumettre l’outil à un groupe d’experts composé environ de dix à quinze personnes qui connaissent bien le domaine d’intérêt et qui auront à porter un jugement sur la qualité de l’outil, à partir de certains critères. Par exemple, on demandera aux experts de déterminer si l’outil comprend tous les items ou éléments pour couvrir adéquatement le concept à l’étude. On vérifiera également si les énoncés d’items, les procédures ou les consignes au sujet sont libellés de façon explicite, sans risque de mauvaise interprétation. Bref, la validité de contenu décrit comment l’outil de mesure reflète l’information à propos d’un concept particulier. À la suite de cette consultation, le chercheur utilisera les commentaires et recommandations du groupe d’experts pour bonifier son outil de mesure. Il s’agit d’un processus plutôt qualitatif, puisqu’il ne repose pas sur une méthodologie quantitative et qu’il n’y a habituellement pas d’expérimentation associée directement à ce processus.

Question 31

qu'est-ce que la validité de critère

Answer 31

Ce processus permet de déterminer s’ils présentent des résultats similaires, en étudiant la validité concomitante de façon plus spécifique, ou s’ils présentent des résultats que l’on peut prédire, lorsque la validité prédictive est à l’étude. Cela nous permet de déterminer si l’outil évalue bien le concept à l’étude.

Question 32

qu'est-ce que la validité concomitante? (De critère)

Answer 32

s’évalue en mesurant un groupe de participants avec le nouvel outil et avec un outil déjà reconnu comme une mesure étalon dans le domaine à l’étude. Par exemple, en développant une mesure de force musculaire qui utilise un dynamomètre manuel, le chercheur souhaitera comparer sa procédure de mesure avec le gold standard du domaine, soit la mesure réalisée avec un dynamomètre isocinétique (p. ex. : Biodex), qui donne une valeur précise de la force. Des analyses de corrélations détermineront si les mesures des deux procédures sont fortement associées, ce qui confirmerait la validité de la procédure de dynamométrie manuelle.

Question 33

qu'est-ce que la validité prédictive ? (De critère)

Answer 33

Par exemple, l’amplitude articulaire au genou mesurée dans les premières semaines qui font suite à une arthroplastie semble être associée à la vitesse de marche à six mois post-chirurgie. Ainsi, une expérimentation qui compterait deux moments de mesure, soit à trois semaines et à six mois post-chirurgie, et qui inclurait une procédure de mesure d’amplitude articulaire et un test de marche permettrait de déterminer si cette procédure peut effectivement prédire la vitesse de marche à six mois post-chirurgie, tel qu’anticipé.

Question 34

qu'est-ce que la validité de construit?

Answer 34

Dans certaines situations, il n’existera pas de mesure étalon (gold standard) pour déterminer si l’outil développé évalue bien le concept sous-jacent. Le chercheur devra alors présenter une argumentation pour démontrer que l’outil mesure bien ce concept. Il pourrait indiquer quelle définition du concept il a opérationnalisée et décrire les dimensions qui sont mesurées par l’outil et leur lien avec le concept. Ce processus fait partie de la validité de construit, définie comme l’étendue avec laquelle une mesure est liée ou est représentative du construit à l’étude. La validité de construit peut également se démontrer lorsque l’outil peut discriminer entre des groupes de personnes ayant des caractéristiques différentes, ce que l’on appelle la validité discriminante. Si l’outil est bien construit, il devrait donner des valeurs différentes entre les groupes.

Question 35

qu'est-ce que la validité convergente?

Answer 35

Question 36

qu'est-ce que la validité divergente?

Answer 36

V de construit (convergente , divergente, discriminante)

Question 37

qu'est-ce que la validité discriminante?

Answer 37

Type de validité de construit

Question 38

selon les cible dire si fidèle / valide ou non fidèle / non valide

Answer 38

Question 39

qu'est-ce que la sensibilité au changement Pertinent dans quelle type d’étude?

Answer 39

Bien entendu, afin de s’assurer que le changement est bien réel et n’est pas dû à une erreur aléatoire de mesure, il est essentiel que l’outil utilisé soit fidèle La sensibilité aux changements est particulièrement pertinente dans le cas d’une étude longitudinale, c’est-à-dire une étude qui permet de mesurer une variable chez un groupe de participants à différents moments dans le temps. Un outil sensible permettra alors de mettre en évidence la présence ou non de changements dans la condition du participant. La sensibilité aux changements se définit comme la capacité de la mesure à détecter l’effet d’une intervention jugée cliniquement importante ou sa capacité à détecter des différences de scores qui sont cliniquement importantes même si ces différences sont petites.

Question 40

quel est le calcul de la taille de l'effet Interprete. Les valeurs 0.2 0.5 et 0.8

Answer 40

Le calcul de la taille de l’effet est relativement simple. Celui-ci consiste tout d’abord à soustraire le résultat post-intervention (T2) du résultat préintervention (T1) afin d’obtenir une différence. Par la suite, on doit diviser la moyenne des différences (T2 – T1) par l’écart-type des résultats obtenus en préintervention (T1). Des valeurs de 0,2, 0,5 et 0,8 correspondent, respectivement, à des effets considérés comme petits, moyens et larges.

Question 41

comment calculer la réponse moyenne standardisée

Answer 41

La réponse moyenne standardisée consiste, quant à elle, à diviser la moyenne des différences (T2 – T1) par l’écart-type de ces différences (T2 – T1). Vous noterez que ces deux méthodes diffèrent peu l’une de l’autre.

Question 42

qu'est-ce que le changement minimal cliniquement important

Answer 42

Le changement minimal cliniquement important (minimal clinically important difference ou MCID) représente le changement minimal requis pour démontrer un changement significatif du point de vue du patient. La différence entre l’erreur minimale détectable (minimal detectable change ou MDC) et le changement minimal cliniquement important est que l’erreur minimale détectable réfère à un changement qui est statistiquement supérieur à l’erreur de mesure, tandis que le changement minimal cliniquement important réfère à un changement qui est cliniquement significatif pour le patient

Question 43

Le changement minimal cliniquement important est défini à l’aide de

Answer 43

la courbe de ROC

Question 44

qu'est-ce que la courbe de ROC

Answer 44

la méthode des courbes ROC (receiver operating characteristic) pouvait permettre l’estimation du changement minimal cliniquement important d’un outil de mesure. la sensibilité aux changements est décrite en terme de sensibilité et de spécificité, soit la probabilité de classifier correctement les participants qui se sont véritablement améliorés (Sensibilité) ou ceux qui ne se sont pas améliorés (Spécificité) à partir d’un critère externe (p. ex. : un expert ou les résultats d’un autre outil de mesure). Pour certaines valeurs critiques de changements entre deux passations (disons 1, 3 ou 5 unités sur l’échelle de mesure de l’outil), la sensibilité et la spécificité seront calculées à partir de méthodes statistiques qui utiliseront le critère externe choisi pour déterminer le meilleur seuil de changement. Les résultats de sensibilité et de spécificité pour chacune de ces valeurs seront présentés graphiquement sur une courbe ROC, telle qu’illustrée dans la figure de la diapositive. C’est le calcul de la surface sous la courbe qui détermine la sensibilité aux changements de l’outil. Ainsi, des données de sensibilité et de spécificité qui seraient représentées par la ligne jaune indiqueraient que l’outil n’a aucune sensibilité aux changements. Par contre, des données telles que celles représentées par la ligne hachurée de couleur bleue suggéreraient un outil dont la sensibilité aux changements est élevée. La ligne rouge représente les données présentées par Clermont Dionne et ses collaborateurs (2006) sur la capacité d’une évaluation clinique de première ligne à prédire l’incapacité chronique (selon une échelle de 1 à 100) chez les personnes consultant pour un épisode de lombalgie. Le changement minimal cliniquement important sera obtenu en trouvant la valeur qui se situe le plus près du coin supérieur gauche du graphique (point vert sur le graphique). Ce point est donc un compromis entre une bonne spécificité et une bonne sensibilité

Question 45

qu'est-ce que la sensibilité?

Answer 45

La sensibilité d’un test est la probabilité que le test soit positif si la personne est atteinte de la maladie. C’est le nombre de vrais positifs (tests positifs chez des personnes atteintes de la maladie) divisé par le nombre total de personnes atteintes de la maladie (a/a+c).

Question 46

v ou f : Plus un test est sensible, moins il comporte de faux négatifs et mieux il permet, s'il est négatif, d'exclure la maladie

Answer 46

vrai

Question 47

qu'est-ce que la spécificité

Answer 47

La spécificité d’un test est la probabilité que le test soit négatif si la personne testée n’est pas atteinte de la maladie. C’est le nombre de vrais négatifs (tests 32 négatifs chez des personnes non atteintes par la maladie) divisé par le nombre total de personnes non atteintes par la maladie (d/b+d). Plus un test est spécifique, moins il occasionne de faux positifs (tests positifs chez des personnes non atteintes par la maladie) et mieux il permet, s’il est positif, d’affirmer la maladie.

Question 48

vrai ou f : La sensibilité et la spécificité d’un test sont interdépendantes si le test peut prendre plusieurs valeurs

Answer 48

vrai l’augmentation de la sensibilité d’un test se fait toujours au détriment de sa spécificité, et inversement. En pratique, le test doit offrir un bon compromis entre sensibilité élevée (pour identifier le plus grand nombre de personnes suspectes) et spécificité élevée (pour éviter de procéder à des tests plus approfondis ou des traitements inutiles chez des personnes qui n’ont pas la pathologie). Un test dont la sensibilité ou la spécificité serait inférieure 50 % est moins performant qu’un diagnostic fait au hasard.

Question 49

qu'est-ce que la valeur prédictive positive (VPP)

Answer 49

d’un test est la probabilité que la personne soit réellement malade si son test est positif. C’est le nombre de vrais positifs (tests positifs chez des personnes atteintes de la maladie) divisé par le nombre total de personnes dont le test est positif (a/a+b). La valeur prédictive positive d’un signe pour un diagnostic est la probabilité que le diagnostic soit vrai si le signe est présent. La valeur prédictive négative (VPN) d’un test est la probabilité que la personne n’ait pas la maladie si son test est négatif. C’est le nombre de vrais négatifs (tests négatifs chez des personnes non atteintes par la maladie) divisé par le nombre total de personnes dont le test est négatif (d/c+d). La valeur prédictive négative d’un signe pour un diagnostic est la probabilité que le diagnostic soit faux si le signe est absent