module 5 : qualités métrologiques des instruments de mesure Flashcards
que permettent de déterminer les qualités métrologiques?
1) si un outil a été développé en conformité avec le concept qu’il est censé mesurer (p. ex. : la force statique, l’amplitude articulaire, la dépression ou l’autonomie fonctionnelle);
2) si les scores ou observations qu’il produit sont relativement exempts d’erreurs de mesure; et
3) s’il peut discriminer différents degrés d’intensité du concept qu’il mesure (c’est-à-dire des changements significatifs).
quelles sont les qualités métrologiques
applicabilité, faisabilité, fidélité, validité, sensibilité aux changements
qu’est-ce que l’applicabilité?
consiste à déterminer dans quel contexte il peut être appliqué ou, inversement, s’il peut s’appliquer au contexte clinique avec un groupe particulier. De fait, on doit vérifier si les caractéristiques de l’outil sont compatibles avec nos besoins cliniques.
Aucune procédure statistique n’est utilisée pour déterminer l’applicabilité d’un outil, puisqu’il s’agit d’un jugement que l’on porte sur sa capacité à satisfaire les besoins de l’étude.
qu’est-ce que la faisabilité?
consiste à déterminer si son utilisation est compatible avec les contraintes inhérentes dans le milieu de pratique et si elle n’entraîne pas un fardeau trop important. Il faut également se demander si les usagers peuvent être soumis aux procédures qui, dans certains cas (comme les outils de laboratoire), peuvent demander beaucoup de temps.
il s’agit ici de déterminer si les contraintes de la passation ou de l’administration de l’outil de mesure sont essentielles à notre démarche clinique.
Comme pour l’applicabilité, aucune procédure statistique n’est utilisée pour évaluer cette qualité métrologique.
qu’est-ce que la fidélité
orrespond à sa capacité à donner des mesures exemptes d’erreurs aléatoires et donc à sa constance à donner des résultats identiques lorsqu’il est appliqué dans le même contexte à plusieurs occasions.
Deux concepts : cohérence interne et stabilité de l’outil
si nous désirons suivre l’évolution de la condition d’un usager en comparant les résultats obtenus avant et après une intervention, la fidélité de l’outil de mesure doit avoir été démontrée.
vrai ou faux : un outil de mesure n’est pas fidèle en soi, mais que sa fidélité dépend du contexte d’utilisation.
vrai
v ou f : fiabilité, reproductibilité et répétabilité sont des synonymes de fidélité
vrai
v ou f : En recueillant des données à l’aide d’un outil non fidèle, il sera impossible d’établir si les changements de performance sont associés à une erreur aléatoire ou à un réel changement dans la condition de l’usager
vrai
v ou f : la fidélité n’assure cependant pas qu’il soit valide pour mesurer ce que l’on souhaite et qu’il soit sensible aux changements.
vrai
d’ou peuvent provenir les différentes variations qui peuvent entrainer des erreurs de mesure
La différence obtenue entre des mesures répétées d’une même caractéristique (source de variabilité) peut être attribuée à quatre composantes :
1) de l’outil de mesure lui-même (c’est-à-dire l’appareil, la procédure ou le questionnaire);
2) de caractéristiques de l’évaluateur;
3) de caractéristiques entre des évaluateurs différents; ou
4) des caractéristiques des usagers eux-mêmes.
quelles sont les diverses sources de variabilité
comment se passe une étude méthodologique de fidélité?
qu’est-ce que la fidélité test-retest
consiste à répéter une mesure chez les mêmes participants, avec le même outil et dans les mêmes conditions pour en mesurer la stabilité dans le temps. Le terme « test-retest » s’applique lors de l’administration d’un outil de mesure au cours de laquelle il n’y a pas d’influence possible d’un évaluateur comme, par exemple, lorsqu’un questionnaire est envoyé par la poste ou lorsque l’usager est invité à remplir un questionnaire en l’absence d’un intervenant.
qu’est-ce que la fidélité intraévaluateur?
indique la stabilité d’une mesure réalisée par le même évaluateur ou sa capacité à répéter plusieurs fois une mesure et à obtenir les mêmes résultats. L’étude de ce type de fidélité implique donc, pour un même participant, deux passations ou plus effectuées par le même évaluateur.
qu’est-ce que la fidélité interévaluateur?
indique la stabilité d’une mesure réalisée par plusieurs évaluateurs chez les mêmes participants à l’étude, et ce, de façon indépendante. Selon les conditions expérimentales, la collecte des données nécessaires à la détermination de la fidélité interévaluateurs peut se réaliser en une seule session, lors de laquelle au moins deux évaluateurs effectuent simultanément leur prise de mesure. Dans certaines situations, des séances subséquentes à intervalles de quelques jours seront nécessaires pour éviter des biais de rappel (p. ex. : dans le cas de la passation d’un questionnaire en entrevue) ou pour éviter une fatigue indue qui pourrait influencer les résultats.
comment est l’interprétation des résultats d’une étude méthodologique de fidélité?
Des analyses statistiques seront utilisées afin de déterminer le niveau d’association (aussi appelée corrélation) entre les résultats de deux évaluations ou entre les résultats obtenus par deux évaluateurs. Selon le type de variable, soit quantitative ou qualitative, et le type de fidélité à l’étude, l’association pourra être évaluée à l’aide de différents coefficients.
ce sont des coefficients de corrélation qui permettent l’interprétation des résultats de fidélité
coefficients de corrélation
Pour des variables de type proportionnel ou par intervalle, les coefficients de corrélation intraclasse (en anglais : intraclass correlation coefficient ou ICC) seront utilisés. Pour des variables nominales ou ordinales, des coefficients de Kappa seront utilisés.
Plus la valeur du coefficient s’approchera de 1, plus la fidélité de la mesure sera
élevée et, inversement, plus elle tendra vers « zéro », plus il y aura de variabilité et, par conséquent, de sources potentielles d’erreur dans la mesure.
interprétation des coefficients de Kappa et coefficient de corrélation interclasse (CCI)
Qu’est-ce que l’erreur standard de mesure et erreur minimale détectable?
L’erreur standard de mesure (standard error of the measure ou SEM) est utilisée pour quantifier la fidélité d’une mesure dans la même unité que les mesures originales.
L’erreur minimale détectable (minimal detectable change ou MDC) représente une estimation du plus petit changement qui peut être détecté par le patient, un changement qui est supérieur à l’erreur de mesure. Ainsi, l’erreur minimale détectable est calculée en multipliant le score Z correspondant au niveau de signifiance voulu (normalement 90 %, correspondant à 1,65, ou 95 %, correspondant à 1,96), par la racine carrée de 2, et par l’erreur standard de mesure.
Reprenons l’exemple de la mesure de l’amplitude du genou à l’aide d’un goniomètre. Disons que l’erreur standard de mesure est de 5,6 degrés. Si un clinicien veut calculer l’erreur minimale détectable à 95 %, le calcul sera le suivant : 5,61,96racine carrée de 2 = 15,5 degrés. Ainsi, 15,5 degrés représentent le changement minimal qui devra être observé à la suite d’une intervention afin de s’assurer à 95 % qu’un vrai changement s’est produit. L’erreur minimale détectable est utilisée en clinique pour déterminer des objectifs de traitement à court terme.
qu’est-ce que la cohérence interne
un outil qu’il est cohérent ou homogène lorsque ses items représentent un ensemble cohérent ou un même concept.En d’autres mots, plus les réponses aux items sont corrélées entre elles et au résultat total de l’outil, plus la cohérence de cet outil est élevée.Au contraire, si les réponses de plusieurs items vont dans le sens contraire du résultat total, on peut douter de la cohérence de cette échelle.
comment s’interprète le coefficient de alpha de Cronbach
Le coefficient alpha de Cronbach s’interprète comme tout coefficient de corrélation dont la valeur est positive, c’est-à-dire que la valeur alpha varie entre 0 et 1. La cohérence interne est d’autant plus forte que le coefficient alpha est près de 1. En pratique, la cohérence interne doit être assez grande, mais le coefficient ne doit pas est trop près de 1, puisque cela signifierait que plusieurs items sont redondants.
qu’est-ce que la validité de contenu?
Le processus consiste à soumettre l’outil à un groupe d’experts composé environ de dix à quinze personnes qui connaissent bien le domaine d’intérêt et qui auront à porter un jugement sur la qualité de l’outil, à partir de certains critères. Par exemple, on demandera aux experts de déterminer si l’outil comprend tous les items ou éléments pour couvrir adéquatement le concept à l’étude. On vérifiera également si les énoncés d’items, les procédures ou les consignes au sujet sont libellés de façon explicite, sans risque de mauvaise interprétation. Bref, la validité de contenu décrit comment l’outil de mesure reflète l’information à propos d’un concept particulier.
À la suite de cette consultation, le chercheur utilisera les commentaires et recommandations du groupe d’experts pour bonifier son outil de mesure. Il s’agit d’un processus plutôt qualitatif, puisqu’il ne repose pas sur une méthodologie quantitative et qu’il n’y a habituellement pas d’expérimentation associée directement à ce processus.
qu’est-ce que la validité de critère
Ce processus permet de déterminer s’ils présentent des résultats similaires, en étudiant la validité concomitante de façon plus spécifique, ou s’ils présentent des résultats que l’on peut prédire, lorsque la validité prédictive est à l’étude. Cela nous permet de déterminer si l’outil évalue bien le concept à l’étude.
qu’est-ce que la validité concomitante?
s’évalue en mesurant un groupe de participants avec le nouvel outil et avec un outil déjà reconnu comme une mesure étalon dans le domaine à l’étude. Par exemple, en développant une mesure de force musculaire qui utilise un dynamomètre manuel, le chercheur souhaitera comparer sa procédure de mesure avec le gold standard du domaine, soit la mesure réalisée avec un dynamomètre isocinétique (p. ex. : Biodex), qui donne une valeur précise de la force. Des analyses de corrélations détermineront si les mesures des deux procédures sont fortement associées, ce qui confirmerait la validité de la procédure de dynamométrie manuelle.
qu’est-ce que la validité prédictive ?
Par exemple, l’amplitude articulaire au genou mesurée dans les premières semaines qui font suite à une arthroplastie semble être associée à la vitesse de marche à six mois post-chirurgie.
Ainsi, une expérimentation qui compterait deux moments de mesure, soit à trois semaines et à six mois post-chirurgie, et qui inclurait une procédure de mesure d’amplitude articulaire et un test de marche permettrait de déterminer si cette procédure peut effectivement prédire la vitesse de marche à six mois post-chirurgie, tel qu’anticipé.
qu’est-ce que la validité de construit?
Dans certaines situations, il n’existera pas de mesure étalon (gold standard) pour déterminer si l’outil développé évalue bien le concept sous-jacent. Le chercheur devra alors présenter une argumentation pour démontrer que l’outil mesure bien ce concept.
Il pourrait indiquer quelle définition du concept il a opérationnalisée et décrire les dimensions qui sont mesurées par l’outil et leur lien avec le concept. Ce processus fait partie de la validité de construit, définie comme l’étendue avec laquelle une mesure est liée ou est représentative du construit à l’étude.
La validité de construit peut également se démontrer lorsque l’outil peut discriminer entre des groupes de personnes ayant des caractéristiques différentes, ce que l’on appelle la validité discriminante. Si l’outil est bien construit, il devrait donner des valeurs différentes entre les groupes.
qu’est-ce que la validité convergente?
qu’est-ce que la validité divergente?
qu’est-ce que la validité discriminante?
selon les cible dire si fidèle / valide ou non fidèle / non valide
qu’est-ce que la sensibilité au changement
Bien entendu, afin de s’assurer que le changement est bien réel et n’est pas dû à une erreur aléatoire de mesure, il est essentiel que l’outil utilisé soit fidèle
La sensibilité aux changements est particulièrement pertinente dans le cas d’une étude longitudinale, c’est-à-dire une étude qui permet de mesurer une variable chez un groupe de participants à différents moments dans le temps. Un outil sensible permettra alors de mettre en évidence la présence ou non de changements dans la condition du participant.
La sensibilité aux changements se définit comme la capacité de la mesure à détecter l’effet d’une intervention jugée cliniquement importante ou sa capacité à détecter des différences de scores qui sont cliniquement importantes même si ces différences sont petites.
quel est le calcul de la taille de l’effet
Le calcul de la taille de l’effet est relativement simple. Celui-ci consiste tout d’abord à soustraire le résultat post-intervention (T2) du résultat préintervention (T1) afin d’obtenir une différence. Par la suite, on doit diviser la moyenne des différences (T2 – T1) par l’écart-type des résultats obtenus en préintervention (T1). Des valeurs de 0,2, 0,5 et 0,8 correspondent, respectivement, à des effets considérés comme petits, moyens et larges.
comment calculer la réponse moyenne standardisée
La réponse moyenne standardisée consiste, quant à elle, à diviser la moyenne des différences (T2 – T1) par l’écart-type de ces différences (T2 – T1). Vous noterez que ces deux méthodes diffèrent peu l’une de l’autre.
qu’est-ce que la courbe de ROC
la méthode des courbes ROC (receiver operating characteristic) pouvait permettre l’estimation du changement minimal cliniquement important d’un outil de mesure.
la sensibilité aux changements est décrite en terme de sensibilité et de spécificité, soit la probabilité de classifier correctement les participants qui se sont véritablement améliorés (Sensibilité) ou ceux qui ne se sont pas améliorés (Spécificité) à partir d’un critère externe (p. ex. : un expert ou les résultats d’un autre outil de mesure). Pour certaines valeurs critiques de changements entre deux passations (disons 1, 3 ou 5 unités sur l’échelle de mesure de l’outil), la sensibilité et la spécificité seront calculées à partir de méthodes statistiques qui utiliseront le critère externe choisi pour déterminer le meilleur seuil de changement. Les résultats de sensibilité et de spécificité pour chacune de ces valeurs seront présentés graphiquement sur une courbe ROC, telle qu’illustrée dans la figure de la diapositive.
C’est le calcul de la surface sous la courbe qui détermine la sensibilité aux changements de l’outil. Ainsi, des données de sensibilité et de spécificité qui seraient représentées par la ligne jaune indiqueraient que l’outil n’a aucune sensibilité aux changements. Par contre, des données telles que celles représentées par la ligne hachurée de couleur bleue suggéreraient un outil dont la sensibilité aux changements est élevée. La ligne rouge représente les données présentées par Clermont Dionne et ses collaborateurs (2006) sur la capacité d’une évaluation clinique de première ligne à prédire l’incapacité chronique (selon une échelle de 1 à 100) chez les personnes consultant pour un épisode de lombalgie. Le changement minimal cliniquement important sera
obtenu en trouvant la valeur qui se situe le plus près du coin supérieur gauche du graphique (point vert sur le graphique). Ce point est donc un compromis entre une bonne spécificité et une bonne sensibilité
qu’est-ce que la valeur prédictive positive (VPP)
d’un test est la probabilité que la personne soit réellement malade si son test est positif.
C’est le nombre de vrais positifs (tests positifs chez des personnes atteintes de la maladie) divisé par le nombre total de personnes dont le test est positif (a/a+b).
La valeur prédictive positive d’un signe pour un diagnostic est la probabilité que le diagnostic soit vrai si le signe est présent.
La valeur prédictive négative (VPN) d’un test est la probabilité que la personne n’ait pas la maladie si son test est négatif. C’est le nombre de vrais négatifs (tests négatifs chez des personnes non atteintes par la maladie) divisé par le nombre total de personnes dont le test est négatif (d/c+d).
La valeur prédictive négative d’un signe pour un diagnostic est la probabilité que le diagnostic soit faux si le signe est absent
