Module 5-Qualités métrologiques Flashcards

1
Q

Les qualités métrologiques sont des caractéristiques qui permettent de déterminer quoi?

A

1) si un outil a été développé en conformité avec le concept qu’il est censé mesurer (p. ex. : la force statique, l’amplitude articulaire, la dépression ou l’autonomie fonctionnelle)

2) si les scores ou observations qu’il produit sont relativement exempts d’erreurs de mesure

3) s’il peut discriminer différents degrés d’intensité du concept qu’il mesure (c’est-à-dire des changements significatifs)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Quels sont les 5 qualités métrologiques présentées dans ce cours?

A
  1. Applicabilité
  2. Faisabilité
  3. Fidélité
  4. Validité
  5. Sensibilité aux changements
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Qu’est-ce que l’applicabilité?

A

Elle consiste à déterminer dans quel contexte il peut être appliqué ou, inversement, s’il peut s’appliquer au contexte clinique avec un groupe particulier. De fait, on doit vérifier si les caractéristiques de l’outil sont compatibles avec nos besoins cliniques.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

En qui consiste la faisabilité?

A

La faisabilité d’un outil consiste à déterminer si son utilisation est compatible avec les contraintes inhérentes dans le milieu de pratique et si elle n’entraîne pas un fardeau trop important. Certains outils de mesure, aussi valables soient-ils, peuvent demander des procédures très longues et très coûteuses qui ne sont pas compatibles avec le contexte clinique. D’autres exigent une formation préalable ou des méthodes de calcul difficiles à appliquer, particulièrement dans un contexte clinique. Il faut également se demander si les usagers peuvent être soumis aux procédures qui, dans certains cas (comme les outils de laboratoire), peuvent demander beaucoup de temps.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Lesquels, parmi les 5 qualités métrologiques, ne nécessitent pas de procédure statistique?

A

L’applicabilité et la faisabilité.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

En quoi consiste la fidélité?

A

La fidélité d’un outil correspond à sa capacité à donner des mesures exemptes d’erreurs aléatoires et donc à sa constance à donner des résultats identiques lorsqu’il est appliqué dans le même contexte à plusieurs occasions.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Quelles sont les deux dimensions de la fidélité?

A

1) La cohérence interne
2) La stabilité de l’outil

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

La différence obtenue entre des mesures répétées d’une même caractéristique peut provenir d’où (4 composantes)?

A

1) de l’outil de mesure lui-même (c’est-à-dire l’appareil, la procédure ou le questionnaire)
2) de caractéristiques de l’évaluateur
3) de caractéristiques entre des évaluateurs différents
4) des caractéristiques des usagers eux-mêmes

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Vrai ou faux? Le principe qui sous-tend la détermination de la période de temps est que la condition du participant ne doit pas changer entre les deux passations de l’outil.

A

Vrai.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Combien de participants sont habituellement recrutés pour les études de fidélité?

A

30 à 50 participants

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Quel est la différence entre la fidélité test-retest, la fidélité intraévaluateur et la fidélité interévaluateur?

A

La fidélité de type test-retest consiste à répéter une mesure chez les mêmes participants, avec le même outil et dans les mêmes conditions pour en mesurer la stabilité dans le temps. Le terme « test-retest » s’applique lors de l’administration d’un outil de mesure au cours de laquelle il n’y a pas d’influence possible d’un évaluateur comme, par exemple, lorsqu’un questionnaire est envoyé par la poste ou lorsque l’usager est invité à remplir un questionnaire en l’absence d’un intervenant.

La fidélité intraévaluateur, quant à elle, indique la stabilité d’une mesure réalisée par le même évaluateur ou sa capacité à répéter plusieurs fois une mesure et à obtenir les mêmes résultats.

la fidélité interévaluateurs indique la stabilité d’une mesure réalisée par plusieurs évaluateurs chez les mêmes participants à l’étude, et ce, de façon indépendante. Selon les conditions expérimentales, la collecte des données nécessaires à la détermination de la fidélité interévaluateurs peut se réaliser en une seule session, lors de laquelle au moins deux évaluateurs effectuent simultanément leur prise de mesure. Dans certaines situations, des séances subséquentes à intervalles de quelques jours seront nécessaires pour éviter des biais de rappel (p. ex. : dans le cas de la passation d’un questionnaire en entrevue) ou pour éviter une fatigue indue qui pourrait influencer les résultats.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Quels types de coefficients permettent l’interprétation de la fidélité?

A

Les coefficients de corrélation intraclasse (ICC) pour les variables proportionnelles ou par intervalle. (> ou égale à 0,91 = très bonne)

Les coefficients de Kappa pour des variables nominales ou ordinales. (> ou égale à 0,75 = excellent)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Que signifie des coefficients (ICC ou Kappa) près de 1?

A

Plus la valeur du coefficient s’approchera de 1, plus la fidélité de la mesure sera élevée et, inversement, plus elle tendra vers « zéro », plus il y aura de variabilité et, par conséquent, de sources potentielles d’erreur dans la mesure.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Mise à part les coefficients, quels autres méthodes statistiques permettent la quantification de la fidélité?

A

L’erreur standard de mesure
L’erreur minimale détectable (MDC)
La cohérence interne

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

En quoi consiste l’erreur standard de mesure?

A

Elle représente l’écart-type de l’erreur de mesure. (ex; si utilisation d’un gonio, elle sera exprimée en degrés)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

En quoi consiste l’erreur minimale détectable?

A

Une estimation du plus petit changement qui peut être détecté par le patient, un changement qui est supérieur à l’erreur de mesure.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Comment est calculée l’erreur standard de mesure?

A

L’erreur standard de mesure est calculée à partir de la variance intrasujet obtenue à l’aide d’un ANOVA (erreur standard de mesure = racine carrée de la variance intrasujet). L’erreur standard de mesure est principalement utilisée en clinique afin de calculer l’erreur minimale détectable.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Comment est calculée l’erreur minimale détectable?

A

L’erreur minimale détectable est calculée à partir de l’erreur standard de mesure. Ainsi, l’erreur minimale détectable est calculée en multipliant le score Z correspondant au niveau de signifiance voulu (normalement 90 %, correspondant à 1,65, ou 95 %, correspondant à 1,96), par la racine carrée de 2, et par l’erreur standard de mesure.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Pourquoi l’erreur minimale détectable est utilisée en clinique?

A

L’erreur minimale détectable est utilisée en clinique pour déterminer des objectifs de traitement à court terme.

20
Q

En quoi consiste la cohérence interne?

A

On dit d’un outil qu’il est cohérent ou homogène lorsque ses items représentent un ensemble cohérent ou un même concept. En d’autres mots, plus les réponses aux items sont corrélées entre elles et au résultat total de l’outil, plus la cohérence de cet outil est élevée. Plus l’outil de mesure est fidèle au sens de la cohérence interne des items, plus on peut croire que les items mesurent un seul et même construit.

21
Q

Quel méthode statistique est utilisée pour déterminer la cohérence interne?

A

De façon générale, l’homogénéité d’un outil de mesure est évaluée statistiquement à l’aide du coefficient alpha de Cronbach.

22
Q

Quelle doit être la valeur du coefficient alpha de Cronbach afin que la cohérence interne soit considérée comme étant bonne?

A

Entre 0,70 et 0,90. La cohérence interne ne doit pas être trop proche de 1, car cela signifierait que plusieurs items sont redondants.

23
Q

À quoi correspond la validité?

A

La validité d’un outil correspond au degré avec lequel il mesure ce qu’il est censé mesurer. Il apparaît plutôt évident « qu’un outil doit mesurer ce qu’il est censé mesurer », mais le processus d’opérationnalisation d’un concept menant au développement d’un outil est relativement complexe, particulièrement lorsque le concept mesuré est difficile à cerner

24
Q

Vrai ou faux? Un outil valide limitera la présence d’erreur aléatoire, c’est-à-dire qui se répète constamment parce qu’elle est reliée à la conception de l’outil.

A

Faux. Un outil valide limitera la présence d’erreur SYSTÉMATIQUE, c’est-à-dire qui se répète constamment parce qu’elle est reliée à la conception de l’outil.

25
Q

Quels sont les trois principaux types de validité?

A
  • De contenu
  • De critère
  • De construit
26
Q

En quoi consiste la validité de contenu?

A

La validité de contenu se définit comme l’étendue avec laquelle une mesure représente toutes les dimensions du concept d’intérêt.

27
Q

En quoi consiste la validité de critère?

A

La validité de critère, quant à elle, désigne l’étendue avec laquelle une mesure est reliée à une autre, dite de référence ou étalon

28
Q

En quoi consiste la validité de critère concomitante?

A

La validité concomitante s’évalue en mesurant un groupe de participants avec le nouvel outil et avec un outil déjà reconnu comme une mesure étalon dans le domaine à l’étude.

29
Q

En quoi consiste la validité de critère prédictive?

A

La validité prédictive permet de déterminer si un outil de mesure peut prédire des résultats obtenus par un outil qui mesure un autre concept, mais dont le construit est censé être associé au concept initial.

30
Q

En quoi consiste la validité de construit?

A

Dans certaines situations, il n’existera pas de mesure étalon (gold standard) pour déterminer si l’outil développé évalue bien le concept sous-jacent. Le chercheur devra alors présenter une argumentation pour démontrer que l’outil mesure bien ce concept. Il pourrait indiquer quelle définition du concept il a opérationnalisée et décrire les dimensions qui sont mesurées par l’outil et leur lien avec le concept. Ce processus fait partie de la validité de construit, définie comme l’étendue avec laquelle une mesure est liée ou est représentative du construit à l’étude.

31
Q

Quelle est la différence entre les validités de construit convergentes, divergentes et discriminante?

A

Validité convergente: capacité à obtenir de résultats qui corrèlent fortement avec ceux obtenus par un autre outil mesurant un concept apparenté.
Validité divergente: capacité à obtenir de résultats qui corrèlent faiblement avec ceux obtenus par un autre outil mesurant un concept différent.
Validité discriminante: capacité à distinguer les résultats obtenus par deux groupes ayant des caractéristiques différentes

32
Q

Qu’est-ce que la sensibilité aux changements?

A

La sensibilité aux changements désigne la capacité de l’outil de mesure à détecter des changements cliniquement significatifs.

33
Q

Vrai ou faux? La sensibilité aux changements est déterminée en partie par la fidélité de l’outil de mesure.

A

Vrai.

34
Q

Quels sont les méthodes statistiques utilisées pour la sensibilité aux changements?

A
  • Standardized responses mean (SRM)
  • Effect-size
  • Changement minimal cliniquement important (MCID)
  • Courbes ROC
35
Q

En quoi consiste le calcul de la taille de l’effet (effect-size)?

A

Le calcul de la taille de l’effet est relativement simple. Celui-ci consiste tout d’abord à soustraire le résultat post-intervention (T2) du résultat préintervention (T1) afin d’obtenir une différence. Par la suite, on doit diviser la moyenne des différences (T2 – T1) par l’écart-type des résultats obtenus en préintervention (T1). Des valeurs de 0,2, 0,5 et 0,8 correspondent, respectivement, à des effets considérés comme petits, moyens et larges.

36
Q

En quoi consiste le calcul de la réponse moyenne standardisée (standardized response mean, SRM)?

A

La réponse moyenne standardisée consiste, quant à elle, à diviser la moyenne des différences (T2 – T1) par l’écart-type de ces différences (T2 – T1).

37
Q

Qu’est que la changement minimal cliniquement important (MCID)

A

Le changement minimal requis pour démontrer un changement significatif du point de vue du patient.

38
Q

Quelle est la différence entre l’erreur minimale détectable (minimal detectable change ou MDC) et le changement minimal cliniquement important?

A

L’erreur minimale détectable réfère à un changement qui est statistiquement supérieur à l’erreur de mesure, tandis que le changement minimal cliniquement important réfère à un changement qui est cliniquement significatif pour le patient.

39
Q

Vrai ou faux? Le changement minimal cliniquement important est défini à l’aide de la courbe ROC.

A

Vrai

40
Q

Qu’elle est la différence entre la sensibilité et la spécificité?

A

La sensibilité d’un test est la probabilité que le test soit positif si la personne est atteinte de la maladie.

La spécificité d’un test est la probabilité que le test soit négatif si la personne testée n’est pas atteinte de la maladie.

41
Q

Quels sont les calculs pour la sensibilité et la spécificité respectivement?

A

Sensibilité: C’est le nombre de vrais positifs (tests positifs chez des personnes atteintes de la maladie) divisé par le nombre total de personnes atteintes de la maladie (a/a+c).

Spécificité: C’est le nombre de vrais négatifs (tests négatifs chez des personnes non atteintes par la maladie) divisé par le nombre total de personnes non atteintes par la maladie (d/b+d).

42
Q

Quelle conclusion peut-on tirer de la sensibilité d’un test?

A

Plus un test est sensible, moins il comporte de faux négatifs (tests négatifs chez des personnes atteintes de la maladie) et mieux il permet, s’il est négatif, d’exclure la maladie.

43
Q

Quelle conclusion peut-on tirer de la spécificité d’un test?

A

Plus un test est spécifique, moins il occasionne de faux positifs (tests positifs chez des personnes non atteintes par la maladie) et mieux il permet, s’il est positif, d’affirmer la maladie.

44
Q

Vrai ou faux? L’augmentation de la sensibilité d’un test se fait toujours au détriment de sa spécificité, et inversement.

A

Vrai

45
Q

À partir de quelle valeur de sensibilité et de spécificité un test est considéré comme étant moins performant qu’un diagnostic fait au hasard?

A

Un test dont la sensibilité ou la spécificité serait inférieure 50 % est moins performant qu’un diagnostic fait au hasard.

46
Q

Quels sont les calculs respectifs de la valeur prédictive positive et de la valeur prédictive négative?

A

VPP: C’est le nombre de vrais positifs (tests positifs chez des personnes atteintes de la maladie) divisé par le nombre total de personnes dont le test est positif (a/a+b).

VPN: C’est le nombre de vrais négatifs (tests négatifs chez des personnes non atteintes par la maladie) divisé par le nombre total de personnes dont le test est négatif (d/c+d).