UA4 - outils Flashcards

1
Q

Définition instrument validé

A

Instrument dont la qualité des mesures a été validé

Questionnaire destiné à mesurer des concepts abstraits et/ou multidimensionnels ( Douleur, satisfaction face aux services de santé, niveau de stress ou d’anxiété, sévérité d’une hémorragie)

Instrument destiné à mesurer des paramètres physiques (ex.Coagucheck)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Exemple d’un questionnaire évaluant la qualité de vie

A

SF-36 :

Ensemble de questions (items) destinés à mesurer différents domaines d’un concept et dont les propriétés psychométriques ont été évaluées:
- Concept: qualité de vie reliée à la santé (Health-related quality of life)
- 8 domaines: perception de la santé, capacité physique, limitations dues à des problèmes de santé physique, limitations dues à des troubles émotifs, fonctionnement social, douleur corporelle, vitalité, santé mentale
- 36 items

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Exemple d’un questionnaire qui évalue la sévérité d’un saignement

A

Bleeding Severity Index (contient des items très précis pour réduire la variabilité)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Comment développer un questionnaire validé (7 étapes)

A

1) Définir le concept
2) Sélectionner les dimensions à évaluer
3) Définir le nombre d’items par dimension
4) Créer chaque item
5) Choisir une échelle de mesure pour chaque item 6)Définir comment les résultats seront calculés
7) Validation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Quels sont les avantages d’utiliser un questionnaire validé (3)

A
  • Économie de temps et d’argent
  • Permet de comparer nos résultats avec ceux obtenus dans d’autres populations à d’autres moments
  • Crédibilité
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Quels sont les désavantages d’utiliser un questionnaire validé (3)

A
  • Plus ou moins adapté à notre étude
  • L’évaluation des propriétés psychométriques (validité fiabilité et capacité de détecter le ∆) est incomplète ou plus ou moins pertinente pour notre étude
  • Aspects pratiques ne conviennent pas (longueur, langue, mode d ’administration)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Comment sélectionner un instrument

A
  1. Connait le but : Le choix du questionnaire peut varier en fonction de l’objectif de l’utilisation du questionnaire. Le questionnaire est-il utilisé pour répondre à un objectif primaire ou un objectif secondaire?
  2. Connaître son hypothèse de recherche : Le choix du questionnaire dépend du concept et des domaines que l’on désire évaluer
  3. Dépend des ressources disponibles : Évaluer les ressources disponibles pour la cueillette, l’entrée et l’analyse des résultats
    - Temps requis pour l’administration (Auto-administré/ entrevue téléphonique: 30 minutes
    Face-à-face: jusquà 60 minutes)
    - Coût d’acquisition du questionnaire, manuel de codage, programme pour calculer les résultats
    - Personnel requis pour la collecte (interviewer, formation de l ’interviewer), programmation (statisticien)
  4. Connaître la population à l’étude
    - Symptômes et incapacités (Le questionnaire est-il adapté à la population à l’étude? Les participants seront-ils en bonne santé ou plutôt malades?)
    - Âge (Le questionnaire est-il adapté pour des enfants ou des personnes âgées?)
    - Habileté cognitive (Les répondants seront-ils capables de compléter le questionnaire? Le questionnaire peut-il être complété par un proche? Doit-on évaluer l’habileté cognitive avant d’administrer le questionnaire?)
    - Culture et identité ethnique (Le questionnaire est-il disponible en français et en anglais? Est-ce que le niveau de langage est approprié?)
  5. Consulter les répertoires d’outils, faire la recherche informatisé et consulter les experts
  6. Documenter les propriétés psychométriques (validité, fiabilité et capacité de détecter des ∆ dans le temps)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Quelle est l’état CRUCIALE quand on cherche un outil validé ?

A

Aller voir ses propriétés psychométriques

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Nommer les propriétés psychométriques d’un instrument

A

Fiabilité
Validité
Responsivness (capacité de détecter des ∆ dans le temps)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Quelles sont les 4 échelles de mesure

A

nominale, ordinale, intervalle et de ratio

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Échelle homme =1 ; femme = 2

A

Échelle nominale

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Échelle très important = 1; important = 2; peu important = 3

A

Échelle ordinale

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Échelle : QI de 95; 105; 115

A

Intervalle

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Échelle nominale définition

A

o Identifier choses/personnes
o Chiffres servent d’étiquettes

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Échelle ordinale définition

A

o Sert à distinguer des sous-groupes selon un ordre d’importance.
o L’intervalle entre les sous-groupes n’est pas nécessairement égale.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Intervalle (échelle) définition

A

o La distance entre chaque graduation est égale.
o Il n’existe pas de zéro absolu.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Échelle de ratio (exemple)

A

salaire annuel

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Vrai ou faux : Les tests statistiques doivent être choisis en fonction du type d’échelle de mesure

A

Vrai

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Quelles sont les échelles de mesure de moyenne ?

A

Ratio et intervalle

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Quelles sont les échelles de mesure de proportion ?

A

nominale et ordinale

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Qu’est-ce qui se passe lorsqu’on passe d’une échelle à une autre? Quelle est la solution ?

A

Perte d’information

On devrait choisir l’échelle la plus complète possible.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Fiabilité (définition)

A
  • Capacité de mesurer un objet (concept) de façon
    reproductible et logique
  • Indique dans quelle mesure les résultats obtenus sont précis
  • Plus un instrument est précis ou fiable, plus il produit des scores similaires lorsque les mesures sont répétées dans des conditions similaires aux mêmes sujets
  • précision
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Comment déterminer la fiabilité d’un test ? (3 méthodes)

A
  • Fiabilité du test-retest
  • Cohérence interitems
  • Fiabilité interévaluateurs
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Qu’est-ce la fiabilité du test-retest (test-retest reliability) ?

A

Habileté d’un test à reproduire les mêmes résultats lorsque réadministré, dans des conditions similaires, aux mêmes sujets

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Qu’est-ce que la cohérence interitems (internal consistency) ?

A

Homogénéité des items (questions) ou le degré de corrélation entre les différents items d ’un test mesurant le même domaine

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Qu’est-ce que la fiabilité inter correcteurs (inter-rater reliability) ?

A

Mesure de concordance entre les mesures obtenues par différents évaluateurs

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Quelles sont les 2 méthodes statistiques adéquates pour évaluer la fiabilité d’un test-retest ?

A

*Coefficient de corrélation intraclasse
*Coefficient de concordance (Kappa)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

Qu’est-ce que le coefficient de Pearson ou de Spearman ?

A

Indique le niveau de correspondance entre les scores obtenus au test et au retest

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
29
Q

Que veut dire un coefficient de 1 et un coefficient de 0 au test de coefficient de Pearson/Spearman ?

A

Coefficient = 1 indique une correspondance parfaite entre les résultats du test et du retest

Coefficient = 0 indique qu ’il n ’y a pas de correspondance entre les résultats du test et du retest

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
30
Q

Quels sont le problème du coefficient de Pearson/Spearman ?

A

Ne détecte pas les différences systématiques entre le test et le retest (si on améliore les résultats de tous, on a encore une diagonale)
Dépend de la variabilité (ou étendue) des résultats (plus l’écart entre les résultats individuels augmente, plus la corrélation est élevée, on se rapproche d’une diagonale).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
31
Q

Pour quel type de variable peut-on utiliser le coefficient de Pearson ?

A

mesures continues (échelles d’intervalles, ou de ratio)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
32
Q

Qu’est-ce que le coefficient de corrélation intraclasse ?

A

Indique la proportion de la variance totale qui est attribuable à des différences réelles entre les répondants

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
33
Q

Comment se calcule un coefficient IC (CIC) ?

A

CIC = variance entre les participants/variance totale

CIC = vraie variance/variance totale

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
34
Q

Qu’est-ce que la variance totale ?

A

Variance :
o Inter-individus
o Entre le test et le retest
o Due aux erreurs de mesures

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
35
Q

Qu’est-ce que la vraie variance ?

A

Variance entre les répondants/les individus

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
36
Q

Que signifie un ratio CIC = 1 ?

A

100% de la variance est attribuable à des différences réelles
Aucune erreur de mesure, précision parfaite

37
Q

Que signifie un ratio CIC = 0 ?

A

0% de la variance est attribuable à des différences réelles
Aucune précision

38
Q

Quand est-ce que la CIC et la corrélation de Pearson sont-elles équivalentes ?

A

La corrélation de Pearson et le CIC sont équivalents s’il n ’y a pas de différence systématique entre le test et le retest

39
Q

Vrai ou faux : le CIC n’est pas sensible à la variabilité des résultats

A

FAUX : il est sensible à la variabilité (étendue) des résultats

40
Q

Quelles sont les valeurs de CIC que l’on utilise en pratique ?

A

> = 0.7 pour utilisation au niveau des groupes
- ex: échelle de mesure de la douleur pour comparer deux groupes dans un essai clinique
- Comparaison de moyenne

> = 0.9 pour utilisation au niveau individuel
- ex: échelle de mesure de la douleur pour décider si on doit augmenter la dose d’analgésique
- On doit être bcp plus fiable

41
Q

Comment s’interprète la comparaison des scores moyens obtenus au test et au retest

A

Si aucune différence entre le score moyen obtenu au test et au retest alors on conclut que le test est fiable

42
Q

Quel est le problème de la comparaison des scores de moyennes obtenus au test et au retest ?

A

De grandes différences entre les résultats du test et du retest pourraient passer inaperçues si elles se produisent dans des directions inverses. Pour contourner ce problème, on peut calculer la moyenne des différences absolues.

43
Q

Qu’est-ce que le coefficient kappa ?

A

Indique le degré de correspondance entre le test et le retest lorsque les mesures sont faites sur:
- Kappa: échelle nominale (ex: présent/absent, oui/non, accord/désaccord)
- Kappa pondéré: échelle ordinale à plus de 2 niveaux

44
Q

Comment calcule-t-on un coefficient kappa ?

A

K = (proportion observée - proportion attendue)/ (1 - proportion attendue)

45
Q

Validité (définition)

A
  • Capacité d’un test de mesurer ce qu’il est censé mesurer
  • Indique dans quelle mesure les résultats obtenus sont exacts
  • Processus long et complexe
46
Q

Quelles sont les types de validité ? (3)

A

Contenu
Critère
Conceptuelle

47
Q

Quelle est la relation entre la sensibilité et la spécificité ?

A

Quand on augmente la sensibilité, alors on diminue la spécificité.

48
Q

Quand veut-on un test plus sensible ?

A

maladie très sérieuse

49
Q

Quand veut-on un test plus spécifique ?

A

Dépistage de facteur de risque

50
Q

Est-ce qu’une sensibilité très élevée est toujours bonne ?

A

Ça dépend de ce que l’on mesure.

51
Q

Pour un premier test, quel type de test veut-on ? (+ sensible vs + spécifique) ?

A

premier test : soit sensible soit spécifique, mais pas trop sensible parce qu’on ne veut pas sélectionner tout le monde

52
Q

Quel est le type de test (sensible vs spécifique) où tous les résultats (même ceux négatifs) sont positifs?

A

Test très sensible

53
Q

Quel est le type de test (sensible vs spécifique) où tous les résultats positifs sont positifs et tous les résultats négatifs sont négatifs?

A

Spécificité à 100%
Sensibilité à 100%
test parfait = en pratique n’existe pas

54
Q

Quelle est la validité basée sur le test étalon?

A

Validité de critère

55
Q

Quelle est la validité qui inclut la validité convergente et la validité divergente ?

A

Validité conceptuelle

56
Q

Quelle est la validité qui s’assure que tous les éléments pertinents sont mesurés et bien formulés ?

A

Validité de contenu

57
Q

Quelle propriété psychométrique est plus difficile à établir entre la fiabilité et la validité ?

A

Validité

58
Q

À quelle validité correspond cette définition : Représente le degré d’efficacité d’un test

A

Validité de critère

59
Q

À quelle validité correspond cette définition :
Processus subjectif basé sur le jugement d’experts, de patients et de cliniciens

A

Validité de contenu

60
Q

À quelle validité correspond cette définition : Degré de certitude quant à l’habileté d’un test de mesurer le concept qu’il est censé mesurer.

A

Validité conceptuelle

61
Q

Quel type de validité est très subjective?

A

Validité de contenu

62
Q

Qu’est-ce que la validité concourante ?

A

Sous-type de validité de critère.
Administre le test et un test étalon (gold standard) /mesure objective aux mêmes sujets en même temps

63
Q

Qu’est-ce que la validité prédictive ?

A

Sous-type de validité de critère
Administre le test au temps zéro et le test étalon/mesure objective au temps 1

64
Q

Quels test statistiques fait-on pour évaluer la validité de critère ?

A

Mesures ordinales : Coefficient intraclasse et modèle multivarié
mesures nominales : Sensibilité, spécificité, valeur prédictive positive. valeur prédictive négative et receiving Operator Characteristics (courbes ROC)

65
Q

Quel test statistique doit-on éviter quand on évalue la validité de critère ?

A

Corrélation de Pearson/Spearman

66
Q

Qu’est-ce que la validité convergente ?

A

Sous-type de validité conceptuelle
Le test produit des résultats similaires à ceux d ’un autre test mesurant un concept similaire

67
Q

Qu’est-ce que la validité discriminante ?

A

Sous-type de validité conceptuelle
Le test produit des résultats différents de ceux d ’un autre test mesurant un concept différent

68
Q

Quel est le tableau de mesure étalon **SAVOIR

A

Maladie présente Maladie absente
test + Vrai positif Faux positif
test - faux négatif vrai négatif

69
Q

Qu’est-ce que la sensibilité ?

A

Capacité d’un test à détecter la maladie chez des personnes malades.
Probabilité d’identifier correctement les gens malades.

Vrai positif / Vrai positif + Faux négatif

70
Q

Qu’est-ce la spécificité ?

A

Capacité d’un test à ne pas détecter la maladie chez des personnes qui ne sont pas malades
Probabilité d’identifier correctement les personnes non malades

Vrai négatif / Faux positif + vrai négatif

71
Q

Qu’est-ce que la valeur prédictive positive ?

A

probabilité qu’une personne ayant un test positif ait la maladie

Vrai positif / vrai positif + faux positif

72
Q

Qu’est-ce que la valeur prédictive négative

A

Vrai négatif / vrai négatif + faux négatif

73
Q

Que se passe-t-il lorsque la prévalence de la maladie change?

A

La prévalence ne modifie pas la sensibilité ni la spécificité d’un test
Seulement la VPP et la VPN vont varier.

74
Q

Si la prévalence diminue, comment se comportent la VPP et la VPN ?

A

VPP : diminue
VPN : augmente

75
Q

Si la prévalence augmente, comment se comportent la VPP et la VPN ?

A

VPP : augmente
VPN : diminue

76
Q

Vrai ou faux : 1 seule étude est nécessaire pour établir la validité conceptuelle d’une test

A

FAUX, il faut plusieurs études

77
Q

Quelle est une autre question à se poser quand on évalue la validité conceptuelle d’un test ?

A

Est-ce que le test produit des résultats qui sont intuitivement raisonnables?
—> Est-ce que l’on mesure la bonne chose ?

78
Q

Vrai ou faux : on n’utilise pas vraiment la validité discriminante en pratique

A

vrai

79
Q

Qu’est ce que l’on fait pour évaluer la validité (les 3 types) pour un devis expérimental ? SAVOIR

A

Contenu : revue de littérature, experts, cliniciens, patients, étude pilote
De critère : administre le test et un test étalon à un même groupe de sujet (t0/t0 et t1)
Conceptuelle : administre le test et un test mesurant un concept similaire ou différent à un même groupe de sujets/ou à des groupes différents.

80
Q

Qu’est ce que l’on fait pour évaluer la validité (les 3 types) avec des tests statistiques ? SAVOIR

A

contenu : évaluation qualitative, analyses factorielles

de critère :
- variable continue : corrélation, CIC, modèles multivariés
- variable catégorique : sensibilité, spécificité, VPP, VPN, courbe ROC

conceptuelle :
- variable continue : corrélation, CIC, modèles multivariés
- variable catégorique : kappa et kappa pondéré

81
Q

Comment peut-on améliorer la capacité de détecter des changements dans le temps (3) ?

A

Augmenter le nombre de catégories de réponses
Utiliser une question de transition
Présenter les réponses antérieures

82
Q

Quelle est la propriété psychométrique que l’on peut changer la plus facilement ?

A

Responsiveness

83
Q

Nommer une technique de traduction appropriée ?

A

Backward –> Forward

84
Q

À quel type de variables s’applique un kappa ?

A

nominales (vrai ou faux par ex.)

85
Q

À quel type de variables s’applique un kappa pondéré ?

A

ordinales

86
Q

À quel type de variables s’applique un coefficient intraclasse ?

A

intervalle ou de ratio

87
Q

À quel type de variables s’applique la formule de Kruder-Richardson?

A

nominales

88
Q

À quel type de variables s’applique le coefficient alpha de Cronbach ?

A

ordinales, intervalle ou de ratio

89
Q

À quel type de variables s’applique le coefficient de Pearson ?

A

intervalle ou de ratio