12-Validité d'un instrument de mesure Flashcards

1
Q

Définition de instrument validé

A

Instrument dont la qualité à été évalué

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Un instrument validé peut être… (2)

A
  1. Questionnaire destiné à mesurer des concepts abstraits et/ou multidimensionnels (ex: douleur, niveau de stress)
  2. Instrument destiné à mesurer des paramètres physiques (ex: coagucheck)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

SF-36

A

Évaluation de la qualité de vie
Ensemble de questions (items) destinés à mesurer différents domaines d’un concept et dont les propriétés psychométriques ont étés évalués

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Il y a combien de domaines et d’items dans le SF-36?

A

8 domaines, 36 items

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Nommer les 8 domaines du SF-36

A

Perception de la santé
Capacité physique
Limitations dues à des troubles émotifs
Limitations dues à des problèmes de santé physique
Fonctionnement social
Douleur corporelle
Vitalité
Santé mentale

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Nommer un instrument validé concernant le sang

A

Bleeding Severity Index

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Étapes (7) de développement d’un questionnaire validé

A
  1. Définir le concept
  2. Sélectionner les dimensions à évaluer
  3. Définir le nombre d’items par dimension
  4. Créer chaque item
  5. Choisir une échelle de mesure pour chaque item (continue ou catégorielle?)
  6. Définir comment les résultats seront calculés
  7. Validation
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Avantages (3) des questionnaires validés

A
  1. Économie de temps et d’argent
  2. Permet de comparer nos résultats avec ceux obtenus dans d’autres populations à d’autres moments
  3. Crédibilité
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Désavantages (3) des questionnaires validés

A
  1. Plus ou moins adapté à notre étude
  2. L’évaluation des propriétés psycochométriques est incomplète ou plus ou moins pertinente pour notre étude
  3. Aspects pratiques ne conviennent pas (longueur, langue, mode d’administration)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Quels 3 éléments il faut considérer quand on évalue les ressources disponibles pour la cueillette, l’entrée et l’analyse des résultats?

A
  1. Temps requis pour l’administrations
  2. Coût d’acquisition du questionnaire (manuel de codage, programme pour calculer les résultats)
  3. Personnel requis pour la collecte (interviewer + sa formation, statisticien pour la programmation)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Temps requis (en moyenne) pour l’administration d’un instrument?

A

Auto-administré/entrevue téléphonique: 30 minutes
Face-à-face: jusqu’a 60 minutes

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Nommer les 3 catégories de propriétés psychométriques

A
  1. Fiabilité
  2. Validité
  3. Capacité de détecter des changements dans le temps
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Définition de la propriété psychométrique: fiabilité

A

Est ce que les résultats sont précis?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Définition de la propriété psychométrique: validité

A

Est ce que les résultats sont justes? Est ce que le tes mesure bien ce qu’il est censé mesurer?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Définition de la propriété psychométrique: capacité de détecter ds changements dans le temps

A

Est ce que le test peut détecter des changements dans le temps associés à la progression de la maladie ou à une intervention/traitement?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Nommer 4 échelles de mesure

A
  1. Nominale
  2. Ordinale
  3. Intervalle
  4. De ratio
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Définition de fiabilité d’un instrument de mesure

A

Capacité de mesurer un objet (concept) de façon reproductible et logique
Plus un instrument est précis ou fiable, plus il produit des scores similaires lorsque les mesures sont répétées dans des conditions similaires aux mêmes sujets

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Nommer les 3 tests pour évaluer la fiabilité

A
  1. Fiabilité de test-retest
  2. Cohérence inter-items
  3. Fiabilité intercorrecteurs
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Expliquer la fiabilité du test-retest

A

Habileté d’un test a reproduire les mêmes résultats lorsque réadministré, dans des conditions similaires, aux mêmes sujets

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Qu’est ce qui arrive si l’intervalle entre le test et le re-test est trop court?

A

Surestimation due à la mémoire, on va juste remettre les mêmes réponses

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Qu’est ce qui arrive si l’intervalle entre le test et le retest est trop long?

A

Ce que l’on mesure peut avoir changé (si on est dans une période de changement)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Conditions d’administration du test-retest

A

Doivent être les mêmes aux deux moments d’administration (environnement, consignes, limites de temps)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Nommer les 4 tests statistiques pour évaluer les résultats du test-retest

A
  1. Coefficient de corrélation de Pearson ou de Spearman
  2. Coefficient de corrélation intra-classe
  3. Différence moyenne entre le test et le re-test
  4. Coefficient de concordance: Kappa
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Coefficient de corrélation de Pearson ou de Spearman: bon ou mauvais test?

A

Mauvais

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Expliquer le test statistique: Coefficient de corrélation de Pearson ou de Spearman

A

Indique le niveau de correspondance entre les scores obtenus au test et au retest

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Coefficient de corrélation de Pearson ou de Spearman: que veut dire un coefficient de 1

A

Correspondance parfaite entre les resultats du test et du retest (le même individu a eu le même score au test et au retest)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Coefficient de corrélation de Pearson ou de Spearman: que veut dire un coefficient de 0

A

Pas de correspondance entre les resultats du test et du retest

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

Nommer 3 désavantages du test statistique Coefficient de corrélation de Pearson ou de Spearman

A
  1. Ne détecte pas les différences systématiques entre le test et le retest (ex: tout le monde s’est mis a vrm étudier)
  2. Dépend de la variabilité (ou étendue) des résultats
  3. Pour des mesures obtenues sur une échelle d’intervalle ou de ratio
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
29
Q

Pourquoi le Coefficient de corrélation de Pearson ou de Spearman depend de la variabilité (ou l’étendue) des résultats

A

Parce que plus l’écart entre les résultats individuels est grand, plus la corrélation sera élevée

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
30
Q

Coefficient de corrélation intraclasse: bon ou mauvais test?

A

Bon

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
31
Q

Expliquer le Coefficient de corrélation intraclasse

A

Indique la proportion de la variance totale qui est attribuable à des différences réelles entre les répondants

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
32
Q

Formule du coefficient de corrélation intraclasse

A

CIC=vraie variance/variance totale
vraie variance= variance entre les répondants
variance totale= variance entre les répondants+variance entre le test et le retest+variance due aux erreurs de mesure+variance due aux manipulateurs

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
33
Q

Que signifie un CIC=1?

A

100% de la variance est attribuable à des différentes réelles
Aucune erreur de mesure, précision parfaite

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
34
Q

Que signifie un CIC=0?

A

0% de la variance est attribuable à des différences réelles
Aucune précision

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
35
Q

Dans quel cas est ce que la corrélation de Pearson et le CIC sont équivalents?

A

Quand il n’y a pas de différence systématique entre le test et le reste mais on ne sait pas quand il y a des différences systématiques

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
36
Q

Le CIC est sensible à

A

la variabilité (l’étendue) des résultats

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
37
Q

CIC d’un test fiable pour utilisation au niveau des groupes

A

Plus grand ou égal a 0.7 = 70% de ce que je mesure est de la vrai variance (la variabilité inter-sujet)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
38
Q

CIC d’un test fiables pour utilisation au niveau individuel

A

Plus grand ou égal a 0.9 (on veut vrm s’assurer d’avoir les mêmes résultats au test et au retest vu que c’est la même personne, on est très sévère)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
39
Q

Comparaison des scores moyens obtenus au test et au re-test: bon ou mauvais test?

A

Mauvais

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
40
Q

Expliquer: Comparaison des scores moyens obtenus au test et au re-test

A

Si aucune différence entre le score moyen obtenu au test et au retest alors on conclut que le test est fiable

41
Q

Quel est le problème du test statistique de la comparaison des scores moyens obtenus au test et au re-test?

A

Des grandes différences entres les résultats du test et du retest pourraient passer inaperçues si elles se produisent dans des directions inverses
Pour contourner le problème: calculer la moyennes des différences absolues (on veut quelle soit basse)

42
Q

Coefficient Kappa: bon ou mauvais test

A

Bon test

43
Q

Expliquer le coefficient kappa

A

Indique le degré de correspondance entre le test et le retest lorseque les mesures sont faites sur:
- kappa: échelle nominale (oui/non)
- kappa pondéré: échelle ordinale à plus de 2 niveaux
donc variables catégoriques

44
Q

Désavantage de l’effet Kappa

A

Peut enlever la proportion hasard

45
Q

Formule du coefficient de kappa

A

K=(proportion observée-proportion attendue)/1.0-proportion attendue

46
Q

Kappa < 0,4

A

Concordance faible

47
Q

Kappa 0,4-0,6

A

Concordance modere

48
Q

Kappa 0,61-0,8

A

Concordance eleve

49
Q

Kappa > 0,8

A

Concordance très élevé, presque parfaite

50
Q

Expliquer la cohérence interitems

A

Homogénéité des items (questions) ou le degré de corrélation entre les différents items d’un test mesurant le même domaine
Le test doit être formé de plusieurs items qui mesurent un même concept
Plus la corrélation entre les items sera grande plus la fiabilité sera élevée

51
Q

Devis expérimental de la cohérence inter-items

A

Administre le test à un groupe de participants à une seule occasion

52
Q

Nommer les 3 tests statistiques de la cohérence inter-items

A
  1. Bissection
  2. Formule de Kruder-Richardson
  3. Coefficient alpha de Cronbach
53
Q

Expliquer le test statistique de la bissection? Bcp utilisé?

A

Le questionnaire est séparé en deux parties égales et on évalue la corrélation entre les résultats de chaque partie
Peu utilisé, les résultats varient en fonction de la façon de diviser le questionnaire

54
Q

Expliquer le test statistique de la formule de kruder-richardson? s’applique seulement a?

A

La moyenne de tout les coefficients de bissection (on fait la moyenne de toutes les façons de separer le test en 2)
S’applique a des mesures nominales (vrai/faux, oui/non)

55
Q

Expliquer le test statistique du coefficient alpha de cronbach? s’applique a?

A

La moyenne de tout les coefficients de bissection
S’applique a des mesures obtenues sur une échelle ordinale, d’intervalle ou de ratio

56
Q

Définition de fiabilité intercorrecteurs

A

Mesure de concordance entre les mesures obtenues par différents évaluateurs

57
Q

Devis expérimental de la fiabilité interévaluateurs

A

On demande a différents évaluateurs d’évaluer un même objet et on mesure le degré de corrélation entre les résultats des différents évaluateurs

58
Q

Nommer les 3 tests statistiques de la fiabilité de interévaluateurs et ils sont pour quelles genres de mesures

A
  1. Kappa: nominales (vrai/faux)
  2. Kappa ponderé: mesures ordinales (bon, mauvais, moyen)
  3. Coefficient intra-classe: mesures d’intervalles ou de ratios (les scores varient entre 1 et 10)
59
Q

La fiabilité est une condition essentielle mais non..

A

suffisante

60
Q

Moins un test est fiable, plus le nombre de sujets requis pour détecter une différence statistiquement significative sera…

A

élevée

61
Q

Les mesures de fiabilité sont spécifiques aux…

A

populations étudiées

62
Q

CIC est pour quelles genres de variables

A

continues

63
Q

Définition de la propriété psychométrique de la validité

A

Exactitude et justesse
Capacité d’un test de mesurer ce qu’il est censé mesurer
Indique dans quelle mesure les résultats obtenus sont exacts

64
Q

Pourquoi mesure de la validité est un processus long et complexe

A

On a pas tjrs le gold standard

65
Q

Nommer les 3 types de validité

A

Validité de contenu
Validité de critère
Validité conceptuelle

66
Q

Questions a poser: Validité de contenu

A

Est ce que tous les aspects importants d’un domaine sont mesurés? Est ce que les items sont formulés correctement?

67
Q

Expliquer la validité de contenu

A

Déterminer si le contenu d’un test est un échantillon représentatif du domaine mesuré
Processus subjectif basé sur le jugement d’experts, de patients et de cliniciens
Important de savoir comment le questionnaire a été développé

68
Q

Expliquer la validité de critère

A

Il doit y avoir un gold standard!!!!
Est ce que le test peut prédire les résultats d’un test étalon (test de référence=le gold standard) ou d’une mesure objective obtenu au même moment (validité concourante) ou plus tard dans le temps (validité prédictive)

69
Q

Définition de validité de critère

A

degré d’efficacité d’un test

70
Q

deux types de validité de critère

A

concourante
prédictive

71
Q

Donner un exemple de validité concourante

A

On compare les résultats d’un test d’intelligence conventionnel vs un test d’intelligence abregé

72
Q

Donner un exemple de validité prédictive

A

On évalue si les résultats d’un test d’intelligence à l’admission dans un programme (temps 0) peuvent prédire le succès académique (temps 1)

73
Q

Validité de critère: tests statistiques pour des mesures ordinales, d’intervalle ou de ratio

A

CIC
Modèle multivarié

74
Q

Validité de critère: tests statistiques pour des mesures nominales

A

Sensibilité
Spécificité
VPP
VPN
Receiving Operator Characteristics (ROC)

75
Q

Sensibilité

A

Probabilité d’identifier correctement les personnes malades
VP/VP+FN

76
Q

Spécificité

A

Probabilité d’identifier correctement les personnes non malades
VN/VN+FP

77
Q

VPP

A

Probabilité qu’une personne ayant un test positif aie la maladie
VP/VP+FP

78
Q

VPN

A

Probabilité qu’une personne ayant un test negatif n’ait pas la maladie
VN/VN+FN

79
Q

la sensibilité et la spécificité ont une relation…

A

trade-off
si un augmente l’autre diminue et vice-versa

80
Q

courbe ROC

A

y: sensibilité
x: 1-spécificité
on veut une grande aire sous la courbe

81
Q

Si on traite une maladie très sérieuse on veut un test plus spécifique ou sensible?

A

Sensible: pour capter le plus de cas possibles

82
Q

Si on fait le dépistage d’un facteur de risque ont veut un test plus spécifique ou sensible?

A

Spécifique: pour pas qu’on en manque 1 et qu’il aille infecter tout le monde

83
Q

Est ce que la spécificité et la sensibilité changent avec la prévalence de la maladie?

A

NON

84
Q

Est ce que la VPP et la VPN changent avec la prévalence de la maladie?

A

OUI

85
Q

Si la prévalence diminue, la VPP ___ et la VPN ___

A

diminue, augmente

86
Q

Si la prévalence augment, la VPP ___ et la VPN ___

A

augmente, diminue

87
Q

la VPP est tjrs plus grande dans un environnement ou__

A

la prévalence est plus élevée

88
Q

Définition de validité conceptuelle

A

Degré de certitude quant a l’habileté d’un test de mesurer le concept qu’il est censé mesurer
Plusieurs études sont nécessaires pour évaluer la validité conceptuelle d’un test

89
Q

2 types de validité conceptuelles

A

convergente
discriminante
autre = est ce que les résultats obtenus sont conformes aux résultats attendus (score de qualité de vie de patients à différents stades de la maladie)

90
Q

validité convergente

A

est ce le test produit des résultats similaires à ceux d’un autre test mesurant un concept similaire? (SF-36 et un autre questionnaire de qualité de vie)

91
Q

validité discriminante

A

est ce que le test produit des résultats différents de ceux d’un autre test mesurant un concept différent? (questionnaire sur depression+questionnaire sur douleur)

92
Q

tests statistique pour la validité de contenu

A

évaluation qualitative, analyses factorielles

93
Q

validité conceptuelle, convergente, discriminante + autre test statistique pour les variables continues

A

CIC, modèles multivariés

94
Q

validité conceptuelle, convergente, discriminante + autre test statistique pour les variables catégoriques

A

kappa et kappa ponderé

95
Q

Question à poser pour le responsiveness?

A

Est ce que l’instrument peut détecter des changements importants qui se produisent dans le temps?

96
Q

Définition de la propriété psychométrique de la capacité de détecter des changements dans le temps

A

Habileté à détecter des changements importants qui se produisent dans le temps, même si ces changements sont de faible amplitude

97
Q

Devis expérimental pour le responsiveness (2)

A
  1. Étude prospective mesurant l’évolution des patients durant une période de changement
  2. Étude prospective comparative (2 groupes de patients recevant des traitements différents)
98
Q

Comment améliorer la capacité de détecter des changements dans le temps avec un questionnaire? (3)

A
  1. Augmenter le nombre de catégories de réponses
  2. Présenter les réponses antérieures
  3. Utiliser une question de transition
99
Q

méthode de traduction des questionnaires

A

on a 2 traducteurs et on compare leurs versions, doit être exactement pareil
anglais a suédois (#1)
suedois a anglais (#2)