Qualité d'un instrument de mesure Flashcards
Questionnaire validé
avantages (3)
- économie tenps et $
- permet de comparer nos résultats avec ceux obtenus dans d’autres pop. à d’autres moments
- Crédibilté
Questionnaire validé
Désavantages (3)
- +/- adapté à notre étude
- évaluation des propriétés psychométriques est incomplète ou +/- pertinente pr notre étude
- aspects pratiques ne conviennent pas
Documenter les 3 propriétés psychométriques
- fiabilité : résultats précis ?
- validité : résultats justes ? test mesure bien ce qu’il est censé mesurer ?
- Responsiveness : est-ce que le test peut détecter des changements ds le temps associés à la progression de la maladie ou à une intervention/tx
Définition
FIABILITÉ (3)
PRÉCISION
- capacité de mesurer un objet/concept de façon reproductible et logique
- indique ds quelle mesure les résultats obtenus sont précis
- un nstrument est précis/fiable, plus il produit de scores similaires lorsque les mesures sont répétées dans des conditions similaires aux mm sujets
3 types de fiabilité
- test-retest
- cohérece interitems
- fiabilité intercorrecteurs
Fiabilité test-retest
définition
Habileté d’un test à reproduire les mêmes résultats lorsque réadministré, ds des conditions similaires aux mêmes sujets
Fiabilité du test-retest
devis expérimental (2)
- intervalle entre test et retest : trop court : surestimation mémoire; intervalle long : ce qu’on mesure peut avoir changé
- conditions d’admin : environnement, consignes et limite de temps
Fiabilité du test-retest
tests statistiques (4)
- coefficient de corrélation Pearson
- Coefficient de corrélation intraclasse
- différence moyenne entre test et retest
- coeffiencet de concordance : kappa
Pearson (3)
1= correspondance parfaite
0 = pas de correspondance
trash
- ne détecte pas les différences systématques entre le test-retest
- dépend de la variabilité ou étendue des résultats
- pour des mesures obtenues sur une échelle d’intervalle ou de ratio
erreur systématique exemple : test#1 et test#2 ou tout le monde a augmenté de 20% => dans les 2 cas, r=1.
plus on a de pts, plus on a de chances d’avoir une corrélation qui suit la moyenne
CIC
définition
sensible à ?
indique la proportion de la variance totale qui est attribuable à des différences réelles entre les répondants
… à la variabilité/étendue des résultats
CIC calcul
= Variance entre les participants / variance totale = vraie variance / variance totale
variance totale : variance entre répondants + variance entre test/retest + variance due aux erreurs de mesures
vraie variance = variance entre les répondants
CIC résultats
cic =1 : 100% de la variance est attribuable à des différences réelles , 0 erreur de mesure, précision parfaite
cic = 0 , 0 % de la variance est attribuable à des différences réelles
Quelle situation il n’y a pas de différence systématique entre test/retest ?
qd pearson et cic son équivalents
Interprétation du CIC
> =0.7 : utilisation au niveau des groupes : (comparer 2 grps)
> =0.9 : utilisation au niveau individuel :
(échelle mesure de douleur pr décider si on augmente la dose d’analgésie)
Fiabilité du test-retest
comparaison des scores moyens
définition
trash
si aucune différence entre score moyen obtenu au test et au retest => test est fiable
problème : grandes différences entre résultats peuvent être inaperçues si sont dans le sens inverse
Fiabilité
Coefficient KAPPA
définition
Indique le degré de correspondance entre le testretest lorsque les mesures sont faites sur
kappa : échelle nominale
kappa pondérée : échelle ordinale à plus de 2 niveaux
coefficient kappa:
calcul
K = (prop.obs-prop. attendue) / (1-prop.attendue)
Interprétation kappa
<0.4 : concordance faible
- 4-0.6 : concordance modérée
- 61-0.8 : concordance élevée
> 0.8 : concordance très élevée : presque parfaite
2e type de fiabilité :
Cohérence interitems
définition
homogénéité des items ou le degré de corrélation entre les différents items d’un test mesurant le mm domaine
le test doit être formé de plusieurs items qui mesurent un mm concept
plus la corrélation entre les items sera grande plus la fiabilité sera élevée
Cohérence interitems
Devis expérimental
administre le test à un grp de participants à une seule occasion
2e type de fiabilité :
Cohérence interitems
Tests statistiques
Bissection/split half
- questionnaire est séparé en 2 parties égales et on évalue la corrélation entre les résultats de chacune des 2 parties
- relativement peu utilisé
2e type de fiabilité :
Cohérence interitems
Tests statistiques
Formule de kruder -richardson
- représente la moyenne de tous les coefficients de bissection
- s’applique à des MESURES NOMINALES
2e type de fiabilité :
Cohérence interitems
Tests statistiques
coefficient alpha de cronbach
- représente la moyenne de tous les coefficients de bissection
- s’applique à des mesures obtenues sur une ÉCHELLE ORDINALE
3e type de fiabilité :
fiabilité intercorrecteurs
mesure de concordance entre les mesures obtenues par différents évaluateurs
3e type de fiabilité :
devis expériemetnal
on demande à des différents évaluateurs d’évaluer un mm objet et on mesure le de gré de corrélation entre les résultats des différents évaluateurs
3e type de fiabilité :
Tests statistiques
idem au test-retest
Validité
définition :
- capcité d’un test de mesurer ce qu’il est censé mesurer
- Indique dans quelle mesure les résultats obtenus sont exacts
- processus long et complexe
3 types de validité :
- Validité de contenu
- validité de critère
- Validité conceptuelle
Validité de contenu
2 questions
Est-ce que tous les aspects importants d’un domaine sont mesurés ?
Est-ce que les items sont formulés correctement ?
Validité de contenu
Définitions (3)
- Déterminer si le contenu d’un test est un échantillon représentatif du domaine mesuré
- processus subjectif basé sur le jugement d’experts, de pts et de cliniciens
- il est important de savoir comment un questionnaire a été développé
Validité de critère
représente le degré d’efficacité d’un test
ESt-ce que le test peut prédire les résultats d’un test étalon ou d’une mesure objective obtenu au mm moment (validité concourante) ou plus tard ds le temps (validité prédictive)
validité de critère :
concourante :
prédictive :admin test au temps 0 et test étalon/mesure obj. au temps 1
on compare les résultats d’un test d’intelligence conventionnel vs un test d’intelligence abrégé
on évalue si les résultats d’un test d’intelligence à l’admission ds un programme peuvent prédire les succès académques
Validité de critère
Tests statistiques
mesures ordinales, d’intervalle ou de ratio
- corrélation de pearson
- coefficient intraclasse
- modèle multivarié
Validité de critère
Sensibilité :
calcul
VP / VP + FN
capacité d’un test de détecter la maladie chez des personnes malades
-probabilité d’identifier correctement les personnes malades
Validité de critère
spécificité
calcul
VN/FP + VN
capacité d’un test de ne pas détecter la maladie chez des personnes qui ne sont pas malades
-probabilité d’identifier correctement les personnes non malades
Valeur prédictive positive
calcul
VPP = VP / VP + FP
PRobabilité qu’une personne ayant un test positif ait la maladie
Valeur prédictive négative
calcul
VPN = VN/FN +VN
Probabilité qu’une personne ayant un test négatif n’ait pas la maladie
Quelle est la relation entre la sensibilité et la spécificité ?
remarque :
qd on augmente la spécificité , la sensibilité diminue
spécificité de 75% à gauche du quota de 3
sensibilité de 85% l’autre courbe à droite du quota d 3 => mcv
Validité de critère
Le choix de la valeur limite dépend de l’objectif du test :
maladie très sérieuse
dépistage d’un facteur de risque
- sensibilité
- spécificité
Quelle est la relation entre la sensibilité/spécificité et VPP et VPN
grand carré avec points noirs et blancs
Est-ce qu’une sensbilité très élevée est tjs bonne ?
tous les résultats sont positifs
sensibilité = 100% oui on a détecté tous les malades
spécificté : 0%, on n’a pas réussi à détecter les non malades
Que se passe-t-il lorsque la prévalence de la maladie change ?
la prévalence n’affecte pas la spécificité et la sensibilité de la maladie
VPP et VPN sont affectées par la prévalence de la maladie
Si la prévalence diminue
VPP?
VPN ?
VPP diminue
VPN ^^^^
si prévalence augmente ?
VPP ^^^
vpn diminue
Validité conceptuelle
Définition (2)
- degré de certitude quant à l’habileté d’un test de mesurer le concept qu’il est censé mesurer
- plusieurs études sont nécessaires pr établir la validité conceptuelle d’un test
3 types de validité conceptuelle
convergente
discriminante
autre
- est-ce que le test produit des résultats similaires à ceux d’un autre test mesurant un concept similaire ?
- est ce que le test produit des résultats différents de ceux d’un autre test mesurant un concept différent ?
- est-ce que le test produit des résults qui sont intuitivement raisonnables ?
Validité convergente :
on administre 2 tests qui mesurent des concepts similaires à un mm grp de sujets et on évalue la corrélation entre les résultats des 2 tests
corrélation forte = validité convergente est grande
Validité discriminante
on administre 2 tests qui mesurent des concept différent à un mm grp de sujet => on évalue la corrélation entre les résultats de ces 2 tests.
corrélation faible = plus la validité discrimante est grande
Validité autre
on administre le test à différents grps de pts => on check si les différences observées entre les groupes sont conformes aux différences
Capacité de détecter des changemetns dans le temps
définition :
-Habileté d’un test à détecter des changements importants qui se produisent dans le temps mm si ces changement sont defaible amplitude
=>détecter un changement de la qualité de vie des patents avant et après un tx
-détecter des changements des habiletés fct après un AVC
Capacité de détecter des changements dans le temps
devis expérimental (2 études)
- étude prospective mesurant l’évolution des pts durant une période de changement
- étude prospective comparative :
=> compare 2 grps de pts recevant des traitements différents
3 façons comment améliorer la capacité de détecter des changements dans le temps
(3)
- Augmente le nbr de catégories de réponses.
excellente, très bonne, bonne, passable - Présente les réponses antérieures
- Utilise une question de transition
