Cours 5 Flashcards
Qu’est-ce que la fidélité?
La précision de notre mesure, le niveau d’erreur de mesure qu’elle génère
Avant de prendre une décision importante on doit…
savoir à quel point les variations des scores résultent de différences réelles dans le construit qui nous intéresse
Formule de la théorie psychométrique classique
Score observé = score vrai + erreur de mesure
Vrai ou faux, qu’on le veille ou non, il y a toujours de l’erreur de mesure, dans tous les instruments?
Vrai, on se doit donc de connaître la fidélité des instruments
2 grands types d’erreur de mesure
- Aléatoires
- Systématiques
Erreur de mesure aléatoire
fluctuations statistiques non reproductibles toujours présentes pour tous les instruments
- distribué normalement
Cause de l’erreur de mesure aléatoire
variation dans l’échantillonnage
Comment minimiser l’erreur de mesure aléatoire?
- Plus grand échantillons
- Plus de moments de mesure
- Peuvent être plus facilement estimées/contrôlées statistiquement
Erreur de mesure systématiques (ou biais)
fluctuations constantes non reproductibles qui sont toujours dans la même direction. PAS DANS TOUS LES INSTRUMENTS
- pas distribué normalement
Causes de l’erreur de mesure systématique
- Mauvaise utilisation de l’instrument
- Conditions d’administration inadéquates
- Imperfection de l’instrument
Comment minimiser l’erreur de mesure systématique
- Difficiles à détecter, souvent ne sont pas connues
- Plus difficile à quantifier statistiquement
4 types de fidélité en fonction des scores d’erreur de mesure possibles
- Erreur d’échantillonnage de contenu
- Erreur d’échantillonnage dans le temps
-Incohérence interne ou inter-items
- Incohérence inter-informateurs
Erreur d’échantillonnage de contenu
- Type d’instrument
- Indice de fidélité
- Type d’instrument: instruments où on souhaite des résultats cohérents au sens large
- Indice de fidélité: coefficient de fidélité des formes parallèles
Erreur d’échantillonnage dans le temps
- Type d’instrument
- Indice de fidélité
- Type d’instrument: instruments de mesure de traits ou cmpts relativement stables
- Indice de fidélité: coefficient de fidélité test-retest
Incohérence interne ou inter-items
- Type d’instrument
- Indice de fidélité
- Type d’instrument: instruments qui requièrent une grande cohérence interne ou inter-item
- Indice de fidélité: coefficient de fidélité moitié-moitié, coefficient de cohérence interne
Incohérence inter-informateurs
- Type d’instrument
- Indice de fidélité
- Type d’instrument: instruments qui impliquent un degré relativement élevé de subjectivité
- Indice de fidélité: coefficient de fidélité inter-juges (ou accord inter-juges)
Qu’est-ce qu’on doit faire pour évaluer le degré de fidélité d’un instrument de mesure?
Il faut collecter les données d’un échantillon d’individu
Avec des données (donc la variance), la fidélité selon la théorie du score vrai devient représentée de cette façon…
rx = varvraie/varerreur
coefficient fidélité s’approche de 1.0
variance erreur s’approche de 0
Fidélité des formes parallèles
Développe 2 formes équivalentes du même instrument et estime la corrélation des scores entre les 2 formes par les mêmes individus
*instruments tout à fait similaires conceptuellement, mais avec des items légèrement différents
Dans la fidélité des formes parallèles, est-ce qu’on peut simplement choisir des items au hasard dans une grande banque d’items?
NON!!! Il faut faire une sélection quasi-aléatoire
Après la collecte de données, qu’est-ce que suggère une corrélation élevée?
Une bonne précision, peu d’erreurs de mesure
- pas de coefficient minimum puisque la corrélation dépend du contenu et des facteurs personnels des individues évalués
Attention, s’il y a un écart entre les résultats, donc une corrélation faible, est-ce qu’il est difficile de déterminer les raisons?
Oui, il est difficile!
De façon générale, il ne faut pas s’attendre à des corrélations très élevées pour la fidélité test-retest car certains construits sont assez “plastiques” ou changement dans le temps
Lorsque les chercheurs créent des échelles, ils tentent de regrouper des items qui forment un tout cohérent, autant sur le plan…
a)
b)
a) conceptuel
b) empirique
2 stratégies souvent utilisées pour évaluer la cohérence interne
- coefficient fidélité moitié-moitié
- coefficient cohérence interne
Coefficient fidélité moitié-moitié
chercheurs divisent en 2 les items d’une échelle et on estime ensuite les corrélations entre ces 2 moitiés
Après collecte de données: corrélation élevée entre 2 moitiés indique une bonne fidélité, peu d’erreurs de mesure
*Problème méthodologique: avec moins d’items, les corrélations vont toujours être moins fortes, malgré le niveau de fidélité
Coefficient cohérence interne
chercheurs estiment l’homogénéité de tous les items d’une échelle
Il s’agit d’un estimé statistique quantifiant l’ensemble des inter-corrélations entre tous les items d’une échelle
3 types de coefficients
- Alpha de Cronbach
- Kuder-Richardson-20
- Omega de McDonald
Alpha de Cronbach
*Pour les items continus
- On assume (mais ne teste pas) que les items mesurent une même variable latente et qu’ils sont reliés de la même façon
- Statistiquement, le coefficient Alpha de Cronbach est l’équivalent de la moyenne de toutes les moitié-moitié possibles (toutes les combinaisons possibles)
Plus il y a d’items, plus alpha sera élevé. Donc les corrélations entre les items doivent être élevées pour donner une valeur alpha élevée
Kuder-Richardson-20
*Pour les items dichotomiques (vrai ou faux)
- On assume (mais ne teste pas) que les items mesurent une même variable latente et qu’ils sont reliés de la même façon
- Statistiquement, le coefficient est l’équivalent de la moyenne de toutes les moitié-moitié possibles (toutes les combinaisons possibles)
Plus il y a d’items, plus le coefficient sera élevé. Donc les corrélations entre les items doivent être élevées pour donner une valeur alpha élevée
Omega de McDonald
- On teste explicitement que les items mesurent une même variable latente en utilisant l’analyse factorielle
- Les saturations factorielles peuvent être différentes
- Omega a tendance à procurer un estimé de la fidélité d’une échelle plus près de la réalité
Les coefficients de cohérence interne varient tous entre 0 et 1
en recherche on accepte des coefficients de…
en pratique les indices de cohérence interne doivent être au minimum de…
- En recherche: 0,60
- En clinique: 0,80
Principe de parcimonie
Les auteurs peuvent enlever certaines questions
Qu’est-ce qu’on peut appliquer pour connaitre la fidélité de l’échelle si elle a davantage d’items?
La transformation de Spearman-Brown
Fidélité inter-juges vs Accord inter-juges
Fidélité inter-juges: degré de cohérence (corrélation) entre différents informateurs avec des mesures continues, on compare la variabilité (variance) entre les informateurs
Accord inter-juges: mesure de degré auquel des informateurs sont en accord exactement/souvent avec des mesures catégorielle, considère pas variance
Pour les instruments dimensionnels, on obtient généralement des corrélations significativement plus FAIBLES OU ÉLEVÉS que celles attendues pour les autres types de fidélité?
FAIBLES!
Vrai ou faux, les cmpts des individus diffèrent ainsi que la provenance des informateurs, une fidélité inter-juges plutôt faible n’est pas nécessairement “mauvais”
Vrai!
Corrélation entre juges similaires: moyenne…
Corrélation entre différents juges:…
Corrélation enfant/ado:…
Corrélation entre juges similaires: moyenne 0,60
Corrélation entre différents juges: 0,28
Corrélation enfant/ado: 0,22
Erreur standard de mesure ou erreur type de mesure
Donne indication de quantité ou degré d’erreur mesure associée aux scores d’une échelle
En termes de score standardisé, il s’agit de l’écart-type de la distribution des erreurs
Vrai ou faux, l’erreur standard de mesure est inversement liée à la fidélité?
Vrai, plus la fidélité est élevée, moins l’erreur standard de mesure est grande, et vice versa
Dans la pratique, à quoi sert l’erreur standard de mesure?
- Construire un intervalle de confiance autour du score observé
et
- Identifier un critère empirique qui permet de déterminer s’il existe une différence significative entre les scores de 2 échelles
Qu’est-ce qu’un intervalle de confiance?
Un estimé probabiliste permettant de situer le score observé à l’intérieur d’une étendue de scores
