Cours 4 : Propriétés psychométriques - fidélité et erreur de mesure Flashcards
Qu’est-ce que la fidélité d’un instrument de mesure ?
La fidélité concerne la précision de notre mesure ou dit autrement le niveau d’erreur que notre mesure génère
Sa définition est qu’un instrument devrait donner les mêmes résultats d’une administration à l’autre
Ce n’est pas un concept dichotomique, c’est-à-dire que ce n’est pas une question de fiable ou non fiable, mais plutôt une question de degré de fidélité
Un «test fiable» est-elle une affirmation vraie?
Un test fiable est une affirmation commune, mais ce n’est en réalité pas une qualité qui s’applique au test en tant que tel, mais plutôt aux scores qu’il génère
Pourquoi la fidélité de l’instrument de mesure est cruciale en évaluation psychoéducative?
Parce que avant de prendre des décisions importantes par rapport aux difficultés de quelqu’un on veut s’assurer que les variations des scores entre des individus est dû à des différences réelles ou à des erreurs de l’instrument qu’on a utilisé
Que comprend la théorie psychométrique classique?
La théorie du score vrai qui correspond à la formule suivante : score observé = score vrai + erreur de mesure
Car il est important de comprendre qu’avec tous les instruments il y a de l’erreur de mesure
Quelles sont deux grands types d’erreur de mesure?
Aléatoires : Elles sont impossibles à éviter complètement et varient de manière aléatoire d’une mesure à l’autre.
Elles peuvent faire qu’une mesure soit un peu plus grande ou un peu plus petite que la vraie valeur.
Elles sont réparties au hasard et suivent souvent une distribution normale (une courbe en cloche).
Causes :
Des variations naturelles dans l’échantillonnage (ex : mesurer la température plusieurs fois et avoir des valeurs légèrement différentes à cause des conditions de l’environnement).
Peut minimiser ces erreurs en prenant plusieurs mesures et en faire la moyenne
Systématiques : Contrairement aux erreurs aléatoires, elles se répètent toujours dans la même direction
Elles font que toutes les mesures sont toujours trop grandes ou trop petites par rapport à la vraie valeur.
Elles ne sont pas réparties au hasard, donc elles faussent systématiquement les résultats.
Causes :
Mauvaise utilisation de l’instrument (ex : une balance mal calibrée qui affiche toujours 2 kg de plus).
Conditions inadéquates (ex : un thermomètre placé trop près d’une source de chaleur).
Défauts de l’instrument (ex : une règle mal graduée).
Parle moi de la fidélité des formes parallèles.
C’est le fait de développer deux formes équivalentes du même instrument et d’estimer la corrélation des scores entre les deux pour les mêmes individus
Pourquoi on ne peut pas sélectionner de manière complètement aléatoire dans la méthodes des deux formes parallèles?
Ça prend une sélection quasi-aléatoire, parce que dans des études il y a souvent des domaines et des sous-domaines qui doivent être sélectionnés (donc aléatoires pour chaque sous catégories – TSA, TDAH – mais en sélectionnant quand même dans ces sous-domaines là, pas complètement au hasard)
Pourquoi l’échantillonnage de contenu est-il crucial dans la méthode de fidélité des formes parallèles?
Il garantit que les deux formes évaluent bien les mêmes concepts, permettant ainsi une interprétation fiable de la fidélité.
Dans les formes parallèles, on s’attend pas à un coefficient minimum de corrélation. À quoi s’attend-on minimalement alors?
On s’attend à ce que la corrélation soit significative! Typiquement un coefficient de corrélation de 0,70
Qu’est-ce que la fidélité test-retest ?
C’est une méthode qui consiste à administrer le même instrument à deux moments différents pour voir si les individus obtiennent des scores similaires.
Quel est l’intervalle de temps recommandé pour estimer la fidélité test-retest ?
Entre 2 semaines et 1 mois. Un intervalle trop long peut capter des changements réels chez les individus au lieu d’évaluer la fidélité.
Que signifie une corrélation élevée dans la fidélité test-retest ?
Une bonne précision de l’instrument et peu d’erreurs de mesure. On cherche généralement une corrélation d’au moins 0,70.
Pourquoi une corrélation faible en test-retest n’indique pas nécessairement un instrument peu fiable ? 3 facteurs
Intervalle de temps trop long
Changement réel chez l’individu
Trop d’erreurs de mesure
Pourquoi est-il important que les items d’une échelle soient corrélés entre eux ?
Pour s’assurer qu’ils mesurent le même construit, sinon l’échelle peut être incohérente et peu fiable.
Quelles sont les deux méthodes principales pour mesurer la cohérence interne ?
- Coefficient de fidélité moitié-moitié (on divise une échelle en deux et on corrèle les moitiés).
- Coefficient de cohérence interne (on calcule les corrélations entre tous les items).
Quels sont les indices les plus utilisés pour estimer la cohérence interne ? Et que veulent-ils mesurer? (3)
- Alpha de Cronbach (α) : Pour les items continus. Il mesure si les items sont cohérents entre eux.
- Kuder-Richardson-20 : Variante utilisée pour les items dichotomiques (bien ou mal)
- Omega de McDonald : Une alternative plus récente à l’alpha de Cronbach.
Que dit la loi psychométrique sur le nombre d’items et la fidélité ?
Plus une échelle contient d’items, plus sa fidélité est élevée (principe de la Prophétie de Spearman-Brown).
Quel problème méthodologique pose la division en deux d’une échelle pour la fidélité moitié-moitié ?
Moins il y a d’items dans chaque moitié, plus les corrélations seront faibles, ce qui peut fausser l’évaluation de la fidélité.
En quoi Omega de McDonald diffère-t-il de l’alpha de Cronbach et du KR-20 ?
Contrairement à α et KR-20, Omega teste explicitement que les items mesurent une même variable latente via l’analyse factorielle et n’exige pas que les saturations factorielles soient équivalentes.
Pourquoi Omega est-il souvent un meilleur estimateur de la fidélité qu’alpha de Cronbach ?
Parce qu’il ne suppose pas que tous les items sont également liés à la variable latente, ce qui rend son estimation plus réaliste.
Quelle valeur minimale de coefficient de cohérence interne est généralement acceptée en recherche et en pratique clinique ?
En recherche, un coefficient d’environ 0,60 peut être acceptable, tandis qu’en clinique, on vise généralement 0,80 ou plus.
Pourquoi un coefficient de cohérence interne très élevé (ex. > 0,95) peut être problématique ?
Il peut indiquer une redondance excessive des items, suggérant que certaines questions mesurent exactement la même chose au lieu d’apporter une information unique.
Quelle est la différence entre fidélité inter-juges et accord inter-juges ?
Fidélité inter-juges : Mesure la corrélation entre les évaluations de différents informateurs sur une échelle continue (psychométrie).
Accord inter-juges : Vérifie si différents informateurs donnent exactement la même réponse pour des mesures catégorielles (ex. diagnostic).
Quels facteurs peuvent influencer l’accord inter-juges ? (3)
- La familiarité des juges avec la personne évaluée
- Le contexte d’observation partagé
- La nature des comportements évalués (faciles ou difficiles à observer)
Pourquoi la fidélité inter-juges est-elle souvent plus faible que 0,70 ?
Parce que les individus se comportent différemment selon les contextes et que les informateurs perçoivent des aspects différents du comportement.
Que représente l’erreur standard de mesure (ESM) ?
Elle indique la quantité d’erreur associée aux scores d’une échelle et est inversement proportionnelle à la fidélité.
Comment utilise-t-on l’ESM pour interpréter un score ?
On construit un intervalle de confiance (IC) autour du score observé pour tenir compte de l’erreur de mesure.
Quelle est la relation entre l’ESM et la fidélité d’un instrument ?
Plus la fidélité est élevée, plus l’erreur standard de mesure est faible, et vice versa.
À quoi sert l’erreur standard sur la différence (ESdiff) ?
Elle permet de déterminer si une différence entre deux scores (ex. évaluations de deux informateurs) est significative.
Dans quel cas peut-on conclure qu’il y a une différence significative entre deux évaluations ?
Si la différence observée entre les scores est supérieure à l’ESdiff calculée.
