Cours 4 Flashcards
Qu’est-ce que la fidélité d’un instrument de mesure?
La précision de notre mesure, ou autrement dit, le niveau d’erreur de mesure qu’elle génère.
V OU F. La fidélité s’applique aux tests.
F. Elle s’applique aux scores qu’ils génèrent
La fidélité n’est pas dichotomique…
tout est une question de degré!
Pourquoi la fidélité est importante en psychoéducation?
Parce qu’on prend des décisions cliniques importantes! Donc je veux être sur que cela ne cause pas de conséquences à mes clients. Important en tant que psychoed de bien connaître la fidélité des instruments qu’on utilise.
V OU F. Ce ne sont pas tous les instruments de mesure qui ont des erreurs
FAUX. Qu’on le veuille ou non, il y en existe dans tous les instruments!!!
Théorie psychométrique classique
Comprend la théorie du score vrai : score observé = score vrai + erreur de mesure.
Deux grands types d’erreurs de mesure
Aléatoires et systématiques (ou biais)
Type d’erreur aléatoire
C’est aléatoire : on n’y peut rien!
- Toujours présent dans les instruments
- Non reproductible
- Distribué normalement car varie.
- Cause : variation dans l’échantillonnage.
- Comment minimiser : avoir un plus grand échantillon, plus de moments de mesure
Type d’erreur systématiques (biais)
Le type d’erreur qui irrite le plus!
- Fluctuations constantes et reproductibles
- Les scores sont biaisés - on le sait en partant!
- Présence de sous estimation ou surestimation d’un groupe, donc pas distribué normalement.
- Cause : mauvaise utilisation de l’instrument, imperfections de l’instrument, conditions d’administration inadéquates.
- Comment minimiser : difficile à détecter, plus difficile à quantifier systématiquement.
Quatre types de fidélité en fonction des sources d’erreur de mesure possibles
1) Erreur d’échantillonnage dans le contenu : les items, les questions. Fidélité des formes parallèles.
2) Erreur d’échantillonnage dans le temps : coefficient test-retest
3) Incohérence interne (inter-items) : Fidélité moitié-moitié et cohérence interne.
4) Incohérence inter-informateurs : à quel point les différents informateurs recueillent les mêmes informations. Fidélité inter-juge.
Pour évaluer le degré de fidélité d’un instrument de mesure, on doit…
collecter les données d’un échantillon d’individus qui sont évalués avec l’instrument = pas qu’une seule personne! On peut avoir la variance erreur et plus la variance est grande, plus le coefficient de fidélité va se rapprocher de 1.
Fidélité des formes parallèles
- Mesure classique de la fidélité
- Estimer le degré dans l’erreur de contenu
- On développe 2 formes équivalentes d’un même instrument et on estime la corrélation des scores entre les 2 formes pour les mêmes individus. Instruments donc similaires, mais avec des items qui changent légèrement.
- Sélection des items quasi-aléatoire
- On s’attend à un coefficient de 0,70.
Fidélité test-retest
Si on évalue les individus avec le même instrument à deux reprises dans le temps, est-ce qu’ils obtiennent les mêmes résultats?
- Intervalle doit être assez court (2 semaines)
- Si la corrélation est forte (minimum 0,70), l’instrument est considéré fiable.
- Mai, si écart entre résultats : difficile de déterminer les raisons.
- De façon générale, pas réaliste de s’attendre à un coefficient élevé pcq certains construits sont assez plastiques ou changeables dans le temps.
Cohérence interne
C’est central!
- Regrouper des items qui forment un tout cohérent, autant sur le plan conceptuel que sur le plan empirique.
- Ex. Échelle impulsivité : on ne veut pas un item d’agressivité ou dépression en plein milieu, car pas de lien.
Cohérence interne : coefficient moitié-moitié
Les items sont divisés en 2 et on estime corrélation entre les 2 moitiés. La séparation se fait après la collecte de données.
- Sélection quasi-aléatoire : tous les contenus et domaines doivent être représentés proportionnellement dans les 2 moitiés
- Corrélation élevée entre les deux moitiés indique bonne fidélité
Cohérence interne : problème méthodologique
Moins il y a d’items dans les échelles, moins les corrélations sont fortes, peu importe le niveau de fidélité.
- Formule prophétie Separman-Brown pour déterminer quelle serait la corrélation avec plus d’items.
Cohérence interne : coefficient de cohérence interne
Permet d’estimer l’homogénéité de tous les items de l’échelle.
- Estimé statistique quantifiant l’ensemble des inter-corrélations entre tous les items d’une échelle.
- Alpha de Cronbach, Kuder-Richardson et Omega
Cohérence interne : Alpha de Cronbach
- Pour les items continus : avec plusieurs choix de réponses
- On assume (ne test pas) que les items mesurent une même variable latente
- On assume que tous les items sont reliés de la même façon à la variable latente
- Équivalent de la moyenne de toutes les moitié-moité possible.
- Plus il y a d’items, plus le coefficient sera élevé.
Cohérence interne : Kuder-Richardson
- Pour les items dichotomiques (oui, non, vrai, faux)
- On assume (ne test pas) que les items mesurent une même variable latente
- On assume que le pourcentage de réponses correctes est la même pour tous les items.
Cohérence interne : Omega de McDonald
- Teste explicitement que les items mesurent une même variable latente en utilisant une analyse factorielle.
- Ne postule pas qu’il y a une corrélation entre chaque item
- Procure un estimé de la fidélité d’une échelle plus près de la réalité
Cohérence interne : après collecte de données (normalement, en recherche et en clinique)
- Varient tous entre 0 et 1
- On souhaite avoir un coefficient près de 1 (échelle génère peu erreur de mesure)
- Si c’est près de 0, les items ne sont pas du tout homogène, beaucoup d’erreurs.
- Coefficient de 0,70 et plus est considéré suffisant.
- En recherche : moins conservateur, 0,60 acceptable.
- En clinique : plus sévère. On veut cohérence interne de 0,80 minimum.
Si coefficient de cohérence interne TRÈS élevé….
Parfois moins intéressants, parce que cela suggère qu’il y a potentiellement une redondance de contenu (questions qui se répètent)
- Principe de parcimonie : si des items se répètent, alors vaut mieux en mettre moins.
- Cependant, des fois mettre 2 fois la même question est stratégique : on veut s’assurer que la personne suit bien.
Fidélité inter-juge
On vérifie si les évaluations des mêmes individus effectuées avec le même instrument, mais par différents informateurs sont corrélées
Fidélité inter-juge vs accord inter-juge
Fidélité : degré de cohérence entre différents informateurs avec des mesures continues; on compare la variance entre les informateurs.
- Différence entre les personnes
Accord : mesure de degré auquel des informateurs sont en accord exactement - souvent avec mesure catégorielle - on ne considère pas la variance.
- À quel point ils ont donné la même réponse
Interjuge : estimation de l’accord interjuge
Cruciale en observation.
Interjuge : les instruments dimensionnels
Des échelles quelconques avec des scores sur des dimensions - on obtient des corrélations significativement plus faible que celles attendue pour les autres types de fidélité (moins de 0,70).
Interjuge : pourquoi les coefficients sont plus faibles?
- Parce qu’il y a vraiment des différences comment les comportements vont se manifester dans divers contextes
- Différents informateurs provenant de différents contextes peuvent percevoir et procurer de l’information différente
- Différents informateurs procureraient donc avoir une meilleure validité écologique (variation comportementale)
Fidélité inter-juge : Méta-analyse de Achenbach
- Corrélation entre 2 informateurs similaires : moyenne de 0,60
- Corrélation entre 2 informateurs différents : 0,28.
- Corrélation impliquant l’enfant et un autre informateur : 0,22.
- Pas réaliste de s’attendre à une corrélation de 0,70 lorsqu’on utilise un instrument dimensionnel.
Fidélité inter-juge : Méta-analyse de Los Reyes
Conclusion : on maxime l’accord si les informateurs
- Connaissent bien l’enfant
- Proviennent du même contexte d’observation
- Les objets d’évaluation sont des comportements plus facilement observables.
Erreur type standard (ESM)
Appelé aussi erreur type de mesure.
- Donne un indice sur la quantité ou le degré d’erreur de mesure généré par un score d’une échelle (toujours question de degré).
- Écart-type de la distribution des erreurs = variations dans les erreurs.
- Estimé à l’aide d’un coefficient de fidélité
- Plus la fidélité est petite, plus l’erreur est grande et inversement.
Intervalles de confiance
Estimé probabiliste que le score vrai se situe à l’intérieur de l’intervalle.
- Intervalle à 68% (1 ESM) et à 95% (2 ESM)
- Pour le calculer, on additionne et soustrait la valeur de l’ESM au score standardisé observé.
Intervalle de confiance : prudence
Ex. Intervalle de confiance entre 55 et 67 - Score critère de 60, score obtenu 61.
- La personne est significativement au dessus de la moyenne.
- Important d’interpréter avec prudence : considérant l’erreur de mesure, c’est possible que le score vrai soit en dehors de l’intervalle. Interpréter score observé avec prudence.
Erreur standard sur la différence
Déterminer s’il existe une différence significative entre les scores de deux échelles.
-Tjrs calculé avec paire de score
- Donne valeur minimale en terme de score standardisés qui fait que lorsqu’on dépasse cette valeur minimale, c’est une différence statistiquement significative.
Formule : ESdiff = √ (ESM1)^2 + (ESM2)^2
