Cours 4

Question 1

Qu’est-ce que la fidélité d’un instrument de mesure?

Answer 1

La précision de notre mesure, ou autrement dit, le niveau d’erreur de mesure qu’elle génère.

Question 2

V OU F. La fidélité s’applique aux tests.

Answer 2

F. Elle s’applique aux scores qu’ils génèrent

Question 3

La fidélité n’est pas dichotomique…

Answer 3

tout est une question de degré!

Question 4

Pourquoi la fidélité est importante en psychoéducation?

Answer 4

Parce qu’on prend des décisions cliniques importantes! Donc je veux être sur que cela ne cause pas de conséquences à mes clients. Important en tant que psychoed de bien connaître la fidélité des instruments qu’on utilise.

Question 5

V OU F. Ce ne sont pas tous les instruments de mesure qui ont des erreurs

Answer 5

FAUX. Qu’on le veuille ou non, il y en existe dans tous les instruments!!!

Question 6

Théorie psychométrique classique

Answer 6

Comprend la théorie du score vrai : score observé = score vrai + erreur de mesure.

Question 7

Deux grands types d’erreurs de mesure

Answer 7

Aléatoires et systématiques (ou biais)

Question 8

Type d’erreur aléatoire

Answer 8

C’est aléatoire : on n’y peut rien!
- Toujours présent dans les instruments
- Non reproductible
- Distribué normalement car varie.
- Cause : variation dans l’échantillonnage.
- Comment minimiser : avoir un plus grand échantillon, plus de moments de mesure

Question 9

Type d’erreur systématiques (biais)

Answer 9

Le type d’erreur qui irrite le plus!
- Fluctuations constantes et reproductibles
- Les scores sont biaisés - on le sait en partant!
- Présence de sous estimation ou surestimation d’un groupe, donc pas distribué normalement.
- Cause : mauvaise utilisation de l’instrument, imperfections de l’instrument, conditions d’administration inadéquates.
- Comment minimiser : difficile à détecter, plus difficile à quantifier systématiquement.

Question 10

Quatre types de fidélité en fonction des sources d’erreur de mesure possibles

Answer 10

1) Erreur d’échantillonnage dans le contenu : les items, les questions. Fidélité des formes parallèles.
2) Erreur d’échantillonnage dans le temps : coefficient test-retest
3) Incohérence interne (inter-items) : Fidélité moitié-moitié et cohérence interne.
4) Incohérence inter-informateurs : à quel point les différents informateurs recueillent les mêmes informations. Fidélité inter-juge.

Question 11

Pour évaluer le degré de fidélité d’un instrument de mesure, on doit…

Answer 11

collecter les données d’un échantillon d’individus qui sont évalués avec l’instrument = pas qu’une seule personne! On peut avoir la variance erreur et plus la variance est grande, plus le coefficient de fidélité va se rapprocher de 1.

Question 12

Fidélité des formes parallèles

Answer 12

• Mesure classique de la fidélité
• Estimer le degré dans l’erreur de contenu
• On développe 2 formes équivalentes d’un même instrument et on estime la corrélation des scores entre les 2 formes pour les mêmes individus. Instruments donc similaires, mais avec des items qui changent légèrement.
• Sélection des items quasi-aléatoire
• On s’attend à un coefficient de 0,70.

Question 13

Fidélité test-retest

Answer 13

Si on évalue les individus avec le même instrument à deux reprises dans le temps, est-ce qu’ils obtiennent les mêmes résultats?
- Intervalle doit être assez court (2 semaines)
- Si la corrélation est forte (minimum 0,70), l’instrument est considéré fiable.
- Mai, si écart entre résultats : difficile de déterminer les raisons.
- De façon générale, pas réaliste de s’attendre à un coefficient élevé pcq certains construits sont assez plastiques ou changeables dans le temps.

Question 14

Cohérence interne

Answer 14

C’est central!
- Regrouper des items qui forment un tout cohérent, autant sur le plan conceptuel que sur le plan empirique.
- Ex. Échelle impulsivité : on ne veut pas un item d’agressivité ou dépression en plein milieu, car pas de lien.

Question 15

Cohérence interne : coefficient moitié-moitié

Answer 15

Les items sont divisés en 2 et on estime corrélation entre les 2 moitiés. La séparation se fait après la collecte de données.
- Sélection quasi-aléatoire : tous les contenus et domaines doivent être représentés proportionnellement dans les 2 moitiés
- Corrélation élevée entre les deux moitiés indique bonne fidélité

Question 16

Cohérence interne : problème méthodologique

Answer 16

Moins il y a d’items dans les échelles, moins les corrélations sont fortes, peu importe le niveau de fidélité.
- Formule prophétie Separman-Brown pour déterminer quelle serait la corrélation avec plus d’items.

Question 17

Cohérence interne : coefficient de cohérence interne

Answer 17

Permet d’estimer l’homogénéité de tous les items de l’échelle.
- Estimé statistique quantifiant l’ensemble des inter-corrélations entre tous les items d’une échelle.
- Alpha de Cronbach, Kuder-Richardson et Omega

Question 18

Cohérence interne : Alpha de Cronbach

Answer 18

• Pour les items continus : avec plusieurs choix de réponses
• On assume (ne test pas) que les items mesurent une même variable latente
• On assume que tous les items sont reliés de la même façon à la variable latente
• Équivalent de la moyenne de toutes les moitié-moité possible.
• Plus il y a d’items, plus le coefficient sera élevé.

Question 19

Cohérence interne : Kuder-Richardson

Answer 19

• Pour les items dichotomiques (oui, non, vrai, faux)
• On assume (ne test pas) que les items mesurent une même variable latente
• On assume que le pourcentage de réponses correctes est la même pour tous les items.

Question 20

Cohérence interne : Omega de McDonald

Answer 20

• Teste explicitement que les items mesurent une même variable latente en utilisant une analyse factorielle.
• Ne postule pas qu’il y a une corrélation entre chaque item
• Procure un estimé de la fidélité d’une échelle plus près de la réalité

Question 21

Cohérence interne : après collecte de données (normalement, en recherche et en clinique)

Answer 21

• Varient tous entre 0 et 1
• On souhaite avoir un coefficient près de 1 (échelle génère peu erreur de mesure)
• Si c’est près de 0, les items ne sont pas du tout homogène, beaucoup d’erreurs.
• Coefficient de 0,70 et plus est considéré suffisant.
• En recherche : moins conservateur, 0,60 acceptable.
• En clinique : plus sévère. On veut cohérence interne de 0,80 minimum.

Question 22

Si coefficient de cohérence interne TRÈS élevé….

Answer 22

Parfois moins intéressants, parce que cela suggère qu’il y a potentiellement une redondance de contenu (questions qui se répètent)
- Principe de parcimonie : si des items se répètent, alors vaut mieux en mettre moins.
- Cependant, des fois mettre 2 fois la même question est stratégique : on veut s’assurer que la personne suit bien.

Question 23

Fidélité inter-juge

Answer 23

On vérifie si les évaluations des mêmes individus effectuées avec le même instrument, mais par différents informateurs sont corrélées

Question 24

Fidélité inter-juge vs accord inter-juge

Answer 24

Fidélité : degré de cohérence entre différents informateurs avec des mesures continues; on compare la variance entre les informateurs.
- Différence entre les personnes

Accord : mesure de degré auquel des informateurs sont en accord exactement - souvent avec mesure catégorielle - on ne considère pas la variance.
- À quel point ils ont donné la même réponse

Question 25

Interjuge : estimation de l’accord interjuge

Answer 25

Cruciale en observation.

Question 26

Interjuge : les instruments dimensionnels

Answer 26

Des échelles quelconques avec des scores sur des dimensions - on obtient des corrélations significativement plus faible que celles attendue pour les autres types de fidélité (moins de 0,70).

Question 27

Interjuge : pourquoi les coefficients sont plus faibles?

Answer 27

• Parce qu’il y a vraiment des différences comment les comportements vont se manifester dans divers contextes
• Différents informateurs provenant de différents contextes peuvent percevoir et procurer de l’information différente
• Différents informateurs procureraient donc avoir une meilleure validité écologique (variation comportementale)

Question 28

Fidélité inter-juge : Méta-analyse de Achenbach

Answer 28

• Corrélation entre 2 informateurs similaires : moyenne de 0,60
• Corrélation entre 2 informateurs différents : 0,28.
• Corrélation impliquant l’enfant et un autre informateur : 0,22.
• Pas réaliste de s’attendre à une corrélation de 0,70 lorsqu’on utilise un instrument dimensionnel.

Question 29

Fidélité inter-juge : Méta-analyse de Los Reyes

Answer 29

Conclusion : on maxime l’accord si les informateurs
- Connaissent bien l’enfant
- Proviennent du même contexte d’observation
- Les objets d’évaluation sont des comportements plus facilement observables.

Question 30

Erreur type standard (ESM)

Answer 30

Appelé aussi erreur type de mesure.
- Donne un indice sur la quantité ou le degré d’erreur de mesure généré par un score d’une échelle (toujours question de degré).
- Écart-type de la distribution des erreurs = variations dans les erreurs.
- Estimé à l’aide d’un coefficient de fidélité
- Plus la fidélité est petite, plus l’erreur est grande et inversement.

Question 31

Intervalles de confiance

Answer 31

Estimé probabiliste que le score vrai se situe à l’intérieur de l’intervalle.
- Intervalle à 68% (1 ESM) et à 95% (2 ESM)
- Pour le calculer, on additionne et soustrait la valeur de l’ESM au score standardisé observé.

Question 32

Intervalle de confiance : prudence

Answer 32

Ex. Intervalle de confiance entre 55 et 67 - Score critère de 60, score obtenu 61.
- La personne est significativement au dessus de la moyenne.
- Important d’interpréter avec prudence : considérant l’erreur de mesure, c’est possible que le score vrai soit en dehors de l’intervalle. Interpréter score observé avec prudence.

Question 33

Erreur standard sur la différence

Answer 33

Déterminer s’il existe une différence significative entre les scores de deux échelles.
-Tjrs calculé avec paire de score
- Donne valeur minimale en terme de score standardisés qui fait que lorsqu’on dépasse cette valeur minimale, c’est une différence statistiquement significative.

Formule : ESdiff = √ (ESM1)^2 + (ESM2)^2