Cours 4 Flashcards
Que veut dire la fidélité?
La précision de notre mesure; le niveau d’erreur de mesure qu’elle génère
À quoi s’applique la fidélité: au test ou aux scores?
Aux scores qu’il génère
(Cette distinction peut sembler une subtilité, mais elle est fondamentale pour comprendre les implications du concept de fidélité)
Qu’est-ce qui est sous-entendu lorsqu’on affirme qu’un test est fiable?
Que la fidélité a été établie de façon pertinente, pour toutes les utilisations possibles, avec tous les utilisateurs, sous-groupes, etc. (E.g., un instrument de musique accordé)
Est-ce que la fidélité est un concept dichotomique? Pourquoi
Non, tout est une question de degré
Pourquoi est-ce que la fidélité est cruciale en évaluation psychoéducative?
Sur le plan clinique, avant de prendre des décisions importantes, on veut savoir à quel point les variations de scores - entre différents individus ou entre différents moments de mesure - résultent de différences réelles dans le construit qui nous intéresse ou plutôt d’imprécisions (erreurs( de l’instrument de mesure qu’on utilise.
Autrement dit, on veut savoir à quel point le score vrai est estimé avec justesse
Que comprend la théorie psychométrique classique?
La théorie du score vrai
Score observé = score vrai + erreur de mesure
Est-il possible d’avoir un instrument sans erreur de mesure?
Non, il y en a toujours
Les chercheurs tentent de construire des instruments qui vont la limiter le plus possible
Pourquoi les praticiennes doivent-elles bien connaitre la fidélité des instruments qu’elles utilisent?
Pour faire une interprétation rigoureuse et prudente des scores
!Quels sont les deux grands types d’erreurs de mesure?
- Aléatoires
- Systématiques (ou biais)
!Qu’est-ce que l’erreur aléatoire?
- Fluctuations statistiques non reproductibles: toujours présentes pour tous les instruments
- Autant au-dessus qu’en dessous de la moyenne
- Distribuées normalement
!Qu’est-ce qui cause l’erreur aléatoire?
Variation dans l’échantillonnage
!Comment minimiser/évaluer l’erreur aléatoire?
- Plus grands échantillons
- Plus de moments de mesure
- Peuvent être plus facilement estimées/contrôlées statistiquement
!Qu’est-ce que l’erreur systématique?
- Fluctuations constantes et reproductibles, qui sont toujours dans la même direction. Pas dans tous les instruments
- Surestimation ou sous-estimation constante des paramètres (e.g., la moyenne)
- Pas distribuées normalement
!Quelles sont les causes de l’erreur systématique?
- Mauvaise utilisation de l’instrument
- Conditions d’administration inadéquates
- Imperfections de l’instrument
!Comment minimiser/évaluer l’erreur systématique?
- Difficiles à détecter, souvent ne sont pas connues
- Plus difficile à quantifier statistiquement
!Quelles sont les 4 types de fidélité en fonction des sources d’erreur de mesure possibles?
- Erreur d’échantillonnage de contenu
- Erreur d’échantillonnage dans le temps
- Incohérence interne, ou inter-items
- Incohérence inter-informateurs
!Pour la source d’erreur de mesure Erreur d’échantillonnage de contenu, quel est…
- Type d’instruments sujets à chaque source d’erreur
- Indice de fidélité utilisé pour estimer l’erreur
Instruments pour lesquels des résultats cohérents au sens large sont souhaités
Coefficient de fidélité des formes parallèles (ou coefficient de congruence)
!Pour la source d’erreur de mesure Erreur d’échantillonnage dans le temps, quel est…
- Type d’instruments sujets à chaque source d’erreur
- Indice de fidélité utilisé pour estimer l’erreur
Instruments de mesure de traits ou comportements relativement stables
Coefficient de fidélité test-retest (ou de stabilité temporelle)
!Pour la source d’erreur de mesure Incohérence interne ou inter-items, quel est…
- Type d’instruments sujets à chaque source d’erreur
- Indice de fidélité utilisé pour estimer l’erreur
Instruments qui requièrent une grande cohérence interne ou inter-item
Coefficient de fidélité moitié-moitié
Coefficient de cohérence interne
!Pour la source d’erreur de mesure incohérence inter-informateurs, quel est…
- Type d’instruments sujets à chaque source d’erreur
- Indice de fidélité utilisé pour estimer l’erreur
Instruments qui impliquent un degré relativement élevé de subjectivité
Coefficient de fidélité inter-juges (ou accord inter-juges)
Est-il possible d’évaluer le degré de fidélité d’un instrument de mesure avec l’évaluation d’une seule personne?
Non, on doit collecter les données d’un échantillon d’individus qui sont évalués avec l’instrument
Complète les phrases suivantes:
Plus la part de variance vraie sera grande, plus le coefficient de fidélité…
Plus la part de variance erreur sera grande, plus le coefficient…
S’approchera de 1.0
S’approchera de 0
Quelle est la définition de la fidélité à la base? (Fidélité des formes parallèles)
Un instrument devrait donner les mêmes résultats d’une administration à l’autre, il s’agit d’une mesure classique de la fidélité
En quoi consiste la fidélité des formes parallèles?
On développe deux formes équivalentes du même instrument et on estime la corrélation des scores entre les deux formes pour les mêmes individus
Instruments tout à fait similaires conceptuellement, mais avec des items légèrement différents
Qu’est-ce qui est crucial pour pouvoir interpréter avec confiance la fidélité des formes parallèles?
La question de l’échantillonnage de contenu
Comment choisir des items avec les formes parallèles?
Il faut faire une sélection quasi-aléatoire (on ne peut pas simplement choisir des items au hasard dans une grande banque d’items)
Tous les domaines ou sous-domaines spécifiques du construit doivent être représentés proportionnellement
Les deux formes parallèles sont-elles supposées mesurer le construit de la même façon?
Oui
!Quel est l’objectif de l’utilisation des formes parallèles?
Estimer le degré d’erreur dans le contenu
Après la collecte de données, que révèle les formes parallèles?
Corrélation élevée suggère bonne précision, ou dit autrement, peu d’erreurs de mesure
Avec les formes parallèles, y’a-t-il un coefficient minimum attendu? Pourquoi?
Pas vraiment, puisque la corrélation dépendra du contenu (complexité du construit), en plus de facteurs personnels des individus évalués (e.g., réaction différente aux deux formes, fatigue, etc.)
On s’attend quand même typiquement à un coefficient de 0,70 au minimum
!Qu’est-ce que la fidélité test-retest?
On cherche à savoir si on évalue les mêmes individus avec le même instrument à deux reprises dans le temps, est-ce qu’ils obtiennent les mêmes résultats (scores)?
Pour l’estimer, l’intervalle de temps doit être assez court (environ 2 semaines à 1 mois)
Après la collecte de données, que révèle la fidélité test-retest?
Une corrélation élevée suggère bonne précision, peu d’erreurs de mesure
Avec la fidélité test-retest, y’a-t-il un coefficient minimum attendu? Pourquoi?
Pas vraiment, mais si la corrélation est forte (au moins 0,70) l’instrument est considéré fiable
Avec la fidélité test-retest, comment interpréter un écart entre les résultats (corrélation faible)?
Il est parfois difficile de déterminer les raisons
(Intervalle de temps trop long? Changement réel chez les individus? Quantité d’erreurs de mesure?)
De façon générale, faut-il s’attendre à des corrélations très élevées pour la fidélité test-retest?
Non, car certains construits sont assez plastiques ou changeants dans le temps
Lorsque les chercheuses créent des échelles, elles tentent de regrouper des items qui forment quoi? Sur quels plans?
Un tout cohérent, autant sur le (a) plan conceptuel que sur le (b) plan empirique
Autrement dit, il ne suffit pas que des experts suggèrent qu’un groupe d’items mesurent bien un construit, mais il faut aussi que les items soient significativement corrélés entre eux
Que peut-on se demander lorsqu’il y a des faibles corrélations entre les items?
S’ils mesurent vraiment le même construit
Quelles sont les deux stratégies souvent utilisées pour évaluer la cohérence interne?
(1) Coefficient de fidélité moitié-moitié
(2) Coefficient de cohérence interne
!En quoi consiste la stratégie moitié-moitié (cohérence interne)?
Les chercheuses divisent en deux les items d’une échelle et on estime ensuite les corrélations entre ces deux moitiés.
L’échantillonnage de contenu est très important, il faut un sélection quasi-aléatoire des items
Après collecte des données: une corrélation élevée entre les deux moitiés indique bonne fidélité, peu d’erreurs de mesure
Quel est le problème méthodologique avec le coefficient moitié-moitié?
Avec moins d’items, les corrélations vont toujours être moins fortes, nonobstant le niveau de fidélité
Prophétie de Spearman: Plus il y a d’items dans une échelle, plus sa fidélité est élevée
(Avec des échelles brèves, on peut appliquer la formule de la prophétie pour déterminer quelle serait la corrélation avec plus d’items)
!En quoi consiste le coefficient de cohérence interne?
Les chercheuses estiment l’homogénéité de tous les items d’une échelle.
Il s’agit d’un estimé statistique quantifiant l’ensemble des inter-corrélations entre tous les items d’une échelle
Est-ce que les items d’une échelle forment un tout cohérent sur le plan empirique, sont assez fortement corrélés - et donc génèrent peu d’erreurs de mesure
Quels sont les deux indices très utilisés pour estimer la cohérence interne?
Et le plus récent?
Alpha de Cronbach et Kuder-Richardson-20
Omega de McDonald
!En quoi consiste le Alpha de Cronbach?
- Pour les items continus
- On assume (mais ne teste pas) que les items mesurent une même variable latente
- On assume aussi que tous les items sont reliés de la même façon à la variable latente (i.e., tau équivalent)
- Statistiquement parlant, le coefficient a est l’équivalent de la moyenne de toutes les moitié-moitié possibles (toutes les combinaisons possibles)
Dans le coefficient alpha, que doivent être les corrélations entre les items pour donner une valeur alpha élevée?
Élevées
Comme le nombre d’items est un facteur de l’équation, plus il y a d’items, plus alpha sera élevé
!En quoi consiste le Kuder-Richardson-20?
- Un cas spécial du alpha de Cronbach pour les items dichotomiques
- Comme pour alpha, lorsqu’on utilise KR-20, on assume (mais ne teste pas) que les items mesurent une même variable latente
- On assume aussi que le pourcentage de réponses correctes est la même pour tous les items
- Il existe une équation plus simple (KR-21)
!En quoi consiste le Omega de McDonald?
- Contrairement aux deux autres, on teste explicitement que les items mesurent une même variable latente en utilisant l’analyse factorielle
- Le postulat irréaliste que tous les items sont reliés de la même façon à la variable latente n’a pas besoin d’être respecté - les saturations factorielles peuvent être différentes
- Omega a tendance à procurer un estimé de la fidélité d’une échelle plus près de la réalité que le alpha ou le KR-20
Quel indice pour estimer la cohérence a tendance à procurer un estimé de la fidélité d’une échelle plus près de la réalité?
Omega
Alpha est un bon estimé de la fidélité seulement lorsque quoi?
Lorsque tous les items sont vraiment tau équivalents
Les coefficients de cohérence interne varient tous entre quoi?
0 et 1
Pour la cohérence interne, que souhaite-t-on après la collecte de données?
Un coefficient près de 1, ce qui suggère que les items d’une échelle sont très cohérents, qu’ils forment un tout; donc l’échelle génère peu d’erreurs de mesure
Pour la cohérence interne, que se passe-t-il si le coefficient est près de 0 après la collecte de données?
Les items ne sont pas homogènes, suggère que les questions de l’échelle sont trop indépendantes, ne vont pas ensemble; donc l’échelle n’est pas précise, elle génère beaucoup d’erreurs
Quels coefficients (cohérence interne) sont satisfaisants/accepter…
- Typiquement?
- En recherche?
- Dans la pratique clinique?
- Typiquement, un coefficient de 0,70 et plus est considéré satisfaisant
- En recherche, puisqu’on peut appliquer une correction on accepte parfois des coefficients de 0,60 (en recherche, avec des modèles statistiques avancés utilisant des variables latentes, on peut obtenir des estimés sans aucune erreur de mesure)
- Dans la pratique clinique, on préfère toutefois des indices de cohérence interne minimum de 0,80 et plus
Pourquoi dans la pratique clinique on préfère des indices de cohérence interne minimum de 0,80 et plus?
L’erreur de mesure dans une échelle est un problème grave si vous vous basez sur cet instrument pour prendre une décision clinique importante qui aura une influence sur la vie d’un individu!
Pourquoi des coefficients de cohérence interne très élevés (plus de 0,95) sont parfois considérés moins intéressants?
Puisque ceci suggère qu’il y a potentiellement redondance de contenu, i.e., certaines questions mesurent probablement la même chose
Il est assez fréquent dans une échelle de retrouver des items très similaires avec des différences minimes de formulation
Principe de parcimonie: les auteurs.trices pourraient enlever certaines questions
Est ce que des indices pas très élevés de cohérence interne pour des échelles avec peu d’items signifient un problème majeur de précision?
Non, pas de facto.
C’est attendu (prophétie de Spearman)
On peut alors appliquer la transformation de Spearman-Brown pour connaitre la fidélité prédite de l’échelle si elle avait davantage d’items
Bien qu’il est attendu que les instruments de mesure ne soient pas influencés par la subjectivité des informateurs, qu’est-ce qui l’est? Et comment l’estimer?
Plusieurs construits qui nous intéressent en psychologie et en psychoéducation
Par exemple, les pensées ou certains comportements plus secrets (e.g., comportements sexuels, consommation de substances psychoactives) sont généralement difficiles à évaluer par différents informateurs
Pour l’estimer, on vérifie si les évaluations des mêmes individus effectuées avec le même instrument, mais par différents informateurs sont corrélées
!Qu’est-ce que la fidélité inter-juges?
Renvoie au degré de cohérence (ou corrélation) entre différents informateurs avec des mesures continues; on compare la variabilité (variance) entre les informateurs
!Qu’est-ce que l’accord inter-juges?
Renvoie plutôt à une mesure de degré auquel des informateurs sont en accord exactement - souvent avec des mesures catégorielles; on ne considère pas la variance
Quelle estimation est cruciale en observation?
Celle de l’accord inter-juges
Quelles corrélations obtient-on généralement pour les instruments dimensionnels?
Des corrélations significativement plus faibles que celles attendues pour les autres types de fidélité (i.e., moins de 0,70)
Comment étaient interprétées les coefficients de fidélité inter-juges plutôt faibles dans le passé? Et comment sont-elles interprétées aujourd’hui?
Dans le passé: Mauvaise fidélité des échelles
Aujourd’hui: C’est attendu
Les individus vont fréquemment manifester des comportements différents dans différents contextes, notamment parce que les attentes sont différentes
Différents informateurs provenant de différent contextes peuvent percevoir et procurer de l’information différente (et complémentaire) à propos d’un même individu évalué
Quelles sont les deux méta-analyses pour l’estimation de l’accord inter-juges pour les échelles d’évaluation?
- Achenbach et al
- De Los Reyes et al
Quels sont les résultats de la méta-analyse de Achenbach et al?
- Corrélation entre informateurs similaires (deux parents): en moyenne 0,60
- Corrélation entre différents informateurs (un parent et un enseignant): 0,28
- Corrélation impliquant l’enfant/ado et un autre informateur: 0,22
- Corrélations plus fortes pour EXT que INT
Quels sont les résultats de la méta-analyse de De Los Reyes et al?
Résultats quasi identiques à ceux de Achenbach et al
Donc, quelles sont les conclusions des deux méta-analyses (Achenbach et De Los Reyes)?
On maximise l’accord si les informateurs
- Connaissent bien l’enfant (familiarité avec l’enfant, temps passé avec lui/elle assez élevé)
- Proviennent d’un même contexte d’observation (e.g., deux enseignants, deux parents)
- Les objets de l’évaluation sont des comportements plus facilement observables, par opposition à des choses moins facilement observables (e.g., un cpt vs une pensée)
Comment est aussi appelée une erreur standard de mesure (ESM)? Qu’est-ce que c’est?
Parfois aussi appelée erreur type de mesure
Donne une indication de la quantité ou de degré d’erreur de mesure associée aux scores d’une échelle
En termes de score standardisé, il s’agit de l’écart-type de la distribution des erreurs
Que veut-on dire lorsqu’on dit que le score vrai est théorique?
On tente de l’estimer
E.g., si un individu rempli 50 fois la même échelle, il n’obtiendrait pas le même score 50 fois, on observerait plutôt une distribution, avec une moyenne (qui serait le score vrai) et une distribution des erreurs de mesure (qui serait normale, avec une moyenne de 0)
Avec l’aide de quoi est estimée l’ESM? Il est donc inversement lié à quoi?
Estimée à l’aide d’un coefficient de fidélité (Alpha ou autre)
Est donc inversement liée à la fidélité: plus la fidélité est élevée, moins l’ESM est grande et vice-versa
Dans la pratique en évaluation. à quoi servent les ESM?
À construire un intervalle de confiance (IC) autour du score observé
Qu’est-ce que l’intervalle de confiance?
Un estimé probabiliste permettant de situer le score observé à l’intérieur d’une étendue de scores donnée
- Permet une interprétation plus rigoureuse et prudente qui tient compte de l’erreur de mesure
- Selon les instruments, on peut parfois avoir des intervalles à 68% (1 ESM) et à 95% (2 ESM)
Pour le calculer, on doit additionner et soustraire la valeur de l’ESM au score standardisé observé
Considérant un score-T observé de 60 et considérant que l’ESM est de 3
- Quel serait un intervalle de confiance à 68%?
- Quel serait un intervalle de confiance à 95%?
IC de 68%: de 57 à 63
IC de 95%: de 54 à 66
L’ESM peut servir à identifier quoi?
Un critère empirique qui permet de déterminer s’il existe une différence significative entre les scores de deux échelles
Qu’est-ce qu’une erreur standard sur la différence (ESdiff)?
Calculée à partir des ESM procurées par les auteurs.trices d’un test
Exemple: Voir diapo 45 du cours 4
