4- Erreurs de mesure et fidélité Flashcards
Que signifie la fidélité ?
Elle concerne la précision de notre mesure, donc le niveau d’erreur de mesure qu’elle génère
Est-ce correct de dire que qu’un test est fiable?
Non, il faut plutôt dire que les scores générés sont fiables, pas le test en tant que tel.
Pourquoi dire qu’un test est fiable n’est pas correct?
Affirmer qu’un test est fiable sous-entend que la fidélité a été établie de façon permanente, pour toutes les utilisations, avec tous les utilisateurs.trices
Pourquoi la fidélité est-elle cruciale dans l’évaluation psychoéducative?
sur le plan clinique, avant de prendre des décisions importantes, on veut savoir à quel point les variations des scores – entre différents individus, ou entre différents moments de mesure – résultent de différences réelles dans le construit qui nous intéresse ou plutôt d’imprécisions (erreurs) de l’instrument de mesure qu’on utilise
Qu’est-ce que la théorie du score vrai?
score observé = score vrai + erreur de mesure
Vrai ou faux. Il n’y a pas toujours d’erreur de mesure dans tous les instruments de mesure
Faux. Il y a toujours de l’erreur de mesure, dans tous les instruments
Quels sont les 2 grands types d’erreur de mesure?
- Aléatoires
- Systématiques (ou biais)
Qu’est-ce qu’une erreur aléatoire?
Fluctuations statistiques non reproductibles, toujours présentes dans tous les instruments
Qu’est-ce qu’une erreur systématique?
Fluctuations constantes et reproductibles, qui sont toujours dans la même direction.
Quel type d’erreur est présent pour tous les instruments de mesure?
Erreurs aléatoires
Quelle est la cause des erreurs aléatoires? Et des erreurs systématiques?
- Erreur aléatoire: variation dans l’échantillonnage
- Erreur systématique: Mauvaise utilisation de l’instrument; Conditions d’administrations inadéquate; Imperfections de l’instrument
Comment peut-on minimiser les erreurs aléatoires?
- Plus grands échantillons
- Plus de moments de mesure
- Peuvent être plus facilement estimées/contrôlées statistiquement
Comment peut-on minimiser les erreurs systématiques?
- Difficile à détecter, souvent pas connus
- Plus difficile à quantifier statistiquement
Quel type d’instrument est sujet à une erreur d’échantillonnage de contenu?
Les instruments pour lesquels des résultats cohérents au sens large sont souhaités
Quel indice de fidélité peut être utilisé pour estimer l’erreur d’échantillonnage de contenu?
Coefficient de fidélité des formes parallèles
Quels types d’instruments sont sujets à des erreurs d’échantillonnage dans le temps?
Instruments de mesure de traits ou de comportements relativement stables
Quel indice de fidélité est utilisé pour estimer l’erreur d’échantillonnage dans le temps?
Coefficient de fidélité test-retest (ou de stabilité temporelle)
Quel type d’instruments est sujet au source d’erreur de mesured’incohérence interne ou inter-item?
Instruments qui requièrent une grande cohérence interne ou inter-item
Quels indices de fidélité est utilisé pour estimer l’erreur d’incohérence interne ou inter-item?
- Coefficient de fidélité moitié-moitié- Coefficient de cohérence interne
Quels types d’instruments sont sujets à des erreurs inter-informateurs?
Les instruments qui impliquent un degré relativement élevé de subjectivité
Quel indice de fidélité est utilisé pour mesurer l’erreur d’incohérence inter-informateurs?
Coefficient de fidélité inter-juges
Quelle est la relation entre la variance et le coefficient de fidélité?
Plus la part de variance vraie sera grande, plus le coefficient de fidélité s’approchera de 1.0, alors que plus la part de variance erreur sera grande, plus le coefficient s’approchera de 0. Formule du coefficient de fidelité: Rx = var(vraie)/var(erreur)
Comment évalue-t-on la fidélité de formes parallèles?
On développe deux formes équivalentes du même instrument et on estime la corrélation des scores entre les deux formes pour les mêmes individu
Quel type de sélection doit être faite pour faire les formes parallèles?
une sélection quasi-aléatoire: Tous les domaines ou sous-domaines spécifiques du construit doivent être représentés proportionnellement
Quel est le coefficient qui est généralement attendu entre 2 formes parallèles pour dire qu’il y a une assez bonne précision?
On s’attend quand même typiquement à un coefficient de 0,70 au minimum
Qu’est-ce que la fidélité test-retest? Quel doit être l’intervalle de temps pour l’estimer?
- Si on évalue les mêmes individus avec le même instrument à deux reprises dans le temps, est-ce qu’ils obtiennent les mêmes résultats (scores) ?
- Pour l’estimer, l’intervalle de temps doit être assez court (environ 2 semaines à 1 mois) :
Pourquoi ne faut-il pas s’attendre à à des corrélations très élevées pour la fidélité test-retest?
Il ne faut pas s’attendre à des corrélations très élevées pour la fidélité test-retest car certains construits sont assez « plastiques » ou changeants dans le temps.
- Problèmes intériorisés changent plus facilement dans des courts laps de temps que problèmes extériorisés
-Névrotisme change plus qu’Extraversion
Qu’est-ce que la cohérence interne?
Lorsque les chercheurs.euses créent des échelles, ils tentent de regrouper des items qui forment un tout cohérent, autant sur le (a) plan conceptuel que sur le (b) plan empirique
En quoi consiste le coefficient moitié-moitié?
les chercheurs.euses divisent en deux les items d’une échelle et on estime ensuite les corrélations entre ces deux moitiés. l’échantillonnage de contenu est très important, il faut une sélection quasi-aléatoire des items
Quel est le problème méthodologique avec le coefficient moitié-moitié?
avec moins d’items, les corrélations vont toujours être moins fortes, nonobstant le niveau de fidélité
Qu’est-ce que la prophétie de Spearman?
plus il y a d’items dans une échelle, plus sa fidélité est élevée
Qu’est-ce que le coefficient de cohérence interne?
les chercheurs.euses estiment l’homogénéité de tous les items d’une échelle
Il s’agit d’un estimé statistique quantifiant l’ensemble des inter-corrélations entre tous les items d’une échelle
Quels sont les 2 coefficients pour estimer la la cohérence interne?
- Alpha de Cronbach et Kuder-Richardson
- Plus récent: Omega de McDonald
Pourquoi est utilisé l’alpha de Cronbach? Qu’est-ce?
- Pour les items continus
- Statistiquement parlant, le coefficient α est l’équivalent de la moyenne de toutes les moitié-moitié possibles (toutes les combinaisons possibles)
Comment peut-on obtenir un alpha de Cronbach élevé?
- la covariance moyenne des items est divisée par la variance totale – donc les corrélations entre les items doivent être élevées pour donner une valeur alpha élevée
- Comme le nombre d’items est un facteur de l’équation, plus il y a d’items, plus alpha sera élevé
Dans quelle situation peut-on utiliser le Kuder-Richardson?
Pour les items dichotomiques
Qu’est-ce qu’on assune pour le alpha de Cronbahc et le Kuder?
- On assume (mais ne teste pas) que les items mesurent une même variable latente
- On assume aussi que tous les items sont reliés de la même façon à la variable latente (aka, tau équivalent)
Que test-t-on avec l’omega de mcDonald?
avec le Omega on teste explicitement que les items mesurent une même variable latente en utilisant l’analyse factorielle
Vrai ou faux. Omega à tendance à procurer un estimé de la fidélité d’une échelle plus près de la réalité que le alpha ou le KR-20
Vrai
Après la collecte de données, que souhaite-t-on en lien avec les coefficients de cohérence interne?
On souhaite un coefficient près de 1.0, ce qui suggère que les items d’une échelle sont très cohérents, qu’ils forment un tout; donc l’échelle génère peu d’erreurs de mesure
Qu’est-ce qu’un coefficient de cohérence interne proche de 0 suggère?
Si près de 0, les items ne sont pas homogènes, suggère que les questions de l’échelle sont trop indépendantes, ne vont pas ensemble; donc l’échelle n’est pas précise, elle génère beaucoup d’erreurs
Quelle est la valeur d’un coefficient de cohérence interne jugé satisfaisant? En recherche? Et en clinique?
0,70, mais en recherche on peut parfois accepter 0,60. En clinique, on veut plus de 0,80 puisqu’on se base sur cet instrument pour prendre une décisions importante sur la vie de qqn
Que signifie un coefficient de cohérence de plus de 0,95?
Ça pourrait indiquer qu’il y a redondance dans le contenu, donc que certaines questions mesurent probablement la mêe chose
Dans une échelle très courte, est-ce normal d’avoir un coefficient de cohérence interne d’environ 0,50? Que peut-on faire pour vérifier?
C’est attendu puisqu’il y a moins D’items. On peut cependant appliquer la transformation de Spearman-Brown pour connaître la fidélité prédite de l’échelle si elle avait davantage d’items.
Qu’est-ce que la fidélité inter-juges?
degré de cohérence (ou corrélation) entre différents informateurs avec des mesures continues; on compare la variabilité (variance) entre les informateurs
Qu’est-ce que l’accord inter-juge?
Accord inter-juges renvoie plutôt à une mesure de degré auquel des informateurs sont en accord exactement – souvent avec des mesures catégorielles; ne considère pas variance:
Comment sont souvent les corrélations pour la fidélité inter-juge pour les instruments dimensionnels?
Ils sont souvent plus faibles que pour les autres types de fidélité
Pourquoi un coefficient inter-juges plus faibles est attendu?
- Comportements manifestés sont différents selon le contexte
- Différents informateurs provenant de différents contextes peuvent percevoir et procurer de l’information différente (et complémentaire) à propos d’un même individu évalué
- Différents informateurs procureraient donc une meilleure « validité écologique »
Selon la méta-analyse de Los Reyes, comment peut-on maximiser l’accord entre les informateurs?
On maximise l’accord si les informateurs:
- Connaissent bien l’enfant (familiarité avec l’enfant, temps passé avec lui.elle assez élevé)
- Proviennent d’un même contexte d’observation (e.g., deux enseignants, deux parents)
- Les objets de l’évaluation sont des comportements plus facilement observables (par opposition à des choses moins facilement observables) – e.g. un cpt vs une pensée
Qu’est-ce que l’erreur standard de mesure?
Donne une indication de la quantité ou du degré d’erreur de mesure associée aux scores d’une échelle. En scores standardisés, il s’agit de l’écart-type de la distribution des erreurs
Avec quoi peut-on estimer l’ESM?
Elle est estimée avec un coefficient de fidélité
Quel est le lien entre la fidelité et l’ESM?
- L’ESM est donc inversement liée à la fidélité
- plus la fidélité est élevée, moins l’erreur standard de mesure est grande, et vice vers
Qu’est-ce qu’un intervalle de confiance?
estimé probabiliste permettant de situer le score observé à l’intérieur d’une étendue de scores donnée
Quels sont les différents intervalles de confiance?
intervalles à 68% (1 ESM) et à 95% (2 ESM)
Que permet l’intervalle de confiance?
○ Permet une interprétation plus rigoureuse et prudente qui tient compte de l’erreur de mesure
pourquoi veut-on mesurer l’IC?
- Qualification prudente d’un score observé près d’un score critères donné
- Comparaison des scores de 2 échelles selon le chevauchement des IC
Que peut permettre l’ESM?
’ESM peut servir à identifier un critère empirique qui permet de déterminer s’il existe une différence significative entre les scores de deux échelles
Quel type d’erreur est distribué normalement?
Erreur aléatoire
Vrai ou faux. Pour les instruments dimensionnels, on obtient généralement des corrélations significativement plus faibles que celles attendues pour les autres types de fidélité (i.e., moins de 0,70)
Vrai
