Cours 4: La fidélité Flashcards
En quoi consiste la fidélité d’un instrument de mesure?
Concerne la précision de notre mesure, ou dit autrement, le niveau d’erreur de mesure qu’elle génère
La fidélité s’applique au test ou au score?
Au score!
Quand est-ce qu’un test est fiable?
Uniquement lorsque tous les scores ou mesures sont fiables.
La fidélité est une question de….
degrés de fidélité (pas une questions dichotomique).
Que faut-il prouver pour affirmer qu’un test est fiable?
La fidélité a été établie de façon permanente, pour toutes les utilisations, avec tous les utilisateurs.trices.
Qu’est-ce qui est cruciale en évaluation psychoéducative sur le plan clinique?
On veut savoir à quel point les variations des scores – entre différents individus, ou entre différents moments de mesure – résultent de différences réelles dans le construit qui nous intéresse ou plutôt d’imprécisions (erreurs) de l’instrument de mesure qu’on utilise.
Les______ de ________ sont essentielles en psychoéducation.
erreurs de mesures
Quelle est l’équation de la théorie du score vrai?
Score observé=score vrai+ erreur de mesure.
Est-ce que les erreurs de mesures sont fréquentes auprès des instruments de mesure?
Oui, il y a toujours des erreurs.
Quels types d’instruments on cherche le plus possible?
Les instruments qui réduisent les erreurs de mesures.
On choisi toujours les instruments qui ont plus de ______ ______ que d’_______ de _______.
score vrai, d’erreurs de mesure.
Qu’est-ce qu’impacte la fiabilité?
La corrélation entre les variables.
Quels sont les deux types d’erreurs de mesure?
1) Aléatoire
2) Systématique
Quelle est la définition de l’erreur de mesure aléatoire?
Fluctuations statistiques non reproductibles dans tous les instruments. Autant au dessus qu’en dessous de la moyenne. Distribués normalement.
Quelle est la définition de l’erreur de mesure systématique?
Fluctuations constantes et reproductibles. Pas dans tous les instruments. Surestimation ou sous-estimation constante des paramètres. Pas distribués normalement.
Quelle est la cause de l’erreur de mesure de type aléatoire?
La variation dans l’échantillonnage.
Quelles sont les causes de l’erreur de mesure de type systématique?
-Mauvaise utilisation de l’instrument.
-Condition d’administration inadéquate.
-Imperfection de l’instrument.
Comment minimiser les erreurs de mesure de type aléatoire?
-Plus grands échantillons.
-Plus de moments de mesures.
-Peuvent être plus facilement estimés/ contrôlées statistiquement.
Comment minimiser les erreurs de mesure de type systématique?
-Difficile à détecter, ne sont souvent pas connues.
-Plus difficile à quantifier statistiquement.
Quel type d’erreur de mesure est plus contrôlable en prenant des précautions?
L’erreur de mesure de type systématique.
Quelles sont les 4 sources d’erreur de mesure?
-Erreur d’échantillonnage de contenu.
-Erreur d’échantillonnage dans le temps.
-Incohérence interne (inter-items).
-Incohérence interinformateurs.
Quel est le type d’instrument de l’Erreur d’échantillonnage de contenu?
Instruments dont des résultats cohérents au sens large sont souhaités.
Quel est le type d’instrument de l’Erreur d’échantillonnage dans le temps?
Instruments de mesure de traits ou de comportements relativement stables.
Quel est le type d’instrument de l’incohérence inter-items?
Instruments qui requièrent une grande cohérence interne ou inter-item.
Quel est le type d’instrument de l’incohérence inter-informateurs?
Instruments qui impliquent un degré relativement élevé de subjectivité.
Quel est l’indice de fidélité de l’erreur d’échantillonnage de contenu?
Coefficient de fidélité des formes parallèles.
Quel est l’indice de fidélité de l’erreur d’échantillonnage dans le temps?
Coefficient de fidélité test-retest.
Quel est l’indice de fidélité de l’incohérence inter-items?
Coefficient de fidélité moitié-moitié.
Coefficient de cohérence interne.
Quel est l’indice de fidélité de l’incohérence inter-informateurs?
Coefficient de fidélité inter-juges.
Avec quoi il est possible d’évaluer la fidélité?
Avec un échantillon
Vrai ou faux: Plus la part de variance vraie sera grande, plus le coefficient de fidélité s’approchera de 1.0, alors que plus la part de variance erreur sera grande, plus le coefficient s’approchera de 0.
Vrai
Quelle est la formule de la fidélité avec la variance?
rx= var vraie+ var erreur.
Qu’est-ce que la mesure classique de la fidélité?
Devrait donner les mêmes résultats d’une administration à l’autre.
On développe deux formes équivalentes du même instrument et on estime la corrélation des scores entre les deux formes pour les mêmes individus
Quelle mesure de la fidélité est important lorsqu’il est question des formes parallèles?
L’échantillonnage de contenu.
Pour la fidélité des formes parallèles, il est important de faire quoi?
une sélection quasi-aléatoire des domaines spécifiques au construit.
Que suggère une corrélation élevée?
peu d’erreur de mesure, grande fidélité!
La corrélation dépend de deux choses, lesquelles?
1-Le contenu.
2-les facteurs personnels des individus évalués.
Pour les formes parallèles, on s’attend à un coefficient minimum de combien?
0,70
Pour mesurer la fidélité test-retest, comment doit être l’intervalle de temps?
Assez court. Car plus le temps avance, plus la fidélité diminue.
Une corrélation élevée suggère quoi?
Une bonne précision!
L’instrument est fiable lorsqu’il atteint une corrélation de combien?
0,70
Pourquoi il ne faut pas s’attendre à des corrélations fortes pour le test-retest?
Certains construits sont assez «plastiques» ou changeants dans le temps.
La variabilité de la corrélation test-retest peut être expliquée par quoi?
Certaines problématiques tendent à se modifier plus vite que d’autres dans le temps.
Qu’est-ce que la cohérence inter ou la cohérence inter-items?
Lorsque les chercheurs.euses créent des échelles, ils tentent de regrouper des items qui forment un tout cohérent, autant sur le (a) plan conceptuel que sur le (b) plan empirique.
Quelles sont les deux stratégies souvent utilisées pour évaluer la cohérence interne?
(1) coefficient de fidélité moitié-moitié et (2) coefficient de cohérence interne
En quoi consiste le coefficient moitié-moitié?
1) les chercheurs.euses divisent en deux les items d’une échelle et on estime ensuite les corrélations entre ces deux moitiés.
*une sélection quasi-aléatoire.
Quel est le problème méthodologique de la cohérence interne?
avec moins d’items, les corrélations vont toujours être moins fortes, nonobstant le niveau de fidélité
Qu’est-ce que la prophétie de Spearman?
plus il y a d’items dans une échelle, plus sa fidélité est élevée.
Que représente les valeurs suivantes?
ra= corrélation ajustée de tous les items.
rsh=corrélation avec la moitié des items.
Pour le coefficient de cohérence interne, qu’est-ce que les chercheurs estiment?
l’homogénéité de tous les items de l’échelle.
Il s’agit d’un estimé statistique quantifiant l’ensemble des inter-corrélations entre tous les items de l’échelle.
Quels sont les deux indices pour estimer la cohérence interne?
alpha de Cronbach et Kuder-Richardson-20 et Omega de McDonald.
En quoi consiste Alpha de Cronbach
Pour les items continus (dichotomiques)
On assume (mais ne teste pas) que les items mesurent une même variable latente
On assume aussi que tous les items sont reliés de la même façon à la variable latente (aka, taux équivalent) tous des mesures qui évaluent la même chose. (corrélation entre item et score total est le même)
Statistiquement parlant, le coefficient α est l’équivalent de la moyenne de toutes les moitié-moitié possibles (toutes les combinaisons possibles) on rapporte un indice général.
Concernant le Alpha Cronbach, comment expliquer que alpha est élevé?
Plus il y a d’items, plus alpha sera élevé.
En quoi consiste le Kuder-Richardson-20?
Un cas spécial du alpha de Cronbach pour les items dichotomiques.
Comme pour alpha, lorsqu’on utilise KR-20, on assume (mais ne teste pas) que les items mesurent une même variable latente
On assume aussi que le pourcentage de réponses correctes est le même pour tous les items
Quelle est la particularité d’Omega de McDonald?
Avec le Omega on teste explicitement que les items mesurent une même variable latente en utilisant l’analyse factorielle.
Le postulat irréaliste que tous les items sont reliés de la même façon à la variable latente n’a pas besoin d’être respecté – les saturations factorielles peuvent être différentes
Quel indice de la cohérence interne à tendance à procurer un estimé de la fidélité plus près de la réalité?
Omega de McDonald
Quand doit-on utiliser le Alpha?
lorsque tous les items sont vraiment taux équivalents.
Coefficients de cohérence interne varient entre____ et _____.
0 et 1.
Que veut dire un coefficient près de 1?
Cela suggère que les items d’une échelle sont très cohérents, qu’ils forment un tout; donc l’échelle génère peu d’erreurs de mesure.
Que veut dire un coefficient près de 0?
Les items ne sont pas homogènes, l’échelle n’est pas précise, elle génère beaucoup d’erreurs.
Un coefficient de_____ est jugé comme étant satisfaisant?
0,70
En recherche, est-ce qu’on peut obtenir des estimés sans erreur de mesure?
Oui, on peut même parfois accepter des coefficients de 0,60.
E clinique, on préfère un coefficient d’au moins________. Pourquoi?
0,80. Car les conséquences des erreurs sont graves.
Que peuvent signifier des coefficients de plus de 0.95?
Ils peuvent être peu intéressants, car il pourrait y avoir de la redondance de contenu.
Qu’est-ce que le principe de parcimonie?
les auteurs.trices pourraient enlever certaines questions.
Que permet le principe de parcimonie?
Permet l’efficacité en diminuant la redondance.
Vrai ou faux: si les indices ne sont pas très élevés pour des échelles avec peu d’items – par exemple α = 0,50 pour une échelle à 2 ou 3 items. Cela relève un problème de précision.
Faux, pas nécessairement.
Qu’est-ce qu’on utilise pour connaitre la fidélité prédite de l’échelle si elle a beaucoup d’items (projection de la cohérence interne)?
transformation de Spearman-Brown
Dans quel contexte la fidélité inter-juges est utilisée?
Pour connaitre l’avis de différents informateurs sur un sujet controversé ou plus secret.
Quelle est la différence entre la fidélité inter-juge et l’accord inter-juge?
La fidélité inter-juges renvoie au degré de cohérence entre les informateurs en tenant compte de la variance tandis que l’accord inter-juge renvoie à une mesure de degré des accords entre les informateurs (mesures catégorielles sans variance).
Vrai ou faux: Pour les instruments dimensionnels (échelles), on obtient généralement des corrélations significativement plus faibles que celles attendues pour les autres types de fidélité.
Vrai
L’estimation de l’____ ________ est cruciale en observation.
accord-interjuge.
Par quoi est caractérisé le biais de la fidélité inter-juges?
-Comportements différents selon le contexte.
-Variabilité des différents contextes de provenance des informateurs.
-Certains observateurs ont une meilleure validité écologique.
Pour les échelles d’évaluation, quelles sont les deux méta-analyse qui couvrent des études sur une période de 30 ans?
1) Achenbach, McConaughy, & Howell (1987).
2) De Los Reyes et al. (2015).
Quelles sont les 3 raisons qui justifient une maximisation de l’accord?
-Bien connaitre le sujet.
-Les informateurs proviennent d’un même contexte d’observation.
-Les objets de l’évaluation sont des comportement facilement observables.
Quel est le synonyme d’erreur standard de mesure?
erreur type de mesure.
Qu’est-ce que l’erreur standard de mesure?
Donne une indication de la quantité ou du degré d’erreur de mesure associée aux scores d’une échelle.
Que représente l’erreur standard de mesure e termes de scores standardisés?
il s’agit de l’écart-type de la distribution des erreurs.
Lorsqu’on fait 50 fois le même questionnaire, est-ce qu’on va toujours obtenir les mêmes scores?
Non, on obtient une moyenne se situant proche du score vrai.
L’erreur standard de mesure est estimé avec l’aide de quoi?
D’un coefficient de fidélité.
Vrai ou faux: plus la fidélité est élevée, moins l’erreur standard de mesure est grande, et vice versa.
Vrai
Dans la pratique en évaluation, à quoi servent les erreurs standards de mesure?
À construire un intervalle de confiance autour du score observé.
Qu’est-ce qu’un intervalle de confiance?
C’est un estimé probabiliste permettant de situer le score observé à l’intérieur d’une étendue de scores donnée.
Comment calculer un intervalle de confiance?
Pour le calculer, on doit additionner et soustraire la valeur de l’ESM au score standardisé observé avec prudence…
Un exemple du calcul de l’intervalle:
score T=60, erreur standard de mesure=3. Quel est l’intervalle de confiance à 68% et 95%?
68%=57 et 63
95%=54 et 66
Quel est l’intervalle de confiance lorsque le score T augmente de 1. Ex: 60 devient 61 (95%)
95%=55 et 67
Est-ce que els intervalles de confiance peuvent changer le score obtenu?
Non! Jamais!
l’ESM peut servir à identifier un critère empirique qui permet de déterminer s’il existe quoi?
une différence significative entre les scores de deux échelles.
Quelle est la formule pour calculer l’erreur standard de différence?
ESdiff = √ (ESM1)2 + (ESM2)2
Comment savoir si c’est une différence significative?
Score 1-Score2=Différence entre les deux scores.
ESdiff est plus petit que la différence entre les deux scores.
