Cours 4 Flashcards
Que signifie la fidélité lorsqu’il est question d’un instrument de mesure ?
Concerne la précision de notre mesure, soit, le niveau d’erreur de mesure qu’elle génère
Un “test fiable” ne s’applique pas au test en tant que tel mais aux scores qu’il génère -
les variations des scores résultent de différences réelles dans le construit ou alors d’imprécision (erreurs) de l’instrument de mesure ?
Vrai ou faux : La fidélité est un concept dichotomique (fiable vs non fiable)
Faux, la fidélité est un concept qui s’exprime en degré
Qu’est-ce que la théorie du score vrai ?
Score observé = score vrai + erreur de mesure
ex : 0,40 = 0,36 + 0,04
Il y a toujours de l’erreur de mesure (dans TOUT les instruments) et c’est donc primordial de l’inclure dans l’équation
MAIS, les erreurs de mesure seront moins grandes si les mesures (instruments) sont fiables (a = 1)
Il existe 2 type d’erreurs de mesure, lesquelles ?
- Aléatoire :
- fluctuation non reproductible
- présente dans tout les instruments
- distribuée autant en dessous de la moyenne qu’au dessus (distribution normale des 2 côtés)
- résulte d’une variation dans l’échantillonnage - Systématique (biais) :
- fluctuation constantes et reproductibles
- toujours dans la même direction
- pas dans tout les instruments
- pas distribuées normalement (car biais)
- résulte d’une mauvaise utilisation de l’instrument
Nommez les 4 sources d’erreur de mesure,
les instruments plus sujets pour chaque source d’erreur
ainsi que l’indice de fidélité utilisé pour estimer chaque source d’erreur?
- Erreur d’échantillonnage de contenu
- Instruments pour lesquels des résultats cohérents au sens large sont souhaités
- Coefficient de fidélité des formes parallèles - Erreur d’échantillonnage dans le temps
- Instruments de mesure de traits ou comportements relativement stables
- Coefficient de fidélité test-retest - Incohérence interne ou inter-items
- Instruments qui requièrent une grande cohérence interne ou inter-item
- Coefficient de fidélité moitié-moitié
- Coefficient de cohérence interne - Incohérence inter-informateurs
- Instruments qui impliquent un degré relativement élevé de subjectivité
- Coefficient de fidélité inter-juge
Vrai ou faux : On peux évaluer le degré de fidélité d’un instrument de mesure avec l’évaluation d’une seule personne, sans se soucier de la variance
Faux, on doit collecter les données d’un échantillon d’individus qui sont évalués avec l’instrument (variance entre les résultats)
R (coefficient d’erreur) = Variance Vrai / Variance erreur
– plus la variance vrai sera grande, plus le coefficient de fidélité s’approchera de 1.0
Expliquez le coefficient de fidélité des formes parallèles (pour mesurer les erreurs d’échantillonnage de contenu)
Le concept de base de la fidélité est qu’un instrument devrait donner les mêmes résultats d’une administration à l’autre
On développe alors deux formes équivalentes du même instrument (avec une sélection quasi-aléatoire d’items légèrement différents par instrument pour qu’ils soient représentés proportionnellement)
et on estime la corrélation des scores entre les deux instruments pour les mêmes individus (pour voir si les items sélectionnés sont tous appropriés selon le construit qu’on cherche à évaluer)
L’objectif est de mesurer le degré d’erreur dans le contenu (coefficient de 0,70 au minimum)
Expliquez le coefficient de fidélité test-retest (pour mesurer les erreurs d’échantillonnage dans le temps)
L’objectif est de mesurer des construits relativement stables dans le temps (ex : traits de personnalité)
- Si on évalue les mêmes individus avec le même instrument à 2 reprises, le score doit rester le même
L’intervalle de temps doit être assez court (2 semaines / 1 mois)
*** difficile de déterminer les raisons d’écart entre les résultats (intervalle trop long? changement réel chez les individus? bcp d’erreurs de mesure?)
Ne pas s’attendre à des corrélations trop élevées car certains construits sont assez changeant dans le temps (ex : problèmes intériorisés, névrotisme, etc,)
(coefficient de 0,70 au minimum)
Que signifie une cohérence interne? Quelles sont les deux stratégies utilisées pour évaluer la cohérence interne d’une étude ?
Lorsque les chercheurs créer des échelles pour mesurer un construit, il regroupent des items qui forment un tout cohérent sur le plan a) conceptuel et b) empirique
Deux stratégies :
1. Coefficient de fidélité moitié-moitié
2. Coefficient de cohérence interne
Expliquez en quoi l’erreur d’échantillonnage de contenu diffère de l’incohérence interne ? (deux erreurs de mesures distinctes)
pour évaluer les erreurs au niveau du contenu : il faut que tout les items de l’échelle mesurent bien le construit de la même manière
pour évaluer les erreurs de cohérence interne, il faut que les items soient significativement corrélés entre eux
Expliquez le coefficient moitié-moitié (a)
et nommez la prophétie à appliquer avec des échelles brèves d’items
Les chercheurs divisent en 2 les items d’une échelle et estime les corrélations entre ces deux moitiés
Prophétie de Spearman : plus il y a d’items dans une échelle, plus sa fidélité est élevé
Prophétie de Spearman-Brown : lorsqu’il y a moins d’items dans une échelle, appliquer la formule pour déterminer qu’elle serait la corrélation avec plus d’items
Expliquez le coefficient de cohérence interne (b)
Nommez les 3 indices utilisés pour estimer la cohérence interne
Estimation de l’homogénéité de tous les items d’une échelle (plus de moitié-moitié)
Estimé statistique qui quantifie l’ensemble des inter-corrélations entre tous les items d’une échelle
- Alpha de Cronbach
- Kuder-Richardson-20
- Omega de McDonald
Quand utiliser l’indice Alpha de Cronbach (a ; Cronbach)
Pour les items continus (5 choix de réponse ou plus)
- On assume (mais ne teste pas) que les items mesurent une même variable latente (construit)
- On assume que tous les items sont reliés de la même façon à la variable latente (construit)
- Le coefficient de a est l’équivalent de la moyenne de toutes les moitié-moitié possibles (toutes les combinaisons possibles)
- Les corrélations entre items doivent être élevées pour donner une valeur alpha élevée (a)
Quand utiliser l’indice Kuder-Richardson (KR-20)?
Pour les items dichotomiques (2 choix de réponse oui/non, vrai/faux)
- On assume (mais de teste pas) que les items mesurent une même variable latente (construit)
- On assume que le pourcentage de réponse correctes est le même pour tout les items
Quand utiliser l’indice Omega de McDonald (w; McDonald) ?
Lorsqu’on veut tester explicitement que les items mesurent une même variable latente (construit) en utilisant l’analyse factorielle
- On assume pas que les items mesurent une même variable latente (construit)
- Estimé de fidélité plus prés de la réalité que le Alpha ou KR-20 (qui sont de bons estimés de fidélité seulement lorsque tout les items sont vraiment équivalents)
Quels sont les coefficients de corrélation acceptables lorsqu’on évalue la cohérence interne?
coefficient de 0,60 minimum en recherche
coefficient de 0,80 minimum en pratique clinique car nécessite de prendre des décisions cliniques
1 = Items d’une échelle très cohérent entre eux et donc que l’échelle génère peu d’erreurs de mesure
0 = Les items ne sont pas homogènes, sont trop indépendant (ne vont pas ensemble)
0,95 = moins intéressants car veut probablement dire qu’il y a redondance de contenu (principe de parcimonie)
0,50 = attendu pour les échelles à 2-3 items (prophétie de Spearman) donc application de la transformation de Spearman Brown pour connaître la fidélité prédite de l’échelle si elle avait plus d’items
Expliquez le coefficient de fidélité inter-juges (pour mesurer l’incohérence inter-informateurs)
Plusieurs construits intéressants en psychologie et psychoéducation sont influencés par la subjectivité des informateurs (ex : pensées, comportements sexuels, consommation)
Le coefficient de fidélité inter-juge vise à vérifier si les évaluations des mêmes individus (avec le même instrument) différent ou corrèlent selon les évaluateurs (juges)
Quelle est la différence principale entre la fidélité inter-juge et l’accord inter-juge ?
Quand est-ce important d’avoir un fort accord inter-juge ?
La fidélité inter-juge compare la variabilité (variance) entre les informateurs
L’accord inter-juge vérifie si les informations sont en accords exactement, ne considère pas la variance entre eux
*** important d’avoir un fort accord inter-juge en observation ou lorsqu’on utilise des échelles d’évaluation nominales, ordinales, intervalles, ratio)
Nommez les 2 raisons qui justifient les faibles coefficient de fidélité inter-juge
- Les individus (enfants, ados, adultes) évalués vont fréquemment manifester des comportements différents dans différents contextes (en fonction des attentes différentes)
- Différents informateurs provenant de différents contextes vont percevoir et procurer de l’information différente (et complémentaire) à propos d’un même individu évalué
Vrai ou faux : Lorsqu’on utilise des instruments dimensionnels, l’accord inter-juge est significativement plus faible
Vrai
Nommez le nom des deux méta-analyse (pour les échelles d’évaluation) qui retrace la fidélité inter-juges des études sur une période de 30 ans
- Achenbach
- De Los Reyes
Expliquez les résultats apportés par la méta-analyse de Achenbach (1987)
269 échantillons provenants de 119 études
- Corrélation entre informateurs similaires (ex : deux parents) est en moyenne de 0,60
- Corrélation entre différents informateurs (ex : parent, prof) est de 0,28
- Corrélation impliquant un enfant/ado et un autre informateur est de 0,22
- Corrélations plus forte pour EXT que INT
Expliquez les résultats apportés par la méta-analyse de De Los Reyes (2015)
On maximise l’accord si :
- Les informateurs connaissent bien l’enfant (familiarité avec l’enfant, temps passé avec lui, etc.)
- Les informateurs proviennent du même contexte d’observation (ex : deux profs vs deux parents)
- Les objets de l’évaluation sont des comportements plus facilement observables
Qu’est-ce que l’ESM?
Erreur standard de mesure
Donne une indication de la quantité d’erreur de mesure associée aux scores d’une échelle
En termes de score standardisé, il s’agit de l’écart-type de la distribution des erreurs
L’ESM permet de construire un intervalle de confiance (IC) autour du score observé (intervalles de confiance à 68% = 1 ESM, 95% = 2 ESM)
EX : Le score T observé est de 60 et l’ESM est de 3
L’intervalle de confiance à 68% se situe entre 57 et 63.
L’intervalle de confiance à 95% se situe entre 54 et 66.
Vrai ou faux : il est primordial d’inclure un coefficient de fidélité (ex : Alpha de Cronbach, parallèles, fidélité inter-juge) pour calculer l’ESM ou le score vrai
VRAI
Vrai ou faux : Le score vrai est théorique, on tente de l’estimer
Vrai
Le score vrai comporte toujours une erreur de mesure normale
- si un individu rempli 50x la même échelle, il n’obtiendrait pas le même score 50x. La moyenne de ses scores (score “vrai”) + La moyenne de 0 (distribution des erreurs de mesure) = est le score observé
À quoi sert l’erreur standard sur la différence ?
Sert à déterminer si il existe une différence significative entre les scores de deux échelles différentes
Ex :
Score T = 55 (mère)
Score T = 64 (prof)
différence de 9 entre les scores T
2,5 et 3,5 = l’ESM procurés par les auteurs d’un test (mère et prof)
ESdiff = √(2,5)² + (3,5)²
ESdiff = 4,3
9 est plus grand que 4,3 DONC, différence significative entre les deux échelle
Pourquoi est-il préférable d’utiliser l’erreur standard sur la différence plutôt que la comparaison de deux échelles à IC95%?
Score T #1 = 61
Score T #2 = 56
Trop gros risque de chevauchement si on utilise l’IC 95% (et même 68%)
