Cours 4

Question 1

Que veut dire la fidélité?

Answer 1

La précision de notre mesure; le niveau d’erreur de mesure qu’elle génère

Question 2

À quoi s’applique la fidélité: au test ou aux scores?

Answer 2

Aux scores qu’il génère

(Cette distinction peut sembler une subtilité, mais elle est fondamentale pour comprendre les implications du concept de fidélité)

Question 3

Qu’est-ce qui est sous-entendu lorsqu’on affirme qu’un test est fiable?

Answer 3

Que la fidélité a été établie de façon pertinente, pour toutes les utilisations possibles, avec tous les utilisateurs, sous-groupes, etc. (E.g., un instrument de musique accordé)

Question 4

Est-ce que la fidélité est un concept dichotomique? Pourquoi

Answer 4

Non, tout est une question de degré

Question 5

Pourquoi est-ce que la fidélité est cruciale en évaluation psychoéducative?

Answer 5

Sur le plan clinique, avant de prendre des décisions importantes, on veut savoir à quel point les variations de scores - entre différents individus ou entre différents moments de mesure - résultent de différences réelles dans le construit qui nous intéresse ou plutôt d’imprécisions (erreurs de l’instrument de mesure qu’on utilise).
Autrement dit, on veut savoir à quel point le score vrai est estimé avec justesse

Question 6

Que comprend la théorie psychométrique classique?

Answer 6

La théorie du score vrai

Score observé = score vrai + erreur de mesure

Question 7

Est-il possible d’avoir un instrument sans erreur de mesure?

Answer 7

Non, il y en a toujours

Les chercheurs tentent de construire des instruments qui vont la limiter le plus possible

Question 8

Pourquoi les praticiennes doivent-elles bien connaitre la fidélité des instruments qu’elles utilisent?

Answer 8

Pour faire une interprétation rigoureuse et prudente des scores

Question 9

!Quels sont les deux grands types d’erreurs de mesure?

Answer 9

• Aléatoires
• Systématiques (ou biais)

Question 10

!Qu’est-ce que l’erreur aléatoire?

Answer 10

• Fluctuations statistiques non reproductibles: toujours présentes pour tous les instruments
• Autant au-dessus qu’en dessous de la moyenne
• Distribuées normalement

Question 11

!Qu’est-ce qui cause l’erreur aléatoire?

Answer 11

Variation dans l’échantillonnage

Question 12

!Comment minimiser/évaluer l’erreur aléatoire?

Answer 12

• Plus grands échantillons
• Plus de moments de mesure
• Peuvent être plus facilement estimées/contrôlées statistiquement

Question 13

!Qu’est-ce que l’erreur systématique?

Answer 13

• Fluctuations constantes et reproductibles, qui sont toujours dans la même direction. Pas dans tous les instruments
• Surestimation ou sous-estimation constante des paramètres (e.g., la moyenne)
• Pas distribuées normalement

Question 14

!Quelles sont les causes de l’erreur systématique?

Answer 14

• Mauvaise utilisation de l’instrument
• Conditions d’administration inadéquates
• Imperfections de l’instrument

Question 15

!Comment minimiser/évaluer l’erreur systématique?

Answer 15

• Difficiles à détecter, souvent ne sont pas connues
• Plus difficile à quantifier statistiquement

Question 16

!Quelles sont les 4 types de fidélité en fonction des sources d’erreur de mesure possibles?

Answer 16

• Erreur d’échantillonnage de contenu
• Erreur d’échantillonnage dans le temps
• Incohérence interne, ou inter-items
• Incohérence inter-informateurs

Question 17

!Pour la source d’erreur de mesure Erreur d’échantillonnage de contenu, quel est…
- Type d’instruments sujets à chaque source d’erreur
- Indice de fidélité utilisé pour estimer l’erreur

Answer 17

Instruments pour lesquels des résultats cohérents au sens large sont souhaités

Coefficient de fidélité des formes parallèles (ou coefficient de congruence)

Question 18

!Pour la source d’erreur de mesure Erreur d’échantillonnage dans le temps, quel est…
- Type d’instruments sujets à chaque source d’erreur
- Indice de fidélité utilisé pour estimer l’erreur

Answer 18

Instruments de mesure de traits ou comportements relativement stables

Coefficient de fidélité test-retest (ou de stabilité temporelle)

Question 19

!Pour la source d’erreur de mesure Incohérence interne ou inter-items, quel est…
- Type d’instruments sujets à chaque source d’erreur
- Indice de fidélité utilisé pour estimer l’erreur

Answer 19

Instruments qui requièrent une grande cohérence interne ou inter-item

Coefficient de fidélité moitié-moitié
Coefficient de cohérence interne

Question 20

!Pour la source d’erreur de mesure incohérence inter-informateurs, quel est…
- Type d’instruments sujets à chaque source d’erreur
- Indice de fidélité utilisé pour estimer l’erreur

Answer 20

Instruments qui impliquent un degré relativement élevé de subjectivité

Coefficient de fidélité inter-juges (ou accord inter-juges)

Question 21

Est-il possible d’évaluer le degré de fidélité d’un instrument de mesure avec l’évaluation d’une seule personne?

Answer 21

Non, on doit collecter les données d’un échantillon d’individus qui sont évalués avec l’instrument

Question 22

Complète les phrases suivantes:
Plus la part de variance vraie sera grande, plus le coefficient de fidélité…
Plus la part de variance erreur sera grande, plus le coefficient…

Answer 22

S’approchera de 1.0

S’approchera de 0

Question 23

Quelle est la définition de la fidélité à la base?

Answer 23

Un instrument devrait donner les mêmes résultats d’une administration à l’autre, il s’agit d’une mesure classique de la fidélité

Question 24

En quoi consiste la fidélité des formes parallèles?

Answer 24

On développe deux formes équivalentes du même instrument et on estime la corrélation des scores entre les deux formes pour les mêmes individus

Instruments tout à fait similaires conceptuellement, mais avec des items légèrement différents

Question 25

Qu’est-ce qui est crucial pour pouvoir interpréter avec confiance la fidélité des formes parallèles?

Answer 25

La question de l’échantillonnage de contenu

Question 26

Comment choisir des items avec les formes parallèles?

Answer 26

Il faut faire une sélection quasi-aléatoire (on ne peut pas simplement choisir des items au hasard dans une grande banque d’items) Tous les domaines ou sous-domaines spécifiques du construit doivent être représentés proportionnellement

Question 27

Les deux formes parallèles sont-elles supposées mesurer le construit de la même façon?

Answer 27

Oui

Question 28

!Quel est l’objectif de l’utilisation des formes parallèles?

Answer 28

Estimer le degré d’erreur dans le contenu

Question 29

Après la collecte de données, que révèle les formes parallèles?

Answer 29

Corrélation élevée suggère bonne précision, ou dit autrement, peu d’erreurs de mesure

Question 30

Avec les formes parallèles, y’a-t-il un coefficient minimum attendu? Pourquoi?

Answer 30

Pas vraiment, puisque la corrélation dépendra du contenu (complexité du construit), en plus de facteurs personnels des individus évalués (e.g., réaction différente aux deux formes, fatigue, etc.) On s’attend quand même typiquement à un coefficient de **0,70** au minimum

Question 31

!Qu’est-ce que la fidélité test-retest?

Answer 31

On cherche à savoir si on évalue les mêmes individus avec le même instrument à deux reprises dans le temps, est-ce qu’ils obtiennent les mêmes résultats (scores)? Pour l’estimer, l’intervalle de temps doit être assez court (environ 2 semaines à 1 mois)

Question 32

Après la collecte de données, que révèle la fidélité test-retest?

Answer 32

Une corrélation élevée suggère bonne précision, peu d’erreurs de mesure

Question 33

Avec la fidélité test-retest, y’a-t-il un coefficient minimum attendu? Pourquoi?

Answer 33

Pas vraiment, mais si la corrélation est forte (au moins 0,70) l’instrument est considéré fiable

Question 34

Avec la fidélité test-retest, comment interpréter un écart entre les résultats (corrélation faible)?

Answer 34

Il est parfois difficile de déterminer les raisons (Intervalle de temps trop long? Changement réel chez les individus? Quantité d’erreurs de mesure?)

Question 35

De façon générale, faut-il s’attendre à des corrélations très élevées pour la fidélité test-retest?

Answer 35

Non, car certains construits sont assez plastiques ou changeants dans le temps

Question 36

Lorsque les chercheuses créent des échelles, elles tentent de regrouper des items qui forment quoi? Sur quels plans?

Answer 36

Un tout cohérent, autant sur le (a) plan conceptuel que sur le (b) plan empirique Autrement dit, il ne suffit pas que des experts suggèrent qu’un groupe d’items mesurent bien un construit, mais il faut aussi que les items soient significativement corrélés entre eux

Question 37

Que peut-on se demander lorsqu’il y a des faibles corrélations entre les items?

Answer 37

S’ils mesurent vraiment le même construit

Question 38

Quelles sont les deux stratégies souvent utilisées pour évaluer la cohérence interne?

Answer 38

(1) Coefficient de fidélité moitié-moitié (2) Coefficient de cohérence interne

Question 39

!En quoi consiste la stratégie moitié-moitié (cohérence interne)?

Answer 39

Les chercheuses divisent en deux les items d’une échelle et on estime ensuite les corrélations entre ces deux moitiés. L’échantillonnage de contenu est très important, il faut un **sélection quasi-aléatoire des items** Après collecte des données: une corrélation élevée entre les deux moitiés indique bonne fidélité, peu d’erreurs de mesure

Question 40

Quel est le problème méthodologique avec le coefficient moitié-moitié?

Answer 40

Avec moins d’items, les corrélations vont toujours être moins fortes, nonobstant le niveau de fidélité Prophétie de Spearman: Plus il y a d’items dans une échelle, plus sa fidélité est élevée (Avec des échelles brèves, on peut appliquer la formule de la prophétie pour déterminer quelle serait la corrélation avec plus d’items)

Question 41

!En quoi consiste le coefficient de cohérence interne?

Answer 41

Les chercheuses estiment **l’homogénéité** de tous les items d’une échelle. Il s’agit d’un estimé statistique **quantifiant l’ensemble des inter-corrélations** entre tous les items d’une échelle Est-ce que les items d’une échelle forment un tout cohérent sur le plan empirique, sont assez fortement corrélés - et donc génèrent peu d’erreurs de mesure

Question 42

Quels sont les deux indices très utilisés pour estimer la cohérence interne? Et le plus récent?

Answer 42

Alpha de Cronbach et Kuder-Richardson-20 Omega de McDonald

Question 43

!En quoi consiste le Alpha de Cronbach?

Answer 43

- Pour les items continus - On assume (mais ne teste pas) que les items mesurent une même variable latente - On assume aussi que tous les items sont reliés de la même façon à la variable latente (i.e., tau équivalent) - Statistiquement parlant, le coefficient a est l’équivalent de la moyenne de toutes les moitié-moitié possibles (toutes les combinaisons possibles)

Question 44

Dans le coefficient alpha, que doivent être les corrélations entre les items pour donner une valeur alpha élevée?

Answer 44

Élevées Comme le nombre d’items est un facteur de l’équation, plus il y a d’items, plus alpha sera élevé

Question 45

!En quoi consiste le Kuder-Richardson-20?

Answer 45

- Un cas spécial du alpha de Cronbach pour les items dichotomiques - Comme pour alpha, lorsqu’on utilise KR-20, on assume (mais ne teste pas) que les items mesurent une même variable latente - On assume aussi que le pourcentage de réponses correctes est la même pour tous les items - Il existe une équation plus simple (KR-21)

Question 46

!En quoi consiste le Omega de McDonald?

Answer 46

- Contrairement aux deux autres, on teste explicitement que les items mesurent une même variable latente en utilisant l'analyse factorielle - Le postulat irréaliste que tous les items sont reliés de la même façon à la variable latente n'a pas besoin d'être respecté - les saturations factorielles peuvent être différentes - Omega a tendance à procurer un estimé de la fidélité d'une échelle plus près de la réalité que le alpha ou le KR-20

Question 47

Quel indice pour estimer la cohérence a tendance à procurer un estimé de la fidélité d'une échelle plus près de la réalité?

Answer 47

Omega

Question 48

Alpha est un bon estimé de la fidélité seulement lorsque quoi?

Answer 48

Lorsque tous les items sont vraiment tau équivalents (tous les items sont reliés de la même façon à la variable indépendante)

Question 49

Les coefficients de cohérence interne varient tous entre quoi?

Answer 49

0 et 1

Question 50

Pour la cohérence interne, que souhaite-t-on après la collecte de données?

Answer 50

Un coefficient près de 1, ce qui suggère que les items d'une échelle sont très cohérents, qu'ils forment un tout; donc l'échelle génère peu d'erreurs de mesure

Question 51

Pour la cohérence interne, que se passe-t-il si le coefficient est près de 0 après la collecte de données?

Answer 51

Les items ne sont pas homogènes, suggère que les questions de l'échelle sont trop indépendantes, ne vont pas ensemble; donc l'échelle n'est pas précise, elle génère beaucoup d'erreurs

Question 52

Quels coefficients (cohérence interne) sont satisfaisants/accepter... - Typiquement? - En recherche? - Dans la pratique clinique?

Answer 52

- Typiquement, un coefficient de **0,70** et plus est considéré satisfaisant - En recherche, puisqu'on peut appliquer une correction on accepte parfois des coefficients de **0,60** (en recherche, avec des modèles statistiques avancés utilisant des variables latentes, on peut obtenir des estimés sans aucune erreur de mesure) - Dans la pratique clinique, on préfère toutefois des indices de cohérence interne minimum de **0,80** et plus

Question 53

Pourquoi dans la pratique clinique on préfère des indices de cohérence interne minimum de 0,80 et plus?

Answer 53

L'erreur de mesure dans une échelle est un problème grave si vous vous basez sur cet instrument pour prendre une décision clinique importante qui aura une influence sur la vie d'un individu!

Question 54

Pourquoi des coefficients de cohérence interne très élevés (plus de 0,95) sont parfois considérés moins intéressants?

Answer 54

Puisque ceci suggère qu'il y a potentiellement redondance de contenu, i.e., certaines questions mesurent probablement la même chose Il est assez fréquent dans une échelle de retrouver des items très similaires avec des différences minimes de formulation Principe de parcimonie: les auteurs.trices pourraient enlever certaines questions

Question 55

Est ce que des indices pas très élevés de cohérence interne pour des échelles avec peu d'items signifient un problème majeur de précision?

Answer 55

Non, pas de facto. C'est attendu (prophétie de Spearman) On peut alors appliquer la transformation de Spearman-Brown pour connaitre la fidélité prédite de l'échelle si elle avait davantage d'items

Question 56

Bien qu'il est attendu que les instruments de mesure ne soient pas influencés par la subjectivité des informateurs, qu'est-ce qui l'est? Et comment l'estimer?

Answer 56

Plusieurs construits qui nous intéressent en psychologie et en psychoéducation Par exemple, les pensées ou certains comportements plus secrets (e.g., comportements sexuels, consommation de substances psychoactives) sont généralement difficiles à évaluer par différents informateurs Pour l'estimer, on vérifie si les évaluations des mêmes individus effectuées avec le même instrument, mais par différents informateurs sont corrélées

Question 57

!Qu'est-ce que la fidélité inter-juges?

Answer 57

Renvoie au degré de cohérence (ou corrélation) entre différents informateurs avec des mesures continues; on compare la variabilité (variance) entre les informateurs

Question 58

!Qu'est-ce que l'accord inter-juges?

Answer 58

Renvoie plutôt à une mesure de degré auquel des informateurs sont en accord exactement - souvent avec des mesures catégorielles; on ne considère pas la variance

Question 59

Quelle estimation est cruciale en observation?

Answer 59

Celle de l'accord inter-juges

Question 60

Quelles corrélations obtient-on généralement pour les instruments dimensionnels?

Answer 60

Des corrélations significativement plus faibles que celles attendues pour les autres types de fidélité (i.e., moins de 0,70)

Question 61

Comment étaient interprétées les coefficients de fidélité inter-juges plutôt faibles dans le passé? Et comment sont-elles interprétées aujourd'hui?

Answer 61

Dans le passé: Mauvaise fidélité des échelles Aujourd'hui: C'est attendu Les individus vont fréquemment manifester des comportements différents dans différents contextes, notamment parce que les attentes sont différentes Différents informateurs provenant de différent contextes peuvent percevoir et procurer de l'information différente (et complémentaire) à propos d'un même individu évalué

Question 62

Quelles sont les deux méta-analyses pour l'estimation de l'accord inter-juges pour les échelles d'évaluation?

Answer 62

- Achenbach et al - De Los Reyes et al

Question 63

Quels sont les résultats de la méta-analyse de Achenbach et al?

Answer 63

- Corrélation entre informateurs similaires (deux parents): en moyenne 0,60 - Corrélation entre différents informateurs (un parent et un enseignant): 0,28 - Corrélation impliquant l'enfant/ado et un autre informateur: 0,22 - Corrélations plus fortes pour EXT que INT

Question 64

Quels sont les résultats de la méta-analyse de De Los Reyes et al?

Answer 64

Résultats quasi identiques à ceux de Achenbach et al

Question 65

Donc, quelles sont les conclusions des deux méta-analyses (Achenbach et De Los Reyes)?

Answer 65

On maximise l'accord si les informateurs - Connaissent bien l'enfant (familiarité avec l'enfant, temps passé avec lui/elle assez élevé) - Proviennent d'un même contexte d'observation (e.g., deux enseignants, deux parents) - Les objets de l'évaluation sont des comportements plus facilement observables, par opposition à des choses moins facilement observables (e.g., un cpt vs une pensée)

Question 66

Comment est aussi appelée une erreur standard de mesure (ESM)? Qu'est-ce que c'est?

Answer 66

Parfois aussi appelée erreur type de mesure Donne une indication de la quantité ou de degré d'erreur de mesure associée aux scores d'une échelle En termes de score standardisé, il s'agit de l'écart-type de la distribution des erreurs

Question 67

Que veut-on dire lorsqu'on dit que le score vrai est théorique?

Answer 67

On tente de l'estimer E.g., si un individu rempli 50 fois la même échelle, il n'obtiendrait pas le même score 50 fois, on observerait plutôt une distribution, avec une moyenne (qui serait le score vrai) et une distribution des erreurs de mesure (qui serait normale, avec une moyenne de 0)

Question 68

Avec l'aide de quoi est estimée l'ESM? Il est donc inversement lié à quoi?

Answer 68

Estimée à l'aide d'un coefficient de fidélité (Alpha ou autre) Est donc inversement liée à la fidélité: plus la fidélité est élevée, moins l'ESM est grande et vice-versa

Question 69

Dans la pratique en évaluation, à quoi servent les ESM?

Answer 69

À construire un intervalle de confiance (IC) autour du score observé

Question 70

Qu'est-ce que l'intervalle de confiance?

Answer 70

Un **estimé probabiliste** permettant de situer le score observé à l'intérieur d'une étendue de scores donnée - Permet une interprétation plus rigoureuse et prudente qui tient compte de l'erreur de mesure - Selon les instruments, on peut parfois avoir des intervalles à 68% (1 ESM) et à 95% (2 ESM) Pour le calculer, on doit additionner et soustraire la valeur de l'ESM au score standardisé observé

Question 71

Considérant un score-T observé de 60 et considérant que l'ESM est de 3 - Quel serait un intervalle de confiance à 68%? - Quel serait un intervalle de confiance à 95%?

Answer 71

IC de 68%: de 57 à 63 IC de 95%: de 54 à 66

Question 72

L'ESM peut servir à identifier quoi?

Answer 72

Un critère empirique qui permet de déterminer s'il existe une différence significative entre les scores de deux échelles

Question 73

Qu'est-ce qu'une erreur standard sur la différence (ESdiff)?

Answer 73

Calculée à partir des ESM procurées par les auteurs.trices d'un test Exemple: Voir diapo 45 du cours 4