Cours 4

Question 1

Qu’est-ce que la fidélité?

Answer 1

La fidélité concerne la PRÉCISION de notre mesure, c’est-à-dire le niveau d’erreur qu’elle génère.

(Un instrument devrait donner les memes résultats d’une administration à l’autre.)

Question 2

Devrait-on dire qu’un test est fiable? **

Answer 2

NON. La qualité de fiabilité de s’applique pas au teste en tant que tel, mais s’applique plutot aux scores que le test génère. Ce n’est pas le score qui est fiable ou non, ce sont les scores qui sont fiables ou non.* Un test ne peut tjrs etre fiable (il sera fiable en fonction de certaines populations, certaines utilisation, etc.).

LA FIDELETÉ EST UNE CARACTÉRISTIQUE DES SCORES. *

Affirmer qu’un test est fiable sous-entend que la fidélité a été établie de façon permanente, pour toutes les utilisations, avec tous les utilisateurs (mais faux).

Question 3

La fidélité est-elle un concept dichotomique?

Answer 3

Non, elle n’est pas dichotomique (fiable vs pas fiable). Tout est une question de degré (peut etre fiable à un certain niveau).

Question 4

Qu’est-ce qui est crucial en évaluation psychoéducative concernant les variations des scores?

Answer 4

Sur le plan clinique, avant de prendre des décisions importantes, on veut savoir à quel point les variations des scores (entre différents individus ou moments de mesure), résultent de différences RÉELLES dans le construit qui nous intéresse, ou plutot d’imprécisions (d’erreurs) de l’instrument de mesure qu’on utilise.
- DONC, on veut savoir à quel point le score vrai est estimé avec justesse.

Question 5

Qu’est-ce que la théorie du score vrai?

Answer 5

score observé = score vrai + erreur de mesure

Qu’on le veuille ou non, il y a tjrs de l’erreur de mesure, dans TOUS les instruments.

Les chercheurs tentent de de construire des instruments qui vont limiter l’erreur, le plus possible.

Les praticiens doivent bien connaitre la fidélité des instruments qu’ils utilisent, pour faire une interprétation rigoureuse et prudente des scores. Ce qu’on veut savoir, c’est à quel point il y a des erreurs.

Question 6

Est-ce qu’une seule mesure moins fiable peut avoir de grandes répercussions?

Answer 6

Oui, avec une seule mesure moins fiable, l’erreur de mesure peut devenir bcp plus grand, ce qui diminue fortement la corrélation. Il faut donc etre prudent puisque les erreurs peuvent affecter la corrélation estimé entre deux variables.

Question 7

Quels sont les deux grands types d’erreurs (leur définition, cause et comment les minimiser ou évaluer)

Answer 7

1. Aléatoires
   Définition: Fluctuations statistiques non reproductibles (elles surviennent dans n’importe quelle direction et à n,importe quel moment); TJRS présentes pour tous les instruments.
   Autant au-dessus qu’en dessous de la moyenne.
   Distribuées normalement (pcq ces erreurs se rapprochent souvent de la moyenne)
   Cause: Variation dans l’échantillonnage
   Comment les minimiser ou évaluer: Plus grands échantillons, plus de moments de mesure, peuvent etre plus facilement estimées ou controlées statistiquement.
2. Systématiques (ou biais)
   Définition: Fluctuations constantes et reproductibles, qui sont toujours dans la meme direction (ex. si un groupe est favorisé, sera tjrs le meme) et qui ne sont pas présents dans tous les instruments.
   Surestimation ou sousestimation constante des paramètres (ex la moyenne) pour un sous-groupe donné.
   Pas distribués normalement (pcqu’il y a tjrs un groupe au dessous ou en dessous de la moyenne).
   Cause: Mauvaise utilisation de l’instrument. Conditions d’administration inadéquates. Imperfections de l’instrument.
   Comment les minimiser ou évaluer: Difficiles à détecter, souvent ne sont pas connues. Plus difficile à quantifier statistiquement.

Question 8

Quels sont les 4 types de fidélité en fonction des sources d’erreur de mesure possibles?

Answer 8

1. Erreur d’échantillonnage de contenu
2. Erreur d’échantillonnage dans le temps
3. Incohérence interne, ou inter-items
4. Incohérence inter-informateurs

Question 9

Quel est le type d’instruments sujets à la source d’erreur et l’indice de fidélité pour estimer l’erreur d’échantillonnage de contenu?

Answer 9

Type d’instruments: Instruments pour lesquels des résultats cohérents au sens large sont souhaités

Indice de fidélité utilisé pour estimer l’erreur: coefficient de fidélité des formes parallèles (ou coefficient de congruence)

Question 10

Quel est le type d’instruments et l’indice de fidélité pour estimer l’erreur d,échantillonnage dans le temps?

Answer 10

Type d’instruments: Instruments de mesure de traits ou comportements relativement stables dans le temps.

Indice de fidélité: Coefficient de fidélité test-retest (ou de stabilité temporelle)

Question 11

Quel est le type d’instruments et l’indice de fidélité pour estimer l’incohérence interne (ou inter-items)?

Answer 11

Type d’instruments: Instruments qui requiert une grande cohérence interne ou inter-items (grande cohérence entre les items d’une meme échelle = pas bon).

Indice de fidélité: Coefficient de fidélité moitié-moitié ou coefficient de cohérence interne

Question 12

Quel est le type d’instruments et l’indice de fidélité pour estimer l’incohérence inter-informateurs?

Answer 12

Type d’instruments: Instruments qui impliquent un degré relativement élevé de subjectivité (lorsque comportements mesurés sont subjectifs, va y avoir des incohérences entres les informateurs).

Indice de fidélité: Coefficient de fidélité inter-juges (ou accord inter-juges).

Question 13

Peut-on évaluer le degré de fidélité d’un instrument de mesure avec l’évaluation d’une seule personne?

Answer 13

Non. Il faut collecter les données d’un échantillon d’individus qui sont évalués avec l’instrument.

Question 14

De quelle manière est représentée la fidélité selon la théorie du score vrai, avec des données (variance)?

Answer 14

rx = VARvraie divisé par VARerreur

Question 15

Que nous dit la variance sur la fidélité?

Answer 15

La variance est la variabilité entre les gens (les différences de scores obtenus).

Plus la part de variance VRAIE sera grande, plus le coefficient de fidélité s’approchera de 1.0, alors que plus la part de variance ERREUR sera grande, plus le coefficient ‘approchera de 0.

Question 16

Qu’est-ce que l’indice de fidélité des formes parallèles?

Answer 16

On développe deux formes équivalentes du meme instrument et on estime la corrélation des scores entre les deux formes pour les memes individus.

On parle ici d’instruments tout à fait similaires conceptuellement, mais avec des ITEMS légèrement différents. (Donc, pas exactement les memes questions, mais mesurent de façon fiable et valide les memes construits. Les instruments se présentent sous différentes formes, mais offrent essentiellement le meme résultat.)
- DOIT OFFRIR LE MEME RÉSULTAT, SINON SERT À RIEN (doit y avoir une forte corrélation entre les résultats des deux versions pour que soit valide)

La question d’ÉCHANTILLONNAGE DE CONTENU est cruciale pour pourvoir interpréter avec confiance cette forme de fidélité.

Question 17

Quel type de sélection d’items faut-il privilégier dans les formes parallèles? Pourquoi

Answer 17

Il faut faire une sélection quasi- aléatoire des items (on ne peut choisir des items au hasard dans une grande banque d’items).
- Ceci est important puisque tous les domaines ou sous-domaines spécifiques du construit doivent etre représentés proportionnellement.

Question 18

Quel est l’objectif des formes parallèles?

Answer 18

Comme les deux formes parallèles sont supposées mesurer le construit de la meme façon, l’objectif est de voir LE DEGRÉ D’ERREUR DANS LE CONTENU.

Question 19

Qu’est-ce qui suggère peu d’erreurs de mesure dans les formes parallèles?

Answer 19

Après la collecte de données, si la corrélation est élevée, suggère une bonne précision (peu d’erreurs de mesure)

Question 20

Y a t-il un coefficient minimum concernant la corrélation attendue dans les formes parallèles? Si oui, combien?

Answer 20

Il n’y a pas vraiment de coefficient minimum attendu, puisque la corrélation dépendra du contenu (complexité du construit), en plus de facteurs personnels des individus évalués (ex. rxns différentes aux deux formes).
Mais, on s’attend quand meme à 0.70 au minimum pour que la corrélation soit considérée bonne.

Question 21

Qu’est-ce que l’indice de fidélité test-retest?

Answer 21

Certains instruments prétendent mesurer des construits relativement stables dans le temps (ex. traits de personnalité).

Ici, on tente donc d’évaluer les memes individus, avec le meme instrument à deux reprises dans le temps , afin de déterminer s’ils obtiennent les memes résultats (scores).

Question 22

L’intervalle de temps pour estimer la fidélité test-retest doit-il etre court ou long?

Answer 22

Il doit etre assez court (environ deux demaine à un mois).

Question 23

Qu’est-ce qui suggère peu d’erreurs de mesure dans la fidélité test-retest?
Y-a-t’il un coefficient minimum?

Answer 23

Après la collecte de données, une corrélation élevée suggère une bonne précision.

Il n’y a pas vraiment de coefficient minimum, mais si la corrélation est forte (au moins 0.70), l’instrument est considéré fiable.

Question 24

S’il y a un écart entre les résultats du test-retest, c’est-à-dire une corrélation faible, quelle est la raison?

Answer 24

Il est parfois difficile de déterminer les raisons. Il se peut que l’intervalle de temps soit trop long, qu’il y ait des changements réels chez les individus, que ce soit en raison d’une quantité d’erreurs de mesures, etc.

Il faut donc faire attention.

Question 25

Faut- il s’attendre à des corrélations très élevées pour la fidélité test-retest?

Answer 25

Non, car certains construits sont assez plastiques ou changeant dans le temps.
ex. Problèmes intériorisés changent plus rapidement, le névrotisme change plus que l’extraversion, etc.

Question 26

Qu’est-ce que la cohérence interne?***

Answer 26

Lorsque les chercheurs créent des échelles, ils tentent de regrouper des items qui forment un tout cohérent, autant sur le (a) plan conceptuel que sur (b) le plan empirique
- Il ne suffit pas que des experts suggèrent qu’un groupe d’items mesurent bien un construit, mais il faut aussi que les items soient SIGNIFICATIVEMENT CORRELÉS ENTRE EUX.
- Avec de faibles corrélations entre les items, on peut se demander s’ils mesurent vraiment le meme construit. (peut y avoir de petites variations, mais pas trop pcq doit mesurer un meme construit).

La cohérence interne est évaluée dans tous les instruments.

Question 27

Quelles sont les deux stratégies souvent utilisées pour évaluer la cohérence interne?

Answer 27

1) coefficient de fidélité moitié-moitié
2) coefficient de cohérence interne

Question 28

Qu’est-ce que la stratégie du coefficient moitié-moitié? Qu’est-ce qui indique peu d’erreurs de mesure?

Answer 28

Les chercheurs divisent en deux les items d’une échelle et on estime ensuite les corrélations entre ces deux moitiés.

Encore une fois ici, l’échantillonnage de contenu est très important. Il faut une sélection quasi-aléatoire des items.

Il y a peu d’erreurs de mesure (une bonne fidélité), si après la collecte de données, il y a une corrélation élevée entre les deux moitiés.

Question 29

Quel est le problème méthodologique de la cohérence interne?***
Expliquez la prophétie de Spearman.

Answer 29

Avec moins d’items, les corrélations vont toujours etre moins fortes, malgré le niveau de fidélité. MOINS IL Y A D’IEMS, PLUS LA CORRÉLATION EST FAIBLE, S’AGIT D’UNE LOI PSYCHOMÉTRIQUE. La corrélation entre les deux items sera donc SOUS-ESTIMÉ, ce qui mène à des ERREURS.

Spearman: Plus il y a d’items dans une échelle, plus sa fidélité est élevée.
Avec des échelles brèves, on peut appliquer la formule de la prophétie de Spearman pour déterminer quelle serait la corrélation avec plus d’items.

Question 30

Qu’est-ce que la stratégie de cohérence interne?

Answer 30

Les chercheurs estiment l’homogénéité de tous les items d’une échelle.
Il s’agit d’un estimé statistique quantifiant l’ensemble des inter-corrélations entre TOUS les items d’une échelle.

Est-ce que les items d’une échelle forment un tout cohérent sur le plan empirique (sont assez fortement corrélés), et donc, génèrent peur d’erreurs de mesure?

Ici, on tente TOUTES les combinaisons d’items possibles (tous les moitié-moitié) pour résumer toutes les inter corrélations. *

Question 31

Quels sont les deux indices très utilisés pour estimer la cohérence interne, et l’indice le plus récent?

Answer 31

Les deux indices les plus utilisés: Alpha de Cronbach et Kuder-Richardson-20

Le plus récent: Oméga de McDonald

Question 32

Qu’est-ce que l’Alpha de Cronbach? ***

Answer 32

• Pour les items continus (donc qui ne sont pas dichotomiques, mais plutot à choix multiples).
• On assume (mais ne test pas) que les items mesurent une meme variable latente
• On assume aussi que tous les items sont reliés de la meme façon à la variable latente (qu’ils sont corrélés de manière équivalente les uns entre les autres)
• Statistiquement parlant, le coefficient alpha est l’équivalent de la moyenne de tous les moitié-moitié possibles (toutes les combinaisons possibles)

*** Doit se rappeler que l’alpha mesure toutes les inter-corrélations.

Question 33

Quel est le calcul du coefficient alpha?

Answer 33

La covariance moyenne des items est divisée par la variance totale. Donc, les corrélations entre les items doivent etre élevées pour donner une valeur alpha élevée.

Comme le nombre d’items est un facteur de l’équation, plus il y a d’items, plus alpha sera élevé.

Question 34

Avec le coefficient alpha, est-ce que chaque item est corrélé avec la corrélation totale?

Answer 34

Non, la corrélation n’est pas toujours la meme. Mais, plus les corrélations sont cohérentes, plus la fidélité est bonne.

Question 35

Qu’est-ce que le Kuder-Richardson-20?

Answer 35

• Un cas spécial du alpha de Cronbach pour les items DICHOTOMIQUES.
• Comme pour l’alpha, lorsqu,on utilise KR-20, on assume (mais ne test pas) que les items mesurent une meme variable latente.
• On assume aussi que le pourcentage de réponses correctes est le meme pour tous les items.
• Il existe une équation plus simple (KR-21)

Question 36

Qu’est-ce que l’Omega de McDonald?

Answer 36

• Contrairement à l’alpha et KR-20, avec le Omega, on teste explicitement que les items mesurent une meme variable latente en utilisant l’analyse fonctionnelle (on tente encore une fois de faire le résumé de toutes les intercorrélations, mais ici ON TESTE, on ne fait pas juste assumer que tous ont une corrélation parfaite).
• Le postulat irréaliste que tous les items sont reliés de la meme façon à la variable latente n,a pas besoin d’etre respecté - les saturations factorielles peuvent etre différentes.
• Oméga a tendance à procurer un estimé de la fidélité d’une échelle plus près de la réalité que le alpha ou le KR-20 (Alpha est un bon estimé de la fidélité seulement lorsque tous les items sont vraiment tau équivalents).

Va y avoir une corrélation plus élevée avec l’Oméga pcq prend en compte que peut y avoir certains biais dès le départ (montre que la vraie valeur de fidélité est plus élevée).

Question 37

Les coefficients de cohérence interne varient entre quels numéros? Que signifie ces numéros?

Answer 37

Ils varient tous entre 0 et 1.

Après la collecte de données: On souhaite un coefficient près de 1.0, ce qui suggère que les items d’une échelle sont très cohérents, qu’ils forment un tout (donc que l’échelle génère peu d’erreurs).
- Si près de 0, les items ne sont PAS homogènes, ce qui suggère que les questions de l’échelle sont trop indépendantes et ne vont pas ensemble. Donc, l’échelle n’est pas précise et génère beaucoup d’erreurs.

Typiquement, un coefficient de 0,70 et plus est considéré satisfaisant.

Question 38

Quelle est le coefficient accepté en recherche vs dans la pratique clinique?

Answer 38

En recherche, nous sommes moins conservateurs puisqu’on peut appliquer une correction. On accepte parfois des coefficients d’environ 0,60.
- En fait, en recherche, avec des modèles statistiques avancées ( ex équations structurales) utilisant des variables latentes, on peut obtenir des estimés sans aucune erreur de mesure.

Dans la PRATIQUE clinique, on préfère toutefois des indices de cohérence interne au minimum de 0,80 et plus.
- L’erreur de mesure dans une échelle est un problème grave si vous vous basez sur cet instrument pour prendre une décision clinique importante qui aura une influence sur la vie d’un individu.
DONC EN PRATIQUE, LE MINIMUM DE 70 EST INSUFFISANT. MINIMUM 80.

Question 39

Un coefficient de cohérence interne très élevé (ex. 0.95 ou plus) est-il utile? À quoi peut servir l’utilisation de questions très similaires dans un questionnaire?
Qu’est-ce que le principe de parcimonie?

Answer 39

Les coefficients très élevés sont parfois considérés moins intéressants puisque ceci suggère qu’il y a potentiellement redondance de contenu (certaines questions mesurent probablement la meme chose).
- Il est assez fréquent dans une échelle de retrouver des items très similaires avec des différences minimes de formulation. D’ailleurs, lorsqu’on pose la meme question deux fois, permet de voir si la personne répond de la meme façon et donc, si le test est valide.

Principe de parcimonie: les auteurs pourraient enlever certaines questions

Question 40

Est-ce que signifie un problème de précision si l’indice de cohérence interne n’est pas très élevé pour une échelle avec peu d’items?

Answer 40

Non (prophécie de Spearman). Doit appliquer transformation de Spearman-Brown pour connaitre la fidélité prédite avec plus d’items.

Question 41

Donc, qu’est-ce que la cohérence interne?***

Answer 41

UN RÉSUMÉ QUANTITATIF DE TOUTES LES INTER-CORRÉLATIONS.

Question 42

Donnez des exemples de construits influencés par la subjectivité des informateurs. Comment estimer cette subjectivité?

Answer 42

Meme s’il est attendu que les instruments de mesure ne soient pas influencés par la subjectivité des informateurs, c’est le cas pour plusieurs construits.
Ex. comportements sexuels, consommation

Bref, certaines pensées ou compts sexuels sont difficiles à évaluer par différents informateurs.

Pour estimer la subjectivité, on vérifie si les évaluations des memes individus efffectuées avec le meme instrument, mais par différents informateurs sont correlés.

Question 43

Quelle est la différence entre la fidélité inter-juges et l’accord inter-juges?

Answer 43

Sont souvent utilisés de façon interchangeable, mais ne faudrait pas.

Fidélité inter-juges: degré de cohérence (ou corrélation) entre différents informateurs avec des mesures continues. On compare la variabilité (variance) entre les informateurs.

Accord inter-juges: renvoie plutot à une mesure de degré auquel des informateurs sont en accord exactement - souvent avec des mesures catégorielles. Donc, ne considère pas la variance.

Question 44

Quel est le role de l’estimation de la fidélité inter-juges en observation? C’est utile pour quels instruments?
Obtenons-nous de hautes corrélations avec les instruments dimensionnels?

Answer 44

L’estimation de la fidélité inter-juges est CRUCIALE en observation. Puis, ce l’est tout autant avec des instruments comme les échelles d’évaluation ou questionnaires, tout comme pour les réponses collectées lors d’entrevues.

Pour les instruments dimensionnels, on obtient généralement des corrélations significativement plus faibles que celles attendues pour les autres types de fidélité (moins de 0.70)

Question 45

Les coefficients de fidélité inter-juges plutot faibles représentent-ils une mauvaise fidélité des échelles? Pourquoi?

Answer 45

Aujourd’hui, on considère que les coeffficients faibles sont attendus parce que:
- Les individus vont fréquemment manifester des comportements différents dans différents contextes, notamment parce que les attentes sont différentes
- Différents informateurs provenant de différents contextes peuvent percevoir et procurer de l’info différente (et complémentaire) à propos d’un meme individu évalué

Donc, différents informateurs procureraient une meilleure validité écologique.

Question 46

Quelles sont les deux méta-analyses réalisées sur 30 ans, pour les échelles d’évaluation?

Answer 46

• Achenbach, McConaughy & Howell
• De Los Reyes et al.

Question 47

Qu’est-ce que suggère la méta-analyse de Achenbach et al.

Answer 47

• 269 échantillons provenant de 119 études
  Corrélation entre informateurs similaires (ex deux parents) est en moyenne de 0, 60
• Corrélation entre différents informateurs (ex. un parent et un enseignant) est de 0,28
• Corrélation impliquant l’enfant ou l’ado avec un autre informateur est de 0,22

Corrélations plus fortes pour extériorisé que interiorisé

Question 48

Qu’est-ce que suggère la méta-analyse de De Los Reyes et al.

Answer 48

Procure des résultats quasi identiques à Achenbach

Conclusions: On maximise l’accord si les informateurs
- Connaissent bien l’enfant (familiarité avec l’enfant, temps passé avec lui assez élevé)
- Proviennent d’un meme contexte d’observation (ex. deux enseignants, deux parents)
- Les objets de l’évaluation sont des comportements plus facilement observables (par opposition à des choses moins facilement observables).

Question 49

Qu’est-ce que l’erreur standard de mesure (ESM)?
Qu’en est-il du score vrai?

Answer 49

• Parfois aussi appelé erreur type de mesure
• Donne une indication de la quantité ou du degré d’erreur de mesure associées aux scores d’une échelle.
• En termes de score standardisé, il s’agit de l’écart-type de la distribution des erreurs

Le score vrai est théorique, on tente de l’ESTIMER.
- Si un individu rempli 50 fois la meme échelle, il n’obtiendrait pas le meme score 50 fois. On observerait plutot une distribution, avec une moyenne (qui serait le score vrai) et une distribution des erreurs de mesure (qui serait normale, avec une MOYENNE DE 0).

Question 50

L’ESM est estimé à l’aide de quoi? Quel est son lien avec la fidélité?

Answer 50

L’ESM est estimée à l’aide d’un coefficient de fidélité (alpha de cronbach, ou autre)

L’ESM est donc INVERSEMENT liée à la fidélité
- Plus la fidélité est élevée, moins l’erreur standard de mesure est grande, et vice versa

Question 51

Qu’est-ce qu’un intervalle de confiance et quel est le role des ESM dans ceux-ci?

Answer 51

Dans l’évaluation, les ESM servent à construire un intervalle de confiance autour d’un score observé. (esm = sert à calculer l’intervalle de confiance)

Un intervalle de confiance est un ESTIMÉ PROBABILISTE permettant de situer le score observé à l’intérieur d’une étendue de scores donnée.
- Permet une interprétation plus rigoureuse et prudente qui tient compte de l’erreur de mesure.
- Selon les instruments, on peut parfois avoir des intervalles à 68% (1 ESM) et à 95% (2 ESM)
(95% de chances que mon score vrai se situe dans cet intervalle)

Pour le calculer, on doit additionner et soustraire la valeur de l’ESM au score standardisé observé.
(Intervalle = + et - l’esm)

Question 52

Que signifie la qualification prudente d’un score observé près d’un score critère basée sur un IC de 95%?

Answer 52

Lorsqu’un score est juste au dessus de la moyenne (score critère) par exemple, on doit spécifier que le score est au dessus de la moyenne, MAIS QU’IL FAUT TOUT DE MEME ETRE PRUDENT. Ceci est le cas puisqu’il est possible que le score ne soit pas exactement celui estimé (le score vraie pourrait se situer n’importe ou dans la zone normative, c’est-à-dire à 2 ÉT de la moyenne).
- 95% de chance qu’il se retrouve dans cet intervalle

Question 53

Qu’est-ce qu’un critère empirique?

Answer 53

L’ESM peut servir à identifier un critère empirique qui permet de déterminer s’il existe une DIFFÉRENCE SIGNIFICATIVE entre les scores de deux échelles.