4- Erreurs de mesure et fidélité

Question 1

Que signifie la fidélité ?

Answer 1

Elle concerne la précision de notre mesure, donc le niveau d’erreur de mesure qu’elle génère

Question 2

Est-ce correct de dire que qu’un test est fiable?

Answer 2

Non, il faut plutôt dire que les scores générés sont fiables, pas le test en tant que tel.

Question 3

Pourquoi dire qu’un test est fiable n’est pas correct?

Answer 3

Affirmer qu’un test est fiable sous-entend que la fidélité a été établie de façon permanente, pour toutes les utilisations, avec tous les utilisateurs.trices

Question 4

Pourquoi la fidélité est-elle cruciale dans l’évaluation psychoéducative?

Answer 4

sur le plan clinique, avant de prendre des décisions importantes, on veut savoir à quel point les variations des scores – entre différents individus, ou entre différents moments de mesure – résultent de différences réelles dans le construit qui nous intéresse ou plutôt d’imprécisions (erreurs) de l’instrument de mesure qu’on utilise

Question 5

Qu’est-ce que la théorie du score vrai?

Answer 5

score observé = score vrai + erreur de mesure

Question 6

Vrai ou faux. Il n’y a pas toujours d’erreur de mesure dans tous les instruments de mesure

Answer 6

Faux. Il y a toujours de l’erreur de mesure, dans tous les instruments

Question 7

Quels sont les 2 grands types d’erreur de mesure?

Answer 7

• Aléatoires
• Systématiques (ou biais)

Question 8

Qu’est-ce qu’une erreur aléatoire?

Answer 8

Fluctuations statistiques non reproductibles, toujours présentes dans tous les instruments

Question 9

Qu’est-ce qu’une erreur systématique?

Answer 9

Fluctuations constantes et reproductibles, qui sont toujours dans la même direction.

Question 10

Quel type d’erreur est présent pour tous les instruments de mesure?

Answer 10

Erreurs aléatoires

Question 11

Quelle est la cause des erreurs aléatoires? Et des erreurs systématiques?

Answer 11

• Erreur aléatoire: variation dans l’échantillonnage
• Erreur systématique: Mauvaise utilisation de l’instrument; Conditions d’administrations inadéquate; Imperfections de l’instrument

Question 12

Comment peut-on minimiser les erreurs aléatoires?

Answer 12

• Plus grands échantillons
• Plus de moments de mesure
• Peuvent être plus facilement estimées/contrôlées statistiquement

Question 13

Comment peut-on minimiser les erreurs systématiques?

Answer 13

• Difficile à détecter, souvent pas connus
• Plus difficile à quantifier statistiquement

Question 14

Quel type d’instrument est sujet à une erreur d’échantillonnage de contenu?

Answer 14

Les instruments pour lesquels des résultats cohérents au sens large sont souhaités

Question 15

Quel indice de fidélité peut être utilisé pour estimer l’erreur d’échantillonnage de contenu?

Answer 15

Coefficient de fidélité des formes parallèles

Question 16

Quels types d’instruments sont sujets à des erreurs d’échantillonnage dans le temps?

Answer 16

Instruments de mesure de traits ou de comportements relativement stables

Question 17

Quel indice de fidélité est utilisé pour estimer l’erreur d’échantillonnage dans le temps?

Answer 17

Coefficient de fidélité test-retest (ou de stabilité temporelle)

Question 18

Quel type d’instruments est sujet au source d’erreur de mesured’incohérence interne ou inter-item?

Answer 18

Instruments qui requièrent une grande cohérence interne ou inter-item

Question 19

Quels indices de fidélité est utilisé pour estimer l’erreur d’incohérence interne ou inter-item?

Answer 19

• Coefficient de fidélité moitié-moitié- Coefficient de cohérence interne

Question 20

Quels types d’instruments sont sujets à des erreurs inter-informateurs?

Answer 20

Les instruments qui impliquent un degré relativement élevé de subjectivité

Question 21

Quel indice de fidélité est utilisé pour mesurer l’erreur d’incohérence inter-informateurs?

Answer 21

Coefficient de fidélité inter-juges

Question 22

Quelle est la relation entre la variance et le coefficient de fidélité?

Answer 22

Plus la part de variance vraie sera grande, plus le coefficient de fidélité s’approchera de 1.0, alors que plus la part de variance erreur sera grande, plus le coefficient s’approchera de 0. Formule du coefficient de fidelité: Rx = var(vraie)/var(erreur)

Question 23

Comment évalue-t-on la fidélité de formes parallèles?

Answer 23

On développe deux formes équivalentes du même instrument et on estime la corrélation des scores entre les deux formes pour les mêmes individu

Question 24

Quel type de sélection doit être faite pour faire les formes parallèles?

Answer 24

une sélection quasi-aléatoire: Tous les domaines ou sous-domaines spécifiques du construit doivent être représentés proportionnellement

Question 25

Quel est le coefficient qui est généralement attendu entre 2 formes parallèles pour dire qu’il y a une assez bonne précision?

Answer 25

On s’attend quand même typiquement à un coefficient de 0,70 au minimum

Question 26

Qu’est-ce que la fidélité test-retest? Quel doit être l’intervalle de temps pour l’estimer?

Answer 26

• Si on évalue les mêmes individus avec le même instrument à deux reprises dans le temps, est-ce qu’ils obtiennent les mêmes résultats (scores) ?
• Pour l’estimer, l’intervalle de temps doit être assez court (environ 2 semaines à 1 mois) :

Question 27

Pourquoi ne faut-il pas s’attendre à à des corrélations très élevées pour la fidélité test-retest?

Answer 27

Il ne faut pas s’attendre à des corrélations très élevées pour la fidélité test-retest car certains construits sont assez « plastiques » ou changeants dans le temps.
- Problèmes intériorisés changent plus facilement dans des courts laps de temps que problèmes extériorisés
-Névrotisme change plus qu’Extraversion

Question 28

Qu’est-ce que la cohérence interne?

Answer 28

Lorsque les chercheurs.euses créent des échelles, ils tentent de regrouper des items qui forment un tout cohérent, autant sur le (a) plan conceptuel que sur le (b) plan empirique

Question 29

En quoi consiste le coefficient moitié-moitié?

Answer 29

les chercheurs.euses divisent en deux les items d’une échelle et on estime ensuite les corrélations entre ces deux moitiés. l’échantillonnage de contenu est très important, il faut une sélection quasi-aléatoire des items

Question 30

Quel est le problème méthodologique avec le coefficient moitié-moitié?

Answer 30

avec moins d’items, les corrélations vont toujours être moins fortes, nonobstant le niveau de fidélité

Question 31

Qu’est-ce que la prophétie de Spearman?

Answer 31

plus il y a d’items dans une échelle, plus sa fidélité est élevée

Question 32

Qu’est-ce que le coefficient de cohérence interne?

Answer 32

les chercheurs.euses estiment l’homogénéité de tous les items d’une échelle
Il s’agit d’un estimé statistique quantifiant l’ensemble des inter-corrélations entre tous les items d’une échelle

Question 33

Quels sont les 2 coefficients pour estimer la la cohérence interne?

Answer 33

• Alpha de Cronbach et Kuder-Richardson
• Plus récent: Omega de McDonald

Question 34

Pourquoi est utilisé l’alpha de Cronbach? Qu’est-ce?

Answer 34

• Pour les items continus
• Statistiquement parlant, le coefficient α est l’équivalent de la moyenne de toutes les moitié-moitié possibles (toutes les combinaisons possibles)

Question 35

Comment peut-on obtenir un alpha de Cronbach élevé?

Answer 35

• la covariance moyenne des items est divisée par la variance totale – donc les corrélations entre les items doivent être élevées pour donner une valeur alpha élevée
• Comme le nombre d’items est un facteur de l’équation, plus il y a d’items, plus alpha sera élevé

Question 36

Dans quelle situation peut-on utiliser le Kuder-Richardson?

Answer 36

Pour les items dichotomiques

Question 37

Qu’est-ce qu’on assune pour le alpha de Cronbahc et le Kuder?

Answer 37

• On assume (mais ne teste pas) que les items mesurent une même variable latente
• On assume aussi que tous les items sont reliés de la même façon à la variable latente (aka, tau équivalent)

Question 38

Que test-t-on avec l’omega de mcDonald?

Answer 38

avec le Omega on teste explicitement que les items mesurent une même variable latente en utilisant l’analyse factorielle

Question 39

Vrai ou faux. Omega à tendance à procurer un estimé de la fidélité d’une échelle plus près de la réalité que le alpha ou le KR-20

Answer 39

Vrai

Question 40

Après la collecte de données, que souhaite-t-on en lien avec les coefficients de cohérence interne?

Answer 40

On souhaite un coefficient près de 1.0, ce qui suggère que les items d’une échelle sont très cohérents, qu’ils forment un tout; donc l’échelle génère peu d’erreurs de mesure

Question 41

Qu’est-ce qu’un coefficient de cohérence interne proche de 0 suggère?

Answer 41

Si près de 0, les items ne sont pas homogènes, suggère que les questions de l’échelle sont trop indépendantes, ne vont pas ensemble; donc l’échelle n’est pas précise, elle génère beaucoup d’erreurs

Question 42

Quelle est la valeur d’un coefficient de cohérence interne jugé satisfaisant? En recherche? Et en clinique?

Answer 42

0,70, mais en recherche on peut parfois accepter 0,60. En clinique, on veut plus de 0,80 puisqu’on se base sur cet instrument pour prendre une décisions importante sur la vie de qqn

Question 43

Que signifie un coefficient de cohérence de plus de 0,95?

Answer 43

Ça pourrait indiquer qu’il y a redondance dans le contenu, donc que certaines questions mesurent probablement la mêe chose

Question 44

Dans une échelle très courte, est-ce normal d’avoir un coefficient de cohérence interne d’environ 0,50? Que peut-on faire pour vérifier?

Answer 44

C’est attendu puisqu’il y a moins D’items. On peut cependant appliquer la transformation de Spearman-Brown pour connaître la fidélité prédite de l’échelle si elle avait davantage d’items.

Question 45

Qu’est-ce que la fidélité inter-juges?

Answer 45

degré de cohérence (ou corrélation) entre différents informateurs avec des mesures continues; on compare la variabilité (variance) entre les informateurs

Question 46

Qu’est-ce que l’accord inter-juge?

Answer 46

Accord inter-juges renvoie plutôt à une mesure de degré auquel des informateurs sont en accord exactement – souvent avec des mesures catégorielles; ne considère pas variance:

Question 47

Comment sont souvent les corrélations pour la fidélité inter-juge pour les instruments dimensionnels?

Answer 47

Ils sont souvent plus faibles que pour les autres types de fidélité

Question 48

Pourquoi un coefficient inter-juges plus faibles est attendu?

Answer 48

• Comportements manifestés sont différents selon le contexte
• Différents informateurs provenant de différents contextes peuvent percevoir et procurer de l’information différente (et complémentaire) à propos d’un même individu évalué
• Différents informateurs procureraient donc une meilleure « validité écologique »

Question 49

Selon la méta-analyse de Los Reyes, comment peut-on maximiser l’accord entre les informateurs?

Answer 49

On maximise l’accord si les informateurs:
- Connaissent bien l’enfant (familiarité avec l’enfant, temps passé avec lui.elle assez élevé)
- Proviennent d’un même contexte d’observation (e.g., deux enseignants, deux parents)
- Les objets de l’évaluation sont des comportements plus facilement observables (par opposition à des choses moins facilement observables) – e.g. un cpt vs une pensée

Question 50

Qu’est-ce que l’erreur standard de mesure?

Answer 50

Donne une indication de la quantité ou du degré d’erreur de mesure associée aux scores d’une échelle. En scores standardisés, il s’agit de l’écart-type de la distribution des erreurs

Question 51

Avec quoi peut-on estimer l’ESM?

Answer 51

Elle est estimée avec un coefficient de fidélité

Question 52

Quel est le lien entre la fidelité et l’ESM?

Answer 52

• L’ESM est donc inversement liée à la fidélité
• plus la fidélité est élevée, moins l’erreur standard de mesure est grande, et vice vers

Question 53

Qu’est-ce qu’un intervalle de confiance?

Answer 53

estimé probabiliste permettant de situer le score observé à l’intérieur d’une étendue de scores donnée

Question 54

Quels sont les différents intervalles de confiance?

Answer 54

intervalles à 68% (1 ESM) et à 95% (2 ESM)

Question 55

Que permet l’intervalle de confiance?

Answer 55

○ Permet une interprétation plus rigoureuse et prudente qui tient compte de l’erreur de mesure

Question 56

pourquoi veut-on mesurer l’IC?

Answer 56

• Qualification prudente d’un score observé près d’un score critères donné
• Comparaison des scores de 2 échelles selon le chevauchement des IC

Question 57

Que peut permettre l’ESM?

Answer 57

’ESM peut servir à identifier un critère empirique qui permet de déterminer s’il existe une différence significative entre les scores de deux échelles

Question 58

Quel type d’erreur est distribué normalement?

Answer 58

Erreur aléatoire

Question 59

Vrai ou faux. Pour les instruments dimensionnels, on obtient généralement des corrélations significativement plus faibles que celles attendues pour les autres types de fidélité (i.e., moins de 0,70)

Answer 59

Vrai