Cours 4 fidélité

Question 1

Que concerne la fidélité?

Answer 1

la précision de notre mesure, le niveau d’erreur qu’elle génère

Question 2

La fiabilité s’applique-t-elle à un test ou à des scores?

Answer 2

à des scores

Question 3

Qu’est-ce que la théorie du score vrai?

Answer 3

Score observé = score vrai + erreur de mesure

Question 4

VRAI ou FAUX: tous les instruments sans exception ont de l’erreur de mesure

Answer 4

Vrai

Question 5

Pourquoi les practiciens doivent-ils bien connaitre la fidélité des instruments qu’ils utilisent?

Answer 5

Car aucun instrument n’a pas d’erreur de mesure bien que lon tente de la limiter, ainsi les practiciens doivent connaitre la fiabilité de leur instruments afin de faire une interprétation rigoureuse et prudente des scores

Question 6

Quelles sont les deux grands types d’erreur de mesure?

Answer 6

Aléatoires et systématique

Question 7

Qu’est-ce l’erreur aléatoire et quelle en est la cause?
Comment peut-on la minimiser?

Answer 7

Déf:
fluctuations non reproductibles
TOUJOURS présente
distribuer normalement

Cause:
Variation dans l’échantillonage

Comment minimiser:
+ grand échantillon
+ de moments de mesures
facile a controler statistiquement

Question 8

Qu’est-ce l’erreur systématique et quelle en est la cause?
Comment peut-on la minimiser?

Answer 8

Déf:
fluctuations constantes et reproductibles, toujours dans la même direction
pas dans tous les instruments
Sur estimation ou sous estimation constante des parametres
pas distribuer normalement

Cause:
mauvaise utilisation de l’instrument
Mauvaises conditions d’administration
Imperfections de l’instrument

Comment minimiser:
Souvent non connu donc difficilement detectable et minimisable
Difficile a quantifier statistiquement

Question 9

Quelles sont les 4 types de sources d’erreur de mesure? À quelle instrument s’appliquent-elles? Quel test de fidélité s’applique?

Answer 9

erreur d’échantillonage de contenu
instruments avec resulats coherents au sens large
fidélité des formes parallèles

erreur d’échantillonage dans le temps
instruments de mesure de traits ou comportements stables
fidelité est-retest

incohérence interne (inter-items)
instruments qui requièrent une grande cohérnece interne ou inter-item
fidélité moitié-moitié
cohérnece interne

Incohérence inter-informateurs
instruments qui requièrent degré élevé de subjectivité
fidélité inter-juges

Question 10

comment calcule ton la fidélité selon la théorie du score vraie?

Answer 10

rx = Variance (score vraie)\ Variance (erreur)

Question 11

Qu’est-ce que la fidélité des formes parallèles?

Answer 11

mesure classique de la fidélité
On développe deux formes équivalentes du meme instrument et on estime la corrélation des scores entre les deux formes pour les mêmes individus
permet d’estimer le degré d’erreur dans le contenu

Question 12

Dans un test de fidélité parallèles, il faut faire une _________, on ne peut pas choisir des items au hasard

Answer 12

selection quasi-aléatoire

Question 13

Qu’est-ce que la fidélité test-retest?

Answer 13

Pour instruments qui prétendent mesurer des construits relativement stables dans le temps
On evalue les memes individus avec le meme instrument à deux reprises dans le temps puis on compare leurs scores
L’intervalle de temps doit être cours

Question 14

À quoi faut-il faire attention avec la fidélité test-retest?

Answer 14

s’il y a un écart entre les résultats (corrélation faible) il ets parfois difficile de déterminer les raisons
Il ne faut pas s’attendre à des corrélations très élevées pour la fidélité test-retest car certains construits sont assez plastiques ou cahngeant dans le temps

Question 15

Qu’est-ce que la cohérence interne? Quelles sont les deux stratégies utilisées pour l’évaluer?

Answer 15

les items d’une échelle doivent forme un tout cohérent au plan conceptuel et empirique
donc la cohérence vérifie que les items soient significativement corrélés entre eux
on verifie qu’ils mesurent vraiment le meme construit

2 stratégies: fidélité moitié-moitié et coeffcient de coherence interne

Question 16

Qu’est-ce que la fidélité moitié-moitié (cohérence interne)?

Answer 16

on divise en deux les items dune echelle et on estime les correlations entre les deux moitiés (selection quasi-aléatoire)

Question 17

Quel est le probleme méthodologique avec la fidélité moitié-moitié? Comment peut-on le régler?

Answer 17

Prophétie de spearman: plus il y a d’items dans une échelle, plus sa fidélité sera élevée

donc avec moins d’items. les corrélations seront toujours moins fortes

Appliquer la formule de la prophétie de spearman-brown quelle seriat la corrélation avec plus d’items

Question 18

Qu’est-ce que le coefficient de cohérence interne? Quels sont les trois indices les plus utilisés?

Answer 18

estime l’homogénéité de tous les items d’une échelle
estimé statistiques quantifiant l’ensemble des inter-corrélations entre tous les items d’une échelle

2 indices: alpha de cronbach, kuder-richardson-20 et omega de Mcdonald

Question 19

Qu’est-ce que le Alpha de Cronbach?

Answer 19

indice de calcul du coefficient de cohérnece interne
pour les items continus
assume que les items mesurent une meme variable latente
assume aussi que tous les items sont reliés de la meme facon à la variable latente
équivalent de la moyenne de toutes les moitié-moitié possibles

covariance moyenne des items divisée par variance totale
plus il y a d’items plus il sera élevé

Question 20

Qu’est-ce que le Kuder-Richardson-20?

Answer 20

cas spécial du alpha de cronbach pour les items dichotomiques

assume aussi items mesurent la meme variable latente
assume que pourcentage de reponses correctes est le meme pour tous les items

Question 21

Qu’est-ce que le omega de Mcdonald?

Answer 21

contrairement aux deux autres, on teste explicitement que les items mesurent une meme variable latente en utilisant l’analyse factorielle (pas besoin d’assumer que tous les items sont reliés de la meme facon à la variable latente)

estimé plus pres de la réalité la fidélité

Question 22

Pour la cohérence interne, quelle valeur de cohérence interne est jugée comme fiable?

Answer 22

en recherche –> environ 0,6
en pratique clinique –>0,8 ou plus

Question 23

VRAI ou FAUX: une cohérence interne de 0,95 ou plus signifie qu’un instrument est presque parfait

Answer 23

Faux
Cohérence interne tres élevé peut suggérer une redondance de contenu
principe de parcimonie, enlever des items

Question 24

VRAI ou FAUX: on peut appliquer la transformation de spearman-brown pour les echelles avec moins d’items dans le calcul du omega de mcdonald

Answer 24

vrai

Question 25

Qu’est-ce que la fidélité inter-juges?

Answer 25

Plusieurs construits sont influencés par la subjectivité des informateurs
certains construits sont aussi difficile à évaluer par différents informateurs (ex: consommation de substances, comp. sexuels, etc.)

on verifie donc si les evaluations des memes individus effectués avec le meme instrument mais par différents informateurs sont corrélés

Question 26

Différnece accord-interjuges et fidélité interjuges

Answer 26

fidélité: renvoie à la corrélation entre différnets informateurs avec des mesures continues; on compare la variance entre les informateurs

Accord: mesure de degré auquel des informateurs sont en accord exactement, souvent avec des mesures catégorielle, ne considère pas la variance

Question 27

doit-on calculer l’accord interjuges pour les échelles aussi?

Answer 27

oui, mais scores generalement moins élevés pour instruments dimensionnels

Question 28

VRAI ou FAUX les coefficients de fidélité inter-juges faibles signifie qu’une échelle à une mauvaise fidélité

Answer 28

Faux
on considère que cest attendu car…
les individus vont souvent manifester des comportements différents dans différnets contextes parce que les attentes sont différentes
Différents informateurs de différents contextes percoivent et procurent de l’info différente
certains informateurs procurent donc une meilleure validité écologique

Question 29

Selon la méta-analyse de De Los Reyes et al., l’accord interjuges est maximiser si les informateurs…

Answer 29

connaissent bien l’enfant
proviennent d’un meme contexte d’observation
les objets de l’évaluation sont des comportements plus facilement observables

Question 30

Qu’est-ce que l’erreur standard de mesure (ESM)? avec quel coefficient est-elle estimé?

Answer 30

donne une indicaion de la quantité ou du degré d’erreur de mesure associé aux scores d’une échelle
il s’agit de l’écart-type de la distribution des erreurs
estimé avec le alpha de cronbach

Question 31

VRAI ou FAUX: L’ESM est directement liée à la fidélité

Answer 31

Faux
elles sont inversement liées, plus la fidélité est élevée, moins l’erreur standard de mesure est grande et vice versa

Question 32

À quoi sert l’ESM

Answer 32

sert à construire un intervalle de confiance autour du score observé
un intervalle de confiance est un estimé probabiliste permettant de situer le score observé à l’intérieur d’une étendue de scores donnée
permet une interprétation plus rigoureuse et prudente
68% ou 95%

Question 33

qu’est-ce que l’erreur standard sur la différence (ESdiff)

Answer 33

Calculé à partir de l’ESM
Sert à identifier un critère empirique qui permet de déterminer s’il existe une différence significative entre les scores de deux échelles

ex: si l’ESdiff est de 5 et que la différnece entre les scores T des deux informateurs est de 9, alors comme 9 est plus grand que 5, la différence est significative à un degré de confiance X