cours 4 Flashcards
quest ce que la fidélité
le niveau d’erreur de mesure qu’elle génère
un test fiable…
cette qualité en fait ne s’applique pas au test en tant que tel, mais s’applique aux scores qu’ils génèrent : Affirmer qu’un test est fiable sous-entend que la fidélité a été établie de façon permanente, pour toutes les utilisations, avec tous les utilisateurs.trices
V ou F : La fidélité n’est pas un concept dichotomique
VRAI : tout est une question de degré
pourquoi la fidélité est cruciale en évaluation psychoeducative
on veut savoir à quel point les variations des scores – entre différents individus, ou entre différents moments de mesure – résultent de différences réelles dans le construit qui nous intéresse ou plutôt d’imprécisions (erreurs) de l’instrument de mesure qu’on utilise
quest ce que la théorie du score vrai
score observer = score vrai + erreur de mesure
vrai ou faux : il n’y a jamais d’erreur de mesure dans les instrument
FAUX: il y a toujours de l’erreur de mesure, dans tous les instruments
quest ce que les chercheurs font pour limite les erreurs
construire des instruments qui vont la limiter le plus possible les erreurs
selon la théorie psychométrique classique, la correlation observée entre deux mesures est déterminée par deux facteurs:
(a) la correlation entre les scores vrais
b) la fidélité des mesures.
quel sont les deux grands types d’erreurs de mesure
- aléatoire
- systématique
définition du type d’erreurs aléatoires*
- fluctuation statistiques non reproductibles toujours présente pour tous les instrument
- autant au-dessus qu’en dessous de la moyenne
- distribuer normalement
cause de l’erreur de mesure aléatoire
variation dans l’échantillonnage
comment minimiser les erreur aléatoire
- plus grands ééchantillion
- plus de moments de mesure
- peuvent etre plus facilement estimées/contrôlées statistiquement
définition du type derreurs systématique (ou biais)
- fluctuation constantes et reproductibles, qui sont toujours dans la même direction pas tout les instruments
- surestimation ou sous-estimation constante des paramètre
- pas distribues normalement
cause de type d’erreur systématique MCI
- mauvaise utilisation de l’instrument
- conditions d’administration inadéquat
- imperfection de l’instrument
comment minimiser le type d’erreurs systématique
- difficile d détecter souvent ne sont pas connues
- plus difficile a quantifier statistiquement
quel sont les 4 types de fidélité en fonction des sources d’erreur de mesure possibles
erreur échantillon de contenu?
erreur d’échantillon dans le temps?
incohérence interne ou inter-items?
incohérence inter-informateur?
- erreur d’échantillon de contenue ( fidélité des formes parallèles)
- erreur d’échantillon dans le temps (plus conceptuelle: fidélité test-retest)
- incohérence interne ou inter-items (plus empirique: fidélité moitié-moitié)
- incohérence inter-informateur (fidélité inter-juges)
selon la théorie classique, on ne peut pas pas évaluer le degré de fidélité d’un instrument de mesure avec l’évaluation d’une seule personne.. on doit :
on doit collecter les données d’un échantillons d’individus qui sont évalués avec l’instrument
V ou F : Plus la part de variance vraie sera grande, plus le coefficient de fidélité s’approchera de 1.0,
VRAI lorsque cest la part de variance d’erreur cela se rapproche de 0
quest ce que la fidélité des forme parallèle
On développe deux formes équivalentes du même instrument et on estime la corrélation des scores entre les deux formes pour les mêmes individus
pour les formes parallèles de fidélité est ce qu’on peut simplement choisir des items au hasard dans une grande banque d’items
non, il faut faire une sélection quasi-aléatoire
Tous les domaines ou sous-domaines
pour les forme parallèle de fidélité, on s’attend typiquement à un coefficient de :
de 0,70 au minimum
la fidélité ed test-retest
- Pour l’estimer, l’intervalle de temps doit être assez court (environ 2 semaines à 1 mois)
- Après collecte de données: Une corrélation élevée suggère bonne précision, peu d’erreurs de mesure
- pas vrm de coefficient minimum mais si la corrélation est forte (au moins 0,70), l’instrument est considéré fiable
cohérence interne
- Ils tentent de regrouper des items qui forment un tout cohérent, autant sur le
(a) plan conceptuel que sur le
(b) plan empirique
deux stratégie pour évaluer la cohérence interne
(1) coefficient de fidélité moitié-moitié
(2) coefficient de cohérence interne
Pour le coefficient moitié-moitié
1), les chercheurs.euses divisent en deux les items d’une échelle et on estime ensuite les corrélations entre ces deux moitiés
(2), les chercheurs.euses estiment l’homogénéité de tous les items d’une échelle
qu’est-ce que la Prophétie de Spearman
plus il y a d’items dans une échelle, plus sa fidélité est élevée
aller voir note de cours diapo 22-26
aller voir note de cours :
- alpha de cronbach: α = (k / k – 1) * (1 – Σ vari / varx )
- Kuder-Richardson-20
- Omega de McDonald
les Coefficients de cohérence interne varient tous entre
0 et 1
que signifie un coefficient près de 1
suggère que les items d’une échelle sont très cohérents, qu’ils forment un tout; donc l’échelle génère peu d’erreurs de mesure
quelle sont les coefficient minimum pour la satisfaction
- coefficient interne : 0,70
- en recherche on accepte parfois : 0,60
- dans la pratique on préfère : 0,80
est-ce que un score de 0.95 est bien vu ?
non, puisque que ceci suggère qu’il y a potentiellement redondance de contenu, i.e., certaines questions mesurent probablement la même chose: Principe de parcimonie : les auteurs.trices pourraient enlever certaines questions
fidélité inter-juges
plusieurs personne observe ou sont inclu dans la prise de donnée
différence entre Fidélité inter-juges vs Accord inter-juges
- Fidélité inter-juges renvoie au degré de cohérence (ou corrélation) entre différents informateurs avec des mesures continues; on compare la variabilité (variance) entre les informateurs
- Accord inter-juges renvoie plutôt à une mesure de degré auquel des informateurs sont en accord exactement – souvent avec des mesures catégorielles; ne considère pas variance
dans la Méta-analyse de Achenbach et al. (1987) la corrélation était (iner-juge)
plus fortes pour EXT que INT
conclusion des meta analyse selon la fidélité interroges
Conclusions: on maximise l’accord si les informateurs
Connaissent bien l’enfant (familiarité avec l’enfant, temps passé avec lui.elle assez élevé)
Proviennent d’un même contexte d’observation (e.g., deux enseignants, deux parents)
Les objets de l’évaluation sont des comportements plus facilement observables (par opposition à des choses moins facilement observables) – e.g. un cpt vs une pensée
erreur standard de mesure (ESM)
- parfois appelée erreur type de mesure
-il s’agit de l’écart-type de la distribution des erreurs
ESM = ÉTt √ (1 – rt)
ÉTt est l’écart-type des scores au test
rt est le coefficient de fidélité du test
intervalles de confiance
les ESM servent a construire un intervalle de confiance autour du score observé
- est un estimé probabiliste permettant de situer le score observé à l’intérieur d’une étendue de scores donnée
L’ESM peut
l’erreur standard de mesure peut servir à identifier un critère empirique qui permet de déterminer s’il existe une différence significative entre les scores de deux échelles
