Cours 4 fidélité Flashcards
Que concerne la fidélité?
la précision de notre mesure, le niveau d’erreur qu’elle génère
La fiabilité s’applique-t-elle à un test ou à des scores?
à des scores
Qu’est-ce que la théorie du score vrai?
Score observé = score vrai + erreur de mesure
VRAI ou FAUX: tous les instruments sans exception ont de l’erreur de mesure
Vrai
Pourquoi les practiciens doivent-ils bien connaitre la fidélité des instruments qu’ils utilisent?
Car aucun instrument n’a pas d’erreur de mesure bien que lon tente de la limiter, ainsi les practiciens doivent connaitre la fiabilité de leur instruments afin de faire une interprétation rigoureuse et prudente des scores
Quelles sont les deux grands types d’erreur de mesure?
Aléatoires et systématique
Qu’est-ce l’erreur aléatoire et quelle en est la cause?
Comment peut-on la minimiser?
Déf:
fluctuations non reproductibles
TOUJOURS présente
distribuer normalement
Cause:
Variation dans l’échantillonage
Comment minimiser:
+ grand échantillon
+ de moments de mesures
facile a controler statistiquement
Qu’est-ce l’erreur systématique et quelle en est la cause?
Comment peut-on la minimiser?
Déf:
fluctuations constantes et reproductibles, toujours dans la même direction
pas dans tous les instruments
Sur estimation ou sous estimation constante des parametres
pas distribuer normalement
Cause:
mauvaise utilisation de l’instrument
Mauvaises conditions d’administration
Imperfections de l’instrument
Comment minimiser:
Souvent non connu donc difficilement detectable et minimisable
Difficile a quantifier statistiquement
Quelles sont les 4 types de sources d’erreur de mesure? À quelle instrument s’appliquent-elles? Quel test de fidélité s’applique?
erreur d’échantillonage de contenu
instruments avec resulats coherents au sens large
fidélité des formes parallèles
erreur d’échantillonage dans le temps
instruments de mesure de traits ou comportements stables
fidelité est-retest
incohérence interne (inter-items)
instruments qui requièrent une grande cohérnece interne ou inter-item
fidélité moitié-moitié
cohérnece interne
Incohérence inter-informateurs
instruments qui requièrent degré élevé de subjectivité
fidélité inter-juges
comment calcule ton la fidélité selon la théorie du score vraie?
rx = Variance (score vraie)\ Variance (erreur)
Qu’est-ce que la fidélité des formes parallèles?
mesure classique de la fidélité
On développe deux formes équivalentes du meme instrument et on estime la corrélation des scores entre les deux formes pour les mêmes individus
permet d’estimer le degré d’erreur dans le contenu
Dans un test de fidélité parallèles, il faut faire une _________, on ne peut pas choisir des items au hasard
selection quasi-aléatoire
Qu’est-ce que la fidélité test-retest?
Pour instruments qui prétendent mesurer des construits relativement stables dans le temps
On evalue les memes individus avec le meme instrument à deux reprises dans le temps puis on compare leurs scores
L’intervalle de temps doit être cours
À quoi faut-il faire attention avec la fidélité test-retest?
s’il y a un écart entre les résultats (corrélation faible) il ets parfois difficile de déterminer les raisons
Il ne faut pas s’attendre à des corrélations très élevées pour la fidélité test-retest car certains construits sont assez plastiques ou cahngeant dans le temps
Qu’est-ce que la cohérence interne? Quelles sont les deux stratégies utilisées pour l’évaluer?
les items d’une échelle doivent forme un tout cohérent au plan conceptuel et empirique
donc la cohérence vérifie que les items soient significativement corrélés entre eux
on verifie qu’ils mesurent vraiment le meme construit
2 stratégies: fidélité moitié-moitié et coeffcient de coherence interne
Qu’est-ce que la fidélité moitié-moitié (cohérence interne)?
on divise en deux les items dune echelle et on estime les correlations entre les deux moitiés (selection quasi-aléatoire)
Quel est le probleme méthodologique avec la fidélité moitié-moitié? Comment peut-on le régler?
Prophétie de spearman: plus il y a d’items dans une échelle, plus sa fidélité sera élevée
donc avec moins d’items. les corrélations seront toujours moins fortes
Appliquer la formule de la prophétie de spearman-brown quelle seriat la corrélation avec plus d’items
Qu’est-ce que le coefficient de cohérence interne? Quels sont les trois indices les plus utilisés?
estime l’homogénéité de tous les items d’une échelle
estimé statistiques quantifiant l’ensemble des inter-corrélations entre tous les items d’une échelle
2 indices: alpha de cronbach, kuder-richardson-20 et omega de Mcdonald
Qu’est-ce que le Alpha de Cronbach?
indice de calcul du coefficient de cohérnece interne
pour les items continus
assume que les items mesurent une meme variable latente
assume aussi que tous les items sont reliés de la meme facon à la variable latente
équivalent de la moyenne de toutes les moitié-moitié possibles
covariance moyenne des items divisée par variance totale
plus il y a d’items plus il sera élevé
Qu’est-ce que le Kuder-Richardson-20?
cas spécial du alpha de cronbach pour les items dichotomiques
assume aussi items mesurent la meme variable latente
assume que pourcentage de reponses correctes est le meme pour tous les items
Qu’est-ce que le omega de Mcdonald?
contrairement aux deux autres, on teste explicitement que les items mesurent une meme variable latente en utilisant l’analyse factorielle (pas besoin d’assumer que tous les items sont reliés de la meme facon à la variable latente)
estimé plus pres de la réalité la fidélité
Pour la cohérence interne, quelle valeur de cohérence interne est jugée comme fiable?
en recherche –> environ 0,6
en pratique clinique –>0,8 ou plus
VRAI ou FAUX: une cohérence interne de 0,95 ou plus signifie qu’un instrument est presque parfait
Faux
Cohérence interne tres élevé peut suggérer une redondance de contenu
principe de parcimonie, enlever des items
VRAI ou FAUX: on peut appliquer la transformation de spearman-brown pour les echelles avec moins d’items dans le calcul du omega de mcdonald
vrai
Qu’est-ce que la fidélité inter-juges?
Plusieurs construits sont influencés par la subjectivité des informateurs
certains construits sont aussi difficile à évaluer par différents informateurs (ex: consommation de substances, comp. sexuels, etc.)
on verifie donc si les evaluations des memes individus effectués avec le meme instrument mais par différents informateurs sont corrélés
Différnece accord-interjuges et fidélité interjuges
fidélité: renvoie à la corrélation entre différnets informateurs avec des mesures continues; on compare la variance entre les informateurs
Accord: mesure de degré auquel des informateurs sont en accord exactement, souvent avec des mesures catégorielle, ne considère pas la variance
doit-on calculer l’accord interjuges pour les échelles aussi?
oui, mais scores generalement moins élevés pour instruments dimensionnels
VRAI ou FAUX les coefficients de fidélité inter-juges faibles signifie qu’une échelle à une mauvaise fidélité
Faux
on considère que cest attendu car…
les individus vont souvent manifester des comportements différents dans différnets contextes parce que les attentes sont différentes
Différents informateurs de différents contextes percoivent et procurent de l’info différente
certains informateurs procurent donc une meilleure validité écologique
Selon la méta-analyse de De Los Reyes et al., l’accord interjuges est maximiser si les informateurs…
connaissent bien l’enfant
proviennent d’un meme contexte d’observation
les objets de l’évaluation sont des comportements plus facilement observables
Qu’est-ce que l’erreur standard de mesure (ESM)? avec quel coefficient est-elle estimé?
donne une indicaion de la quantité ou du degré d’erreur de mesure associé aux scores d’une échelle
il s’agit de l’écart-type de la distribution des erreurs
estimé avec le alpha de cronbach
VRAI ou FAUX: L’ESM est directement liée à la fidélité
Faux
elles sont inversement liées, plus la fidélité est élevée, moins l’erreur standard de mesure est grande et vice versa
À quoi sert l’ESM
sert à construire un intervalle de confiance autour du score observé
un intervalle de confiance est un estimé probabiliste permettant de situer le score observé à l’intérieur d’une étendue de scores donnée
permet une interprétation plus rigoureuse et prudente
68% ou 95%
qu’est-ce que l’erreur standard sur la différence (ESdiff)
Calculé à partir de l’ESM
Sert à identifier un critère empirique qui permet de déterminer s’il existe une différence significative entre les scores de deux échelles
ex: si l’ESdiff est de 5 et que la différnece entre les scores T des deux informateurs est de 9, alors comme 9 est plus grand que 5, la différence est significative à un degré de confiance X
