Cours 4 Flashcards
Qu’est-ce que la fidélité?
Fidélité concerne la précision de notre mesure, ou dit autrement, le niveau d’erreur de mesure qu’elle génère
Vrai ou faux
Il est possible de qualifier un test de fiable.
Faux
La fiabilité s’applique aux scores qu’ils génèrent, car affirmer qu’un test est fiable sous-entend que la fidélité a été établie de façon permanente, pour toutes les utilisations, avec tous les utilisateurs.trices
Vrai ou faux
La fidélité est un concept dichotomique (fiable ou non).
Faux
Tout est une question de degré (pas dichotomique)
Expliquer cette affirmation :
La fidélité est cruciale en évaluation psychoéducative
Sur le plan clinique, avant de prendre des décisions importantes, on veut savoir à quel point les variations des scores résultent de différences réelles dans le construit qui nous intéresse ou plutôt d’imprécisions (erreurs) de l’instrument de mesure qu’on utilise. Autrement dit, on veut savoir à quel point le score «vrai» est estimé avec justesse
*peut impacter l’avenir d’une personne
Vrai ou faux
Qu’on le veuille ou non, il y a toujours de l’erreur de mesure dans tous les instruments
Vrai
Cependant, les chercheurs.euses tentent de construire des instruments qui vont la limiter le plus possible. Les praticiens.nes doivent bien connaître la fidélité des instruments qu’ils utilisent, pour faire une interprétation rigoureuse et prudente des scores
Qu’est-ce que la théorie du score vrai?
Score observé = score vrai + erreur de mesure
Qu’est-ce qu’une erreur aléatoire?
- Fluctuations statistiques non reproductibles, toujours présentes pour tous les instruments
- Autant au-dessus qu’en dessous de la moyenne
- Distribuées normalement
- Causé par la variation dans l’échantillonnage
Qu’est-ce que l’erreur systématique (ou biais)?
- Fluctuations constantes et reproductibles, qui sont toujours dans la même direction. Pas dans tous les instruments
- Surestimation ou sous-estimation constante des paramètres
- Pas distribuées normalement
- Causé par une mauvaise utilisation de l’instrument, des conditions d’administration inadéquates et les des imperfections de l’instrument
Comment pouvons-nous minimiser/évaluer les 2 types d’erreurs?
Aléatoires :
- plus grands échantillons
- plus de moments de mesure
- peuvent être plus facilement estimées/contrôlées statistiquement
Systématiques :
- difficiles à détecter, souvent ne sont pas connues
- plus difficile à quantifier statistiquement
Relier les 4 sources d’erreur de mesure avec leur type d’instruments sujets à chaque source d’erreur et l’indice de fidélité utilisé pour estimer l’erreur?
- erreur d’échantillonnage de contenu
- incohérence interne ou inter-items
- erreur d’échantillonnage dans le temps
- incohérence inter-informateurs
- instruments qui impliquent un degré relativement élevé de subjectivité
- instruments pour lesquels des résultats cohérents au sens large sont souhaités
- instruments de mesure de traits ou comportements relativement stables
- instruments qui requièrent une grande cohérence interne ou inter-item
- coefficient de fidélité moitié-moitié et coefficient de cohérence interne
- coefficient de fidélité test-retest
- coefficient de fidélité des formes parallèles
- coefficient de fidélité inter-juges
Erreur d’échantillonnage de contenu :
- instruments pour lesquels des résultats cohérents au sens large sont souhaités
- coefficient de fidélité des formes parallèles
Incohérence interne ou inter-items :
- instruments qui requièrent une grande cohérence interne ou inter-item
- coefficient de fidélité moitié-moitié et coefficient de cohérence interne
Erreur d’échantillonnage dans le temps :
- instruments de mesure de traits ou comportements relativement stables
- coefficient de fidélité test-retest
Incohérence inter-informateurs :
- instruments qui impliquent un degré relativement élevé de subjectivité
- coefficient de fidélité inter-juges
Vrai ou faux
On ne peut pas évaluer le degré de fidélité d’un instrument de mesure avec l’évaluation d’une seule personne
Vrai
on doit collecter les données d’un échantillons d’individus qui sont évalués avec l’instrument
Dans cette formule :
rx = var(vraie) / var(erreur)
Plus la part de variance vraie sera grande, plus le coefficient de fidélité s’approchera de ______, alors que plus la part de variance erreur sera grande, plus le coefficient s’approchera de _______
Plus la part de variance vraie sera grande, plus le coefficient de fidélité s’approchera de 1.0, alors que plus la part de variance erreur sera grande, plus le coefficient s’approchera de 0
Comme la définition de la fidélité à la base est qu’un instrument «devrait donner les mêmes résultats d’une administration à l’autre», il s’agit d’une mesure «______________» de la fidélité.
classique
Qu’est-ce que la fidélité des formes parallèles?
- On développe deux formes équivalentes du même instrument et on estime la corrélation des scores entre les deux formes pour les mêmes individus
- Instruments tout à fait similaires conceptuellement, mais avec des items légèrement différents
- Comme les deux formes parallèles sont supposées mesurer le construit de la même façon, l’objectif est donc de voir le degré d’erreur dans le contenu
- Après collecte de données: Corrélation élevée suggère bonne précision, ou dit autrement, peu d’erreurs de mesure
ex : examen du ministère a plusieurs versions
La question de l’________________________________ est cruciale pour pouvoir interpréter avec confiance la fidélité des formes parallèles
échantillonnage de contenu
Vrai ou faux
Dans la fidélité des formes parallèles, on peut simplement choisir des items au hasard dans une grande banque d’items
Faux
il faut faire une sélection quasi-aléatoire
Pas vraiment de «coefficient minimum» attendu dans la fidélité de formes parallèles, puisque la corrélation dépendra du ___________ (complexité du construit), en plus de facteurs _______________ des individus évalués (e.g., réaction différente aux deux formes)
On s’attend quand même à _____ au minimum (Anastasi & Urbina, 1997; Nunnally & Bernstein, 1994)
Pas vraiment de «coefficient minimum» attendu dans la fidélité de formes parallèles, puisque la corrélation dépendra du CONTENU (complexité du construit), en plus de facteurs PERSONNELS des individus évalués (e.g., réaction différente aux deux formes)
On s’attend quand même à 0,70 au minimum (Anastasi & Urbina, 1997; Nunnally & Bernstein, 1994)
Qu’est-ce que la fidélité test-retest?
- Évalue les mêmes individus avec le même instrument à deux reprises dans le temps pour voir s’ils obtiennent les mêmes résultats (scores)
- Pour l’estimer, l’intervalle de temps doit être assez court (environ 2 semaines à 1 mois)
- Après collecte de données: Une corrélation élevée suggère bonne précision, peu d’erreurs de mesure
- Pas vraiment de «coefficient minimum», mais si la corrélation est forte (au moins 0,70), l’instrument est considéré fiable
- s’il y a un écart entre les résultats (corrélation faible), il est parfois difficile de déterminer les raisons