Cours # 4 - P1 Flashcards
Qu’est-ce que la fidélité?
Ça concerne la précision de la mesure obtenue ou le niveau d’erreur qu’elle génère.
À quel point on peut compter sur l’outil.
Instrument fiable = précis et donne les mêmes mesures/résultats d’une administration à l’autre .
Vrai ou faux, en psychométrie, la fidélité s’applique sur le test.
Vrai ou faux, lorsqu’un auteur affirme que son test est fiable, il sous-entend que la fidélité à été établi pour la majorité de ses utilisations possibles et auprès de la majorité des utilisateurs.
Vrai ou faux, la fiabilité est une question de degrés et non une question de dichotomie (fiable ou pas fiable).
Faux, ce sont les scores généré par le test qui se doivent d’être fiable.
Faux, affirmer qu’un test est fiable sous-entend que la fidélité a été établie de façon permanente, pour toutes les utilisations possibles, avec tous les utilisatrices, sous-groupes, etc.
e.g., un instrument de musique accordé (piano ou guitare)
Vrai
Pourquoi la fidélité des scores est cruciale en psychoéducation?
Avant de prendre des décisions importantes, on veut savoir à quel point les variations des scores (entre individus ou moments de mesure) résultent de différences réelles dans le construit qui nous intéresse ou plutôt d’imprécisions (erreurs) de l’instrument de mesure qu’on utilise
Autrement dit, on veut savoir à quel point le score «vrai» est estimé avec justesse
- Vrai ou faux, il est possible qu’un instruments n’est aucune erreur? (Q examen)
Q examen
- Il est de notre responsabilité de bien connaitre la fidélité des instruments qu’ils utilisent, pour faire une interprétation rigoureuse et prudente des scores .
- Faux, il est impossible qu’il n’y est aucune erreur.
- Vrai
Qu’est-ce que l’erreur aléatoire?
- Présente dans tous les instruments
- La fluctuations statistiques est non-reproductibles
- Peut-être autant au dessus qu’en dessous de la moyenne
- Distribuées normalement
Cause: Variation dans l’échantillonnage
Comment les minimiser ou évaluer:
- Plus de moments de mesure
- Plus grands échantillon
- Peuvent être plus facilement estimées/contrôlées statistiquement
Sur quoi s’applique l’erreur de mesure?
Sur le score obtenu (score observé)
Qu’est ce que l’erreur de mesure systématiques/biais?
- Quand il y a des fluctuations constantes et reproductibles qui vont toujours dans une même direction (favorise toujours un côté)
- Il y a une surestimation ou osus0estimation constante des paramètres (Moyenne par ex)
- Pas distribuées normalement puisque le biais est toujours du même côté (Q examen)
Cause:
- Mauvaise utilisation de l’instrument
- Conditions d’administration inadéquates
- Imperfections de l’instrument
Comment les minimiser ou évaluer : Plus difficile, car on en le connais pas et plus difficile à quantifier statistiquement
*** C’est le type d’erreur qui nous inquiète le plus et sur lequel on peut avoir un impact
Qu’est-ce que l’erreur d’échantillonage de contenu, le type d’instruments sujets à cette erreur et l’indice de fidélité utilisé pour mesurer cette erreur?
Est-ce que j’ai mis les bonnes questions pour mesurer les concepts que je veux mesurer?
Instruments pour lesquels des résultats au sens larges sont souhaités
Coefficient de fidélité des formes de parallèles (ou coefficient de congruence)
Qu’est-ce que l’erreur d’échantillonage dans le temps, le type d’instruments sujets à cette erreur et l’indice de fidélité utilisé pour mesurer cette erreur?
Est-ce que les concepts qui sont stables sensé être stable dans le temps sont stables lorsque l’on utilise l’outil?
Instruments qui mesure des traits ou comportements relativement stables dans le temps
Coefficient de fidélité test-retest (de stabilité temporelle
Qu’est-ce que l’erreur d’incohérence inter-item ou interne, le type d’instruments sujets à cette erreur et l’indice de fidélité utilisé pour mesurer cette erreur?
Est-ce que tous les items qui mesure un même concept sont corrélés? Est-ce que les questions mesurent la même chose?
Instruments qui requièrent une grande cohérence interne ou inter-item
Coefficient de fidélité moitié-moitié ou coefficient de cohérence interne
*** L’erreur la plus rapportée, donc faire attention si ne l’est pas
Qu’est-ce que l’erreur d’incohérence inter-informateurs, le type d’instruments sujets à cette erreur et l’indice de fidélité utilisé pour mesurer cette erreur?
Est-ce que les différentes informateurs répondent de la même façon?
Instrument qui impliquent un degrés élevé de subjectivité
Coefficient de fidélité inter-juge (accord inter-juges)
Comment peut-on déterminer la fidélité d’un instrument?
En récoltant les données d’un échantillon d’individus qui sont évalués avec l’instrument.
Plus la part de variance vraie sera grande, plus le coefficient de fidélité s’approchera de 1.0, alors que plus la part de variance erreur sera grande, plus le coefficient s’approchera de 0
Qu’est-ce que le coefficient de fidélités des formes parallèles ?
Pour déterminer la fidélité de contenu.
Nécessite de développer deux versions d’un instruments
qui sont conceptuellement similaires et dont les items diffèrent légèrement
dans le but d’estimer la corrélation des scores entre les deux formes pour un même individu.
Nécessite une sélection quasi aléatoire des items dans les deux instruments pour s’assurer que tous les sous-domaines spécifiques du construits soient représentés équitablement.
Objectif: Estimer le degré d’erreur de mesure dans le contenu (Corrélation élevée suggère bonne précision, ou dit autrement, peu d’erreurs de mesure )
Échantillonnage de contenu est cruciale pour pouvoir interpréter avec confiance cette forme de fidélité
Typiquement, à quel coefficient s’attend t’on pour déterminer la fidélité des mesures (contenu, inter-items, accord-interjuge, dans le temps)?
Coefficient de 0.70 au minimum et de P plus petit que 0.5.
Q examen: Pour qu’un instrument soit considéré comme fiable, la corrélation de fidélité doit être d’au moins 0.70.
Faux, il n’y a pas de coefficient minimum pour considérer un instruments comme stable.
Qu’est-ce que le coefficient de fidélité test-retest?
Permet de déterminer l’erreur d’échantillonage dans le temps.
Il faut évaluer les individus avec le mêmes instruments à plusieurs reprises dans le temps (intervalles de 2 semaines à 1 mois) et de déterminer la corrélation entre les scores d’un même individu.
Plus la corrélation est élevée, plus cela suggère une bonne précision et peu d’erreur.
Attention! Il est plus difficile d’obtenir une forte corrélation pour ce coefficient, car les concepts peuvent être plus plastique (changer rapidement dans le temps, intervalle de temps trop long, événements importants, …)
DONC, ne pas considérer comme non fidèle et s’attendre à corrélation très élevée.
Qu’est-ce ce que la cohérence interne?
C’est de s’assurer que les items sont significativement corrélé entre eux et cela nous permet de déterminer s’ils mesurent réellement le même concept (donc ici plutôt l’analyse du côté empirique et non conceptuel des items)
Quelles sont les deux stratégies pour évaluer la cohérence interne?
(1) coefficient de fidélité moitié-moitié
(2) coefficient de cohérence interne
Qu’est-ce que le coefficient moitié-moitié?
C’est une façon d’évaluer la cohérence interne.
Nécessite de diviser en deux les items d’une échelle de façon quasi-aléatoire et d’estimer la corrélation entre ces deux moitié à posteriori (après avoir passer les test au contraire d’appriori pour les formes parallèle).
Plus elle est élevée, plus cela indique une bonne fidélité.
Voit rarement ce test.
Quel problème méthodologique survient lors de l’évaluation de la cohérence interne? (Q examen)
Comment régler ce problème?
Lorsqu’il y a moins d’items, les corrélations sont automatiquement plus faibles, ce qui rejoint la prophétie de spearman (plus il y a d’items dans une échelle, plus sa fidélité est élevée). (Q examen)
On peut appliquer la formule de la prophétie de spearman brown pour déterminer quelle serait la corrélation avec plus d’items
