Ppt. 4 Flashcards
Qu’est-ce que la fidélité?
La précision de notre mesure, ou dit autrement, le niveau d’erreur de mesure qu’elle génère.
(La confiance)
Est-ce que l’appellation “un test fiable” concerne le test ou bien les résultats?
Les scores générés par le test.
Cette distinction peut sembler une subtilité, mais elle est fondamentale pour comprendre les implications du concept de fidélité
Affirmer qu’un test est fiable sous-entend que la fidélité a été établie de façon permanente, pour toutes les utilisations, avec tous les utilisateurs.trices
En quoi la fidélité est-elle cruciale en psychoéducation?
Sur le plan clinique, avant de prendre des décisions importantes, on veut savoir à quel point les variations des scores – entre différents individus, ou entre différents moments de mesure – résultent de différences réelles dans le construit qui nous intéresse ou plutôt d’imprécisions (erreurs) de l’instrument de mesure qu’on utilise.
Bref, la justesse !
Quelle est la formule de la théorie du score vrai?
Score = score + erreur de
observé vrai mesure
Vrai ou faux : Un instrument de mesure peut ne pas avoir d’erreur de mesure.
Faux! Il y a toujours de l’erreur de mesure, mais les chercheurs tentent à la limiter.
Pourquoi doit-on bien connaitre la fidélité des instruments?
Afin d’interpréter de manière rigoureuse et prudente les scores.
Vrai ou faux : c’est notre rôle de connaître la fidélité d’un test
Vrai! Ce n’est pas le rôle des chercheurs/auteurs
Quel est le mot en P en psychométrie?
Prudence! :D
Vrai ou faux : La fiabilité a un impact sur la corrélation entre deux variables.
Vrai! La corrélation va dépendre de l’erreur de mesure (α = ). Plus il y a d’erreur, plus la corrélation pourrait s’éloigner de la corrélation réelle. (Voir diapo 8)
Quels sont les deux grands types d’erreurs de mesure?
Aléatoires et systématiques (ou biais)
Qu’est-ce qu’une erreur aléatoire?
- Fluctuations statistiques non reproductibles, toujours présentes pour tous les instruments.
- Autant au-dessus qu’en dessous de la moyenne
- Distribuées normalement
Qu’est-ce qu’une erreur de biais ou systématiques?
- Fluctuations constantes et reproductibles, qui sont toujours dans la même direction. Pas dans tous les instruments.
- Surestimation ou sous-estimation constante des paramètres
- Pas distribuées normalement
Quelle est la cause d’une erreur aléatoire?
Variation dans l’échantillonnage
Quelles sont les causes possibles d’une erreur de biais?
- Mauvaise utilisation de l’instrument
- Conditions d’administration inadéquates
- Imperfections de l’instrument
Comment réduire les erreurs aléatoires?
- plus grands échantillons
- plus de moments de mesure
Vrai ou faux : les erreurs systématiques sont facilement détectables.
Faux. Elles sont difficiles à détecter, car elles sont souvent inconnues.
Quels sont les 4 types de sources d’erreur de mesure?
- Erreur d’échantillonnage de contenu
- Erreur d’échantillonnage dans le temps
- Incohérence interne, ou inter-items
- Incohérence inter-informateurs
Quel est l’indice de fidélité pour l’erreur d’échantillonnage de contenu?
Coefficient de fidélité des formes parallèles (coefficient de congruence)
Indice de fidélité pour l’erreur d’échantillonnage dans le temps
Coefficient de fidélité test-retest (ou de stabilité temporelle)
Indice de fidélité pour l’incohérence interne ou inter-termes
Coefficient de fidélité moitié-moitié
Coefficient de cohérence interne
Quelle est la formule du score vrai utilisée avec des données?
rx = var vraie / var erreur
Var = variance
rx = fidélité
Plus il y a de la variance vraie, plus la fidélité sera …
Élevée
Qu’est-ce que la fidélité des formes parallèles?
On développe deux formes équivalentes du même instrument et on estime la corrélation des scores entre les deux formes pour les mêmes individus.
Instruments tout à fait similaires conceptuellement, mais avec des items légèrement différents.
**plus rare en psychoéducation, davantage utilisé en éducation
Qu’est-ce qui est crucial pour l’évaluation de la fidélité des formes parallèles?
L’échantillonnage de contenu.
* S’il n’y a pas beaucoup d’erreur de contenu, il devrait alors y avoir une forte corrélation
Quel type de sélection faut-il utiliser pour la fidélité de formes parallèles?
Sélection quasi-aléatoire!
Pourquoi? Les domaines et les sous-domaines doivent tous être représentés. On ne pourrait pas juste prendre des items au hasard dans la banque d’items.
Quel coefficient devrait-on s’attendre au minimum pour la fidélité des formes parallèles ?
0,70
Par contre, ce n’est qu’une attente, il n’y a pas de coefficient officiel minimum. Ça change selon le contenu.
Nommez un exemple de construit relativement stable dans le temps
Les traits de personnalité
Pour estimer la fidélité test-retest, l’intervalle doit être assez _____
Court! (Environ 2 semaines à 1 mois)
Vrai ou faux : Une bonne corrélation suggère une bonne précision. Donc, peu d’erreurs de mesure.
Vrai!!
Dans la fidélité des formes parallèles : l’instrument est considéré fiable à partir d’une corrélation de combien?
0.70
Vrai ou faux : Certains construits sont assez plastiques ou changeants dans le temps.
En effet, il ne faut pas s’attendre à des corrélations élevées pour la fidélité test-retest, car certains construits changent. C’est le cas pour les problèmes intériorisés.
Il pourrait également y avoir des facteurs environnementaux pour le changement au niveau des scores.
Le tout cohérent contient quoi? (cohérence interne)
Plan conceptuel et plan empirique
Qu’est-ce que le coefficient moitié-moitié?
Les chercheurs divisent en deux les items d’une échelle et on estime ensuite les corrélations entre ces deux moitiés.
Pour la cohérence interne, faut-il une sélection aléatoire ou quasi-aléatoire?
Quasi-aléatoire ! Car on doit avoir une bonne représentativité dans chaque moitié
Qu’est-ce que la formule de la prophétie de Spearman-Brown?
ra = 2 (rsh) / 1 + rsh
ra est la corrélation ajustée avec tous les items
rsh est la corrélation avec la moitié des items (split half)
Dans la cohérence interne, quand il y a moins d’items, la corrélation est alors moins ___
forte. Cela est lié à la prophétie de Spearman! Plus d’items = plus de fidélité.
Qu’est-ce qu’un item dichotomique?
Une question avec seulement deux réponses (oui/non, vrai/faux)
Qu’est-ce que le Kuder-Richardson?
Cas de alpha de Cronbach, mais spécifique aux items dichotomiques.
Qu’est-ce que le Omega de McDonald?
Mesure explicite si les items mesurent une même variable latente en utilisant l’analyse factorielle. Estime la fidélité d’une échelle plus près de la réalité que le alpha ou le KR-20.
Qu’est-ce que la fidélité inter-juges?
Degré de cohérence (ou corrélation) entre différents informateurs avec des mesures continues; on compare la variabilité (variance) entre les informateurs
Qu’est-ce que l’accord inter-juge?
Une mesure de degré auquel des informateurs sont en accord exactement – souvent avec des mesures catégorielles; ne considère pas variance
vrai ou faux : Les instruments dimensionnels ont généralement des corrélations significativement plus faibles.
Vrai! Les corrélations sont souvent inférieures à 0,70.
Quelles sont les 2 méta-analyses sur les échelles d’évaluation couvrant des études sur une période de 30 ans?
Achenbach, McConaughy et Howell (1987)
De Los Reyes et al. (2015)
*une méta-analyse bien faite se maintient dans le temps
