Fidélité Flashcards
La fidélité permet la distinction entre changement réel et changement temporaire. Qu’est-ce qui serait un changement temporaire ?
Circonstances personnelles, hasard (version du test)
Donnez 4 mots-clés reliés à la fidélité
Précision
Confiance dans la constance
Reproductibilité (marge)
Estimation erreur de mesure
Différenciez erreur systématique et erreur aléatoire
L’erreur systématique constitue en une diminution de la validité les résultats sont systématiquement tirés vers le hauts (ou vers le bas)
L’erreur aléatoire correspond à l’erreur de mesure ce qui affecte la fidélité
Quelles sont les principales sources d’erreurs de mesure affectant la fidélité (4) ?
- Type de correction
- Contenu de l’instrument
- Conditions d’administration (standardisation)
- Circonstances personnelles
Qui suis-je ?
Dispersion des scores autour de la moyenne
variance
Donnez une description de la covariance. Quel est son principal inconvénient ?
À quel point la fluctuation d’une variable entraîne la fluctuation d’une autre
C’est donc la mesure de l’association entre ces deux variables
Il est difficile de comparer car elle est affectée par les unités de mesure
Vrai ou faux : la covariance nous informe sur la force du lien
faux : seule la corrélation peut le faire
À partir de quelle unité de mesure les données sont-elles comparées dans la corrélation de Pearson ?
L’écart-type
Distinguez le score vrai et le score observé
Le score observé est la valeur obtenue au test. Il a subi l’influence de diverses sources d’erreur. Le score vrai (hypothétique) serait le score obtenu si toutes les sources d’erreurs de fidélité étaient disparues. C’est la moyenne d’une infinité de prises de mesure
Vrai ou faux : l’étendue de la distribution est plus grande lorsque la fidélité est faible
vrai
plus la fidélité est grande, plus on se rapproche du score vrai
Définissez l’erreur de mesure
Toutes les causes aléatoires d’altération de la fidélité de l’instrument
C’est la différence entre le score vrai et le score observé
_______________ se distribue normalement autour du score vrai, donc le score observé se distribue normalement autour de ___________________
L’erreur de mesure
Autour du score vrai (le score vrai est une CONSTANTE)
Variance ______________ = ____________ + ____________.
Le coefficient de fidélité est donc la _______________ et un instrument précis en est un qui ________________ car ____________________.
Variance observée = variance vraie + variance d’erreur
Coefficient de fidélité (0 - 1) = proportion de variance observée expliquée par variance vraie
Instrument précis détecte variations réelles car la variance des scores observés et dûe à la variance des scores vrais
Si j’ai un coefficient de fidélité de 0,85 (85%), cela veut dire que :
85% de la variance observée est dûe à la variance vraie et que 15% de la variance observée est dûe à l’erreur aléatoire
La fidélité test-retest (de stabilité) cible les 3 sources d’erreur suivantes :
Le coefficient de fidélité est ici une :
- Circonstances personnelles
- Conditions d’administration
- Types de correction
Coefficient de fidélité = corrélation entre 1re et 2e fois
Quelles seraient 2 limites de la fidélité test-retest ?
- Elle ne tient pas compte des erreurs liées au contenu
2. Compliquée (longue)
Quels effets (3) observe-t-on en mesurant la fidélité test-retest ?
Effet de reprise :
- Effet de pratique (répétition)
- Effet d’apprentissage (compétence)
- Effet de maturation (trop long)
Quelle est la source d’erreur ciblée dans la fidélité interjuge ?
Le coefficient de fidélité est représenté par :
- Type de correction
Coefficient de fidélité = corrélation entre les 2 scores (ou moyenne de corrélations si + de 2 juges)
Quelle serait la limite de la fidélité interjuge ?
Ne tient pas compte des variations liées aux autres sources d’erreur
La fidélité avec la méthode des versions parallèles cherche à mesurer l’équivalence de deux versions d’un test. Quelles sources d’erreur cible-t-elle (court délai VS long délai) ?
Court : contenu et circonstances personnelles
Long : contenu, circonstances, conditions d’administration et type de corection
Coefficient de fidélité = corrélation entre les deux versions
Quelles sont les limites de la méthode des versions parallèles (3) ?
- Les 2 versions ne peuvent être équivalentes à 100%
- Long, $
- EFFETS de la reprise
Court délai : effets de pratique + d’apprentissage
Long délai : pratique, apprentissage, maturation
(moyen dépend du concept)
La fidélité de type cohérence interne cherche à mesurer :
La source d’erreur ciblée est :
Homogénéité des items : si les items à l’intérieur d’une même échelle covarient ensemble, c’est-à-dire qu’ils mesurent le même concept
Le contenu de l’instrument
Quelles sont les 3 méthodes utilisées pour mesurer la cohérence interne d’un instrument ?
Bissection
Formules de Kuder-Richardson
Coefficient alpha de Cronbach
En quoi consiste la bissection ?
Diviser les items en 2 et prendre la mesure de chaque moitié comme si c’étaient 2 versions de tests. Le coefficient de fidélité est représenté par la corrélation entre les scores. Homogénéité des items élevée si corrélation élevée.
Quelles sont les limites de la bissection (2)?
Sous-estiment la fidélité :
moins d’items dans chaque version (fidélité mesurée pour un test 2X moins long qu’en réalité)
deux versions ne sont pas nécessairement équivalentes
En quoi consiste la formule de Kuder-Richardson ?
Effectuer toutes les bissections possibles dans l’échantillon d’items. Le coefficient de fidélité est obtenu par la moyenne des corrélations des scores de toutes les bissections
Quelles sont les limites de la méthode de Kuder-Richardson ?
Elle ne s’applique qu’aux items dichotomiques
Elle sous-estime la fidélité
En quoi consiste le coefficient de Cronbach ? Qu’est-ce qui le fait varier ?
Moyenne des corrélations entre chaque paire d’items
Il (la fidélité donc) augmente quand le nombre d’items augmente (surtout!) ainsi que la corrélation entre les items
Quelle est la limite de l’alpha de Cronbach ?
Sous-estime la fidélité puisque chaque item n’est pas nécessairement parallèle aux autres
S’il y a une asymétrie dans les résultats à un item, on peut croire que c’est parce que _________________
La fidélité est donc baissée car ______________
Facteurs influençant la fidélité : Difficulté
L’item est soit trop facile ou trop difficile
variance limitée (l’item est mal distribué)
Test-retest :
1re passation : courbe normale
2e passation : asymétrie
Que s’est-il passé (3 options) ?
- Résultats pas constants (caractéristiques du questionnaire)
- Instrument devenu trop facile (effet d’apprentissage)
- Instrument devenu trop difficile
Qu’arrive-t-il lorsqu’on prend un population homogène par rapport au trait étudié (ex. 7-8 ans) ? (3)
Étendue des scores individuels baisse (7-8 ans VS 6-12 ans) DONC corrélation inter-score diminue
Aucune corrélation spécifique n’apparaît (zoom)
Sous-estime la fidélité (même si elle est bonne à la base)
Expliquez ce qu’est l’homogénéisation articifielle des résultats lorsqu’une limite de temps est appliquée
Les derniers items ne sont pas répondus (obtiennent 0) ce qui entraîne une corrélation surélevée entre le T1 et le T2, ce qui fausse la cohérence interne
Lorsqu’un grand nombre d’items est utilisé (test est long), la somme des erreurs aléatoires de mesure devraient____________
se rapprocher de 0
comme le nombre de participants dans un échantillon
Qu’est-ce qui correspond à une bonne fidélité / mauvaise fidélité ?
0,90 = excellent
moins de 0,70 = faible
La fidélité permet de calculer : (2)
Plus un instrument est fidèle, plus l’intervalle de confiance est : _________________
L’erreur type de mesure et donc l’intervalle de confiance qui entoure le score
Précis (restreint)
L’erreur type de mesure est :
Elle permet de calculer :
L’erreur qui est attribuable aux lacunes de fidéltié
L’intervalle de confiance dans lequel se situe le score vrai (à une certaine probabilité)
Si la fidélité est parfaite, comment est l’ETM ?
Si la fidélité est nulle, comment est l’ETM ?Q
Parfaite : ETM = 0
Nulle : ETM = ÉT
Quels sont les effets négatifs de vouloir être plus certain (99%) de la prédiction de l’intervalle de confiance ?
La fidélité baisse et l’écart type de mesure augmente (on perd en précision)
