Cours 6 : Fidélité Flashcards
Qu’est-ce que la fidélité ?
En psychométrie, la fidélité est considérée la cohérence globale d’une mesure. Une mesure est fiable (ou fidèle) si elle produit des résultats similaires (précis, reproductibles) dans des conditions comparables.
Quelle est la question à se poser lorsqu’on veut mesurer la fidélité ?
Est-ce que je mesure ce que je veux mesurer de façon adéquatement précise ?
Quelles sont les statistiques associées à la fidélité ?
Corrélations, Kappa de Cohen, Alpha, Omega de Macdonald, Beta, Gamma, etc.
Comment est aussi appelée la fidélité ?
Fiabilité des résultats de tests
Que permet la fidélité d’un test ?
Déterminer dans quelle mesure les différences individuelles dans les scores aux tests peuvent être attribuées à de « réelles/vraies » différences sur le plan des caractéristiques mesurées (variance réelle) et dans quelle mesure elles doivent être attribuées à des erreurs dues au hasard (variance d’erreur).
Qu’est-ce que la variance réelle ?
Les caractéristiques mesurées
Qu’est-ce que la variance d’erreur ?
Erreurs dues au hasard.
Que représente la variance d’erreur ?
Toute condition non pertinente à l’objectif d’un test.
Comment réduire l’erreur de mesure et rendre les scores plus fidèles ?
En maintenant des conditions de testage uniformes et standardisés, en contrôlant :
- L’environnement du testage,
- Les consignes,
- Les limites de temps,
- Le climat interpersonnel (avec les sujets), etc.
Quelle variance voulons-nous maximiser ? Et quelle variance voulons-nous minimiser ?
1- Variance réelle
2- Variance d’erreur
Vrai ou faux.
Un test peut être 100% fidèle.
Faux.
De quoi devrait être accompagné tout test ?
D’un rapport sur son degré de fidélité (indice de fidélité).
Comment est aussi appelé un degré de fidélité ?
Indice de fidélité.
Complète la phrase…
Cet indice de fidélité caractérise bien le test sous réserve qu’il soit administré dans…
Les mêmes conditions standardisées et à des personnes similaires à celles qui composent l’échantillon normatif (les caractéristiques de l’échantillon devraient être présentées, ainsi que le type de fidélité).
Complète la phrase :
Si l’échantillon a été normalisé dans des conditions ___, on est en train de ___ la variance ___ et minimiser la variance ___.
1- Similaires
2- Potentionnaliser/augmenter
3- Réelle
4- D’erreur
Vrai ou faux.
Une variance d’erreur peut être complètement annulée.
Faux.
Qu’est-ce qu’un coefficient de corrélation ?
Exprime le degré de correspondance (ou relation, ou association) entre deux séries de scores.
Entre quoi et quoi peut être le coefficient de corrélation ?
-1 et +1
Vrai ou faux.
Le score de corrélation peut devenir un score de coefficient de fidélité.
Vrai.
Vrai ou faux.
Tous les types de fidélité ont pour objet un degré d’association entre deux séries de scores.
Vrai.
Qu’indique une corrélation de 0 ?
L’absence complète de relation, ce qui reproduit le hasard.
Comment appelle-t-on une relation entre 2 coefficients de variation ?
Coefficient de covariation
Qui suis-je ?
Coefficient de covariation standardisé.
Coefficient de corrélation.
Qu’est-il important de mentionner dans l’interprétation de variables ?
Le niveau de signification.
Quelle expression permet de nuancé le fait d’avoir une corrélation modérée ?
Dans une certaine mesure.
Comment doit être inscrit les degrés de liberté ?
r(8) = ….
Quelle est la formule pour calculer les degrés de liberté ?
N-2
Quelle est la formule pour calculer les degrés de liberté dans une comparaison de moyennes ?
N-1
Quel est le barème de Furr concernant la cotation des coefficients de corrélation ?
- Plus petit que 0,10 = Corrélation très faible
- Autour de 0,15 = Corrélation faible
- Autour de 0,35 = Corrélation modérée
- Autour de 0,6 = Corrélation forte
- Plus grand que 0,80 = Corrélation très grande
Vrai ou faux.
Il existe qu’une seule classification des corrélations.
Faux.
Quelle est l’autre question à se poser concernant le résultat d’une corrélation ?
Est-ce que ce résultat de corrélation (r(x) = x) est-il significativement (p< 0,05) différent de zéro ?
Quelle est la plus petite corrélation significative au seuil de 5% avec un échantillon de 10 personnes ?
0,63
Complète la phrase :
Toutes corrélations plus petites que __ avec un échantillon de 10 personnes ne seront jamais ___.
1- 0,63
2- Significatives
Complète la phrase :
Toutes corrélations plus grandes ou égales que ___ avec un échantillon de 10 personnes seront ___.
1- 0,63
2- Significatives
Quel est le coefficient de fidélité désirable ?
0,80
Quels sont les 5 types de fidélité ?
- Fidélité par test-retest
- Fidélité par versions parallèles
- Fidélité par bissection (cohérence interne)
- Fidélité par structure interne (Alpha de Cronbach)
- Fidélité par équivalence inter-juges
Qu’est-ce que la fidélité test-retest ?
- On administre et on ré-administre le même test aux même sujets (deux temps, deux séances de testage).
- Le coefficient de fidélité équivaut tout simplement à la corrélation entre les scores obtenus par les mêmes personnes aux deux séances de testage.
À quoi correspond la variance d’erreur dans la fidélité test-retest ?
La variance d’erreur correspond aux fluctuations aléatoires des performances d’une séance de testage à l’autre.
Complète la phrase :
La fidélité test-retest indique dans quelle mesure il est possible de ___, à des occasions diverses, les ___ d’un test –> plus elle est ___, moins les scores sont influencés par des changements quotidiens ___ (ce dont on n’a pas de contrôle).
1- Généraliser
2- Scores
3- Élevée
4- Imprévisibles
Qu’est-il important de spécifier lorsqu’on inclut la fidélité test-retest dans un manuel de tests ?
L’intervalle de temps entre les deux passations.
Dans la fidélité test-retest, quelles sont les 2 difficultés qui vont augmenter la variance d’erreur ?
1- L’effet de pratique peut augmenter les scores au retest (résultats + élevés la 2e fois)
2- Si l’intervalle est très court, les sujets peuvent se rappeler de leurs réponses (effet de la mémoire sur lequel nous n’avons pas de contrôle)
Normalement, on retest après combien de temps ?
3 semaines, 3 mois, 6 mois, 9 mois, 12 mois.
Qu’est-ce que la fidélité par versions parallèles ?
Les individus peuvent passer une version lors de la première séance de testage et une autre version du même test, lors de la deuxième séance (toujours les mêmes personnes).
La corrélation obtenue entre les deux séries de scores deviendra le coefficient de fidélité.
Qui suis-je ?
Je suis un moyen de minimiser les difficultés soulevées par le test-retest.
Fidélité par versions parallèles.
Quelles sont les précautions à prendre lors de la fidélité par versions parallèles ?
Il faut assurer un véritable parallélisme.
- Contenir le même nombre d’items, la même forme, et couvrir le même type de contenu.
- Le niveau de difficulté moyen des items doit être le même.
- Il faut assurer l’équivalence des consignes, de minutage, des exemples, du format de présentation, bref, de tous les aspects du cadre de passation du test.
Quelle est la faiblesse de la fidélité par versions parallèles ?
Les sujets peuvent différer quant à leur degré d’amélioration due à la pratique, ce qui implique une autre forme de variance d’erreur qui tend à réduire la corrélation entre les deux versions
Qu’est-ce que la fidélité par bissection ?
Diviser le test en deux parties équivalentes (ce qui permet de calculer deux scores indépendants) étant donné que l’unique passation n’implique qu’une seule version d’un test, le coefficient de fidélité obtenu porte le nom d’indice de cohérence interne.
- Il faut décider comment diviser le test en deux (de manière à ce que les deux moitiés soient aussi semblables que possible).
Quel nom porte le coefficient de fidélité obtenu lors de la fidélité par bissection ?
Indice de cohérence interne.
Quelle est la faiblesse de la fidélité par bissection ?
Considérant qu’une moitié sert à tester l’autre, le calcul sert à vérifier la fiabilité de la moitié du test, et non du test entier !
Qui suis-je ?
Type de fidélité moins exploré dans la recherche.
Fidélité par bissection.
Qu’est-ce que la fidélité par structure interne (Alpha de Cronbach) ?
Il s’agit d’une seule passation, d’une seule version, d’un seul test. Cette fidélité a pour fondement l’homogénéité entre les réponses de tous les items du test.
Qui suis-je ?
Formule qui s’applique aux items de nature dichotomique.
La formule KR (Kuder-Richardson).
Qui suis-je ?
Formule qui s’applique aux items selon une échelle Likert ou de type Likert.
Formule Alpha.
À quoi sert la formule KR ?
Aux items dichotomiques.
À quoi sert la formule Alpha ?
Aux items selon une échelle Likert ou de type Likert.
Aujourd’hui, quelle formule est la plus utilisée ?
Alpha.
Quel coefficient tend à prendre de + en + de place ces jours-ci ? Pourquoi ?
Coefficient Oméga de McDonald.
À cause des certaines difficultés associées aux calculs Alpha (échantillon d’items et de personnes). La formule Oméga n’est pas affectée par le N d’items ou de personnes.
Complète la phrase :
Plus on augmente la quantité de ___ ou la quantité ___, plus on augmente artificiellement ___.
1- Personnes
2- D’items
3- L’alpha
Quelle est la mauvaise augmentation ?
La quantité d’items.
Quelle est la bonne augmentation ?
La quantité de personnes.
Qu’est-ce que la fidélité par intercorrecteurs ?
Évalue le degré de concordance entre deux ou plusieurs évaluateurs dans leurs évaluations.
Quelle statistique est associée à la fidélité intercorrecteurs ?
Kappa en Cohen.
Comment évaluer la fidélité intercorrecteurs ?
En faisant corriger un test par, au moins, deux examinateurs indépendants (pas plus de 5, sinon on va augmenter artificiellement le Alpha). Les deux scores (ou plus) obtenus seront mis en corrélation de façon usuelle.
Quelles sont les caractéristiques d’un test de vitesse ?
- La rapidité de la performance explique les différences individuelles observées (mesurées).
- Items faciles et qui font partie des habiletés maîtrisées par les sujets auxquels il est destiné.
- Limite de temps très court (impossible à compléter tous les items)
- Le score de chaque personne reflète son rythme (ou sa vitesse) de travail.
Quelles sont les caractéristiques d’un test de puissance ?
- Limite de temps suffisamment (réponse à tous les items)
- Items ordonnés selon une échelle de difficulté qui augmente très rapidement jusqu’à des items à peu près insolubles
- Personne ou presque ne peut obtenir un score parfait.
Complète la phrase :
La mémoire explique __% du QI des personnes
31%
Comment sont conçus les tests de vitesse et de puissance ?
Les tests de vitesse et de puissance sont tous les deux conçus pour empêcher une réussite parfaite.
Vrai ou faux.
On peut exprimer la fidélité d’un test sous la forme d’une erreur type de mesure (ETM).
Vrai.
Comment est aussi appelée l’erreur type de mesure ?
Erreur standard de mesure (ESM).
Quel est le score réel d’une personne ?
La moyenne de la distribution des scores.
À quoi correspond également l’erreur type de mesure ?
À l’écart-type.
Quel pourcentage des individus se regroupent entre -1,00 et +1,00 É-T ?
Autour de 68%.
Quelle est la formule pour déterminer l’ETM ?
ÉT*Racine carrée de (1-coefficient de fidélité)
Quels types de tests accordent un rôle important au jugement du correcteur ?
Les tests de personnalité de type projectif.
Complète la phrase :
Si les examinateurs s’efforcent de maintenir des conditions de testage uniformes/standardisés …
Ils réduisent les erreurs de mesure et rendent les scores + fidèles.
Pourquoi les tests de puissance et de vitesse empêchent-ils une réussite parfaite ?
Un score parfait est indéterminé. Il est impossible de savoir quel score plus élevé le sujet aurait atteint si le test avait contenu plus d’items ou des items encore plus difficiles.
