cours 6: l'analyse d'items

Question 1

qu’est ce que l’analyse d’items?

Answer 1

Dans le cadre de la psychométrie, l’analyse d’items fait référence aux analyses statistiques utilisées pour sélectionner les meilleurs items (inclure, retirer ou maintenir) d’un test

Question 2

pourquoi faire une analyse d’items?

Answer 2

on veut sélectionner les meilleurs items
plus d’items = meilleure variance expliquée

Question 3

qu’est-ce que l’économie mentale?

Answer 3

pas trop d”items car celui qui passe le test va se fatiguer: variance d’erreur

Question 4

quels sont les 6 groupes de statistiques qui peuvent être utilisés pour l’analyse d’items

Answer 4

-Modèle Alpha de Cronbach (ou autre) (Reliability Statistics) -> fidélité
-Moyennes et écarts-type (Item Statistics)
-Analyse de corrélation inter-item (Inter-Item Correlation Matrix) -> fondamental, la plus importante
-Statistiques Sommaires des items (Summary Item Statistics) -> moyenne, corrélation, …
-Statistiques item-total (Item-Total Statistics) -> basé sur les corrélations
-Statistiques descriptive de l’échelle (Scale Statistics)

Question 5

quels sont les modèles psychométrique et sur quoi se base le processus d’analyse d’items?

Answer 5

-TCT (théorie classique des tests): la notion de l’ensemble est importante. Lorsqu’il prépare l’évaluation, le psychologue pense à l’épreuve complète, dans laquelle la somme de chaque question donne la note aux répondant, dans le but d’analyser la maîtrises connaissances (p.ex.). On veut placer les gens dans des catégories, dans des écarts-types, les comparer. TCT n’a pas d’outil pour démontrer si la réponse est bonne grâce aux connaissances ou par hasard.
-TRI ou TM(théorie moderne/ de réponse aux items): propose aussi une méthodologie adoptée pour la correction et l’attribution des notes. Mais, elle permet d’identifier si les résultats obtenus par les répondants sont le fruit du hasard ou reflètent leurs connaissances. On focus sur les items et non le résultat final. Étudie la difficulté de l’item en soi.

Question 6

Idéalement, il devrait y avoir entre ___ et ___fois plus d’items candidats que la quantité finale « souhaitée » d’items du test (ou dimension).

Answer 6

5 et 10

Question 7

quels sont les critères d’élimination d’items dans la TC?

Answer 7

si les réponses:
-présentent des moyennes extrêmes (p.ex.: 1 ou 5) -> pas de variance, donc item doit partir
-montrent très peu de variation (p.ex.: 1,1, 1,2 ou 4,8, 4,9) -> donc pas de variance, car tout le monde tend à répondre la même chose
-sont fortement corrélés (> que 0,90 ou 0,95) -> car signifie que ca mesure la même chose
-sont faible corrélation avec la totalité des items restants. -> n’a pas de sens de participer dans la même dimension car réponses trop différentes (corrélation parfaite = entre 0,3 et 0,7 (coéfficient de détermination))

Question 8

on s’attend à une variance entre __ et __%

Answer 8

9 et 49

Question 9

quel est le calcul d’un coefficient de corrélation?

Answer 9

-Moyenne de X et moyenne de Y (ou médiane ou mode selon ce qui fait du sens -> va changer la corrélation)
-x = X - moyenne de X (ex. 41-40=1) et y = Y - moyenne de Y
-On veut enlever les valeurs négatives dans les x et y donc on met à la 2
-Formules vont être données à l’examen mais comprend le processus
-ÉT de X = racine de x2 sur n
-On a maintenant tout pour calculer la corrélation
-Somme de x et somme y donnent toujours 0

Question 10

Dans le contexte de construction (ou adaptation) d’instruments psychométriques, l’analyse d’items est un processus ______ et, selon la théorie classique, ne doit pas être ___________.

Answer 10

itératif
automatisé

Question 11

Le jugement du psychométriste est nécessaire pour déterminer:

Answer 11

si l’ensemble d’items retenus est satisfaisant (sinon, on recommence). Les critères mentionnés au diapo 8 ne concordent pas toujours, et un équilibre doit être trouvé entre eux pour décider d’inclure ou non un item.

Question 12

comment savoir combien de dimensions nous avons sur SPSS?

Answer 12

on fait une analyse parallèle. on regarde si la variance de la valeur réelle > variance de la moyenne > 95e centile

Question 13

comment interprétons-nous le tableau « item statistics »

Answer 13

-Si Items: écart-type plus petit que la moitié de la valeur de la moyenne
-Si Échelle type Likert: écart-type plus petit que la moitié de la valeur de la moyenne ET variance plus grand que la valeur de la moyenne
-Moyenne se situe environ vers le centre de la distribution (pas de moyenne de 1 ni 5)

Question 14

comment interprétons-nous la matrice de covariance?

Answer 14

ex: la covariance entre Dynamique et Discrète est de -0,518, ce qui indique que la relation/association entre ces deux variables est négative. Difficile à interpréter car peut aller de -infini à infini, donc le chiffre n’a pas vraiment d’importance

Question 15

comment trouve-t-on la corrélation?

Answer 15

on normalise la covariance

Question 16

comment interprétons-nous la matrice de corrélation

Answer 16

les corrélations sont modérées-fortes (force entre -0,514 < r(124) < 0,726), positives et négatives (condition inadéquate pour l’analyse d’items) et probablement significatives (condition non testée). Ces résultats suggèrent que quelques items (les items négatifs) pourraient être (très probablement) de candidats à l’élimination du pool d’items de cette dimension.

Question 17

que doit-on faire avec les corrélations négatives

Answer 17

Corrélation négative pas bon, rend inadéquat pour l’analyse d’items -> tous les éléments d’une même dimension doivent aller dans la même direction

Question 18

dans le « summary item statistics », dans quel intervalle devrait se situer la moyenne de corrélation?

Answer 18

entre 0,3 et 0,7

Question 19

que doit-on regarder dans l’analyse d’échelle?

Answer 19

-écart type doit être plus petit que la moitié de la valeur de la moyenne et variance doit être plus grande que la valeur de la moyenne
ex: Comme la variance est plus petit que la moyenne; comme les items sont présentement, ils sont trop restreints. La variabilité est trop restreinte. Les gens ont plus ou moins répondu la même chose, donc pas beaucoup de variation, ce qui n’est pas bon

Question 20

que doit-on regarder sans le « reliability statistics »?

Answer 20

-On cherche un alpha de 0,7 ou plus.
-Si plus bas: n’ont pas d’homogénéité (consistance interne).
-Normalisation avec les score z -> descend encore plus l’alpha

Question 21

que regarder dans le tableau « item-total statistics »?

Answer 21

-Corrected item- total correlation (3e colonne): corrélation de l’item avec l’ensemble des autres items
-Alpha if item deleted (dernière colonne): résultats de l’homogénéité des résultats par item. Ne marche pas car pas en haut de 0,7

Question 22

qu’est ce que ca veut dire quand nos corrélations n’ont pas toutes le même signe et que notre alpha n’est pas significatif?

Answer 22

si on enlève tous les items dont la corrélation est négative ou tous ceux dont elle est positive, on à un alpha de 0,8. Pourtant, le test disait qu’il n’y avait qu’une seule dimension. Il fut alors utiliser notre jugement.