Cours 6

Question 1

Qu’est-ce que l’analyse d’items?

Answer 1

• Technique qui évalue la qualité des questions d’un test.
• Fournit les bases pour améliorer la validité et la fiabilité des items d’un instrument psychométrique/psychologique, garantissant que les tests donnent des résultats plus cohérents.

Question 2

Quelle est la méthode la plus utilisée en analyse d’items?

Answer 2

CTT – Théorie classique des tests

Question 3

Qu’est-ce que mesure la corrélation point-bisériale (item-total)?

Answer 3

Elle mesure la relation entre un item et l’ensemble des autres items, permettant de vérifier si cet item est bien aligné avec l’ensemble du test ou dimension.

Question 4

Comment calculer la corrélation point-bisériale (item-total)?

Answer 4

Corrélation entre chaque item (un item à la fois) et l’ensemble des autres items de la même échelle ou dimension total (on verra un tableau tantôt).

Question 5

Comment interpréter la corrélation point-bisériale (item-total)?

Answer 5

Une corrélation élevée indique que l’item est cohérent avec les autres items du test. Une corrélation faible ou négative suggère que l’item ne contribue pas efficacement à la mesure globale.

Question 6

Qu’est-ce que mesure l’indice de difficulté (p-value)?

Answer 6

Mesure la proportion de participants qui répondent correctement à un item, permettant de déterminer à quel point une question est facile ou difficile (considérant l’échantillon en question).

Question 7

Comment calculer l’indice de difficulté (p-value)?

Answer 7

on divise le nombre de réponses correctes (rc = 80) par le nombre total de participants (N = 100) = 80/100 = 0,80.

Question 8

Comment interpréter l’indice de difficulté (p-value)?

Answer 8

• Une p-value proche de 1 indique = très facile, proche de 0 = très difficile.
• Idéalement, on vise une p-value autour de 0,50, mais cela dépend du type de test et de l’objectif visé.

Question 9

Vrai ou faux. L’analyse d’items fait aussi référence aux analyses statistiques utilisées pour sélectionner les meilleurs items (inclure, retirer ou maintenir) d’un test psychologique/psychométrique.

Answer 9

Vrai

Question 10

Que devons-nous ajouter aux à l’analyse d’items?

Answer 10

• Statistiques de tendance centrale (Item Statistics);
• Corrélations inter-item (Corrélation Matrix);
• Analyses congénériques (Reliability Statistics);
• Entre autres statistiques complémentaires (Analyse parallèle)

Question 11

Qu’est-ce qui est nécessaire aux corrélations?

Answer 11

Les corrélations sont FONDAMENTALES en psychométrie. Pour effectuer ce genre d’analyse, un grand nombre d’items candidats doit être présenté à un large échantillon de participants issus de la population cible.

Question 12

Idéalement, combien d’items candidats devrait-il y avoir initialement?

Answer 12

Idéalement, il devrait y avoir entre cinq et dix fois plus d’items candidats que la quantité finale «souhaitée» d’items du test (ou de la dimension).

Question 13

Dans quel cas les chercheurs peuvent appliquer diverses procédures statistiques afin d’éliminer les items moins satisfaisants?

Answer 13

Par exemple, selon la théorie classique des tests, les chercheurs pourraient éliminer les items si les réponses à ces items :

• ne semblent pas d’accord avec le contexte exploré (éval. qualitative);
• présentent des moyennes extrêmes (p.ex.: 1 ou 5), ou sans variabilité;
• montrent très peu de variation (p.ex.: 1,1, 1,2 ou 4,8, 4,9);
• sont fortement corrélés (> que 0,90 ou 0,95);
• sont faiblement ou négativement corrélés avec les autres items.

Question 14

Quels sont les éléments à intégrer lors de l’interprétation des résultats?

Answer 14

• Niveau de signification
• Force
• Sens
• Coefficient de détermination

Question 15

Dans quel cas avons-nous une variabilité adéquate?

Answer 15

Écart-type doit être plus petit que la moitié de la valeur de la moyenne et la variance doit être plus grande que la valeur de la moyenne. Si c’est respecté, on a une variabilité adéquate.

• Pas beaucoup de variation = c’est trop restreint et les personnes ont des réponses trop proches. La variance sera plus petite que la moyenne.
• Écart-type plus grand que la moitié de la valeur de la moyenne = grande variabilité. La moyenne devient une mesure pas très représentative

Question 16

Que permet le tableau « Item-Total Statistics »?

Answer 16

En résumé, ce tableau permet d’évaluer l’impact de chaque item sur la cohérence globale de l’échelle. Les statistiques telles que la “Corrected Item-Total Correlation” et les indices de fiabilité comme l’Alpha de Cronbach Ordinal et l’Omega sont particulièrement utiles pour juger de la pertinence des items dans un test.

Question 17

Qu’est-ce qu’indique le “Scale Mean if Item Deleted” ?

Answer 17

Cette colonne montre la moyenne de l’échelle (ou score total moyen) si l’item en question est supprimé. Cela permet de voir l’impact de la suppression de l’item sur la moyenne totale du test. Si la suppression d’un item modifie considérablement cette moyenne, cela peut indiquer que cet item est important pour le test.

Question 18

Qu’est-ce qu’indique le “Scale Variance if Item Deleted” ?

Answer 18

Cette colonne indique la variance de l’échelle (ou score total) si l’item est supprimé. La variance mesure la dispersion des scores. Si la variance change significativement après la suppression d’un item, cela peut montrer que cet item contribue fortement à la variabilité des réponses.

Question 19

Qu’est-ce qu’indique le “Corrected Item-Total Correlation” ?

Answer 19

Il s’agit de la corrélation corrigée entre l’item et le score total (sans inclure l’item en question dans le score total). Elle mesure la relation entre l’item et le reste du test. Une valeur élevée indique que l’item est bien aligné avec l’échelle totale, tandis qu’une faible corrélation suggère que l’item pourrait être moins pertinent pour le test global.

Question 20

Qu’est-ce qu’indique le “Squared Multiple Correlation” ?

Answer 20

Cette colonne représente la corrélation multiple au carré pour l’item. Elle montre à quel point l’item est prédit par les autres items de l’échelle. Une valeur élevée suggère que l’item est bien expliqué par les autres items, ce qui peut être un indicateur de redondance d’information.

Question 21

Qu’est-ce qu’indique le “Ordinal Cronbach’s Alpha if Item Deleted” ?

Answer 21

Cette colonne affiche l’alpha de Cronbach ordinal de l’échelle si l’item en question est supprimé. L’alpha de Cronbach ordinal est une mesure de la consistance interne du test, c’est-à-dire à quel point les items du test mesurent le même concept. Si la suppression d’un item augmente considérablement l’alpha de Cronbach, cela signifie que cet item réduit la consistance interne de l’échelle.

Question 22

Qu’est-ce qu’indique le “McDonald’s Omega if Item Deleted” ?

Answer 22

Le McDonald’s Omega est une autre mesure de la fiabilité interne, similaire à l’alpha de Cronbach mais souvent considérée comme plus robuste. Cette colonne montre la valeur de l’Omega si l’item est supprimé. Comme pour l’alpha de Cronbach, une augmentation de l’Omega après la suppression d’un item peut indiquer que l’item n’est pas bien aligné avec le reste du test.

Question 23

Comment puis-je m’assurer que mes items concernent une seule dimension?

Answer 23

L’analyse parallèle (Parallel Analysis - PA) est une méthode utilisée pour déterminer le nombre optimal de dimensions (ou facteurs) à retenir, selon les items disponibles, lors d’une analyse factorielle. Elle compare les valeurs propres (eigenvalues) obtenues à partir des données réelles avec celles générées aléatoirement pour évaluer si les facteurs extraits des données réelles sont significatifs.

Question 24

Qu’est-ce que montre le “Real-data % of variance” (données-réelles - pourcentage de variance) ?

Answer 24

Cette colonne montre le pourcentage de variance expliqué par chaque facteur extrait des données réelles. Par exemple, le premier facteur explique 59,8851 % de la variance, le deuxième 11,9361 %, etc.

Question 25

Qu’est-ce que montre le “Mean of random % of variance” (Moyenne des données aléatoires - pourcentage de variance) ?

Answer 25

Cette colonne montre la moyenne des pourcentages de variance expliqués par des facteurs générés aléatoirement à partir de 9999 simulations. Ces valeurs servent de base pour comparer les valeurs obtenues avec les données réelles. Par exemple, dans les données aléatoires, le premier facteur explique en moyenne 20,6363 % de la variance.

Question 26

Qu’est-ce que montre le “95 percentile of random % of variance” (95e percentile des données aléatoires - pourcentage de variance) ?

Answer 26

Cette colonne montre le 95e percentile des pourcentages de variance des données aléatoires. Cette valeur est utilisée comme seuil pour comparer les valeurs propres des données réelles. Si un facteur des données réelles explique plus de variance que cette limite, il est retenu comme significatif.

Question 27

Qu’est-ce que la règle de décision en analyse d’items?

Answer 27

Vous comparez la variance expliquée par les facteurs des données réelles avec la variance expliquée par les données aléatoires (95e percentile). Si la variance expliquée par le facteur réel est supérieure à celle du 95e percentile des données aléatoires, alors ce facteur doit être retenu.

Question 28

Quels sont les facteurs dans l’interprétation des analyses d’items?

Answer 28

• Facteur 1 : Le premier facteur des données réelles explique 59,8851 % de la variance, ce qui est supérieur au 95e percentile des données aléatoires (23,9915 %). Ce facteur est donc significatif.
• Facteur 2 : Le deuxième facteur explique 11,9361 % de la variance, mais cette valeur est inférieure au 95e percentile des données aléatoires (20,0428 %). Ce facteur n’est donc pas significatif.
• Facteurs 3 à 8 : Tous les autres facteurs expliquent moins de variance que le seuil aléatoire du 95e percentile. Ils ne sont donc pas significatifs non plus.

Question 29

Quelle est la conclusion de l’analyse parallèle?

Answer 29

• Le tableau suggère que seul le premier facteur doit être retenu, car c’est le seul qui explique une variance supérieure à celle générée aléatoirement. Cela signifie que les données analysées sont mieux représentées par une seule dimension ou facteur latent.
• Ce type d’analyse est particulièrement utile en analyse factorielle pour déterminer le nombre optimal de facteurs à retenir, et éviter la sur-extraction de facteurs non pertinents.