Cours 6

Question 1

Qu’est-ce que l’analyse d’items

Answer 1

C’est une technique qui évalue la qualité des questions d’un test
Il fournit les bases pour améliorer la validité et la fiabilité des items d’un instrument psychométrique ou psychologique. Il garantit que les tests donnent des résultats plus cohérents.

Question 2

Vrai ou faux? C’est l’instrument qui est valide

Answer 2

Ce n’est pas l’instrument qui est valide, c’est les items qui le sont. On doit analyser les items pour savoir si notre test est valide.

Question 3

Quelle est la méthode la plus utilisée lors de l’analyse d’items?

Answer 3

La théorie classique des tests CTT

Question 4

Comment fonctionne la théorie classique des tests(CTT)?

Answer 4

Corrélation point-bisériale (item-total) :
Elle mesure la relation entre un item et l’ensemble des autres items, permettant de vérifier si cet item est bien aligné avec l’ensemble du test ou dimension.

Comment la calculer ?:
Corrélation entre chaque item (un item à la fois) et l’ensemble des autres items de la même échelle ou dimension total (on verra un tableau tantôt).

Comment l’interpréter ?
Une corrélation élevée indique que l’item est cohérent avec les autres items du test. Une corrélation faible ou négative suggère que l’item ne contribue pas efficacement à la mesure globale.

Indice de difficulté (p-value) :
Mesure la proportion de participants qui répondent correctement à un item, permettant de déterminer à quel point une question est facile ou difficile (considérant l’échantillon en question).

Comment la calculer ?:
on divise le nombre de réponses correctes (rc = 80) par le nombre total de participants (N = 100) = 80/100 = 0,80.

Comment l’interpréter ?
Une p-value proche de 1 indique = très facile, proche de 0 = très difficile.
Idéalement, on vise une p-value autour de 0,50, mais cela dépend du type de test et de l’objectif visé.

Question 5

Comment est-ce qu’on calcule la corrélation entre les items dans le cas de la théorie classique des tests.

Answer 5

Corrélation entre chaque item (un item à la fois) et l’ensemble des autres items de la même échelle ou dimension total (on verra un tableau tantôt).

Question 6

Comment est-ce qu’on interprète la corrélation entre les items dans le cas de la théorie classique des tests.

Answer 6

Une corrélation élevée indique que l’item est cohérent avec les autres items du test. Une corrélation faible ou négative suggère que l’item ne contribue pas efficacement à la mesure globale.

Question 7

Si la relation est faible, est-ce que l’item contribue efficacement à la mesure globale

Answer 7

Si la corrélation est faible ou négative, cela suggère que l’item ne contribue pas efficacement à la mesure globale.

Question 8

Qu’est-ce que ça signifie? Si la corrélation est élevée

Answer 8

Cela signifie que l’item est cohérent avec les autres items du test.

Question 9

Qu’est-ce que l’indice de difficulté? (P value)

Answer 9

Mesure la proportion de participants qui répondent correctement à un item, permettant de déterminer à quel point une question est facile ou difficile (considérant l’échantillon en question).

Comment la calculer ?:
on divise le nombre de réponses correctes (rc = 80) par le nombre total de participants (N = 100) = 80/100 = 0,80.

Comment l’interpréter ?
Une p-value proche de 1 indique = très facile, proche de 0 = très difficile.
Idéalement, on vise une p-value autour de 0,50, mais cela dépend du type de test et de l’objectif visé.

Question 10

Comment on calcule l’indice de difficulté (p-Value)

Answer 10

On divise le nombre de réponses correctes (rc = 80) par le nombre total de participants (N = 100) = 80/100 = 0,80.

Question 11

Comment est-ce que l’on interprète l’indice de difficulté? (P-Value)

Answer 11

Une p-value proche de 1 indique = très facile, proche de 0 = très difficile.
Idéalement, on vise une p-value autour de 0,50, mais cela dépend du type de test et de l’objectif visé.

Niveau de difficulté. Combien difficile à été ce niveau là. 80 % on bien réussi cette item… Je divise le nombre de bonne réponse par le nombre de réponse. Pourcentage du niveau de la difficulté. Il y a un genre de consensus.

Question 12

A quoi est-ce que l’analyse du terme fait aussi référence?

Answer 12

L’analyse d’items fait aussi référence aux analyses statistiques utilisées pour sélectionner les meilleurs items (inclure, retirer ou maintenir) d’un test psychologique/psychométrique.

Au-delà des analyses déjà mentionnées, on ajoute :
1- Statistiques de tendance centrale (Item Statistics);
2- Corrélations inter-item (Corrélation Matrix);
3- Analyses congénériques (Reliability Statistics); CA RESPECTE L’IMPORTANCE DE CHAQUE ITEM’ ILS ONT TOUS LA MEME IMPORTANCE POUR LE CONSTRUIT
4- Entre autres statistiques complémentaires (Analyse parallèle).

Question 13

Pourquoi est-ce que les corrélations sont fondamentales en psychométrie?

Answer 13

Les corrélations sont FONDAMENTALES en psychométrie. Pour effectuer ce genre d’analyse, un grand nombre d’items candidats doit être présenté à un large échantillon de participants issus de la population cible.

Idéalement, il devrait y avoir entre cinq et dix fois plus d’items candidats que la quantité finale «souhaitée» d’items du test (ou de la dimension).

Les chercheurs appliquent diverses procédures statistiques afin d’éliminer les items moins satisfaisants. Par exemple, selon la théorie classique des tests, les chercheurs pourraient éliminer les items si les réponses à ces items :

A) ne semblent pas d’accord avec le contexte exploré (éval. qualitative);
B) présentent des moyennes extrêmes (p.ex.: 1 ou 5), ou sans variabilité;
C) montrent très peu de variation (p.ex.: 1,1, 1,2 ou 4,8, 4,9);
D) sont fortement corrélés (> que 0,90 ou 0,95);
E) sont faiblement ou négativement corrélés avec les autres items.

Question 14

Dans des analyses d’items, idéalement, combien faut-il d’items candidats?

Answer 14

Idéalement, il devrait y avoir entre cinq et dix fois plus d’items candidats que la quantité finale «souhaitée» d’items du test (ou de la dimension).

Question 15

Les chercheurs appliquent diverses procédures statistiques afin d’éliminer les items moins satisfaisants.

Par exemple, selon la théorie classique des tests, dans quel cas les chercheurs pourraient éliminer les items?

Answer 15

Si les réponses à ces items :
A) ne semblent pas d’accord avec le contexte exploré (éval. qualitative); On doit sélectionner les meilleurs items, on peut demander à d’autre de regarder avec nous.

B) présentent des moyennes extrêmes (p.ex.: 1 ou 5), ou sans variabilité;
La variabilité doit être expliquer. On veut expliquer la variance d’un phénomène. Si c’est tout le même résultat, il n’y a pas de variabilité. Si il n’y a pas de variabilité il devient un candidat à partir.

C) montrent très peu de variation (p.ex.: 1,1, 1,2 ou 4,8, 4,9); Très peu de variabilité, il peut aussi devenir un candidat à partir.

D) sont fortement corrélés (> que 0,90 ou 0,95); Si 2 items sont très fortement corrélés, c’est qu’ils étudient pratiquement la même chose, alors on minimise l’Étude entre les autres chose… Ils expliquent à peu près la même chose on a pas besoin des deux alors. Les corrélations ne doivent donc pas être trop forte

E) sont faiblement ou négativement corrélés avec les autres items. Une corrélation négative ça veut dire que ca ne contribue pas pour la cohérence des autres items

Question 16

Comment savoir si la variabilité est adéquate?

Answer 16

Pour savoir si la variabilité entre les items est adéquate, c’est quand la valeur de l’Écart type est plus petite que la moitié de la valeur de la moyenne ET que la variance est plus grande que la valeur de la moyenne.

ALORS LA VARIABILITÉ EST ADÉQUATE. Si il est trop restreinte ca fait que tout le monde à répondu a peu près la même chose. Si elle est trop grande c’est qu’il y a trop d’opinion différente.

Question 17

Qu’est-ce que le McDonald Omega?

Answer 17

MCDONAL OMEGA = 0,863, c’est la moyenne des corrélations partielles. C’est la corrélation de l’item 1 avec l’item 2. C’est la corrélation de l’item 1 avec l’item 3 et contrôle l’effet des 6 autres items. (dans le cas ou il y avait 8 items) J’avise mon système que tout les autre relation sont 0. Ca c’est une corrélation partielle Ce résultat ici c’est la moyenne des corrélations partielles.

En 1951 il (chromeback,(j’ai pas compris le nom que le prof dit)) disait. J’ai besoin que cette chiffre ici soit plus grand que 0.8. POUR QUE CLA SOIT VALIDE, p7our que la vie sois belle. En 1954, il a changer, car c’était trop exigent, donc on accepte 0,

Question 18

Qu’est-ce que le tableau des items total statistiques permet d’évaluer

Answer 18

En résumé, ce tableau permet d’évaluer l’impact de chaque item sur la cohérence globale de l’échelle. Les statistiques telles que la “Corrected Item-Total Correlation” et les indices de fiabilité comme l’Alpha de Cronbach Ordinal et l’Omega sont particulièrement utiles pour juger de la pertinence des items dans un test.

Il nous permet de voir le Sting, la significativité, le coefficient de corrélation et la force.

Par exemple si L’item 7 = .878, ca augmente ma précision de mesure Si j’enleve l’item 7 j’augmente le niveau de précision de ma mesure. Il est devenu un candidat à partir.Si je l’enlève, mon échelle devient plus précis

Question 19

Que détermine la : Scale Mean if Item Deleted

Answer 19

Cette colonne montre la moyenne de l’échelle (ou score total moyen) si l’item en question est supprimé. Cela permet de voir l’impact de la suppression de l’item sur la moyenne totale du test. Si la suppression d’un item modifie considérablement cette moyenne, cela peut indiquer que cet item est important pour le test.

Question 20

Que détermine la : Scale Variance if Item Deleted

Answer 20

Cette colonne indique la variance de l’échelle (ou score total) si l’item est supprimé. La variance mesure la dispersion des scores. Si la variance change significativement après la suppression d’un item, cela peut montrer que cet item contribue fortement à la variabilité des réponses.

Question 21

Que détermine la : Corrected Item-Total Correlation

Answer 21

Il s’agit de la corrélation corrigée entre l’item et le score total (sans inclure l’item en question dans le score total). Elle mesure la relation entre l’item et le reste du test. Une valeur élevée indique que l’item est bien aligné avec l’échelle totale, tandis qu’une faible corrélation suggère que l’item pourrait être moins pertinent pour le test global.

Question 22

Que détermine la Squared Multiple Correlation

Answer 22

Cette colonne représente la corrélation multiple au carré pour l’item. Elle montre à quel point l’item est prédit par les autres items de l’échelle. Une valeur élevée suggère que l’item est bien expliqué par les autres items, ce qui peut être un indicateur de redondance d’information.

Question 23

Que détermine la Ordinal Cronbach’s Alpha if Item Deleted

Answer 23

Cette colonne affiche l’alpha de Cronbach ordinal de l’échelle si l’item en question est supprimé. L’alpha de Cronbach ordinal est une mesure de la consistance interne du test, c’est-à-dire à quel point les items du test mesurent le même concept. Si la suppression d’un item augmente considérablement l’alpha de Cronbach, cela signifie que cet item réduit la consistance interne de l’échelle

Question 24

Que détermine la : McDonald’s Omega if Item Deleted

Answer 24

Le McDonald’s Omega est une autre mesure de la fiabilité interne, similaire à l’alpha de Cronbach mais souvent considérée comme plus robuste. Cette colonne montre la valeur de l’Omega si l’item est supprimé. Comme pour l’alpha de Cronbach, une augmentation de l’Omega après la suppression d’un item peut indiquer que l’item n’est pas bien aligné avec le reste du test.

Question 25

Comment puis-je m’assurer que mes items concernent une seule dimension ?

Answer 25

L’analyse parallèle (Parallel Analysis - PA) présentée ici est une méthode utilisée pour déterminer le nombre optimal de dimensions (ou facteurs) à retenir, selon les items disponibles, lors d’une analyse factorielle. Elle compare les valeurs propres (eigenvalues) obtenues à partir des données réelles avec celles générées aléatoirement pour évaluer si les facteurs extraits des données réelles sont significatifs.

Question 26

Que permet la colonne : Real-data % of variance (Données réelles - pourcentage de variance)

Answer 26

Cette colonne montre le pourcentage de variance expliqué par chaque facteur extrait des données réelles. Par exemple, le premier facteur explique 59,8851 % de la variance, le deuxième 11,9361 %, etc.

Question 27

Que permet la colonne : Mean of random % of variance (Moyenne des données aléatoires - pourcentage de variance)

Answer 27

Cette colonne montre la moyenne des pourcentages de variance expliqués par des facteurs générés aléatoirement à partir de 9999 simulations. Ces valeurs servent de base pour comparer les valeurs obtenues avec les données réelles. Par exemple, dans les données aléatoires, le premier facteur explique en moyenne 20,6363 % de la variance.

Question 28

Que permet la colonne : 95 percentile of random % of variance (95e percentile des données aléatoires - pourcentage de variance)

Answer 28

Cette colonne montre le 95e percentile des pourcentages de variance des données aléatoires. Cette valeur est utilisée comme seuil pour comparer les valeurs propres des données réelles. Si un facteur des données réelles explique plus de variance que cette limite, il est retenu comme significatif.

Question 29

Quelle est la règle de décision qui permet de déterminer si le facteur doit être retenu?

Answer 29

Vous comparez la variance expliquée par les facteurs des données réelles avec la variance expliquée par les données aléatoires (95e percentile). Si la variance expliquée par le facteur réel est supérieure à celle du 95e percentile des données aléatoires, alors ce facteur doit être retenu.

Question 30

Donnez une interprétation de facteurs significatifs.

Answer 30

Le premier facteur des données réelles explique 59,8851 % de la variance, ce qui est supérieur au 95e percentile des données aléatoires (23,9915 %). Ce facteur est donc significatif.

Question 31

Donner une interprétation de facteurs qui n’est pas significatif.

Answer 31

Le deuxième facteur explique 11,9361 % de la variance, mais cette valeur est inférieure au 95e percentile des données aléatoires (20,0428 %). Ce facteur n’est donc pas significatif.

Tous les autres facteurs expliquent moins de variance que le seuil aléatoire du 95e percentile. Ils ne sont donc pas significatifs non plus.

Question 32

En quoi l’analyse parallèle (Parallel Analysis - PA) est particulièrement utile?

Answer 32

Ce type d’analyse est particulièrement utile en analyse factorielle pour déterminer le nombre optimal de facteurs à retenir, et éviter la sur-extraction de facteurs non pertinents