Cours 7 : L'élaboration des tests

Question 1

Quels sont les 6 étapes de conception d’un test?

Answer 1

1) Définir le but du test
2) Questions de conceptions préliminaires
3) Préparation des items
4) Analyse d’items (D) et (p)
5) Standardisation
6) Publication

Question 2

Que veut-on dire par : bien définir les objectifs ou le but du test?

Answer 2

Il s’agit de bien déterminer le trait ou la variable que l’on essaye de mesurer. Cela implique donc de définir adéquatement le trait et ses dimensions.

Ex: Si j’élabore un test sur la dépression je vais couvrir 3 dimensions (affective, comportementale et cognitive) donc mon test sera divisé également pour chaque dimension.

Question 3

En termes de scores, que devons-nous mettre au clair?

Answer 3

Dépendamment du but du test, on doit déterminer le nombre de score obtenu par le questionnaire.

Est-ce que l’on souhaite mesurer un trait pathologique ou non? Est-ce que le questionnaire produit des scores détaillés?

Ex: Le MMPI fournit un profil de personnalité. (plusieurs scores à plusieurs échelles forment le profil)

Question 4

Quelles précisions devons-nous faire par rapport au public cible du questionnaire?

Answer 4

Lorsque l’on élabore un test on doit s’assurer de bien spécifier le public cible à qui il s’adresse. L’intention du test est une description détaillée du construit et du public cible.

Par exemple: Un inventaire de dépression doit être en mesure de départager les dépressifs des non dépressifs.

Question 5

Qu’est-ce que la méthode de double-traduction?

Answer 5

Méthode qui consiste à traduire un questionnaire d’une langue 1 à une langue 2 par 2 différents traducteurs.

Ex: Pour traduire un questionnaire de l’anglais à en français je le fais traduire par traducteur 1. Avec la version traduite je demande au traducteur 2 de le re-traduire en anglais. Je compare l’équivalence des 2 versions anglophones.

Question 6

Donne des exemples de questions préliminaires que l’on se pose avant d’élaborer un test

Answer 6

• Le mode d’administration (papier-crayon, internet?)
• La formation des utilisateurs
• La longeur du test (affecte la fidélité)
• Le format des items (choix ou à développement?)
• Le nombre de score obtenu (va de pair avec la longeur du test)

Question 7

Quelles sont les 3 raisons (origines) d’élaborer un test psychométrique?

Answer 7

1) pour répondre à un besoin pratique
2) Pour supporter une base théorique
3) Pour réviser ou adapter un test déjà existant

Question 8

Explique et donne des exemples d’élaboration de tests pour répondre à un besoin pratique

Answer 8

C’est souvent les écoles ou l’armée qui sont responsables pour la pression à développer des tests psychométriques.

On énonce un problème de recherche (ex: le suicide est un problème social), donc on élabore des inventaires de dépression pour répondre au besoin pratique de prévenir les suicides.

Ex: Échelle Weschler-Bellevue a été créée après le Stanfrd-Binet pour qu’il soit plus adapté pour les adultes.

Question 9

Explique et donne des exemples d’élaboration de tests pour supporter une base théorique

Answer 9

Certains chercheurs croyaient que la personnalité pouvait se traduire par l’interprétation de planches ambigües.

Ainsi, pour supporter cette base théorique, le TAT fût élaboré!

Question 10

Explique et donne des exemples d’élaboration de tests pour réviser ou adapter un test existant

Answer 10

Plusieurs tests sont élaborés pour mettre à jour certains tests ou simplement parce qu’ils ne sont plus du goût du jour. Par exemple, un item ancien du genre “que fait tu si tu trouves une lettre avec un timbre dessus?” n’est plus adapté en 2024.

Certaines échelles doivent être mises à jour ex jalousie il y a 20 ans vs aujourd’hui.

Question 11

Quels sont les 4 aspects d’un item?

Answer 11

1) Stimulus
2) Format de réponse (choix ou développement)
3) Conditions de réponse (ex: limite de temps)
4) Procédures de cotation (correct vs incorrect, pondération différentes)

Question 12

Qu’est-ce qu’un item à choix de réponse?

Answer 12

Il s’agit d’un item où le candidat doit choisir parmi 2 choix de réponses ou plus.

-Vrai ou faux
-Choix multiples
-échelle de likert
-différenciateurs sémantiques (2 adjectifs contraire)

Question 13

Quels sont les cotations possibles pour les items à choix de réponse?

Answer 13

a) correct ou incorrect
b) réponse va dans une certaine direction (ex: MMPI)
c) pondération diverses (1pt, 2pts)
d) donner un choix neutre ou non

Question 14

En quoi donner un choix neutre de réponse peut affecter les résultats d’un test?

Answer 14

Il peut arriver qu’un client ne se positionne pas vraiment d’un bord ou l’autre lorsqu’il répond au test. À ce moment il est préférable de retirer le choix de réponse neutre pour forcer le client à se postionner.

Question 15

Qu’est-ce qu’un item à développement?

Answer 15

Item où le répondant formule une réponse à partir de zéro. (réponse ouverte, libre).

-essai
-question d’examen
-évaluation de performance

Question 16

Quels sont les cotations possibles pour les items à développement?

Answer 16

cotation globale: Poser un jugement global sur la qualité de la réponse.

cotation par points: La réponse parfit doit comporter certains points particuliers. (ex: si je vois le mot façonnement et pigeons = 10pts)

cotation analytique: Correction en fonction de plusieurs critères (points pour l’expression des idées, grammaire etc

Question 17

Quelques avantages des items à choix de réponse

Answer 17

1) Augmente la fidélité car il est possible de répondre à plus de questions dans le test (+ de questions = ++ fidélité)
2) Optimisation de la cotation (correction rapide par commins ou ordinateurs)

Question 18

Quelques avantages des items à développement

Answer 18

1) Facilite l’observation du comportement (observe comment la personne s’y prend pour y arriver)
2) Permet d’explorer certaines zones impossibles d’être couvertes par des items à choix multiples

Question 19

Les items à choix de réponse seraient plutôt associés à…

Answer 19

La mémorisation

Question 20

Les items à dévelppement seraient plutôt associés à…

Answer 20

La réflexion

Question 21

Quelques suggestions pour les items à choix de réponse

Answer 21

• Garder 1 seul contenu précis et 1 seul trait dans un item.
• opter pour la simplicité (éviter les ne pas, éviter les questions pièges)
  **questions pièges testent plutôt la capacité de lecture et non le trait.

Ex d’item qui mesure 2 traits : Mon cours de psychométrie m’épuise tellement que je me sens dépressif. quoi répondre??

Question 22

Quels sont les 3 phases de l’analyse de l’item?

Answer 22

1) Mise à l’essai de l’item
2) Analyse statistique
3) Sélection des items finaux

Question 23

En quoi consiste la Mise à l’essai de l’item?

Answer 23

Permet de dégager certains problèmes dans les items en demandant à des gens de penser à voix haute lorsqu’ils répondent au test.

Permet de voir comment la personne comprend les questions et comment elle s’y prend.

Question 24

Dans la mise à l’essai de l’item à quoi faut-il faire particulièrement attention?

Answer 24

Il faut s’assurer de mettre les items à l’essai auprès du bon public cible que vise le test.

Ex: item “il faut parfois blesser les autres pour arriver à ses fins” ; blesser ici peut être interpréter sous 2 sens à la fois physique OU psychologique.

Ex pour un délinquant, blesser quelqu’un fait référence à l’aspect physique de la chose.

Question 25

Lorsqu’on parle d’analyse statistique de l’item on fait référence à quels 2 concepts?

Answer 25

1) la difficulté de l’item (p)
2) le pouvoir discriminant de l’item (D)

Question 26

Lorsque l’on sélectionne les items finaux qui feront parti du test, on vise quoi?

Answer 26

On vise à sélectionner des items qui ont un bon indice de discrimination car ils contribuent à bien mesure le trait. On doit aussi choisir des items dont la valeur p varie de faible à forte pour bien discriminer les groupes.

Il ne faut pas oublier aussi en terme de difficulté que le niveau de difficulté du test dépend de son objectif ou de son but initial.

Question 27

Un test facile présente une valeur ( ) de p

Answer 27

Un test facile présente une valeur ( élevée ) de p

Question 28

Un test difficile présente une valeur ( ) de p

Answer 28

Un test difficile présente une valeur ( Basse ) de p

Question 29

L’indice de discrimination (D) atteint sa valeur maximale p quand il est ( )

Answer 29

L’indice de discrimination (D) atteint sa valeur maximale p quand il est ( à son point milieu )

Question 30

Quand la valeur de p est à 0,5 le facteur de chance….

a) intervient
b) n’intervient pas

Answer 30

b)

Question 31

Difficulté de l’item (p) définition

Answer 31

Il s’agit du pourcentage de répondants qui ont répondu correctement aux items cotés comme corrects ou incorrects ou dans une certaine direction.

La valeur de p indique jusqu’à quel point un item est facile ou non.

Ex: p = 0,25 est un item difficile (25% des répondants l’on réussit tandis que 75% l’on échoué)

Question 32

Donne un exemple d’item allant dans une certaine direction

Answer 32

Ex: “j’entends des voix” n’est pas nécessairement un item correct ou incorrect. Il va simplement dans une certaine direction.

Question 33

Pouvoir discriminant de l’item (D)

Answer 33

Il s’agit de la capacité à distinguer statistiquement divers groupes de répondants. C’est le pourcentage de différence des personnes qui réussisent l’item dans chacuns des groupes forts et faibles.

Globalement, est-ce que l’item est réussi surtout par ceux qui maîtrisent bien la matière?

Question 34

Quel pouvoir discriminant est-il souhaitable?

Answer 34

Un indice de discrimination de 0,5 est bien.

*Rappel : le but d’un test est de bien discriminer les groupes. Mais on doit faire attention de bien couvrir le contenu du test. Le questionnaire doit être discriminant mais pas trop au point qu’il ne couvre pas bien les contenus de la matière.

Question 35

Qu’est-ce qui est considéré comme un bon distracteur?

Answer 35

Si plusieurs personnes ont choisi le distracteur, il s’agit d’un bon distracteur. Sinon, celui-ci doit être revu.

Question 36

Formule pour l’indice de discrimination :

Answer 36

D = prop groupe fort ayant réussi - prop groupe faible ayant réussi

Question 37

Vrai ou faux : Un item très difficile répondu correctement au hasard par plusieurs est très discriminant

Answer 37

Faux!

Question 38

Exemple: Si 26% des répondans ont réussi l’item, aucuns du groupe faible l’a réussit et 40% du groupe fort l’on réussit.

L’item est-il facile ou difficile

Answer 38

Facile!

Question 39

Quelles sont les 2 méthodes pour déterminer le pouvoir discriminant d’un item?

Answer 39

**Méthode externe : **2 groupes contrastées par rapport au trait mesuré, selon un critère externe.
Ex: Test de dépression : 50 participants avec diagnostic d’un clinicien et 50 participants avec symptômes légers.
- Le critère est l’appartenance à un groupe.
- Est-ce que les items pris à part permettent de départager les sujets dans chaque groupe.

Méthode interne: 2 groupes contrastés selon un critère interne, habituellement le score total au test. (groupe fort vs groupe faible)
Ex: test de compétence : 100 personnes ayant suivi une formation et 100 personnes sans formation.
- Ici les groupes sont créés sur la base de leurs résultats au test élaboré.
- Est-ce que les items pris à part permettent de distinguer les sujets de la même façon que le fait le score total du test.

Question 40

Que nous dit la courbe caractéristique de l’item (CCI) ?

Answer 40

C’est une représentation graphique démontrant le rapport entre la performance à un item et la présence du trait ou de l’habileté que veut mesure l’échelle.

L’état du trait est désigné par Thêta. Il va de -4 à +4

Question 41

Thêta

Answer 41

C’est comme une valeur Z. Si j’ai un thêta de 0 je suis en plein sur la moyenne. Elle suit la courbe normale.

voir graphique dans notes

Ex: si j’ai un score de -1 thêta il s’agit d’un item très facile car même si je présente -1 du trait je réussis l’item.

Question 42

Plus la courbe caractéristique de l’item s’étend sur le long du graphique, plus l’item est _____________________

Answer 42

discriminant. Car tu dois présenter de plus en plus le trait pour avoir une chance plus élevée de bien répondre à l’item.

Question 43

L’asymptote inférieure de la CCI

Answer 43

C’est l’applatissement au bas de la courbe. Il démontre la probabilité de réussir aussi basse que soit le niveau d’habileté présent (thêta).

C’est la pseudo-chance de réussir.

Question 44

Quelques CCI possibles mais improbables (voir notes):
Quels sont les observations clés?

Answer 44

Item E: Tout le monde qui présente -2,0 d’habileté écouent à l’item et tous ceux qui sont supérieur à -2,0 réussisent l’item.

Item F: Grand pouvoir discriminant, puis atteint un plateau, puis reprend son pouvoir discriminant.

Item G: La probabilité de réussir diminue en fonction de l’intensité du trait présent. (indice de discrimination négatif!) Signifie que plus tu présentes le trait moins tu as de chances de réussir l’item ; il s’agit donc d’un item très problématique.

Question 45

En quoi consiste la standardisation des tests?

Answer 45

Elle consiste à développer des normes pour notre test. Cela signifie que le chercheur doit avoir un groupe représentatif auprès duquel il fait son échantillon de standardisation.

On veut des gens représentatifs au plan…
- sexe
- l’âge
- niveau d’éducation
- etc

Élaborer des normes pour un nouveau questionnaire prend énormément de temps et c’est très difficile.

Question 46

En quoi consiste la publication du test?

Answer 46

Au moment de la publication le test contient:
- Livret du test
- Manuel d’administration
- Manuel technique
- Fiches pour les scores
- Appui d’une publication scientifique (preuve de validité)

Question 47

Vrai ou faux : Suite à la conception d’un test le questionnaire est toujours en évolution?

Answer 47

Vrai, il y a toujours de la recherche qui va se faire sur celui-ci. On veut voir si la structure factorielle prévue est reproduite ailleurs.