Cours 5: Étapes de conception d'un test

Question 1

Quelles sont les étapes de conception d’un test?

Answer 1

1. Définir le but d’un test
2. Question de conceptions préliminaires
3. Préparation des items
4. Analyse des items
5. Standardisation
6. Publication

Question 2

Comment définir les objectifs du test?

Answer 2

Se demander: quel trait ou variable essayons-nous de mesurer?
**Important d’avoir défini adéquatement le trait et ses dimensions!!! (point de départ)

-Penser aux scores que nous allons obtenir (patho vs non-patho, détaillé)

-Spécifier le public cible (pour enfants, adultes, etc.)

-Vérifier si un test existe déjà
Ex: double traduction

Question 3

En quoi consiste la double traduction?

Answer 3

Validation francophone d’un instrument:

-Donner à un traducteur fr PUIS retraduire à nouveau en anglais avec autre traducteur
*Doit arriver à la version originale!
Ex: je suis pas une valise/i am not a suitcase PAS BON

-Valider avec une analyse factorielle confirmatoire

Question 4

Quelles sont les questions de conceptions préliminaires?

Answer 4

Mode d’administration
(Ex: test QI = 1 psy et 1 client MAIS si grand groupe, papier car trop cher)

Formation des utilisateurs

Longueur

Format des items

Nombre de scores (juste global ou sous-échelles aussi)
Ex: Wais = QI global, QI verbal, QI non-verbal, etc.

Question 5

Quelle est l’origine des tests?

Answer 5

1. Répondre à un besoin pratique (selon l’énoncé d’un problème de recherche Ex: école obligatoire = tests pour besoins des élèves, armée = tests pour bon soldats)
   *Wechsler, MMPI
2. Base théorique (Ex: TAT selon psychodynamique)
3. Révision, adaptation (Ex: tests d’intelligence car QI augmente avec générations et certains items plus valables = adapter)

Question 6

Quel est l’exemple de l’adaptation du test sur la jalousie?

Answer 6

Le questionnaire sur la jalousie a été fait il y a longtemps et ne prends pas compte de la surveillance sur les réseaux sociaux = adaptation du test pour être plus représentatif

Question 7

Quels sont les types d’items de choix de réponses?

Answer 7

Vrai ou faux
Choix multiples
Likert/différentiateurs sémantiques

Question 8

En quoi consiste la cotation des items à choix de réponses?

Answer 8

Correct/incorrect
Dans une certaine direction (ex: tout à fait en accord)
Pondérations diverses possibles

Question 9

Pourquoi c’est pas bien de donner un choix neutre dans les items à choix de réponses?

Answer 9

Les répondants ne se mouillent pas, y vont avec le choix facile

Question 10

Quels sont les types d’items à développement?

Answer 10

-Essai, question d’examen, performance, portfolio
-Évaluation orale, test projectif

Question 11

En quoi consiste la cotation des items à développement?

Answer 11

Problème majeur!!
-Fidélité interjuge (désaccords: surtout pour qs à développement ou cotation globale)
-Schème conceptuels (savoir quoi regarder)

Question 12

Quel est le truc pour contrer les problèmes de cotation d’items à développement avec la fidélité interjuge?

Answer 12

Méthode qualificative à points!!
Doit mentionner tel concept pour avoir les points
*Comme dans les examens de nic

Question 13

Quels sont les avantages des choix de réponses?

Answer 13

-Fidélité
-Moins de temps (coche les réponses)
-Optimisation (temps correction plus vite: lecture optique)

Question 14

Quels sont avantages des items à développement?

Answer 14

-Observation du comportement (comment le client s’y prend pour répondre? Stratégie est mieux que le résultat + motivation et anxiété)

-Couverture d’endroits imprévus car plus grande profondeur dans les réponses

-Chez étudiants: Force la réflexion VS mémorisation avec choix de réponses

Question 15

Quelles sont les 4 parties d’un item?

Answer 15

Stimulus (question)
Format de réponse (choix de réponses ou développement)
Conditions de réponse (limite temps, etc.)
Procédures de cotation

Question 16

Quelles sont les suggestions pour les choix de réponses?

Answer 16

-1 contenu précis et 1 seul trait par item
(Ex mauvais: mon cours de psychométrie m’épuise et ça me rend dépressif = 2 traits)

-Simplicité!!
*Éviter les pièges

-Éviter les Ne pas

Question 17

Quelles sont les 3 phases de l’analyse d’items?

Answer 17

1. Mise à l’essai de l’item
2. Analyse statistique
3. Sélection

Question 18

En quoi consiste la mise à l’essai de l’item?

Answer 18

Pour voir si ambiguïtés (Ex: C’est correct de prendre la voiture des autres):

-Demander à la personne de penser à voix haute pour voir raisonnement

-Choisir le bon public cible (en fonction du public cible du test)
**1e page de garde dans l’exam

Question 19

Quelles sont les deux dimensions de l’analyse statistique de l’item?

Answer 19

Difficulté de l’item
Pouvoir discriminant de l’item

Question 20

Qu’est-ce que la difficulté de l’item?

Answer 20

-Correct/incorrect: jusqu’à quel point l’item est facile/réussi ou non
*Déterminé avec valeur p (pourcentage élevé = facile)

-OU pourcentage dans une certaine direction lorsqu’il n’y a pas de bonne/mauvaise réponse

Question 21

Qu’est-ce que le pouvoir discriminant de l’item?

Answer 21

Capacité de distinguer statistiquement des groupes répondants (discriminé avec critères et non sexe, race, etc.)

-Critère externe: groupes définis (Ex: item discrimine psychopathe de non psychopathe?)
-Critère interne: item avec score total (réussi l’item et a une note élevé)

Question 22

Quels sont les indices de discrimination de l’item?

Answer 22

D (différence, différenciation): pourcentage du groupe fort - pourcentage groupe faible = indice de discrimination
r: corrélation entre la performance à l’item et la performance totale

**A juste les indices de discrimination à la fin du test, mais peut inférer ou le sait avec mise à l’essai formelle

Question 23

À quelle endroit se produit la meilleure discrimination dans un test facile et dans un test difficile?

Answer 23

Test facile (beaucoup d’items au p élevé): discrimination dans la partie inférieure de la distribution des scores

Test difficile (beaucoup d’items au p bas): discrimination dans la partie supérieure de la distribution des scores

Question 24

Comment se fait la sélection d’items?

Answer 24

1. Grand nombre d’items pour augmenter le fidélité (jusqu’à saturation)
2. Le niveau de difficulté du test en fonction de la valeur p de chacun des items
3. items discriminants pour un test qui mesure bien le trait

4 et 5???

Question 25

En quoi consiste l’étape de la standardisation?

Answer 25

Est-ce que nous avons un groupe représentatif? Est-ce qu’on peut comparer les scores obtenus?

Question 26

En quoi consiste l’étape de la publication?

Answer 26

Livret du test (explique le test en général)
Manuel d’administration
Manuel technique
Fiches pour scores
Appui d’une publication scientifique (analyse factorielle confirmatoire)

Question 27

En quoi consiste l’analyse factorielle confirmatoire?

Answer 27

VOIR!!!