Cours 10 - Élaboration des items

Question 1

Quelles sont les étapes de conception d’un test ?

Answer 1

1. Définir le but de test
2. Questions de conceptions préliminaires
3. Préparation des items
4. Analyse des items
5. Standardisation
6. Publication

Question 2

Comment définissons-nous les objectifs du test ?

Answer 2

• Quel trait ou variable essayons-nous de mesurer ?
  o Et surtout, avoir défini adéquatement le trait et ses dimensions !

o Penser aux scores que nous obtiendrons
 Pathologique (MMPI) vs Non pathologique (Big 5) : cherche-t-on une mesure de la pathologie ou non, doit se poser la question que veut-on faire ?
 Détaillé (ex: MMPI)

• Spécifie le public cible
• Vérifier si un test existe déjà
• Validation
  o Double traduction

Question 3

Quelles sont les questions des conceptions préliminaires ?

Answer 3

o Mode d’administration : papier/crayon, internet, évaluateur et évalué

o Formation des utilisateurs : avoir un diplôme professionnel pour avoir accès à un test p.ex. échelle de Weishler

o Longueur : joue sur la fidélité – plus c’est long plus c’est fidèle, MMPI a 567 items – très long

o Format des items : choix multiples, action, à développement

o Nombre de scores
 Dépressif ou non, sévérité de la dépression
 MMPI fait le tour de la majorité des pathologies psychologiques

Question 4

Quelles sont les origines des tests ?

Answer 4

1. Répondre à un besoin pratique
   a. Binet, Wechsler, Woodworth, MMPI, Otis
   i. Ex: école, armée responsables pour le pression du développement des tests
   ii. Énoncé du problème de recherche
2. Base théorique : basé sur une théorie tentant de la démontrer
   a. TAT
3. Révision, adaptation
   a. Tests d’intelligence (nouvel édition), matériel jugé accessible ou non – p.ex. la lettre et le timbre, ex de la jalousie

Question 5

Comment conçoit-on les items d’un test ?

Answer 5

Stimulus et format de réponses = conditions de réponse

Procédures de cotation

Limite de temps

Question 6

Qu’est-ce que les choix de réponses comme type d’item ?

Answer 6

o Vrai ou faux, choix multiples

o Likert (ordinale), différentiateurs sémantiques (p.143 rare) etc.

Question 7

Comment cote-t-on les items à choix de réponses ?

Answer 7

o correct/incorrect : difficulté - % de réponses corrects

o Dans une certaine direction (e.g., Tout à fait d’accord, tout à fait en désaccord)

o Donner ou non un choix neutre (dans l’échelle de Likert p.ex.)
 Avantages et désavantages : gens qui ont tendance de mettre neutre partout, enlever pour forcer la personne à tendre vers un côté, à prendre une décision

o Pondération diverses possibles : p.ex. telle question vaut 2 points, l’autre 1 point

Question 8

Qu’est-ce que les items à développement comme type d’item ?

Answer 8

o Essai, question d’examen, performance/évaluation du rendement, portfolio (ensemble des travaux longs de l’individu)

o Évaluation orale, test projectif.

Question 9

Quel est le problème majeur lors de la cotation des items à développement ?

Answer 9

Fidélité inter juge : doit toujours être établit, donc pas facile lorsqu’on doit corriger des questions à développement,

Question 10

Comment remédie-t-on au problème majeur des items de développement ?

Answer 10

o Schèmes conceptuels : aide la fidélité, p.145
 Savoir quoi regarder : cotation globale (pas en psycho)- à l’œil ça vaut 3 point, cotation analytique – expression des idées/grammaire/contenu, méthode de qualification par points façonnement/shaping pigeons 10 points

Question 11

Quels sont les avantages des items à choix de réponses ?

Answer 11

o Fidélité : très élevé voir parfaite, surtout su machine
o Moins de temps
o Optimisation : pour le temps de passation et pour la cotation

Question 12

Quels sont les avantages des items à développement ?

Answer 12

o Observation du comportement : voir comment la personne réalise la tâche, souvent plus important que la tâche elle-même.
 Stratégies antérieures : fait référence au lobe frontal, axé sur ses fonctions exécutives
 Stratégies postérieurs : pariétal, pas de stratégies et procède par essais-erreurs

o Couverture d’endroits imprévus : voit comment la personne rédige, organise ses idées et son texte

o Effets possibles sur les personnes évaluées
 Choix de réponses = mémorisation ? bcp de tâches de mémorisation
 Item à développement = réflexion ? sur la matière plutôt que la mémorisation

Question 13

Quelles sont les suggestions à tenir compte lorsqu’on rédige des items à choix de réponse ?

Answer 13

o 1 contenu précis et 1 seul trait
o Simplicité
o Éviter les Ne pas
o Éviter les pièges

Question 14

Quelles sont les 3 phases de l’analyse d’items ?

Answer 14

1. Mise à l’essai de l’item
   i. Penser à voix haute, permet de repérer des problèmes potentiels de nos items
   ii. Choisir le bon public cible : comment l’individu comprend et interprète l’item
2. Analyse statistique
3. Sélection

Question 15

Qu’est-ce que la difficulté de l’item ?

Answer 15

p-value ; la proportion de réussite de l’item)

o correct/incorrect
 Note: Jusqu’à quel point l’item est facile ou non

o Va dans une certaine direction : est-ce que c’est réussi ou pas, p.ex. j’entends des voix – aller voir le % des gens qui rapportent entendre des voix

Question 16

Qu’est-ce que le pouvoir discriminant de l’item ?

Answer 16

Globalement, est-ce que l’item est réussi surtout par ceux qui maîtrisent bien la matière (ex: ont réussi tout le reste de l’examen)

Question 17

Quelles sont les caractéristiques du pouvoir de discrimination de l’item ?

Answer 17

• Discrimination avec un critère
  o Pas selon une discrimination de sexe, de race, etc.
• Critère
  o externe (groupes définis)
   L’item j’entends des voix va être très discriminants entre les personnes atteintes de schizophrénie et le reste de la population.
  o interne (l’item avec le score total au test)
• Indice de discrimination
  o D, r, etc. plus le D et le p qui vont être calculer
• Analyse des distracteurs
  o Examen

Question 18

Quelles sont les considérations pratiques lors des statistiques d’items ?

Answer 18

o Difficulté et discrimination vont de pair mais la relation n’est pas toujours parfaite
 Ex: item tellement difficile mais répondu au hasard par tout le monde, pas particulièrement discriminant

o Couverture du test et contenu à couvrir, items faciles et aussi discriminants

Question 19

Interpréter la courbe thêta de l’item A à la page 156 ?

Answer 19

• 50% des gens ont réussi et ont une valeur thêta -1.5, bcp de monde assez faible qui réussissent
• Les gens les plus faibles parmi eux, quand même 50% qui réussissent l’item A
• Même si tu as -1 d’habileté, tu obtiens l’item donc suggère que l’item est probablement très facile pour les étudiants

Question 20

Qu’est-ce que l’étape de la standardisation ?

Answer 20

Développer des normes

• Est-ce que nous avons un groupe représentatif de la clientèle ?

Question 21

Quels sont les éléments des tests finaux ?

Answer 21

o Livret du test : le questionnaire qu’on passe

o Manuel d’administration : les consignes d’administration

o Manuel technique : WAIS/analyse factorielle qui a été fait…

o Fiches pour scores : le client indique ses réponses

o Appui d’une publication scientifique pour venir confirmer que votre questionnaire fait preuve d’une certaine validité

Question 22

Vrai ou faux : un test peut être modifier après sa publication

Answer 22

Vrai

• Recherche et changement du questionnaire : doit tenir compte de la recherche qui est fait par rapport au questionnaire, on exige maintenant une analyse factorielle confirmatoire, le questionnaire est en évolution perpétuelle : toujours de la recherche qui va se faire par rapport au questionnaire pour déterminer si la structure factorielle peut être reproduite – peut mener à un changement dans le questionnaire, doit évoluer en fonction de la recherche