conception d'un test Flashcards
quelles sont les 6 étapes de la conception d’un test?
- définir le but du test
- question de conceptions préliminaires (ex: test projecif ou objectif?)
- préparation des items
- analyse d’items (items discriminants ou pas? items difficiles?)
- standardisation (établir normes)
- Publication (doit être appuyer par une analyse factorielle confirmatoire)
qu’est-ce qu’un item discriminant?
sépare l’échantillon au niveau du trait mesuré ex: maitrise de la matière ou réussite de l’examen (on observe le premier 1/3 de la classe vs le dernier 1/3)
quelles sont les questions à se poser avant de définir les objectifs du test?
quel trait ou variable essayeons-nous de mesurer?
*doit absolument avoir défini adéquatement le trait et ses dimensions!
doit aussi penser aux scores qu’on veut obtenir:
- pathologique ou non pathologique
- détaillé (MMPI = échelle qui mesure plusieurs construits, mais on a pas un score global pour dire si individu est pathologique ou non)
doit spécifier le public cible (jeunes ou adultes)
doit vérifier si un test existe déjà pour le trait qu’on mesure
Qu’est-ce que la méthode de la double traduction?
1- une personne traduit en français
2- une autre traduction par un autre traducteur sans voir la première version
3- on observe si les deux traductions sont semblables
comment confirmer la validité de construit?
Matrice multitrait-multiméthode
afin de vérifier validités convergente et divergente, items doivent couvrir toutes les dimensions du construit grâce à une analyse factorielle confirmatoire
Quelles sont les différentes questions préliminaires à la conception du test?
- Mode d’administration: pour un utilisateur ou pour un groupe administré?
- formation des utilisateurs
- longueur
- format des items (choix multiples ou items à développement)
- Nombre de scores
- WAIS: Qi global et Qi verbal + non-verbal + 3 indices différents = plusieurs scores (plus populaire car nous rensigne sur plusieurs sphères du cerveau, mais plus long à calculer)
- Test QI = un score
quels sont les motifs à l’origine de la création des tests psychométriques?
- Répondre à un besoin pratique
- Binet: classification des élèves (forces et faiblesses)
- Woodworth: organisation des soldats et leurs positions
- MMPI: chercher la pathologie en général
- énoncé du problème de recherche ex: armée –> on ne sait pas quel rcrue ferait le meilleur officier possible sur le champ de bataille - Base théorique
- TAT: presentation d’images qui mesure type de pulsions - Révision, adaptation
- les tests psychométriques doivent s’adapter dépendament de l’époque et du contexte culturel, donc doivent modifier ou ajouter des items
- tests d’intelligence (WISC = enfant, lettre pas timbre on doit la mettre à la poste = réponse pas évidente car lettres plus vraiment présentes)
- ex: item de jalousie morbide: fouiller dans le téléphone de l’autre ou surveiller réseaux sociaux, mais avant on avait pas de téléphone = adaptation
quels sont les trois éléments qui caractérisent les items de test?
(conditions de réponse):
- Stimulus (question)
- Format de réponse (choix mult. ou dév.)
- procédures de cotation (comment on cote les réponses)
Qu’est-ce qui caractérise le type d’item à choix de réponses?
choix de réponses
- vrai ou faux, choix multiples
- Lickert, différentiateurs sémantiques, etc.
Cotation
- correct/incorrect
- dans une certaine direction (tout à fait d’accord à tout à fait en désaccord)
- donner ou non un choix neutre (attention au danger au niveau de la validité des réponses si trop neutres)
- pondération diverses possibles
qu’est-ce qui caractérise les types d’items à développement?
Items à développement
- essai, question d’examen, performance, portfolio
- évaluation orale, test projectif
Cotation (problème majeur)
- fidélité interjuge difficile à obtenir
- schémas conceptuels
- méthode de qualification par points = points attribués pour chaque concept abordé donc augmente la fidélité (doit savoir quoi regarder)
quels sont les avantages associés aux items à choix de réponses?
- fidélité
- moins de temps
- optimisation
quels sont les avantages associés aux items à développement?
- observation du comportement (au delà de la réponse on observe comment le client s’y prend = stratégie (TRÈS IMPORTANT))
- couverture d’endroits imprévus (ex: présence d’impulsivité)
- effets possibles sur les personnes évaluées (choix des réponses = mémorisation, item à développement = réflexion)
quelles sont les 3 phases de l’analyse d’items?
- Mise à l’essai de l’item
- penser à voix haute
- choisir le bon public cible
- ex: c’est correct de prendre la voiture des autres = dépend du public donc on permet d’éviter les problèmes de compréhension - analyse statistique
- sélection des items
est-ce que tous les items doivent être difficiles afin d’augmenter la discrimination?
pas nécessairement, doit y avoir des items faciles généralement réussi et pas discriminant, pour bien couvrir toute la matière
ex: je donne des bonbons à mon enfant = renforcement positif, facile et généralement réussi, doit la poser pour couvrir toute la matière, même celle de base
qu’est-ce qui caractérise un item difficile?
Plus il est difficile, plus le % de p-value est bas (pourcentage de réussite)
correct/incorrect
va aller dans une certaine direction (90% l’ont réussi et 10% l’ont pas réussi)
l’item a un pouvoir discriminant
- globalement, l’item est-il réussi par ceux qui maitrisent bien la matière (ex: ceux qui ont réussi cette question ont aussi réussi la majorité des autres questions de l’exam)
- donc va vraiment séparé ceux qui ont suivi le cours (premier 1/3) à ceux qui maitrisent le cours (dernier 1/3)
