Élaboration de tests Flashcards
Quelles sont les étapes d’élaboration d’un test?
1) Définition de l’objectif du test
2) Questions névralgiques relatives à la conception préliminaire
3) Préparation des items
4) Analyse d’items
5) Étalonnage et programmation de recherches connexes
(déterminer quelles sont les étapes à affranchir pour s’assurer de la validité du test)
6) Préparation et programmation du matériel définitif et publication (ex: on peut décider d’écrire un manuel d’accompagnement pour déterminer comment administrer le test et où, comment combiner des scores différents et les interpréter, etc).
Ces étapes sont en chevauchement. Il y a une possibilité de revenir en arrière. Il s’agit d’un processus dynamique plutôt que linéaire.
Définis en quoi consiste l’étape de la définition des objectifs d’un test. (4)
1) Quel est le trait, le construit et sous-construit ou la dimension que le test prétend mesurer? (construit, trait et dimension : tous synonymes)
2) Combien de scores vais-je avoir? Est-ce que je vais avoir un score total? Est-ce que je vais avoir des sous-scores?
- Quels scores veut-on obtenir avec ce test? (le nombre de score correspond au nombre de sous-construit + construit général)
- Quelles sont les interprétations possibles? (ex: les sous-scores permettent de délimiter des profils)
- Qu’est-ce que je peux faire avec ce test?
3) Quelle est la clientèle visée?
4) Est-ce que ce test existe déjà?
- Pour répondre à cette question, on doit utilisesr des ressources présentées au ch. 2 dont le MMY (recueil de tests où on peut retrouver une courte définition pour les catégories de tests)
Dans un test, que relève le nombre de sous-construit d’un test quant à la personne qui l’a élaboré?
Le nombre de sous-construits reflète l’orientation du chercheur. Dans l’exemple donné en classe (test ISA. Diapo 5) le sous-construit # 3 “l’identification des tricheurs et des alliés” reflète la théorie évolutionniste.
Quelles sont les question préliminaires qu’on doit se poser avant de commencer la création d’un test? (5)
1) Le mode d’administration, la formation requise (pour permettre d’administrer le test), le mode de passation (ordi, papier-crayon, seul ou en groupe)
2) La longueur (court et pratique ou long et efficace?)
3) Le format des items (ICR ou ID?)
4) Le nombre de scores (un total ou un pour chaque sous-construit?)
5) Les recherches existantes dans le domaine (pratique, théorique ou pour une révision)
Quelle est l’anatomine d’un item de test?
1) Stimulus (peut prendre diverses formes. Aussi dit: lamorse) qqc qu’on présente au répondant et qui doit provoquer une réponse. (dans notre cours, c’est de type “énoncé” et par écrit. Mais il pourrait être une image, un vidéo, etc. C’est important de le préciser aux futurs utilisateurs du tests.
2) Format de réponse à l’item; Conditions de réponses à l’item (ex: limite de temps, indice à donner en cas d’incompréhension, types d’enregistrement (ex: verbatim ou choix de réponse). On veut mettre les gens à l’épreuve, voir de quoi ils sont capable (surtout dans les tests d’aptitude) Dans les tests de personnalité, on a bcp de temps car ce n’est pas nécessaire de mettre les gens à l’épreuve.
3) Procédures de cotation (portion critique de l’item) Pour un test d’aptitude ou de rendement à choix de réponse, chaque item peut être coté comme étant correct ou incorrect. Des points supplémentaires peuvent être donnés dans certaines options. (ex: c’est le cas pour l’échelle d’intelligence de Weschler (WAIS))
Explique en quoi consiste les items à choix de réponse (ICR) ainsi que leur système de cotation. Donne des exemples d’ICR
Un item à choix de réponse est un item où on ne peut pas répondre autre chose que ce qui est proposé. C’est limitatif et peut donner l’impression qu’on ne peut pas s’exprimer comme il faut.
Ex:
- Vrai ou faux
- Likkert, différenciateur sémantique, fréquence, etc.
La cotation des ICR est de type “bonne ou mauvaise réponse” (système de cotation facile). Il y a toutefois des systèmes de cotation alternatifs et des approches de pondération (on peut varier selon les cas: ex: test pour les enfants. On leur demandait si le gazon était vert ou jaune .(bonne réponse = vert) mais les enfants du lac mégantic ont répondu jaune pcq c’est leur réalité alors on leur a accordé un demi point.)
Quels sont les différents types d’ICR possibles? définis les brièvement
1) Likkert (accord-désaccord) (*il en existe une variation : échelle d’évaluation graphique: les adjectifs sont mis sur un continuum et la personne coche à l’endroit qu’elle veut)
2) fréquence (souvent-jamais)
3) différenciateur sémantique (2 adjectifs antagonistes)
4) vrai-faux
Est-ce qu’un seul item peut être assez pertinent pour former un test? Explique.
En cas normal, ce n’est pas pertinent d’avoir un seul item pour un test. Mais dans certains cas, c’est suffisant : ex: à quel point êtes-vous narcissique? (il y a une note pour expliquer la définition du mot). Cette question a une bonne validité. Le narcissique se connait très bien et est conscient de lui-même. La réponse à cette question est stable. Par contre, la dépression est un construit qui exige plusieurs questions car le fait même d’être déprimé peut nous faire vivre toutes sortes d’états et faire varier nos réponses (si il y avait une seule question)
Qu’est-ce que l’approche des choix de réponses Aaron aaron?
On demande à quel point des conceptions se chevauchent avec des images de 2 cercles qui représente qqc et qui se chevauchent plus ou moins
Définis ce qu’est un item à développement (ID). Donnes des exemples.
Il s’agit d’une réponse où la personne peut s’exprimer comme elle le veut et peut utiliser tout le temps qu’elle souhaite.
ex:
- réponse ouvertes, construites, libres
- essai, porte-folio, projectif
- associations de mots
- phrases à compléter
Explique comment se fait la cotation des ID
La cotation est assez complexe et peut relever plusieurs problèmes.
Différents systèmes de cotation:
- Cotation globale : porte sur l’ensemble de la production du répondant. Bcp de choses auxquelles ont s’intéresse ne peuvent être évaluées que de manière générale. Très difficile à enseigner et à apprendre. L’accord inter-juge est difficile à atteindre
- Approche analytique: on accorde de l’importance sur certains aspects (ex: dans notre plan de cours et pour les rapports d’activité). Le problème, c’est la corrélation entre les choses différentes qu’on évalue: elles dépendent l’une de l’autre.
- Qualification par points: en présence ou en l’absence de certaines choses. Ex: système de cotation du rorschach (grosse tâche où on demande ce que la personne voit et on enregistre son verbatim. On évalue ce qu’elle voit en fonction de ce qu’elle répond. Est-ce qu’elle parle de la tache en entier? Du fond blanc? D’un détail singulier ou habituel?)
- La conceptualisation d’un système de cotation est encore un défi.
Quels sont les avantages des ICR et des ID?
Pour les ICR:
- Cotation fiable
- Rapide
- Scores totaux sont faciles à calculer
Pour les ID:
- Observation du comportement et des processus (on situe les gestes du répondant dans le temps)
- Pour explorer des zones inhabituelles (personnalité)
- Tests de rendement: pousseraient les étudiant à varier leurs stratégies d’apprentissage
*La validité de chaque approche est égale selon les contextes.
Quelles sont les suggestions à prendre en compte lorsqu’on formule des ICR? (3)
1) Utiliser le bon contenu
2) Ne pas induire de réponse
3) Allez au plus simple (règle de correction par le vide) Si on enlève des mots, est-ce que la question se dit quand même? trop de mots mélange les gens.
* voir la recherche de Haladyna (sur moodle)
Quelles sont les suggestions à suivre pour formuler des ID?
1) Veiller à ce que la tâche soit claire (comme il n’y a pas de choix de réponse, si la tâche demandée n’est pas claire, la personne ne répondra pas correctement)
2) Avoir une idée précise et à l’avance de la cotation
3) Utiliser un nombre suffisant d’items
