L'élaboration de tests, l'analyse d'items et l'équité Flashcards
Quelles sont les 6 grandes étapes d’élaboration d’un test?
- Définir l’objectif du test
- Questions névralgiques relatives à la conception préliminaire
- Préparation des items
- Analyse d’items
- Étalonnage et programmation de recherches connexes
- Préparation du matériel définitif et publication
Décris moi la première étape d’élaboration d’un test.
C’est l’étape de définition des objectifs du test. On doit faire une déclaration d’intention, qui est une description détaillé des construits que le test mesure ainsi que le public cible. Cette déclaration doit tenir compte du type d’interprétation des résultats. Dans cette étape, on doit ensuite voir si un test semblable existe déjà. On utilise les sources d’informations sur les tests pour y parvenir.
Décris moi la deuxième étape de l’élaboration d’un test et son impact sur la première.
La deuxième étape est les questions de conception préliminaire. C’est le moment où on se pose les questions suivantes : le mode d’administration, la longueur du test, le format des items, le nombre de scores, la formation des utilisateurs et les recherches existantes dans le domaine (pour réviser un test par exemple). On devrait toujours se poser ces questions avant de commencer la formulation des items. Ces questions vont peut-être nous amener à changer notre intention de base, qui est l’étape 1.
Lors de l’étape de la préparation des items (3), qu’est-ce qu’on détermine?
On détermine l’anatomie d’un item. Il y a d’abord le stimulus, qui est souvent la question, ensuite le format de réponse (IC ou ID), les conditions de réponses à l’item (est-ce qu’il y a une limite de temps, etc.) et les procédures de cotation (comment les items seront coté?)
Quel est le format d’item le plus courant?
Items à choix de réponses.
Sur une échelle de Likert, qu’est-ce qui distingue un nombre pair ou impact de points?
Un nombre impair de points aura un point dédier à l’incertitude. Alors qu’un nombre pair non. On l’appelle un item à choix forcé.
Qu’est-ce qu’une échelle d’évaluation numérique?
Une échelle où il n’y a pas de point, c’est une ligne qui va marque deux points distincts au bout et le participant désigne où il se trouve sur la ligne. Il y a ensuite une échelle qui permet de convertir ces résultats sous forme numérique.
Qu’est ce que le format de réponse différenciateur sémantique?
On a encore les lignes, et ces deux extrêmes qui se trouve au bout de chaque. Exemple, chaleureuse à gauche et froide à droite.
Que veut dire un pointage dichotomique?
Ce n’est pas une bonne ou mauvaise réponse, mais une réponse qui va dans un sens ou un autre.
Parle moi de la cotation des items à choix de réponses.
Elle est souvent 1 point pour une bonne réponse ou aucun pour une mauvaise réponse. Elle peut être autrement aussi. Le point c’est qu’on transforme la réponse en valeur numérique.
Parle moi du type de format de réponse à développement.
La personne n’est pas forcé à un choix. La réponse est libre et ouverte. Le plus connu est la question ouverte à réponse longue. Il y a aussi l’évaluation du rendement, qui est de faire un travail de recherche par exemple, une analyse, bref un gros travail au lieu de faire ICR. Il y a aussi le portfolio, où on évalue tous les travaux de la personne. Les tests projectifs utilisent des items à développement.
Parle moi de la cotation des items à développement. (ID)
La conceptualisation du système de cotation s’avère plus complexe étant donné la complexité de la réponse qui peut y avoir. La fidélité inter-juge peut être mise en jeu. En ce qui concerne la cotation de dissertation, il y a trois façons. La cotation globale consiste à évaluer une réponse selon sa globalité. La cotation analytique consiste à évaluer une réponse à développement selon des critères. La méthode de qualification par points, où la réponse doit comporter certains points. La différence avec cotation analytique est que dans la méthode des points, c’est plus des thèmes qui doivent être présent alors que dans les critères, c’est les critères de correction, exemple le français, le nombre de mots, etc.
Quels sont les avantages des ICR?
La cotation est fiable, c’est rapide, et les scores totaux sont facile à calculer.
Quels sont les avantages des ID?
Ça nous permet d’observer un comportement et des processus, on explore des zones inhabituelles (personnalité), et en ce qui concerne les tests de rendement, ça pousserait les étudiants à varier leurs stratégies d’apprentissage.
Quelles sont les suggestions pour formuler des ICR?
Pour formuler des items à choix de réponses, il y a plusieurs règles à suivre et la recherche de Haladyna a conçu un manuel expliquant ces règles. Mais, on peut se fier à ces trois choses en attendant : on devrait utiliser le bon contenu, ne pas induire la réponse dans notre question et d’être le plus clair et simple possible.
