Chapitre 1

Question 1

Quelles sont les 5 étapes du processus de construction d’un test ?

Answer 1

1. La détermination des utilisations prévues du test
2. La définition de ce que l’on souhaite mesurer
3. La création des items
4. L’évaluation des items
5. La détermination des propriétés métriques du test définitif

Question 2

Que sont les tests normés ?

Answer 2

Les tests normés visent à discriminer les sujets appartenant à la population pour laquelle est construit le test.
Ces tests peuvent, par exemple, nous procurer des informations sur le degré d’anxiété d’un sujet par rapport au niveau de l’anxiété dans l’ensemble de la population. Il en va de même pour le niveau de compétence en mathématique ou pour tout autre caractéristique que l’on souhaite mesurer.

Question 3

Que sont les tests critériés ?

Answer 3

Les tests critériés ont pour fonction d’évaluer si un sujet possède ou non certaines caractéristiques prises comme référence.
Par exemple, pour remplir correctement une certaine fonction professionnelle, le niveau d’anxiété du sujet ne dépasse-t-il pas un seuil déterminé ? Ou encore, le sujet possède-t-il les compétences en mathématiques nécessaires pour aborder un programme d’études donné ?

Question 4

Qu’est-ce qu’un test certificatif ?

Answer 4

Un test certificatif doit couvrir l’ensemble d’un programme scolaire. Un tel test est habituellement centré sur les performances. Il doit en effet permettre de vérifier si l’élève est capable de réaliser les tâches que l’on attend de lui en fin d’apprentissage.

Question 5

Qu’est-ce qu’un test diagnostique ?

Answer 5

Un test diagnostique est généralement beaucoup plus ciblé. Son but est de comprendre le sens d’une performance.
Par exemple, il ne s’agit plus, comme avec un test certificatif, de simplement vérifier si un élève peut additionner correctement deux nombres décimaux, mais de comprendre pourquoi certains élèves présentent des difficultés pour réaliser de telles additions.

Question 6

Pour définir avec précision les caractéristiques psychologiques ou éducatives que le test devra mesurer, 5 méthodes peuvent être utilisées. Quelles sont-elles ?

Answer 6

1. La définition des objectifs pédagogiques et la construction d’un tableau de spécifications.
2. L’analyse de contenu d’entretiens.
3. L’observation directe des comportements.
4. La méthode des incidents critiques.
5. La référence à un modèle théorique.

Question 7

Complétez cette phrase :
Lorsque le praticien n’a pas d’idées précises à propos des ___ permettant de discriminer les individus qui seront évalués par le test, il est intéressant de commencer par ___ des personnes appartenant à la population visée par ce test. L’interview, libre ou ___, permet de recueillir un grand nombre d’informations qui seront sélectionnées et classées au moyen d’une ___ de contenu.

Answer 7

1. caractéristiques
2. interroger
3. semi-structurée
4. analyse

Question 8

Vrai ou faux ?
Dans certains cas, plutôt que d’interroger les personnes, il est préférable de les observer dans leur milieu de vie ou de travail.

Answer 8

Vrai.

Question 9

Qu’est ce que la méthode des incidents critiques ?

Answer 9

L’origine de cette méthode est attribuée à Flanagan (1954). Elle est particulièrement utile pour construire des outils d’évaluation des performances professionnelles.
Elle consiste à demander à des responsables de décrire des situations de travail où les employés sous leurs ordres ont agi de manière particulièrement efficace ou, au contraire, inefficace. Partant de cette description, certains comportement « critiques » peuvent être mis en évidence et servir à construire des échelles d’évaluation.

Question 10

Vrai ou faux ?
Lorsqu’il s’agit d’évaluer des apprentissages scolaires, la démarche la plus fréquente consiste à préciser les performances que les élèves devront démontrer à un moment donné de leur apprentissage.

Answer 10

Vrai.

Question 11

Selon George Gallup, fondateur du célèbre institut de sondage du même nom, à quoi conduisent des différences dans la construction des questions ?

Answer 11

Trop d’attention a été accordée à la constitution des échantillons et trop peu à la création des questions. Des différences dans la construction des questions conduisent souvent à des résultats qui présentent de plus grandes variations que celles habituellement observées en fonction des différentes techniques d’échantillonnage.

Question 12

Quelles sont les 3 questions qu’un praticien doit se poser lors de la création des items ?

Answer 12

1. Quel format d’items choisir ? Pourquoi ?
2. Quel doit être le niveau de difficulté des items ?
3. Combien faut-il créer d’items ?

Question 13

Quel doit être le niveau de difficulté des items ?

Answer 13

Le choix du niveau de difficulté des items dépend de l’objectif du test. Ce niveau variera selon que le test est normé ou critérié, certificatif ou formatif. En d’autres termes, c’est la nature des informations que l’on désire recueillir qui doit déterminer le niveau de difficulté des items à produire.

Question 14

Pour garantir les propriétés métriques des items, une évaluation minutieuse de ceux-ci doit également être réalisée. Deux démarches complémentaires sont habituellement suivies pour réaliser cette tâche. Quelles sont ces démarches ?

Answer 14

1. Une évaluation des items par des juges.

2. La réalisation d’une mise à l’essai des items suivie d’une analyse qualitative et quantitative des résultats.

Question 15

Lors de l’évaluation des items par des juges, que font ces juges exactement ?

Answer 15

Ceux-ci sont chargés d’apprécier la conformité des items aux exigences définies lors de la seconde étape du processus de construction du test.

Question 16

À quoi consiste la mise à l’essai des items ?

Answer 16

La mise à l’essai consiste à faire passer tous les items à un échantillon de la population. Cet échantillon ne doit pas nécessairement être représentatif ni de très grande taille. Sa taille dépend en fait de l’hétérogénéité de la population visée par le test et de la grandeur de la population de référence.

Question 17

La validité d’un test peut-être être une qualité acquise une fois pour toutes ? Pourquoi ?

Answer 17

La validité n’est jamais une qualité acquise une fois pour toutes. Chaque nouvelle inférence qu’un praticien veut réaliser à partir des résultats d’un test doit faire l’objet d’une validation spécifique.
Par exemple, si un test de mémoire a été créé pour évaluer les compétences mnésiques des enfants et des adolescents, la pertinence de l’usage de ce test avec des adultes devra être démontré sur base de données empiriques.

Question 18

Que se passe-t-il lorsqu’un test n’est pas réservé au seul usage de son constructeur, mais est destiné à être diffusé ?

Answer 18

La rédaction d’une documentation destinée aux utilisateurs est nécessaire.

Question 19

Complétez cette phrase :
Le constructeur d’un test n’a pas seulement une responsabilité méthodologique, il doit également assumer une responsabilité ___.

Answer 19

Éthique

Question 20

Donnez quelques usages courants des instruments de mesure en contexte scolaire (7).

Answer 20

1. Dresser un bilan des acquis de l’élève
2. Prendre une décision sur la promotion de l’élève
3. Sélectionner les élèves selon certaines caractéristiques particulières afin de former des groupes
4. Identifier les aspects de la résolution d’un problème source de difficultés
5. Identifier les transferts qui ont ou n’ont pas eu lieu
6. Préparer une révision de la matière à partir des points pour lesquels certains élèves éprouvent des difficultés
7. Faire prendre conscience aux élèves de certains points majeurs de la matière

Question 21

Qu’est-ce qu’une évaluation sommative ?

Answer 21

Instrument de mesure qui permet d’évaluer un échantillon de toute la matière enseignée.
Un bon bilan nécessite un échantillonnage du contenu qui soit exhaustif et représentatif. Pour ce faire, une mesure fondée sur les objectifs d’apprentissage est nécessaire.
L’instrument de mesure couvre la totalité ou à tout le moins une grande partie des contenus scolaires visés par les objectifs d’apprentissage à évaluer.

Question 22

Qu’est-ce qu’une évaluation formative ?

Answer 22

Outil permettant une prise d’information focalisée et compréhensive. L’intérêt n’est pas de couvrir toute la matière, mais un aspect bien particulier de celle-ci.
Alors que plusieurs objectifs peuvent être couverts dans un bilan, l’évaluation formative peut ne porter que sur un seul objectif. L’évaluation formative a pour fonction de fournir à l’enseignant et à l’élève une information pertinente sur le déroulement des apprentissages.
L’instrument de mesure couvre l’apprentissage dans sa continuité, telle que manifestée par l’acquisition progressive des processus d’apprentissage en jeu.

Question 23

Lors de la rédaction d’un objectif, quelles sont les deux caractéristiques essentielles ?

Answer 23

• Un verbe d’action et un seul

- Un contenu (complément d’objet) et un seul

Question 24

Quelles sont les composantes qui seront ajoutées à l’objectif pour accroître sa spécificité ? (3)

Answer 24

• Le contexte dans lequel sera réalisée la performance attendue
• Le critère d’acceptation de la performance
• Le seuil d’acceptation de la performance

Question 25

Au niveau des programmes d’études, qu’apporte la taxonomie ?

Answer 25

La taxonomie apporte plus de rigueur dans la définition de ce que l’on entend généralement par « connaissance », « compréhension », etc. De plus, elle permet de s’assurer que les attentes vis-à-vis des apprentissages des élèves sont conformes à leurs capacités et à leur développement cognitif. On peut ainsi établir une progression des habiletés intellectuelles impliquées dans l’apprentissage de mêmes contenus, mais à des niveaux scolaires différents.

Question 26

Que regroupe la mesure critériée ?

Answer 26

Regroupe un ensemble de procédures permettant une prise d’information détaillée à propos de l’apprentissage d’un sujet.

Question 27

Les procédures de la mesure critériée ont en commun de mieux définir et de mieux contrôler les critères quantitatifs et qualitatifs de la performance, tels que ?

Answer 27

• Les aspects de la présentation d’une tâche
• Les conditions de réalisation d’une tâche
• Les niveaux d’exigence pour la réalisation d’une tâche

Question 28

Que permet la mesure critériée à l’enseignant ?

Answer 28

Permet d’affiner la prise d’information de l’enseignant à propos des apprentissages de ses élèves et le rend plus apte à comprendre les raisons de leurs difficultés. La planification de l’enseignement en est dès lors facilitée.

Question 29

Plusieurs techniques de spécification de domaine permettent de construire des instruments de mesure critériée. Nommez-en 3.

Answer 29

1. L’objectif enrichi
2. L’analyse des concepts
3. La théorie des facettes

Question 30

Qu’est-ce que l’objectif enrichi ?

Answer 30

Élaborée par Popjam (« amplifed objectives »), cette technique de spécification de domaine a pour but de pallier les limites de l’objectif spécifique en en fournissant une description enrichie. L’objectif enrichi permet de réduire les possibilités d’interprétation en définissant l’objectif avec plus de rigueur.

Question 31

Quelles sont les trois parties principales de l’objectif enrichi défini par Popham ?

Answer 31

1. L’énoncé de l’objectif
2. Un exemple d’item incluant : une directive, un exemple
3. Un complément d’information sur : l’examen (ce que l’élève aura à faire lors du test, la nature du stimulus), les choix de réponses, les critères de correction

Question 32

Que permet l’analyse des concepts ?

Answer 32

Permet de s’assurer que les items porteront sur des situations similaires à celles vues dans l’enseignement : l’alignement entre l’évaluation et l’enseignement est ainsi assuré. Elle permet aussi, si l’enseignant le désire, de spécifier un ensemble de situations, légèrement différentes de celles vues en classe, afin de vérifier s’il y a généralisation des apprentissages.
L’analyse des concepts fait plus que préciser le domaine des items. Elle permet aussi d’envisager certaines erreurs conceptuelles qui peuvent être fort utile lorsqu’il s’agit de rédiger des leurres pour des questions à choix multiples. Ainsi, l’analyse des leurres permet d’identifier de manière plus précise le type de difficulté de l’élève.

Question 33

L’analyse des concepts comporte quatre parties. Nommez-les.

Answer 33

1. La définition des caractéristiques essentielles
2. La définition des caractéristiques accessoires
3. Une série d’exemples et de contre-exemples tirés de l’enseignement
4. Une série d’exemples et de contre-exemples pour l’évaluation (similaires à ceux de l’enseignement)

Question 34

Qu’est-ce que la théorie des facettes ?

Answer 34

Le praticien choisit les facettes d’intérêt en fonction de ses objectifs et détermine pour chaque facette un certain nombre de conditions ou valeurs que la facette peut prendre. Le croisement de plusieurs facettes donne lieu à un grand nombre de possibilités d’items dont les résultats permettront de déterminer la maîtrise ou la non-maîtrise d’une capacité selon les situations. Plusieurs profils de performance pourront ainsi être mis au point.

Question 35

Quelle est la pertinence de la théorie des facettes ?

Answer 35

La spécification de domaine au moyen de facettes et l’étude des profils de performance permettent d’obtenir une mesure fort pertinente dans le contexte d’une évaluation diagnostique ou formative. La théorie des facettes sert également dans le cas d’études de généralisabilité à déterminer à quel point les résultats à un test sont stables à l’intérieur d’un univers de généralisation prédéfini.

Question 36

Quelles sont les trois erreurs de construction les plus courantes d’une question à choix multiples ?

Answer 36

1. L’indication de la réponse correcte par une caractéristique grammaticale. Le pluriel et le genre des articles sont des indices fréquents. Ces indices peuvent être éliminés assez aisément en reformulant la question.
2. La différence de longueur et de complexité des alternatives constitue un indice facile à repérer par les sujets clairvoyants. La solution est de construire des distracteurs dont la forme est plus proche de la réponse correcte.
3. La répétition d’un même terme (ou partie de celui-ci) dans l’amorce et la réponse correcte est également un indice. Certains sujets répondent alors sur base des seules associations verbales. Une solution à ce problème est parfois difficile à trouver avec un format fermé. Par contre, une réponse ouverte brève permet aisément d’éliminer l’indice verbal.

Question 37

La rédaction des questions à choix multiples de bonne qualité est une tâche complexe qui demande une excellente connaissance du domaine visé et des techniques de construction d’items. Pour rédiger une bonne question à choix multiples, quelques règles de base devraient être respectées. Quelles sont ces règles ? (3)

Answer 37

1. Avoir une conception précise des connaissances et des capacités cognitives qui doivent être évaluées par les questions. De nombreuses questions sont mal rédigées simplement parce que leurs auteurs éprouvent de la difficulté à définir précisément ce qu’ils veulent mesurer. Ils ont alors tendance à rédiger des items demandant un simple rappel de connaissances. Ce sont en effet les questions à choix multiples les plus faciles à construire.
2. Clarifier au maximum la question en séparant nettement les informations à utiliser (p.ex., un texte documentaire ou les données d’un problème mathématique) et la question posée.
3. Le choix des distracteurs est un problème crucial. Ceux-ci doivent être suffisamment vraisemblables sans quoi les sujets risquent de trouver les réponses correctes par simple élimination des alternatives invraisemblables. Une manière de procéder consiste à repérer les erreurs habituelles des élèves dans le domaine concerné.

Question 38

Complétez cette phrase :
Dans la formulation des question « vrai-faux », il faut généralement éviter des déterminants comme « ___ », « toujours », « aucun » ou « jamais ». Lorsque ces déterminants sont utilisés, la réponse correcte à la question est habituellement « ___ ». En effet, il est rare qu’une affirmation ne souffre aucune ___.

Answer 38

1. tous
2. faux
3. exception

Question 39

Vrai ou faux ?
Les négations sont souvent une source de confusion dans les questions « vrai-faux », surtout lorsque le choix est entre « oui » et « non ».

Answer 39

Vrai.

Question 40

Pourquoi dit-on que dans l’ensemble d’un test, il est préférable d’avoir un peu plus de propositions fausses que de propositions vraies ?

Answer 40

Parce que les propositions fausses permettent de mieux discriminer les sujets faibles des sujets forts que les propositions vraies. En effet, en cas de doute, les sujets sont plus enclins à accepter les propositions qu’à les refuser. Cette inclination est appelée « la tendance à l’acquiescement ».

Question 41

Quelles sont les trois formes de questions ouvertes qui peuvent être utilisées ?

Answer 41

1. Les questions à réponse brève
2. Les réponses narratives
3. Les réponses qui demandent la production d’une performance observable

Question 42

Qu’est-ce qu’un item dichotomique ?

Answer 42

Un item dichotomique est constitué d’une proposition par rapport à laquelle le sujet doit exprimer son accord ou son désaccord. Le choix peut être entre « d’accord-pas d’accord », « oui-non », « vrai-faux » ou toutes autres paires de catégories opposées.

Question 43

Que sont les items catégoriels bipolaires ?

Answer 43

Face à certaines propositions, il est possible de donner des réponses plus nuancés que « d’accord » ou « pas d’accord ». Des catégories intermédiaires peuvent être définies entre ces deux pôles. L’ensemble des choix constitue des catégories ordonnées. Celles-ci forment ce que l’on appelle une échelle de Likert. Le nombre de catégories peut varier, mais se limite généralement à cinq, comme l’a d’ailleurs suggéré Likert.

Question 44

Que sont les items à choix forcé ?

Answer 44

Le principe du choix forcé consiste à présenter simultanément au sujet plusieurs items (des phrases, des qualificatifs…) et à lui demander de choisir parmi ceux-ci celui qui lui correspond le mieux et/ou celui qui lui correspond le moins. Les items entre lesquels le sujet doit choisir possèdent un même degré de désirabilité sociale.

Question 45

L’adaptation d’un test possède plusieurs avantages. Nommez-en trois.

Answer 45

1. Lorsque les connaissances et les habiletés à évaluer sont les mêmes, l’adaptation permet de s’assurer que le contenu et la structure du test sont relativement les mêmes d’une langue à l’autre.
2. Il peut être plus efficace d’adapter un test déjà existant que de développer de nouveaux tests dans l’autre langue : la rédaction, la révision, la mise à l’essai des tests prennent beaucoup de temps et nécessitent beaucoup d’efforts.
3. L’adaptation d’un test constitue dans bien des cas un moyen bien plus simple de démontrer l’équivalence d’épreuves administrées dans des langues différentes.

Question 46

Hambleton regroupe en trois grandes catégories les sources d’erreur et d’invalidité liées à l’adaptation des tests. Nommez-les.

Answer 46

1. Les différences linguistiques et culturelles.
2. Les problèmes techniques et les difficultés méthodologiques.
3. L’interprétation des résultats.

Question 47

Qu’est-il préférable de faire lorsque la distance culturelle est telle que l’adaptation est impossible ou rendue excessivement difficile ?

Answer 47

L’assemblage ou développement de formes similaires d’un même test en plusieurs langues.