Cours 4 - Étape 3 : Élaboration

Question 1

À quoi correspond la fiabilité lors de la phase de préparation?

Answer 1

Fiabilité en général
* « Jusqu’à quel point mon instrument comporte-t-il de l’erreur de mesure? »
À l’étape de l’élaboration
* « Comment créer un instrument qui limite au maximum l’erreur de mesure? »

Question 2

Que faut-il prendre en considération lors de l’étape de l’élaboration?

Answer 2

• au type de test
• au type et au nombre d’items
• au type de réponse
• au type d’échelle
• à la méthode de cotation
• à la méthode d’administration

Question 3

Quels sont les types d’erreur possible?

Answer 3

Erreur systématique
Erreur aléatoire

Question 4

Qu’est-ce que l’erreur systématique?

Answer 4

a) La même erreur de mesure affecte tous les scores d’un instrument de la même manière, dans la même direction
OU
b) La même erreur de mesure affecte tous les scores d’une personne de la même manière, dans la même direction

Question 5

Qu’est-ce que l’erreur aléatoire?

Answer 5

N’affecte pas tous les scores de la même manière

Question 6

Quels sont les 4 catégories de l’erreur aléatoire?

Answer 6

Erreurs lors de la cotation
Variation dans les procédures d’administration
Variation dues aux répondants
Variation en raison du contenu (items)

Question 7

Qu’est-ce qu’un instrument normatif?

Answer 7

Instruments dont l’interprétation des résultats repose sur la comparaison aux résultats compilés auprès d’un échantillon de la population à qui s’adresse l’instrument

Question 8

Qu’est-ce qu’un instrument critérié?

Answer 8

Instruments dont l’interprétation des résultats repose sur le fait qu’un seuil critique a été, ou non, dépassé

Question 9

Qu’est-ce qu’un test de vitesse?

Answer 9

Faire le plus d’item possible dans le temps le plus court possible.

Question 10

Quel est la caractéristique d’un test de vitesse?

Answer 10

Tous les items sont faciles et ont un niveau de difficulté égal
(sauf lorsque le test est aussi de puissance)

Question 11

Qu’est-ce qu’un test de puissance?

Answer 11

Vérifier les limites des connaissances ou des habiletés du candidat

Question 12

Quel est la caractéristique d’un test de puissance?

Answer 12

Les items sont ordonnés du plus facile au plus difficile
Peut inclure un temps limite

Question 13

Qu’est-ce qu’un test de performance typique?

Answer 13

Comment la personne est-elle dans la vie de tous les jours ?
Vise à mesurer le niveau habituel

Question 14

Qu’est-ce qu’un test de performance maximale?

Answer 14

Comment la personne est-elle à son mieux?
Vise à mesurer la meilleure performance possible

Question 15

Qu’est-ce qu’un test papier-crayon?

Answer 15

Les personnes qui passent le test répondent à des items écrits

Question 16

Qu’est-ce qu’un test de performance?

Answer 16

Les personnes soumises au test effectuent une tâche

Question 17

Qu’est-ce qu’un test individuel?

Answer 17

Instruments conçus pour être administrés à une personne à la fois
Ne peuvent PAS être administrés en groupe

Question 18

Qu’est-ce qu’un test de groupe?

Answer 18

Instruments conçus pour être administrés à plusieurs individus à la fois
Peuvent être administrés à une personne lorsque les circonstances le dictent et lorsque le « manuel » décrit comment le faire

Question 19

Qu’est-ce qu’un item?

Answer 19

• Le stimulus auquel répond le participant
• C’est « la question »

Question 20

Quels sont les formats de réponse possible?

Answer 20

Réponse fermée (choix de réponse)
Réponse ouverte (développement)

Question 21

Quels sont les désavantages des choix de réponses?

Answer 21

Limite dans l’information qu’on peut aller chercher. Limite dans ce que la personne qui a fait le test à penser. Concept défini et délimité

Question 22

Quels sont les désavantages des questions à développement?

Answer 22

Plus couteux, car il faut plus de temps et ressources. Plus difficile à corriger; Exploration de concept inhabituel et nouveau. Si c’est un nouveau concept, on peut ne pas avoir pensé à tout ce qu’il peut se trouver; Population précise et spécifique. On veut chercher de l’information plus précise.

Question 23

Quels sont les avantages des choix de réponses?

Answer 23

• Fidélité de la cotation
• Optimisation du temps de passation
• Optimisation du temps pour la cotation

Question 24

Quels sont les avantages des items à développement?

Answer 24

• Facilite l’observation de comportements et de processus associés au test
• Richesse de l’information recueillie

Question 25

Quels sont les types d'échelles?

Answer 25

* Nominale * Ordinale * Intervalles * Rapport

Question 26

Qu'est-ce que l'échelle nominale?

Answer 26

Cette échelle permet : a) d’identifier les personnes C’est une échelle catégorielle, où les nombres représentent une caractéristique particulière * Le nombre n’a pas de sens particulier à part représenter la catégorie * On ne peut donc faire aucune opération mathématique avec ces nombres

Question 27

Qu'est-ce qu'une échelle ordinale?

Answer 27

Cette échelle permet : a) d’identifier les personnes b) de les mettre en ordre de rang * Les nombres entretiennent une relation entre eux * On ne peut faire aucune opération mathématique avec ces nombres à part les classer en ordre * On ne connaît pas la distance entre chaque position

Question 28

Qu'est-ce qu'une échelle à intervalle?

Answer 28

Cette échelle permet : a) d’identifier les personnes b) de les mettre en ordre de rang c) d’effectuer des additions et des soustractions Tous les écarts entre les nombres sont équivalents (équidistants). Toutefois, l’échelle est arbitraire et le 0 (zéro) ne signifie pas l’absence de l’attribut

Question 29

Qu'est-ce qu'une échelle de rapport?

Answer 29

Cette échelle permet : a) d’identifier les personnes b) de les mettre en ordre de rang c) d’effectuer des additions et des soustractions d) d’effectuer des multiplications et des divisions Tous les écarts entre les nombres sont équivalents (équidistants). * L’échelle possède un zéro absolu, où 0 signifie l’absence de l’attribut

Question 30

Qu'est-ce qu'une échelle de Likert?

Answer 30

Échelle à intervalle. Propose un nombre pair ou impair d’alternatives Le nombre d’alternatives dépend de la capacité des répondants à faire la distinction entre elles Les mots (ancres) doivent être bien choisis * Les mots (ancres) supposent un ordonnancement en termes d’intensité du phénomène d’intérêt * Les écarts entre les alternatives adjacentes sont présumés équidistants

Question 31

Combien d'ancre dans une échelle de Likert?

Answer 31

L’échelle devrait comporter assez d’ancres pour que la personne puisse faire un choix o Le nombre parfait est entre 5-7. * Elle devrait aussi en comporter un nombre assez restreint pour que les choix soient assez distincts les uns des autres * L’échelle doit être adaptée à la population cible * Veut-on forcer la personne à se prononcer ou non?

Question 32

Que doit-on tenir compte lors de la correction/cotation/scoring?

Answer 32

* La correction dépend directement du type d’item et de format de réponse choisi * Combien de points sont accordés par item, selon la réponse du répondant à l’item? * Comment se calcule le score total à l’instrument? * Moyenne, somme, score brut, score transformé, etc.

Question 33

Quels sont les moyens de corriger une réponse fermée?

Answer 33

* La bonne réponse vaut 1 et les mauvaises valent 0 * 2 points pour la meilleure réponse, 1 point pour une réponse correcte, 0 points pour une mauvaise réponse * 1 point pour la bonne réponse, -1 pour une mauvaise réponse

Question 34

Quels sont les moyens de cotation des items à réponse ouverte?

Answer 34

1. Cotation globale de l’évaluateur 2. Cotation analytique 3. Qualification par points

Question 35

Qu'est-ce que la cotation globale de l'évaluateur?

Answer 35

Cotation basée sur un jugement global sur le texte. Le moins fiable.

Question 36

Qu'est-ce que la cotation analytique?

Answer 36

Plusieurs critères déterminent l'évaluation du texte.

Question 37

Qu'est-ce que la qualification par point lors de la cotation?

Answer 37

Présence d'une réponse "parfaite" et chaque élément présent vaut un point.

Question 38

Qu'incluent les méthodes d'administration?

Answer 38

* Les directives aux personnes évaluées ; * Les conditions d’administration; * La cotation (allocation des points).

Question 39

Qu'est-ce qu'une méthode d'administration standardisée?

Answer 39

Lorsque les méthodes d’administration sont observées systématiquement

Question 40

Quels sont les conditions d'admnistrations?

Answer 40

Temps alloué Matériel permis Formation ou non de l'évaluateur Test de groupe ou individuel

Question 41

Que doit-on tenir en compte lors de la création d'item?

Answer 41

* L’item doit être conforme à la définition du construit * L’item doit réduire au maximum l’erreur de mesure * L’item doit utiliser un vocabulaire adapté aux bénéficiaires * L’item doit pouvoir se répondre avec l’échelle de mesure utilisée * Prioriser le « je » * Favoriser une formulation affirmative plutôt qu’interrogative * Éviter de mettre « deux idées » dans un même item * Éviter les métaphores * Éviter les items à négations multiples * Favoriser une formulation claire des items * Favoriser une formulation concise des items * Attention aux adverbes * Varier le sens des items

Question 42

Qu'est-ce qu'un item inversé?

Answer 42

Un item dont la direction est opposée à celle des autres items (du même construit).

Question 43

À quoi sert les items inversé?

Answer 43

Permet de détecter et de contrôler les tendances de réponses