Cours 4 - Étape 3 : Élaboration Flashcards

1
Q

À quoi correspond la fiabilité lors de la phase de préparation?

A

Fiabilité en général
* « Jusqu’à quel point mon instrument comporte-t-il de l’erreur de mesure? »
À l’étape de l’élaboration
* « Comment créer un instrument qui limite au maximum l’erreur de mesure? »

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Que faut-il prendre en considération lors de l’étape de l’élaboration?

A
  • au type de test
  • au type et au nombre d’items
  • au type de réponse
  • au type d’échelle
  • à la méthode de cotation
  • à la méthode d’administration
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Quels sont les types d’erreur possible?

A

Erreur systématique
Erreur aléatoire

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Qu’est-ce que l’erreur systématique?

A

a) La même erreur de mesure affecte tous les scores d’un instrument de la même manière, dans la même direction
OU
b) La même erreur de mesure affecte tous les scores d’une personne de la même manière, dans la même direction

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Qu’est-ce que l’erreur aléatoire?

A

N’affecte pas tous les scores de la même manière

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Quels sont les 4 catégories de l’erreur aléatoire?

A

Erreurs lors de la cotation
Variation dans les procédures d’administration
Variation dues aux répondants
Variation en raison du contenu (items)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Qu’est-ce qu’un instrument normatif?

A

Instruments dont l’interprétation des résultats repose sur la comparaison aux résultats compilés auprès d’un échantillon de la population à qui s’adresse l’instrument

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Qu’est-ce qu’un instrument critérié?

A

Instruments dont l’interprétation des résultats repose sur le fait qu’un seuil critique a été, ou non, dépassé

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Qu’est-ce qu’un test de vitesse?

A

Faire le plus d’item possible dans le temps le plus court possible.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Quel est la caractéristique d’un test de vitesse?

A

Tous les items sont faciles et ont un niveau de difficulté égal
(sauf lorsque le test est aussi de puissance)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Qu’est-ce qu’un test de puissance?

A

Vérifier les limites des connaissances ou des habiletés du candidat

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Quel est la caractéristique d’un test de puissance?

A

Les items sont ordonnés du plus facile au plus difficile
Peut inclure un temps limite

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Qu’est-ce qu’un test de performance typique?

A

Comment la personne est-elle dans la vie de tous les jours ?
Vise à mesurer le niveau habituel

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Qu’est-ce qu’un test de performance maximale?

A

Comment la personne est-elle à son mieux?
Vise à mesurer la meilleure performance possible

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Qu’est-ce qu’un test papier-crayon?

A

Les personnes qui passent le test répondent à des items écrits

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Qu’est-ce qu’un test de performance?

A

Les personnes soumises au test effectuent une tâche

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Qu’est-ce qu’un test individuel?

A

Instruments conçus pour être administrés à une personne à la fois
Ne peuvent PAS être administrés en groupe

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Qu’est-ce qu’un test de groupe?

A

Instruments conçus pour être administrés à plusieurs individus à la fois
Peuvent être administrés à une personne lorsque les circonstances le dictent et lorsque le « manuel » décrit comment le faire

19
Q

Qu’est-ce qu’un item?

A
  • Le stimulus auquel répond le participant
  • C’est « la question »
20
Q

Quels sont les formats de réponse possible?

A

Réponse fermée (choix de réponse)
Réponse ouverte (développement)

21
Q

Quels sont les désavantages des choix de réponses?

A

Limite dans l’information qu’on peut aller chercher. Limite dans ce que la personne qui a fait le test à penser. Concept défini et délimité

22
Q

Quels sont les désavantages des questions à développement?

A

Plus couteux, car il faut plus de temps et ressources. Plus difficile à corriger; Exploration de concept inhabituel et nouveau. Si c’est un nouveau concept, on peut ne pas avoir pensé à tout ce qu’il peut se trouver; Population précise et spécifique. On veut chercher de l’information plus précise.

23
Q

Quels sont les avantages des choix de réponses?

A
  • Fidélité de la cotation
  • Optimisation du temps de passation
  • Optimisation du temps pour la cotation
24
Q

Quels sont les avantages des items à développement?

A
  • Facilite l’observation de comportements et de processus associés au test
  • Richesse de l’information recueillie
25
Q

Quels sont les types d’échelles?

A
  • Nominale
  • Ordinale
  • Intervalles
  • Rapport
26
Q

Qu’est-ce que l’échelle nominale?

A

Cette échelle permet :
a) d’identifier les personnes
C’est une échelle catégorielle, où les nombres représentent une caractéristique particulière
* Le nombre n’a pas de sens particulier à part représenter la catégorie
* On ne peut donc faire aucune opération mathématique avec ces nombres

27
Q

Qu’est-ce qu’une échelle ordinale?

A

Cette échelle permet :
a) d’identifier les personnes
b) de les mettre en ordre de rang
* Les nombres entretiennent une relation entre eux
* On ne peut faire aucune opération mathématique avec ces nombres à part les classer en ordre
* On ne connaît pas la distance entre chaque position

28
Q

Qu’est-ce qu’une échelle à intervalle?

A

Cette échelle permet :
a) d’identifier les personnes
b) de les mettre en ordre de rang
c) d’effectuer des additions et des soustractions
Tous les écarts entre les nombres sont équivalents (équidistants). Toutefois, l’échelle est arbitraire et le 0 (zéro) ne signifie pas
l’absence de l’attribut

29
Q

Qu’est-ce qu’une échelle de rapport?

A

Cette échelle permet :
a) d’identifier les personnes
b) de les mettre en ordre de rang
c) d’effectuer des additions et des soustractions
d) d’effectuer des multiplications et des divisions
Tous les écarts entre les nombres sont équivalents (équidistants).
* L’échelle possède un zéro absolu, où 0 signifie l’absence de l’attribut

30
Q

Qu’est-ce qu’une échelle de Likert?

A

Échelle à intervalle.
Propose un nombre pair ou impair d’alternatives
Le nombre d’alternatives dépend de la capacité des répondants à faire la distinction entre elles
Les mots (ancres) doivent être bien choisis
* Les mots (ancres) supposent un ordonnancement en termes d’intensité du phénomène d’intérêt
* Les écarts entre les alternatives adjacentes sont présumés équidistants

31
Q

Combien d’ancre dans une échelle de Likert?

A

L’échelle devrait comporter assez d’ancres pour que la personne puisse faire un choix
o Le nombre parfait est entre 5-7.
* Elle devrait aussi en comporter un nombre assez restreint pour que les choix soient assez distincts les uns des autres
* L’échelle doit être adaptée à la population cible
* Veut-on forcer la personne à se prononcer ou non?

32
Q

Que doit-on tenir compte lors de la correction/cotation/scoring?

A
  • La correction dépend directement du type d’item et de format de réponse choisi
  • Combien de points sont accordés par item, selon la réponse du répondant à l’item?
  • Comment se calcule le score total à l’instrument?
  • Moyenne, somme, score brut, score transformé, etc.
33
Q

Quels sont les moyens de corriger une réponse fermée?

A
  • La bonne réponse vaut 1 et les mauvaises valent 0
  • 2 points pour la meilleure réponse, 1 point pour une réponse correcte, 0 points pour une mauvaise réponse
  • 1 point pour la bonne réponse, -1 pour une mauvaise réponse
34
Q

Quels sont les moyens de cotation des items à réponse ouverte?

A
  1. Cotation globale de l’évaluateur
  2. Cotation analytique
  3. Qualification par points
35
Q

Qu’est-ce que la cotation globale de l’évaluateur?

A

Cotation basée sur un jugement global sur le texte. Le moins fiable.

36
Q

Qu’est-ce que la cotation analytique?

A

Plusieurs critères déterminent l’évaluation du texte.

37
Q

Qu’est-ce que la qualification par point lors de la cotation?

A

Présence d’une réponse “parfaite” et chaque élément présent vaut un point.

38
Q

Qu’incluent les méthodes d’administration?

A
  • Les directives aux personnes évaluées ;
  • Les conditions d’administration;
  • La cotation (allocation des points).
39
Q

Qu’est-ce qu’une méthode d’administration standardisée?

A

Lorsque les méthodes d’administration sont observées systématiquement

40
Q

Quels sont les conditions d’admnistrations?

A

Temps alloué
Matériel permis
Formation ou non de l’évaluateur
Test de groupe ou individuel

41
Q

Que doit-on tenir en compte lors de la création d’item?

A
  • L’item doit être conforme à la définition du construit
  • L’item doit réduire au maximum l’erreur de mesure
  • L’item doit utiliser un vocabulaire adapté aux bénéficiaires
  • L’item doit pouvoir se répondre avec l’échelle de mesure utilisée
  • Prioriser le « je »
  • Favoriser une formulation affirmative plutôt qu’interrogative
  • Éviter de mettre « deux idées » dans un même item
  • Éviter les métaphores
  • Éviter les items à négations multiples
  • Favoriser une formulation claire des items
  • Favoriser une formulation concise des items
  • Attention aux adverbes
  • Varier le sens des items
42
Q

Qu’est-ce qu’un item inversé?

A

Un item dont la direction est opposée à celle des autres items (du même construit).

43
Q

À quoi sert les items inversé?

A

Permet de détecter et de contrôler les tendances de réponses