Cours 4 : élaboration Flashcards

1
Q

Fiabilité
a. En général
b. À l’étape d’élaboration (préparation)

A

a. Fiabilité en général : «Jusqu’à quel point mon instrument comporte-t-il de l’erreur de mesure?»

b. À l’étape de l’élaboration : «Comment créer un instrument qui limite au maximum l’erreur de mesure?»

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Élaboration : 2 objectifs, 2 moyens

A

Objectifs
1- Prévoir les sources d’erreur de manière à les minimiser
2- Construction de l’instrument

Moyens
1- Lectures «psychométriques»
2- Inventaire des stratégies déjà employées

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Les décisions prises auront une incidence sur le niveau d’erreur de mesure et la manière d’évaluer l’étendue de l’erreur.
Il faut donc élaborer en faisant des choix éclairés par rapport…(6)

A

1- Au type de test
2- Au type et au nombre d’items
3- Au type de réponse (fermée ou ouverte)
4- Au type d’échelle (Likert, ect.)
5- À la méthode de cotation (correction des résultats)
6-À la méthode d’administration

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

2 types d’erreurs

A

1- Systématique
2- Aléatoire

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Erreur systématique : 2 possibilités

A

a) La même erreur de mesure affecte tous les scores d’un instrument de la même manière, dans la même direction.

b) La même erreur de mesure affecte tous les scores d’une personne de la même manière, dans la même direction.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Impact erreur de mesure

A

La fiabilité est moins en danger (la mesure peut rester constante et reproductible).

Bien qu’importante et qu’il faille la minimiser, l’erreur systématique n’est pas considérée comme une source grave d’erreur de mesure.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Erreur aléatoire : description générale

A

N’affecte pas tous les scores de la même manière: très problématique.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

4 catégories d’erreurs aléatoires

A

1- Erreurs lors de la cotation
2- Variations dans les procédures d’administration
3- Variations dues aux répondants
4- Variations en raison du contenu (items)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

5 façons de catégoriser des types de tests selon dualités

A

1- Instrument normatif vs critérié
2- Vitesse ou puissance
3- Performance typique vs maximale
4- Papier-crayon vs performance
5- Individuel vs groupe

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Instrument normatif

A

Instruments dont l’interprétation des résultats repose sur la comparaison aux résultats compilés auprès d’un échantillon de la population à qui s’adresse l’instrument.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Instrument critérié

A

Instruments dont l’interprétation des résultats repose sur le fait qu’un seuil critique à été, ou non, dépassé

Exemple:
Examen au baccalauréat en psychologie

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Test de vitesse

A

Tous les items sont faciles et ont un niveau de difficulté égal (sauf lorsque le test est aussi de puissance)

Correction: Le nombre d’items complétés en X temps OU le temps nécessaire pour compléter tous les items.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Test de puissance

A

Objectif: Vérifier les limites des connaissances ou des habiletés du candidat

Les items sont ordonnés du plus facile au plus difficile

Peut inclure un temps limite

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Test de performance typique

A

Comment la personne est-elle dans la vie de tous les jours ?
Vise à mesurer le niveau habituel

Exemple:
Test de personnalité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Test de performance maximale

A

Comment la personne est-elle à son mieux?
Vise à mesurer la meilleure performance possible

Exemple:
Test de rendement

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Test papier-crayon

A

Les personnes qui passent le test répondent à des items écrits

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Test performance

A

Les personnes soumises au test effectuent une tâche.

**Différent de la performance au test qui réfère au résultat

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Test individuel

A

Instruments conçus pour être administrés à une personne à la fois.
ne peuvent PAS être administrés en groupe.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Test de groupe

A

Instruments conçus pour être administrés à plusieurs individus à la fois.

Mais peut aussi être administré seul : C’est la possibilité de tester en groupe qui le place dans cette catégorie.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Qu’est-ce qu’un item?

A

Le stimulus auquel répond le participant.
C’est la question: peut être écrit ou oral.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

2 formats de réponses à un item

A

1- Réponse fermée (ou à choix de réponses)
2- Réponse ouverte (ou à développement)

22
Q

Items à réponses fermées : 6 types d’items

A

1- Vrai ou faux
2- Oui ou non
3- Échelle de Likert
4- Échelle d’évaluation graphique
5- Choix de réponses
6- Choix forcé (échelles ipsatives)

23
Q

Vrai ou faux : La réponse à une question ouverte est nécessairement longue.

A

Faux : La réponse à une question ouverte peut être d’un seul mot ou plus longue

24
Q

4 exemples d’items à question ouverte

A

1- Associations verbales

2- Compléter une phrase

3- Stimulus visuel ambigu

4- Question à développement dans un examen

25
Q

3 avantages choix de réponses

A

1- Fidélité de la cotation

2- Optimisation du temps de passation

3- Optimisation du temps pour la cotation

26
Q

2 avantages items à développement

A

1- Facilite l’observation de comportements et de processus associés au test

2- Richesse de l’information recueillie

27
Q

Vrai ou faux : choix de réponse = collectif, développement = individuel

A

Faux : pas de lien à faire

28
Q

Tests de rendements : les variables sont évaluées ou quantifiées à l’aide …

A

D’échelles de mesures

29
Q

4 types d’échelles de mesures

A

1- Nominale
2- Ordinale
3- Intervalle
4- Rapport

30
Q

Échelle nominale
a. Permet quoi?
b. Définition
c. Opérations mathématiques

A

a. Identifier les personnes

b. Échelle catégorielle, où les nombres représentent une caractéristique particulière
Le nombre n’a pas de sens particulier à part représenter la catégorie.

c. On ne peut donc faire aucune opération mathématique avec ces nombres

31
Q

Échelle ordinale
a. Permet quoi?(2)
b. 3 caractérisitiques par rapport au nombres

A

a.
1- Identifier les personnes
2- Les mettre en ordre de rang

b.
1- Les nombres entretiennent une relation entre eux
2- On ne peut faire aucune opération mathématique avec ces nombres à part les classer en ordre
3- On ne connaît pas la distance entre chaque position

32
Q

Échelle à intervalles
a. Permet quoi(3)?
b. Description nombres

A

a.
1- Identifier les personnes
2- Les mettre en ordre de rang
3- Effectuer des additions et des soustractions

Tous les écarts entre les nombres sont équivalents (équidistants). Toutefois, l’échelle est arbitraire et le 0 (zéro) ne signifie pas l’absence de l’attribut (ex: température (C ou F) ou années)

33
Q

Échelle de rapport
a. Permet quoi (4)?
b. Description nombres

A

a.
1- Identifier les personnes
2- Mettre en ordre de rang
3- Effectuer des additions et des soustractions
4- Effectuer des multiplications et des divisions

Tous les écarts entre les nombres sont équivalents (équidistants). L’échelle possède un zéro absolu, où 0 signifie l’absence de l’attribut (ex : température en Kelvin, distance, score à un examen % )

34
Q

Échelles courantes en psychologie

A

En psychologie, il y n’y a pas vraiment d’échelles de rapport.
On s’intéresse peu à la température, la distance, etc.

Les échelles sont principalement nominales, ordinales ou à intervalles.

35
Q

Échelles de Likert :
a. Développé en 1932 dans un contexte d’items mesurant les _____
b. Propose un nombre ___ ou ____ d’alternatives
c. Le nombre d’alternatives dépend de …
d. Les mots = ______ doivent être bien choisis : supposent un …
e. Les écarts entre les alternatives adjacentes sont présumés ______.

A

a. Développé en 1932 dans un contexte d’items mesurant les attitudes

b. Propose un nombre pair ou impair d’alternatives

c. Le nombre d’alternatives dépend de la capacité des répondants à faire la distinction entre elles

d. Les mots (ancres) doivent être bien choisis : supposent un ordonnancement en terme d’intensité du phénomène d’intérêt

e. Les écarts entre les alternatives adjacentes sont présumés équidistants

36
Q

Type d’échelle : échelle Likert

A

Intervalle

37
Q

Échelle Likert : 3 stimuli

A

Stimulus 1 : item

Stimulus 2 : format de la réponse (échelle)

Stimulus 4 : format de la réponse (chiffres associés)

38
Q

Vrai ou faux : Les chiffres du format de réponses représentent toujours bien ce que veulent dire les mots

A

Faux : ex :
en désaccord (1), un peu en désaccord (2) , neutre (3), un peu en accord (4), en accord (5)

Ce que les mots veulent dire en chiffres : plutôt : -2,-1,0,1,2

39
Q

Échelle de likert : problèmes de ces items :
a. Jamais - 1x par année - 1x par mois - 1x par semaine - 1x par jour
b. Jamais - quelques fois - assez souvent - souvent - très souvent

A

a. Pas équidistants

b. Compréhension des choix difficile

40
Q

Nombre d’ancres dans une échelle de Likert : 4 critères

A

1- L’échelle devrait comporter assez d’ancres pour que la personne puisse faire un choix.

2- Elle devrait aussi en comporter un nombre assez restreint pour que les choix soient assez distincts les uns des autres.

3- L’échelle doit être adaptée à la population cible.

4- Veut-on forcer la personne à se prononcer ou non? Pair ou impair pour neutralité ou non

41
Q

Types de correction (cotation)
a. La correction dépend directement de quoi?
b. 2 questions pour décision

A

a. La correction dépend directement du type d’item et de format de réponse choisi.

b.
1- Combien de points sont accordés par item, selon la réponse du répondant à l’item?
2- Comment se calcule le score total à l’instrument? Moyenne, somme, score brut, score transformé, etc.

42
Q

Correction des items à réponse fermée : tests de rendement ou aptitudes (3 exemples)

A

1- La bonne réponse vaut 1 et les mauvaises valent 0

2- 2 points pour la meilleure réponse, 1 point pour une réponse correcte, 0 points pour une mauvaise réponse

3-1 point pour la bonne réponse, -1 pour une mauvaise réponse

43
Q

Correction des items à réponse fermée : tests de personnalité, attitudes, intérêts
1- Vrai ou faux
2- Oui ou non (ou jsp)
3- Échelle de Likert
4- Choix forcé

A

1- Vrai ou faux: 1 ou 0
2- Oui ou non: (oui = 1, ne sais pas = 0, non = -1
3- Échelle de Likert: 1, 2, 3, 4, 5 OU -2, -1, 0, 1, 2
4- Choix forcé: 1 ou 0

44
Q

Correction des items à réponses ouvertes : 3 niveaux (de moins à plus spécifique)

A
  1. Cotation globale de l’évaluateur: jugement global sur le texte
  2. Cotation analytique: plusieurs critères déterminent l’évaluation du texte
  3. Qualification par points: Présence d’une réponse «parfaite» et chaque élément présent vaut un point
45
Q

Correction des items à réponse ouverte : Il est impératif que…

A

Les réponses soient évaluées de la même façon et que les évaluateurs évaluent de la même façon (fiabilité inter-juge)

46
Q

Méthodes d’administration incluent (3)

A

1- Les directives aux personnes évaluées
2- Les conditions d’administration
3- La cotation (allocation des points).

47
Q

Lorsque les méthodes d’administration sont observées systématiquement, on les qualifie de _______.

A

Standardisées.

48
Q

Créations d’items : 4 critères

A

1- Doit être conforme à la définition du construit

2- Doit réduire au maximum l’erreur de mesure

3- Doit utiliser un vocabulaire adapté aux bénéficiaires

4- Doit pouvoir se répondre avec l’échelle de mesure utilisée

49
Q

Création d’items : meilleures pratiques :
a. Prioriser le «__»
b. Favoriser une formulation ____ plutôt qu’_____
c. Éviter… (3)
d. Favoriser une formulation (2) des items
e. Attention aux ______
f. Varier le _____ des items

A

a. Prioriser le «je»

b. Favoriser une formulation affirmative plutôt qu’interrogative

c. Éviter de
1- Mettre 2 idéesdans un même item
2- Métaphores
3- Items à négations multiples

d. Favoriser une formulation claire et concise des items

e. Attention aux adverbes

f. Varier le sens des items

50
Q

Items inversés :
a. Définition
b. Permet quoi?

A

a. Un item dont la direction est opposée à celle des autres items (du même construit).

b. Permet de détecter et de contrôler les tendances de réponses