Cours 4

Question 1

Définition fiabilité en général

Answer 1

Jusqu’à quel point mon instrument comporte-t-il de l’erreur de mesure?

Question 2

Définition fiabilité à l’étape de l’élaboration

Answer 2

“Comment créer un instrument qui limite au maximum l’erreur de mesure?”
Il va toujours y avoir de l’erreur de mesure, on veut la limiter le + possible : donc on veut faire des choix qui vont la limiter et savoir si elle est négligeable ou pas

Question 3

Étape de l’élaboration : objectifs

Answer 3

• Prévoir les sources d’erreur de manière à les minimiser
• Construction de l’instrument

Question 4

Étape de l’élaboration : moyens

Answer 4

• Lectures “psychométriques”
• Inventaire des stratégies déjà employées
  S’assurer que les éléments qui peuvent varier le fassent le moins possible

Question 5

Étape 3 : L’élaboration : choix éclairés p/r à?

Answer 5

Les décisions prises auront une incidence sur le niveau d’erreur de mesurer et la manière d’évaluer l’étendue de l’erreur.
Il faut donc élaborer en faisant des choix éclairés p/r
- Au type de test
- Au type et au nombre d’items
- Au type de réponse
- Au type d’échelle
- À la méthode de cotation
- À la méthode d’administration

Question 6

Erreur systématique (2 types et exemples)

Answer 6

a) La même erreur de mesure affecte tous les scores d’un instrument de la même manière (ampleur d’erreur), dans la même direction (soit tjrs surestimé, soit tjrs sous-estimé, résultats)
Exemple : balance mal calibrée : chaque fois que je me pèse, je 5kg de plus.

b) La même erreur de mesure affecte tous les scores d’une personne de la même manière, dans la même direction. + lié à la situation, à la personne qui passe le test.
Exemple : passer un test en anglais sans être parfaitement bilingue : ça affecte les résultats au test de la même manière : sous estime les résultats de la personne.

Question 7

Erreur systématique conséquence

Answer 7

• Bien qu’importante et qu’il faille la minimiser, l’erreur systématique n’est pas considérée comme une source grave d’erreur de mesure (pas la + inquiétante)
• La fiabilité est moins en danger (la mesure peut rester constante et reproductible).

Question 8

Erreur aléatoire 4 catégories

Answer 8

1- Erreurs lors de la cotation
2- Variations dans les procédures d’administration
3- Variations dues aux répondants
4- Variations en raison du contenu (items)

Question 9

Erreur aléatoire : erreurs lors de la cotation

Answer 9

Exemple : grille d’évaluation. Sans assez de consignes claires, ceux qui notent pourraient ne pas coter de la même manière. Il y aurait donc un fiable accord inter-juges. Erreur aléatoire pcq dépendamment qui qui cote, les résultats peuvent être complétement différents.

Question 10

Erreur aléatoire : variations dans les procédures d’administration

Answer 10

Exemple : deux groupes qui passent un exam, dans l’un l’évaluateur est super bête et augmente le stress et dans l’autre l’évaluateur est full gentil et explique bien : cela peut faire varier les résultats des gens

Question 11

Erreur aléatoire : variations dues aux répondants

Answer 11

Tout ce qui est interne au participant : qqchose de temporaire. Exemple : la personne a mal dormi, est super stressée ou la personne a eu la covid par exemple, pas eu le temps d’étudier.

Question 12

Erreur aléatoire : variations en raison du contenu (items)

Answer 12

Version parrallèle d’un test : deux versions d’un examen qui ne sont pas exactement équivalente

Question 13

Erreur aléatoire : conséquence

Answer 13

• N’affecte pas tous les scores de la même manière est est donc très problématique.
• Erreur la + insidieuse, on ne sait jamais ou elle va arriver.

Question 14

Types de tests : instrument normatif (explication + exemple)

Answer 14

Instruments dont l’interprétation des résultats repose sur la comparaison aux résultats compilés auprès d’un échantillon de la population à qui s’adresse l’instrument.
On a des normes, “un score de 50 veut dire telle chose” et on compare les autres, percentile, ou la personne se trouve p/r à un groupe de référence. Idéal test de personnalité.
- Si on utilise juste la moyenne, on ne peut pas dire que c’est normatif, il faut ajouter autre chose.
Exemple : WAIS

Question 15

Type de test : instrument critérié (explication + exemple)

Answer 15

Instruments dont l’interprétation des résultats repose sur le fait qu’un seuil critique a été, ou non dépassé.
Exemple : examen au bacc

Question 16

Type de test : vitesse (explication + exemple)

Answer 16

• Tous les items sont faciles et ont un niveau de difficulté égal (sauf lorsque le test est aussi de puissance)
• Correction : le nombre d’items complétés en X de temps, ou le temps nécessaire pour compléter tous les items (fait le + de chose en tant de temps ou on regarde combien de temps ça prend à une personne pour compléter une tâche)

Exemple : test de vitesse de traitement ou l’on coche tous les “T” sur une page remplie de lettres.

Question 17

Type de test : puissance (explication + exemple)

Answer 17

• Objectif : vérifier les limites des connaissances ou des habiletés du candidat
• Les items sont ordonnés du + facile au + difficile
• Peut inclure un temps limite (ici l’important serait de voir jusqu’ou peut se rendre le participant en tant de temps)

Exemple : test des blocs de la WAIS

Question 18

Type de test : performance typique (explication + exemple)

Answer 18

• Comment la personne est-elle dans la vie de tous les jours?
• Vise à mesurer le niveau habituel

Exemple : test de personnalité

Question 19

Type de test : performance maximale (explication + exemple)

Answer 19

• Comment la personne est-elle à son mieux?
• Vise à mesurer la meilleure performance possible

Exemple : test de rendement

Question 20

Quelle est la différence entre un test de type performance maximale et un test de type puissance?

Answer 20

La différence se trouve au niveau de l’objectif. Puissance = jusqu’ou la personne peut se rendre, et inclut une gradation. Performance maximale : on veut voir la personne quand elle est à son meilleur.

Question 21

Type de test : papier-crayon (explication et exemple)

Answer 21

Les personnes qui passent le test répondent à des items écrits (les tests à l’ordinateur sont aussi considérés papier-crayon)
Exemple : questionnaire “test de personnalité”

Question 22

Type de test : performance (explication et exemple)

Answer 22

• Les personnes soumises au test effectuent une tâche

Exemple : WAIS (ou peser sur un bouton rouge : action à poser)

Question 23

Type de test : individuel (explication + exemple)

Answer 23

• Instruments conçus pour être administrés à une personne à la fois
• Ne peuvent PAS être administrés en groupe (tout le monde ne peut pas répondre en même temps)
• Permet + de souplesse dans le format des items

Exemple : Rorschach

Question 24

Type de test : groupe (explication + exemple)

Answer 24

• Instruments conçus pour être administrés à plusieurs individus à la fois (tu peux le passer seul, mais tu pourrais le passer en groupe et il n’y aurait pas de problème)
• Peuvent être administrés à une personne lorsque les circonstances le dictent et lorsque le “manuel” décrit comment le faire
• Permet d’obtenir info + rapidement sur un groupe d’individus

Exemple : SAT

Question 25

Qu’est-ce qu’un item?

Answer 25

• Le stimulus auquel répond le participant
• C’est “la question”
• Peut être écrit ou oral

Question 26

Items : 2 formats de réponses

Answer 26

1- Réponse fermée (ou à choix de réponse)
2- Réponse ouverte

Question 27

Réponse fermée avantage

Answer 27

+ on offre de choix, + on augmente fiabilité/validité, mais en avoir trop n’est pas bon non plus.

Question 28

Réponse fermé (6 types d’items)

Answer 28

1- Vrai ou faux
2- Oui ou non
3- Échelle de Likert
4- Échelle d’évaluation graphique (indiquez à l’aide d’un trait votre niveau de … : de dégueulasse à délicieux)
5- Choix de réponses
6- Choix forcé (choisir énoncé qui correspond le mieux)

Question 29

Exemples d’items à question ouverte

Answer 29

• Associations verbales
• Compléter une phrase
• Stimulus visuel ambigu
• Question à développement dans un examen

Question 30

Choix de réponses avantages :

Answer 30

• Fidélité de la cotation
• Optimisation du temps de passation
• Optimisation du temps pour la cotation

Question 31

Items à développement avantages :

Answer 31

• Facilite l’observation de comportements et de processus associés au test
• Richesse de l’information recueillie
• Concept + nouveau qu’on explore, population très précise

Question 32

Types d’échelles (4)

Answer 32

1- Nominale
2- Ordinale
3- Intervalle
4- Rapport

Question 33

De quoi va dépendre le type d’échelle?

Answer 33

De l’usage anticipé : du but fondamental

Question 34

Échelle nominale (caractéristiques + exemples)

Answer 34

Cette échelle permet : d’identifier les personnes.
C’est une échelle catégorielle, ou les nombres représentent une caractéristique particulière.
- Le nombre n’a pas de sens particulier à part représenter la catégorie (il n’y pas pas d’ordre)
- On ne peut donc faire aucune opération mathématique avec ces nombres.

Exemples :
- Numéro d’assurance sociale
- Numéro de dossard
- 0 = femme, 1 = homme

Question 35

Échelle ordinale (caractéristiques + exemples)

Answer 35

Cette échelle permet :
a) D’identifier les personnes
b) De les mettre en ordre de rang
- Les nombres entretiennent une relation entre eux
- On ne peut faire aucune opération mathématique avec ces nombres à part les classer en ordre
- On ne connaît pas la distance entre chaque position.

Exemples :
- Rang dans une compétition sportive
- Rang des journées les plus chaudes de l’année
- Rang de la personne la plus grande à la plus petite

Question 36

Échelle à intervalles (caractéristiques + exemples)

Answer 36

Cette échelle permet :
a) d’identifier les personnes
b) de les mettre en ordre de rang
c) d’effectuer des additions et des soustractions.

Tous les écarts entre les nombres sont équivalents (équidistants). Toutefois, l’échelle est arbitraire et le 0 ne signifie pas l’absence de l’attribut.

Exemples :
- Température en Celsius ou Fahrenheit
- L’année

Question 37

Échelle de rapport (caractéristiques + exemples)

Answer 37

Cette échelle permet :
a) D’identifier les personnes
b) de les mettre en ordre de rang
c) d’effectuer des additions et des soustractions
d) D’effectuer des multiplications et des divisions

Tous les écarts entre les nombres sont équivalents (équidistants).
- L’échelle possède un zéro absolu, ou 0 signifie l’absence de l’attribut

Exemples :
- Température en Kelvin
- Distance au lancer du javelot
- Score à un examen en pourcentage

Question 38

Échelles courantes en psycho

Answer 38

En psycho, il n’y a pas vraiment d’échelles de rapport.
- On s’intéresse peu à la température, la distance, etc.
Les échelles sont principalement nominales, ordinales ou à intervalles.
(Rare qu’il y a un zéro absolu. La + utilisée = nominale)

Question 39

Échelles de Likert : 6 caractéristiques

Answer 39

1- Développé en 1932 dans un contexte d’items mesurant les attitudes
2- Propose un nombre pair ou impair d’alternatives (quand impair : possibilité d’être neutre)
3- Le nombre d’alternatives dépend de la capacité des répondants à faire la distinction entre elles
4- Les mots (ancres) doivent être bien choisis
5- Les mots (ancres) supposent un ordonnancement en termes d’intensités du phénomène d’intérêt
6- Les écarts entre les alternatives adjacentes sont présumés équidistants

Question 40

Nombre d’ancres dans une échelle de Likert (6 caractéristiques)

Answer 40

1- L’échelle devrait comporter assez d’ancres pour que la personne puisse faire un choix
2- Elle devrait aussi en comporter un nombre assez restreint pour que les choix soient assez distincts les uns des autres
3- L’échelle doit être adaptée à la population cible
4- Veut-on forcer la personne à se prononcer ou non?
5- Permet d’augmenter validité/fidélité
6- Sweet spot 5-7

Question 41

La correction dépend directement de quoi?

Answer 41

La correction dépend directement du type d’item et de format de réponse choisi

Question 42

Correction des items à réponse fermée : tests de rendement ou d’aptitudes

Answer 42

• La bonne réponse vaut 1 et les mauvaises valent 0
• 2 points pour la meilleure réponse, 1 point pour une réponse correcte, 0 point pour une mauvaise réponse
• 1 point pour la bonne réponse, -1 pour une mauvaise réponse

Question 43

Correction des items à réponse fermée : test de personnalité, d’attitudes, d’intérêt

Answer 43

• Vrai ou faux : 1 ou 0
• Oui ou non (oui = 1, ne sais pas = 0, non = -1)
• Échelle de Likert : 1, 2, 3, 4, 5 OU -2, -1, 0, 1, 2
• Choix forcé : 1 ou 0

Question 44

Correction des items à réponses ouvertes 3 types (et explication)

Answer 44

1- Cotation globale de l’évaluateur : jugement global sur le texte (aucune indication de comment corriger. Corrige sans grille, sans rien)

2- Cotation analytique : plusieurs critères déterminent l’évaluation du texte (exemple : donne des points pour les sources, la qualité de la langue, etc. Si plusieurs personnes évalueraient, le score donné serait similaire)

3- Qualification par points : présence d’une réponse “parfaite” et chaque élément présent vaut un point

Question 45

Comment avoir une bonne fiabilité inter-juge?

Answer 45

Il est impératif que les réponses soient évaluées de la même façon et que les évaluateurs évaluent les réponses de la même façon

Question 46

Qu’est-ce que les méthodes d’administration incluent?
(+ 2 caractéristiques)

Answer 46

• Les directives aux personnes évaluées (+ elles sont clairs, + on améliore fiabilité)
• Les conditions d’administration ;
  1. Temps alloué
  2. Matériel permis
  3. Formation ou non de l’évaluateur
  4. Groupe on individuel
• La cotation (allocation des points)

1. Lorsque les méthodes d’administration sont observées systématiquement, on les qualifie de standardisés (permet de diminuer erreur aléatoire).
2. Les méthodes doivent être toujours les mêmes : il ne doit pas y avoir de variabilité.

Question 47

Création d’items (13)

Answer 47

• L’item doit être conforme à la définition du construit
• L’item doit réduire au maximum l’erreur de mesure
• L’item doit utiliser un vocabulaire adapté aux bénéficiaires (vocabulaire différent pour enfants et pour adultes exemple)
• L’item doit pouvoir se répondre avec l’échelle de mesure utilisée
• Prioriser le « je »
• Favoriser une formulation affirmative plutôt qu’interrogative
• Éviter de mettre « deux idées » dans un même item
• Éviter les métaphores
• Éviter les items à négations multiples
• Favoriser une formulation claire des items
• Favoriser une formulation concise des items
• Attention aux adverbes (doit rester neutre)
• Varier le sens des items

Question 48

Items inversés

Answer 48

Un item dont la direction est opposée à celle des autres items (du même construit).
Exemple d’items pour la dépression
- Je me sens déprimé (item normal)
- Je ne me sens pas déprimé (item inversé)
- Je me sens heureux (item inversé)

Permet de détecter et de contrôler les tendances de réponses.