Cours 4 - Élaboration Flashcards
Qu’est-ce que la fiabilité en général vs à l’étape de l’élaboration?
En général : “Jusqu’à quel point mon instrument comporte-t-il de l’erreur de mesure?”
À l’étape de l’élaboration : “Comment créer un instrument qui limite au maximum l’erreur de mesure?”
Nomme moi 2 objectifs et les 2 moyens de l’étape 3 d’élaboration?
OBJECTIFS :
- Prévoir les sources d’erreur de manière à les minimiser
- Construction de l’instrument
MOYENS :
- Lectures “psychométriques”
- Inventaire des stratégies déjà employée
Vrai ou faux? Les décisions prises auront une incidence sur le niveau d’erreur de mesure et la manière d’évaluer l’étendue de l’erreur.
Vrai!
Par conséquent, il faut donc élaborer en faisant des choix éclairés par rapport à 6 choses :
- Au type de test
- Au type et au nombre d’items
- Au format de réponse
- Au type d’échelle
- Au type de correction
- À la méthode d’administration
Quels sont les 2 types d’erreurs à l’étape de l’élaboration?
- Erreur systématique
- Erreur aléatoire
Qu’est-ce que l’erreur systématique?
a) La même erreur de mesure affecte tous les scores d’un instrument de la même manière, dans la même direction
ou
b) La même erreur de mesure affecte tous les scores d’une personne de la même manière, dans la même direction
Ex: qqun a un TDAH et elle est désavantagé dans tous les tests
Vrai ou faux? Dans l’erreur systématique, la fiabilité est moins en danger.
Vrai! (la mesure peut rester constante et reproductible)
Vrai ou faux? Bien qu’importante et qu’il faille la minimiser, l’erreur systématique n’est pas considérée comme une source grave d’erreur de mesure.
Vrai!
P. ex., si on a une balance mal calibrée, tous les résultats seront faussés, mais si on s’est à quel point elle est mal calibrée (p. ex., elle ajoute tjrs 5g), on peut minimiser l’erreur.
Qu’est-ce que l’erreur aléatoire?
Erreur qui n’affecte pas tous les scores de la même manière : très problématique.
Nomme moi les 4 catégories d’erreurs aléatoires et donne moi un exemple pour chacune.
- Erreurs lors de la cotation
- Variations dans les procédures
d’administration - Variations dues aux répondants
- Variations en raison du contenu (items)
Nomme moi les 10 types de test qui existent :
- Instrument normatif vs critériée
- Vitesse vs puissance
- Performance typique vs maximale
- Papier crayon vs performance
- Individuel vs en groupe
Les instruments normatifs et critériés sont ils mutuellement exclusif ou non?
Non mutuellement exclusif. (on peut passer les 2 en même temps)
La vitesse et la puissance sont-elles mutuellement exclusives ou non?
Non mutuellement exclusives.
Les performances typiques et maximales sont-elles mutuellement exclusives ou non?
Mutuellement exclusives (on ne peut les passer en même temps).
Les tests papier-🖍️ et de performance sont-ils mutuellement exclusifs ou non?
Mutuellement exclusifs.
Les tests individuels et de groupe sont-ils mutuellement exclusifs ou non?
Mutuellement exclusifs.
Qu’est-ce que les instruments normatifs vs les instruments critérié?
Qu’est-ce que la vitesse vs la puissance?
Qu’est-ce que la performance typique vs la performance maximale?
Qu’est-ce que le test papier-crayon vs le test de performance?
Vrai ou faux? Quand on réfère à la performance au test dans un test, ça ne veut pas nécessairement dire que le test est un test de performance.
Vrai!
On réfère au résultat obtenu à tout test comme :
“La performance au test.”
Qu’est-ce que les tests individuels vs les tests de groupe?
Qu’est-ce qu’un item?
- Le stimulus auquel répond le participant
- C’est la “question”
- Peut être écrit ou oral
Nomme moi les 2 formats de réponse d’item :
- Réponse fermée (ou à choix de réponses) => quantitatif
- Réponse ouverte (ou à développement) => qualitatif
Nomme moi les 6 types d’items à réponse fermée.
- Vrai ou faux
- Oui ou non
- Échelle de Likert
- Échelle d’évaluation graphique
- Choix de réponses
- Choix forcé (échelles ipsatives)
Nomme moi 4 exemples d’items à réponse ouverte.
- Associations verbales
- Compléter une phrase
- Stimulus visuel ambigu
- Question à développement dans un examen.
Nomme moi 3 avantages des items à choix de réponse.
- Fidélité de la cotation
- Optimisation du temps de passation
- Optimisation du temps pour la cotation
Nomme moi 2 avantages des items à développement.
- Facilite l’observation de comportements et de processus associés au test
- Richesse de l’information recueillie
Nomme moi 1 inconvénient des items à développement.
Correction plus longue.
Nomme moi les 4 types d’échelles.
- Nominale
- Ordinale
- Intervalles
- Rapport
Qu’est-ce qu’une échelle nominale?
- Permet d’identifier les personnes
- C’est une échelle catégorielle où les nombres représentent une caractéristiques particulière
=> Le nombre n’a pas de sens particulier à part représenter la catégorie
=> On ne peut donc faire aucune opération mathématique avec ces nombres
Nomme moi quelques exemples d’échelle nominale.
- Numéro d’assurance sociale
- Numéro de dossard
- 0 = Femme / 1 = Homme
- 1 = Montréal / 2 = Québec / 3 = Rimouski
Qu’est-ce qu’une échelle ordinale?
- Permet d’identifier les personnes
-
de les mettre en ordre de rang
=> Les nombres entretiennent une relation entre eux
=> On ne peut faire aucune opération mathématique avec ces nombres à part les classer en ordre
=> On ne connaît pas la distance entre chaque position
Nomme moi quelques exemples d’échelle ordinale.
- Rang dans une compétition sportive
- Rang des journées les plus chaudes de l’année
- Rang de la personne la plus grande à la plus petite
Qu’est-ce qu’une échelle à intervalles?
- Permet d’identifier les personnes
- De les mettre en ordre de rang
- Effectuer des additions et des soustractions
- Tous les écarts entre les nombres sont équivalents (équidistants).
- L’échelle est arbitraire et le 0 ne signifie pas l’absence de l’attribut.
Nomme moi quelques exemples d’échelle à intervalles.
- Température en Celsius ou en Fahrenheit
- L’année
Qu’est-ce qu’une échelle de rapport?
- Permet d’identifier les personnes
- De les mettre en ordre de rang
- Effectuer des additions et des soustractions
- Effectuer des multiplications et des divisons
- Tous les écarts entre les nombres sont équivalents (équidistants).
- Possède un zéro absolu où 0 signifie l’absence de l’attribut
Nomme moi quelques exemples d’échelle de rapport.
- Distance au lancer du javelot
- Score à un examen en pourcentage
Vrai ou faux? En psychologie, il n’y a pas vraiment d’échelles de rapport. On s’intéresse peu à des éléments concrets comme la distance, etc. Les échelles sont principalement nominales, ordinales ou à intervalles.
Vrai!
Nomme moi quelques caractéristiques importantes des échelles de Likert.
- Propose un nombre pair ou impair d’alternatives.
- Le nombre d’alternatives dépend de la capacité des répondants faire la distinction entre elles.
- Les mots (ancres) doivent être bien choisis.
- Les mots (ancres) supposent un ordonnancement en termes d’intensité du phénomène d’intérêt.
- Les écarts entre les alternatives adjacentes sont présumés équidistants.
Nomme moi 2 erreurs dans cette échelle de Likert :
- Erreur 1 : on ne passe pas du moins fréquent au plus fréquent
- Erreur 2 : les espaces entre chaque réponse ne sont pas équivalentes
Vrai ou faux? L’échelle de Likert devrait comporter assez d’ancres pour que la personnes puisse faire un choix.
Vrai.
Vrai ou faux? L’échelle de Likert devrait aussi en comporter un nombre assez restreint pour que les choix soient assez distincts les uns des autres.
Vrai!
Vrai ou faux? L’échelle de Likert doit être adaptée à la population cible.
Vrai!
Quels autres noms donne-t-on à la correction?
Cotation ou scoring.
Qu’est-ce que la correction ou la cotation?
Combien de points sont accordés par item, selon la réponse du répondant à l’item?
Sur l’image ci-dessous, s’agit-il d’une correction des items à réponse fermée ou ouverte?
Fermée.
Sur l’image ci-dessous, s’agit-il d’une correction des items à réponse fermée ou ouverte?
Ouvertes.
Sur l’image ci-dessous, s’agit-il d’une correction des items à réponse fermée ou ouverte?
Fermée.
Vrai ou faux? Il est impératif que les réponses soient évaluées de la même façon et que les évaluateurs évaluent les réponses de la même façon (fiabilité inter-juge) dans la correction des items à réponse ouverte.
Vrai!
Nomme moi 3 choses que les méthodes d’administration incluent (DCC):
- Les directives aux personnes évaluées
- Les conditions d’administration
- La cotation (allocation des points)
Vrai ou faux? Lorsque les méthodes d’administration sont observées systématiquement, on les qualifie de standardisées.
Vrai!
Nomme moi quelques caractéristiques de la création d’items.
- L’item doit être conforme à la définition du construit
- L’item doit réduire au maximum l’erreur de mesure
- L’item doit utiliser un vocabulaire adapté aux bénéficiaires
- L’item doit pouvoir se répondre avec l’échelle de mesure utilisée
- Prioriser le «je»
- Favoriser une formulation affirmative plutôt qu’interrogative
- Éviter de mettre «deux idées» dans un même item
- Éviter les métaphores
- Éviter les items à négations multiples
- Favoriser une formulation claire des items
- Favoriser une formulation concise des items
- Attention aux adverbes
- Varier le sens des items
Qu’est-ce que les items inversés?
- Un item dont la direction est opposée à celle des autres items (du même construit).
- Permet de détecter et de contrôler les tendances de réponses.
