Exam 3 : Élaboration d'instrument de mesure Flashcards
Qu’est-ce qu’on doit trouver dans un manuel de test?
Tous les éléments qui vont permettre au praticien d’évaluer la qualité de l’outil qu’il souhaite utiliser : L’objectif du test, les aspects/nuances théoriques, sa forme finale, son dimensionnement, sa date de publication…
Quelles sont les étapes de la construction d’un instrument de mesure?
- Analyser les besoins
- Identifier les comportements
- Spécifier les principes
- Rédiger les items
- Expertiser la première version
- Pré-tester
- Analyser les items
- Dimensionner/Calibrer
- Rédiger un manuel
Analyser les besoins : Qu’est-ce qu’il faut faire à cette étape?
Identifier les motifs qui justifient les besoins d’évaluation?
Quels sont les objectifs de cette évaluation?
Explorer d’autres mesures pourraient-elles servir pour répondre aux besoins?
Identifier les comportements : Qu’est-ce qu’il faut faire à cette étape?
Quels sont les comportements observables susceptibles de représenter le construit qu’on veut mesurer?
Spécifier les principes : Qu’est-ce qu’il faut faire à cette étape?
Présenter comment on va devoir mesurer les comportements : Nombre d’items, caractéristiques du matériel et de la population, l’échelle Likert (pair ou impair, positionnement? culture?)
Rédiger les items : Qu’est-ce qu’il faut faire à cette étape?
Attention à la construction des questions, elle pourrait influencer la variance d’erreurs.
Il faut un nombre plus grand (5 à 10x plus) d’items au départ
Il faut observer : Le contenu des questions, la formulation des questions, la séquence des questions (niveau de difficulté), le format des réponses souhaitées et la présentation du matériel.
La formulation des items influencent les réponses :
1. Utiliser une communication simple, des mots familiers
2. Éviter les mots ambigus
3. Éviter les questions qui suggèrent des réponses
4. Éviter les contenus de sentiments d’approbation ou de désapprobation
5. Éviter des mots/concepts qui impliquent de l’acceptation ou du rejet
6. Éviter des alternatives implicites
7. Éviter des questions à deux contenus (1 item par contenu)
8. Éviter les questions longues
9. Éviter qu’une question réponde l’autre
Observer :
Le contenu nécessite une question distincte?
La question est-elle suffisante pour le contenu ou elle en nécessite plus?
Tous les aspects importants de ce contenu sont obtenus avec la façon dont la question est posée?
La question est inutilement détaillée?
Les gens ont les informations/vécus/formations nécessaires pour répondre aux questions?
La question doit-elle être plus concrète, spécifique et lié à l’expérience personnelle?
Contenu de la question biaisé?
Question neutre pour ne pas influencer les réponses?
La question contient des opinions et jugements lié à ce sujet?
Les répondants sont prêts à répondre aux questions?
Quelles réactions on pourrait avoir quand on va répondre à la question?
Le contenu est très intime, il expose des gens, il provoque de la résistance et des fausses réponses?
Expertiser cette première version : Qu’est-ce qu’il faut faire à cette étape?
Soumettre à la vérification de la clarté du langage, pertinence théorique et dimensionnalité (au moins) par un groupe d’expert (observer : combien d’années de formation, de pratique, localisation géographique, lieu de formation ; pour la consanguinité intellectuelle, pour avoir de la variabilité, il faut chercher des experts différents)
Pré-tester : Qu’est-ce qu’il faut faire à cette étape?
Prétester la première version à l’aide d’un échantillon de la population ciblée, visant à peaufiner cette version et développer la version définitive.
L’échantillon doit être suffisamment grand (100-200 ; problématique de l’échantillonnage) pour garantir une bonne qualité au pré-test.
Analyser les items : Qu’est-ce qu’il faut faire à cette étape?
Vérifier/explorer les résultats descriptifs et corrélationnels (min/max/moyennes… normes, variabilité).
Explorer/détecter les possibles problèmes d’acquiescence (positive ou négative) au niveau des réponses aux items.
Détecter les possibles « inconvénients » de la variabilité des items (ÉT<1/2Moyenne / Variance>Moyenne).
Vérifier la normalité des dimensions (kurtosis, skewness).
Chercher des possibles problèmes de colinéarité ou autres (explorer le niveau de difficulté des items par la TRI ; si la corrélation entre deux questions est forte, les items mesurent la même chose alors est-ce que deux questions sont nécessaires, économie mentale, justification, attention?).
Dimensionner/Calibrer : Qu’est-ce qu’il faut faire à cette étape?
S’il n’y a pas de problème majeur, on explore les analyses de validité et de fidélité avec un nouvel échantillon (normatif ; encore plus grand que l’échantillon du pré-test).
Créer des normes (avec l’instrument définitif)
Rédiger un manuel : Qu’est-ce qu’il faut faire à cette étape?
Dans le manuel d’utilisateur, on présente :
Les objectifs pour lesquels il a été créé (à quoi il sert, contexte d’utilisation, ce qu’il doit mesurer, est-ce une variante d’un test existant, population concernée, précision de la forme (papier-crayon/internet, individuel/collectif))
Les bases théoriques du test
Les qualifications requises pour l’appliquer et l’interpréter
Les consignes et les principes d’interprétation des résultats
Les données métriques (validité, fidélité…)
Définition de l’échantillon + passation (personne qui passe le test ressemble à l’échantillon normatif limite les cas extrêmes)
Administration (procédures), directives, limites de temps, mode de correction
Le constructeur du test doit assumer une responsabilité éthique : Les informations du manuel doivent garantir un usage correct du test, dans le respect des principes éthiques
