Élaboration d'un instrument Flashcards
Quelles sont les 4 raisons motivant l’élaboration d’un nouvel instrument ?
- Répondre à un besoin concret
- “Opérationnaliser”, confirmer une théorie
- Prendre un test existant pour l’adapter
- Permettre de pallier aux limites d’un test déjà existant
À quelle phase l’énoncé fait-il référence ?
Comprendre le but de l’instrument, déterminer ce qu’on veut mesurer ainsi que les problèmes qui pourraient venir déranger la mesure
Préparation (étapes 1-2-3)
Quel devrait être l’extrant de la phase de vérification ?
Preuves que l’instrument est utile, valide et fidèle grâce aux résultats des recherches méthodologiques
Quel est le but de l’étape de l’usage anticipé ?
Déterminer l’usage qui sera fait des résultats :
Quoi / pourquoi (le problème, but de l’évaluation)
Qui ?
Contexte (diagnostic, profil)?
À quelle étape doit-on choisir un modèle théorique ? Qu’en fait-on ensuite ?
Conceptualisation
Opérationnaliser les définitions (mode d’administration, longueur, format des items, méthode d’incidents critiques)
Quel élément est à prévoir dans l’étape de l’élaboration du test ?
Les sources d’erreur de mesure (maximiser la mesure d’un changement réel et non de l’erreur), en tenant compte p. ex. de la langue et de la culture
Préparer des consignes (standardisation)
À quelle étape est-ce que les items sont bâtis ?
Élaboration
Quels sont les avantages des items à choix de réponse ?
Rapide
Simplicité de la correction
Fidélité (interjuges) de la cotation
Dans la construction d’items à choix de réponse, quelle technique devrait-on utiliser pour diminuer les biais ? (2)
Utiliser items négatifs (tendance à l’acquiscement)
Éviter les items où il y a une “bonne” réponse évidente (exemple: je déteste être en relation avec les autres)
Qu’est-ce qui pourrait rendre le test trop “facile”? (2)
Utiliser un “mauvais” contenu : mettre un choix de réponse facilement rejetable
Exposer un indice de la réponse dans la question
Quels sont les avantages des items à développement ? (2)
Validité écologique
Observation plus facile des concepts qu’on désire mesurer et de situations moins standards
Avec les items à développement, il est important que… (3)
La tâche à accomplir soit clairement définie
Le système de correction soit préétabli
Les items soient en nombre suffisants (fidélité + validité)
Lors de l’étape de la stabilité, on veut … (2)
Déterminer la quantité d’erreur
Avoir une stabilité temporelle (test-retest) et interne
Lorsque la fidélité est grande, qu’arrive-t-il à l’erreur type de mesure et à sa marge ?
Elles diminuent
Afin de vérifier la nature de l’erreur du test, il est important de procéder à une analyse statistique des items. Nommez 3 indices et ce qu’ils permettent de faire
Cohérence interne
Indice de fidélité interjuge
Fidélité test-retest
Permettent de choisir le smeilleurs items
L’indice de fidélité des items fait varier _____________ de l’instrument
fidélité et validité
L’étape de la congruence sert à : _____________
Déterminer si les phénomènes ont été mesurés correctement (tel que défini lors de la conceptualisation)
Comment l’analyse corrélationnelle peut aider à établir la congruence d’un test ?
L’analyse factorielle confirmatoire ? L’approche hypothético-déductive ?
Corrélation entre 2 construits similaires ou opposés
Les facteurs se comportent bien de manière similaires ensemble
Résultat positif au test se reflète effectivement dans le comportement observé en clinique
Quel est l’extrant de l’étape de l’usage recommandé ?
Normes permettant d’interpréter le résultat
Explication de l’utilisation (manuel: population, mode de passation, etc.)
En quoi consiste l’adaptation d’un test ?
Rendre le test compatible avec les aspects (linguistiques, culturels) d’une population visée
Quel est le contenu inadapté ?
- “Je suis inquiet de la montée du communisme au Qc.”
- Inventaire d’intérêts professionnels qui propose le métier de dactylographe
- Familiarité avec l’informatique cause une variation de la validité des instruments informatisés
- Mise à jour du cadre théorique : QI calculé à partir de 4 indices plutôt que 2 (WISC)
- Contenu culturel périmé
- Référence technologique dépassée
- Différence intergénérationnelle
- Évolution conceptuelle
À quel biais l’énoncé fait-il référence ?
Concept trop spécifique ou exprimé différemment selon la culture
Biais de concept
ex.: politesse, dépendance, estime de soi
À quel biais l’énoncé fait-il référence ?
Passation de l’instrument conduite différemment selon le contexte
Biais de méthode
ex.: screening, questionnaire, entrevue
À quel biais l’énoncé fait-il référence ?
La culture change la propriété statistique d’un item
Biais d’items
Entraîné par biais de concept
