Cours 8 : Élaboration et adaptation de tests Flashcards
Quelles sont les 6 étapes de l’élaboration d’un test
- Définition de l’objectif du test
- Questions de conception préliminaire
- Préparation des items
- Analyse d’items
- Étalonnage et programmation de recherches connexes
- Préparation du matériel définitif et publication
Dans la définition des objectifs d’un test, par quoi l’élaboration d’un test commence
Une déclaration d’intention (aussi appelée “usage anticipé”)
À quoi consiste la déclaration d’intention (2 éléments)
- Une description détaillé du construit que mesure le test
- Le public cible du test
Vrai ou faux, l’élaboration d’un nouveau test est un travail facile et peu coûteux
Faux, c’est un travail long, difficile et coûteux (d’où l’importance de vérifier s’il existe déjà un test approprié pour notre construit)
Vrai ou faux, la réponse aux questions de conception préliminaire tels que la formation des utilisateurs peut entrainer une reformulation de l’énoncé d’intention du test
Vrai (aussi vrai pour le mode d’administration, la longueur, les formats d’items et le nombre de scores)
Quelles sont les 3 raisons principales qui motivent l’élaboration de nouveaux tests
- La nécessité de combler un besoin concret/un besoin pratique
- Apporter des données probantes/soutenir une théorie
- Réviser ou adapter des tests existants
Quels 2 éléments sont compris dans la préparation des items
- Formulation
- Révision
Quelles sont les 3 “structures anatomiques” d’un item
- Stimulus
- Format de réponse (conditions de réponse à l’item)
- Procédures de cotation
Qu’est-ce qu’un stimulus
Toute question, phrase, image, etc. qui demande une réponse
Les choix multiples ou à développement sont un exemple de quel structure de l’item
Le format de réponse
La limite de temps, les versions en ligne/papier sont des exemples de quelle structure de l’item
Conditions de réponse
Qu’est-ce qu’implique un item à choix de réponse
Le choix parmi 2 ou plus des options de réponse
Vrai ou faux, un échelle de Likert est un exemple d’items à choix de réponse
Vrai
Qu’est-ce qu’implique un item à développement
La personne n’est pas contrainte de choisir une réponse, elle doit formuler sa propre réponse
Vrai ou faux, un item à développement implique que la réponse soit libre et sans règles
Faux. Bien qu’elle implique une réponse “libre”, elle est soumise à certaines règles (ex. limite de temps, réponse orale/par écrit, etc.)
La cotation des items à développement s’accompagne de 2 défis particuliers, lesquels
- Garantir la fidélité inter-juges
- Conceptualise un système de cotation
Qu’est-ce que l’analyse statistique des données obtenues lors de la mise à l’essai des items (prétest)
L’analyse d’items
Quelles sont les 3 phases de l’analyse d’item
- La mise en essai (prétest)
- L’analyse statistique
- La sélection d’items
Lors du prétest, un essai auprès de quelques participants consiste en quel type de mise en essai
Mise en essai informelle
Lors du prétest, un essai administré à un échantillon de participants consiste en quel type de mise en essai
Mise en essai formelle
Vrai ou faux, lors de la réalisation du prétest, on obtient des données brutes
Faux, on obtient des données préliminaires
Vrai ou faux, lors de la réalisation du prétest, on peut identifier des détails importants qui ont pu passer inaperçus lors de la rédaction des items
Vrai
Qu’est-ce que le pourcentage de participants qui ont répondu correctement à l’item. C’est un indice de la “facilité” des items
La difficulté de l’item
Quelle valeur est représentée par la difficulté de l’item
La valeur p (pourcentage ou proportion)
Vrai ou faux, un item avec une valeur p de 0.85 indique que 85% des participants n’y ont pas répondu correctement
Faux, 85% des participants y ont répond correctement
Vrai ou faux, la valeur p permet de calculer si les résultats sont significatifs ou non
Faux (ne pas mélanger avec le seuil de signification p)
Qu’est-ce que la capacité de l’item à distinguer divers groupes de participants
Pouvoir discriminant de l’item
Quelle méthode du pouvoir discriminant de l’item est représentée par 2 groupes contrastés par rapport au trait mesuré, selon un critère externe
Méthode externe
Quelle méthode du pouvoir discriminant de l’item est représentée par des groupes contrastés selon le score au test
Méthode interne
Quelle valeur est représentée par le degré de discrimination
La valeur D (différence)
Vrai ou faux, 80% de réponses correctes dans le groupe 1 et 50% de réponses correctes dans le groupe 2 correspondent à une valeur D de 0.30
Vrai (80% - 50% = 30%)
Quelle est la corrélation utilisée entre la performance à un item et la performance au score total du test
Le coefficient de corrélation bisérial (r)
Quelle analyse utilise-t-on afin de déterminer si les items sont appropriés (en termes de fidélité)
L’analyse de la cohérence interne
Quelle analyse utilise-t-on afin d’explorer la structure du test
L’analyse factorielle (exploratoire)
À quel concept correspond le fait de choisir, parmi tous les items rédigés et mis à l’essai, ceux qui composeront le test à standardiser
Sélection des items
Quels sont les 5 éléments à considérer lors de la sélection d’items
- Déterminer le nombre d’items
- Déterminer le niveau de difficulté moyen du test
- Utiliser des items avec un bon indice de discrimination
- Vérifier si l’ajout/suppression des items modifie l’alpha de Cronbach du score total
- Vérifier comment l’ajout/suppression des items modifie les facteurs du test
À quel concept correspond l’établissement des normes pour le test/comment les scores vont-ils être interprétés
Étalonnage (plan de normalisation)
Quel concept implique de rendre disponible le test (commercial ou non commercial)
Publication du test
Vrai ou faux, au moment de leur publication, tous les tests font la démonstration infaillible de leur validité
Faux, aucun test ne fait la démonstration infaillible de sa validité
Quelles sont les 3 étapes de conception et validation des outils de mesure
- Planification
- Opérationnalisation
- Validation
À quels 4 éléments correspond la planification
- Formuler l’objectif de l’outil et donner une première définition du concept
- Faire une recension des écrits scientifiques (outils existants, théories, dimensions du concept)
- Si nécessaire, faire appel à des experts dans le concept d’intérêt
- Formuler une nouvelle définition du concept, en spécifiant les dimensions à mesurer
À quelle étape de la conception et validation des outils de mesure correspond la tâche d’attribuer un certain nombre d’items, pour chaque dimension
Opérationnalisation
Quelles sont les 3 éléments de l’opérationnalisation
- Générer les items
- Choisir les items
- Choisir l’échelle de réponse
Qu’est-ce qu’implique l’étape de validation (4)
- Prétester les items auprès de la population cible (étude pilote)
- Évaluer les différents types de fidélité
- Évaluer les différents types de validité
- Évaluer la sensibilité au changement et la réactivité clinique
À quel concept correspond le processus où il est nécessaire de considérer les aspects de la traduction (linguistiques) et aussi les aspects de l’adaptation contextuelle (culture)
La traduction et l’adaptation transculturelle d’un outil de mesure
Vrai ou faux, l’évaluation d’un phénomène peut être réalisée à différents niveaux : intraindividuel, interindividuel, intergroupe, transcullturel et transcontextuel
Vrai
Au cours des dernières décennies, notamment grâce à la mondialisation et les nouvelles techonologies, l’analyse transculturelle ou transcontextuelle est devenue de plus en plus essentielle sur quelle plan
Sur le plan de la recherche
Quelles sont les 3 sources d’erreurs possibles en recherche transculturelle
- Définitions des concepts
- Idiosyncrasie du contexte
- Formulation et traduction des items
Quelles sont les 6 étapes pour la traduction et l’adaptation transculturelle d’un outil de mesure
- Traduction
- Synthèse
- Traduction inversée
- Révision par un comité d’expert
- Prétest du questionnaire
- Évaluation des qualités psychométriques
Vrai ou faux, il existe un outil de mesure parfait
Faux
