Cours 4 - Traduction, développement de tests et validation de contenu Flashcards
Quels sont les trois types de biais possibles?
- Biais de construit
- Biais de méthode
- Biais d’items
Qu’est-ce que le biais de construit?
Lorsque le construit mesuré est différent en termes de conceptualisation (par exemple, définitions différentes de l’intelligence qui inclut ou non les habiletés de communication) ou de comportements associés au construit (par exemple, être un bon enfant en Chine est plus exigeant qu’en occident). Lorsqu’on soupçonne l’existence d’une telle tendance ethnocentrique, il faut alors effectuer une enquête avec une équipe multiculturelle et multilingue ayant une expertise en regard du construit.
Qu’est-ce que le biais de méthode?
Réfère à la façon dont le test est administré, ce qui peut en affecter la validité. Plusieurs sources possibles incluant des différences dans : les effets de l’examinateur, la désirabilité sociale, la familiarité avec les items, la familiarité avec le format des items (choix multiples ou échelle de Likert), les situations de test en général. Une façon d’évaluer ce biais est de mesurer le construit de différentes manières (triangulation de la mesure) ou d’utiliser une mesure répétée. On peut aussi mesurer la désirabilité sociale ou administrer le test d’une façon non standard.
Qu’est-ce que le biais d’items?
Inclut la faiblesse de la langue, le contenu inapproprié des items et la traduction inadéquate. Les items sont biaisés si deux groupes ayant le même score global ont des résultats attendus différents aux items. Pour des items dichotomiques, une façon d’évaluer ce biais est le test de Mantel-Haenszel. Pour des items à intervalles, on peut utiliser des analyses de variance où les groupes et les scores globaux sont les variables indépendantes et le résultat à l’item est la variable dépendante.
Lorsqu’on assume qu’il n’y a qu’une possibilité de biais d’items, une traduction littérale peut être utilisée. Qu’est-ce que la traduction littérale?
Il s’agit alors de faire la traduction et une « back translation » que l’on compare. Après une possible révision, le test est administré aux groupes source et cible et les résultats sont comparés.
Quelles sont les possibilités face à un biais de construit ou un biais de méthode?
Adapter le test de différentes façons :
- adaptation des items
- adaptation du format des items
- entraînement de l’examinateur
- emploie de la triangulation.
Lorsqu’on voudra par la suite comparer l’ancien test au nouveau, il faudra utiliser une analyse factorielle confirmatoire.
Les changements les plus radicaux sont habituellement reliés à quel type de biais?
Au biais de construit où l’on doit parfois éliminer complètement un ou des items. Si ce biais est trop fort, il vaut mieux procéder à la création d’un nouveau test que d’en traduire un. L’intérêt n’est pas alors de comparer les scores dans les deux groupes, mais de s’assurer que le même construit est mesuré, ce qui peut se faire en utilisant des analyses de régression.
Quelles sont les cinq étapes d’élaboration d’un test?
- La détermination des utilisations prévues du test
- La définition de ce que l’on souhaite mesurer
- La création des items
- L’évaluation des items
- La détermination des propriétés métriques du test définitif
Qu’est-ce que la détermination des utilisations prévues du test?
Les usages prévisibles d’un test déterminent grandement ses caractéristiques.
Quels sont les buts du test ? Par exemple, servira-t-il principalement à sélectionner les meilleurs sujets dans un groupe ou servira-t-il principalement à évaluer si un individu maîtrise les compétences attendues en fin d’année scolaire? Dans le premier cas, il s’agira d’un test normé et dans le second d’un test critérié, ce qui conditionnera la méthodologie de construction utilisée.
À quelle clientèle est-il destiné ? Est-ce que le test sera utilisé auprès de la population en général ou avec des populations spécifiques telles que seulement des enfants, ou seulement des adultes, ou seulement des déficients mentaux, etc. ?
Qu’est-ce que la définition de ce que l’on souhaite mesurer?
Habituellement, le point de départ d’un test est un objectif relativement vague et général (par exemple, diagnostiquer les troubles d’attention ou sélectionner des secrétaires) qu’il faut opérationnaliser. Il faut donc déterminer soit la portée de la construction mentale (attention) ou l’étendue du domaine mesuré (compétences d’une bonne secrétaire).
L’élaboration du plan de la structure du test sera guidée soit par la théorie dans le cas de la mesure d’un construit mental ou soit par une analyse de contenu de domaine de comportements ou des exigences d’emploi dans le cas de la mesure d’un domaine de comportements.
Qu’est-ce que la création des items?
Il faut tout d’abord choisir le format des items (par exemple, questions fermées ou ouvertes) en fonction des objectifs du test et des conditions de création, de passation et de cotation.
On détermine par la suite le niveau de difficulté des items en fonction des objectifs du test et en fonction du type de test (par exemple, normé ou critérié).
Enfin, on décide du nombre d’items à créer en fonction de la durée du test et en fonction du niveau de fidélité recherché. Il est à noter qu’il faut prévoir entre 30 à 50% plus d’items que ce que l’on désire, car on éliminera des items lors de la mise à l’essai. On passe alors à la rédaction des items.
Qu’est-ce que l’évaluation des items?
Les items sont évalués de deux façons, d’abord par des juges, puis par une mise à l’essai des items.
Les juges apprécient la conformité des items aux exigences définies lors de la seconde étape, i.e. suite à la définition opérationnelle de ce que l’on souhaite mesurer.
La mise à l’essai consiste à faire passer tous les items à un échantillon restreint de la population. Les résultats sont ensuite analysés de façons qualitative et quantitative (niveau de difficulté, pouvoir discriminant) afin de sélectionner les meilleurs items qui serviront à construire la version définitive du test.
Qu’est-ce que la détermination des propriétés métriques du test définitif?
Les propriétés métriques, qui seront rapportées dans un manuel accompagnant le test, sont déterminées suite à la passation du test à un échantillon normatif.
Il faut tout d’abord établir des normes (pour un test normé) ou des scores de référence (pour un test critérié).
Il faut par la suite faire des analyses de fidélité et de validité.
Qu’est-ce que la validité de contenu?
La validation de contenu est une méthode qui consiste à analyser le contenu du test afin de s’assurer qu’il est représentatif en tant qu’échantillon du domaine de comportements à mesurer.
Quelles sont les deux questions à se poser par rapport à la validité et la représentativité?
- À quel point chaque item ou question qui forme le test appartient à l’univers du construit défini?
- À quel point l’ensemble des items ou des questions représente tous les aspects de cet univers?
La création des items dans la validation de contenu est différente la création d’item durant l’élaboration d’un test. Quelles sont les différences?
Lorsqu’on a déterminé le format, le niveau de difficulté et le nombre d’items à créer « devis de rédaction », on passe alors à la première rédaction en s’aidant d’une « table croisée de spécification ».
Par exemple, pour un test final d’un cours d’introduction à la psychométrie, on pourrait avoir le tableau suivant qui donne la répartition du nombre de questions selon les champs de contenu et les objectifs d’apprentissage. Un tel tableau rend plus explicite la rédaction du test.
Par la suite, on rédige les items pour chaque catégorie de la table (correspondant à chaque aspect important du domaine ou de la tâche), ce qui crée la banque initiale d’items.
Ensuite, on détermine la structure du test : Ordre (séquentielle et logique) des items dans le test (par exemple difficulté croissante); Organisation en sous-tests distincts ou mélange des items
