Cours 11 Flashcards
Processus de construction d’un instrument de mesure
La détermination des utilisations prévues du test
La définition de ce que l’on souhaite mesurer
La création des items
L’évaluation des items
La détermination des propriétés métriques du test définitif
La détermination des utilisations prévues
Point de départ : objectif général
L’estime de soi
Pour ensuite définir, avec plus de précision les caractéristiques psychologique, dimensions de ce que le test devra mesurer.
La validation de contenu de test repose précisément sur ce travail préalable de définition de ce que veut mesurer
La définition de ce que l’on veut mesurer
La définition des objectifs pédagogiques L'analyse de contenu des interviews L'observation directe des comportements La méthode des incidents critiques La référence à un modèle théorique
Cette méthode ne part pas de l’expérience, mais d’un modèle de la réalité, construit au cours de recherches antérieures. Par exemple, depuis le début des années 80, les développements de la psychologie cognitive ont conduit à la création de nombreux modèles théoriques utilisables par les constructeurs de tests.
La création d’item
Trop d’attention…
Des différences dans la construction
Il faut clarifier
Le format des items
Le niveau de difficulté
Le nombre d’items
Qu’est-ce que la théorie de base nous indique (les contenus théoriques à explorer) ?
L’évaluation des items
Selon deux démarches …
Évaluation des items par des juges
Conformité des items
Réalisation d’une mise à l’essai des items
Faire passer tous les items à un échantillon de la population
Les résultats de cette mise à l’essai doit être analysés
La détermination des propriétés métriques
Une fois les meilleurs items sélectionnés et la version définitive du test constituée, il reste à déterminer …
Évaluation des indices de validité
Évaluation des indices de fidélité
Établissement de normes
Autres aspects à considérer
La rédaction d'un manuel Les fonctions pour lesquelles il a été crée La base théorique Les qualifications requises Les données métriques
Le constructeur doit assumer une responsabilité éthique
Traduction et Adaptation
Considération initiale
Il est parfois nécessaire d’utiliser un instrument d’évaluation psychologique dans une culture différente ou une langue différente de celle dans laquelle il a été crée.
Il est parfois nécessaire de tester un modèle explicatif d’un comportement psychosocial (ou d’autre), qui a
déjà été prouvé dans une culture, dans une autre culture
Pour bien procéder, normalement deux options se présentent aux psychométristes
→ Élaborer plusieurs tests en considérant les différentes langues et cultures;
→ Traduire un seul et même test pour qu’on puisse l’utiliser en plusieurs langues et cultures;
Élaborer /créer plusieurs tests pour évaluer des comportements ou des dimensions de la personnalité a des points positifs et des points à bien réfléchir, par exemple
On respecte les idiosyncrasies de la culture cible ;
Mais, on n’a pas de points (des comportements) de comparaison
Traduire un seul et même test pour qu’on puisse l’utiliser en plusieurs langues et cultures a des aspects positifs et des points à bien réfléchir, par exemple
Beaucoup moins de travail au niveau méthodologique , notamment en ce qui concerne l’échantillonnage;
Une diminution au niveau de la précision de la mesure , les normes et même d’autres qualités métrologiques
Une solution possible à ces deux extrêmes (l’élaboration, d’une part, et la simple traduction, d’autre part)
est précisément l’adaptation
Dans ce sens, l’adaptation des tests se situe entre ces deux processus, par exemple:
Permet un plus grand respect des idiosyncrasies de la culture cible ;
Permet davantage l’exploration des points de comparaison ;
Permet qu’on garde une bonne précision de la mesure , entre autres indices métrologiques pertinents
D’autres avantages de l’adaptation
Permet de s’assurer que le contenu et la structure du test sont relativement les mêmes;
La rédaction, la révision, la mise à l’essai des tests prennent beaucoup de temps et d’effort;
Un moyen plus simple de démontrer l’équivalence d’épreuves administrées dans des langues et des cultures différentes
Quelques difficultés de l’adaptation
Les différences linguistiques et culturelles
Les difficultés méthodologiques
Les différences linguistiques et culturelles
Équivalence des concepts (posséder la même signification);
Format du test (degré de familiarité avec certain type d’item);
Limite de temps (textes traduits peuvent être plus longs).
Les difficultés méthodologiques
Le choix et la formation des traducteurs
Le procédé de traduction
Prochaine étape ?!
Équivalence des tests adapté
Équivalence des tests adaptés
Est ce que l’on recherche seulement la quantité de facteurs ? Non on cherche aussi l’émergence de facteurs.
L’émergence de facteur : le premier facteur qui ressort est celui qui explique davantage les variances de construits. Alors, oui j’ai trouvé sept dimensions mais le premier n’était pas la mécanique mais bien la construction
Équivalence des tests adaptés
Trois choses.
Résultats équivalents: alpha de Cronbach → validité de critère
Corrélations entre les mesures obtenues aux différentes versions du test et des mesures similaires (validité convergente) ou différentes (validité discriminante);
Validité de construit: une analyse factorielle devrait indiquer que les versions du test comportent le même nombre de facteurs et que les items de chacune des versions se regroupent de la même façon
Exemples d’équivalence de test adaptés
1.
2.
3.
Résultats équivalents: alpha de Cronbach → validité de critère
Corrélations entre les mesures obtenues
Validité de construit: une analyse factoriell
Étapes à suivre pour adapter un test
- S’assurer de la pertinence du contenu du test pour la population visée ;
2. Déterminer si une traduction est souhaitable ;
3. Choisir les traducteurs;
4. Traduire et adapter le test;
5. Réviser (en comité) la version adaptée du test;
6. Conduire une mise à l’essai de la version adaptée;
7. Conduire une étude métrologique exhaustive de la version adaptée;
8. Documenter chacune des étapes de développement de la version adaptée
Indicateurs de qualité de l’adaptation
Analyse d’items
Fidélité
Équivalence au niveau du construit
Validité:
Indicateurs de qualité de l’adaptation
Analyse d’items…
Les items de chaque version devraient être équivalents en termes de difficulté et de discrimination
Indicateurs de qualité de l’adaptation
Fidélité…
Les résultats calculés à partir des versions adaptées devraient présenter des indices comparables de cohérence interne (par exemple: indice alpha de Cronbach et de corrélation entre les moitiés de l’instrument comparables pour chaque version
Indicateurs de qualité de l’adaptation
Équivalence au niveau du construit
Les items de chaque version devraient être équivalents en termes de saturation factorielle
Indicateurs de qualité de l’adaptation
Validité
- Concomitante ou convergente
(corrélation d’une mesure donnée avec une autre ; servant de critère et qui évalue sensiblement le même aspect); - Prédictive (Lorsqu’une mesure prédit correctement un comportement ultérieur).
Élaboration, Traduction ou Adaptation
De plus, il est important que le processus soit bien documenté et transparent
