Cours 2 - Élaboration des tests Flashcards
Quelle est l’origine des nouveaux tests?
- Nécessité de créer un nouveau test pour mettre une théorie à l’essai
Pas de tests qui portent sur le construit qui existe déjà
Sert à tester nos théories/construits et voir s’ils existent vraiment s’ils sont véridiques - Tests désuets, inadaptés ou qui doivent être révisés
Quand les chercheurs changent/modifient leur théorie par ex
Parfois part d’un test qui existe déjà et on rajoute des items
Parfois inadaptés à la pop cible (contexte, trop long, incompréhensible)
Test plus valide à cause des changements dans la société, changement de vocabulaire
Traduction d’un test - Considérations pratiques relatives à la sélection, la classification ou l’évaluation
Pas de tests qui nous permettent d’atteindre notre objectif ex: tester perfo des employés
*Important de se demander si j’ai réellement besoin de créer un nouveau test
En quoi consiste l’usage anticipé?
-Énoncé des objectifs de l’instrument:
Identifier le concept mesuré (vérifié par la littérature)
Déterminer la pop cible
Établir les circonstances de passation et d’utilisation (Interprétation pouvant être faite)
-Moyens utilisés:
Analyses d’instruments existants (pour s’en inspirer)
Consultation des écrits scientifiques (se basent sur la théorie, pour identifier le concept mesuré)
Consultations formelles et informelles avec des experts et des utilisateurs (consulte des experts pour décider quelle théorie est la mieux adaptée et la plus supportée par les preuves empiriques et utilisateurs du test ex: demander aux gestionnaires ce qui est attendu des employés)
Quelles questions se posent-on relativement à la conception du test?
-Mode d’administration du test
-La longueur (combien items, durée du test)
-Le format des items (type item, degré d’accord, vrai ou faux, images présentées, juste un mot)
-Les scores du test (score en pourcentage, échelle de 1 à 7, score sur un nb max de points)
-La formation des utilisateurs (pour utiliser ou administrer le test, ou nécessite juste des instructions)
*Idéalement, on ne produit pas les items avant que ces considérations soient abordées
Quelles sont les composantes d’un item de test?
-Stimulus (la question posée, l’énoncé)
-Format de réponse (item à développement ou score 1 à 7)
-Conditions de réponse: nb d’essais max ou juste un essai, réponses notés dans un cahier par l’administrateur?
-Procédure de cotation: somme des items, points de vrai ou faux, point boni pour réponse excellente
Quels sont les deux éléments à considérer dans l’analyse des items?
Les items sont analysés afin de déterminer les propriétés psychométriques de l’instrument:
1. Fidélité
2. Validité
Qu’est ce que l’étalonnage et la programmation de recherches connexes?
-Préparation des normes à l’aide d’un échantillon normatif: fait passer notre échelle finale à un grand nb de personnes issues de notre population cible pour avoir idée des scores que les gens ont normalement
-Préparation des critères de cotation: voir à quel score les personnes sont considérées comme dépressives par ex
*Pas exclusifs l’un à l’autre, dépend de l’utilisation de notre test
En quoi consiste la préparation du matériel définitif et publication?
-La forme finale de l’instrument est consignée (officialisée)
-Les résultats des études de validation (propriétés psychométriques) sont publiées pour être évaluées par les pairs et les personnes pouvant utiliser le test
Que veut dire l’usage recommandé?
-Définition de l’utilisation spécifique pouvant être faite des résultats de l’instrument de mesure
-Guides relatives à l’administration et l’interprétation (va avec les normes)
Vrai ou Faux: La création d’un test psychométrique est linéaire, il est possible d’avoir un test parfait
Faux: C’est un processus itératif, on doit parfois revenir en arrière
Tout au long du processus, on doit interpréter les résultats de l’étude de validation pour détecter les problèmes et apporter les corrections nécessaires
*Si des problèmes apparaissent lors de l’analyse des items, il faut retourner à l’étape de la préparation et refaire l’analyse
Quelles questions se posent t’on lors de l’usage anticipé?
Quel construit mesure-t’on?
Quelle est la population cible?
Quoi évaluer et pourquoi?
Quelles décisions prendre à l’aide de mon instrument?
*Toutes ces questions peuvent être répondues en consultant la littérature, les experts et les utilisateurs du test
*Guide l’ensemble du processus; l’adéquation (correspondance parfaite entre un objet et ce à quoi il est destiné) sera vérifiée à la dernière étape
Quels sont les acteurs possibles (4)?
-Concepteur: la personne qui crée l’instrument de mesure
-Bénéficiaire: La personne qui se fait évaluer à l’aide de l’instrument. Pas nécessairement la personne qui prend la décision
-Administrateur: La personne qui procède à a mesure
-Utilisateur: La personne qui interprète les résultats de l’instrument. Celle qui prend la décision par rapport aux résultats
*Peut être plusieurs à la fois, ex: test auto-rapporté à la fois bénéficiaire et administrateur
D’autres questions à se poser pour l’usage anticipé:
-Identifier les besoins:
Quel est le problème à régler avec la création de notre instrument?
Quel est le but de l’évaluation faite à l’aide de notre instrument?
-Identifier les acteurs:
Qui veut t’on aider à l’aide de notre instrument (bénéficiaires)?
Qui va administrer l’instrument (administrateur)?
Qui va utiliser les résultats de l’instrument? (utilisateurs)
Qu’est ce que la conceptualisation?
-Nommer et définir le concept à mesurer:
Qu’est ce que mon instrument doit mesurer?
-Distinguer les différentes composantes du concept
-Traduire le construit théorique en une série d’éléments pouvant être observés ou sondés
-Utilisation des écrits scientifiques, des instruments déjà existants et consultation formelle d’experts: la théorie identifie souvent les dimensions d’un construit, chaque dimension devra être mesurée ‘séparément’
De quoi est composé le contenu d’un instrument?
-Il est constitué de différentes dimensions du concept
-Est fondé sur une proportion représentative d’un domaine fini de connaissances, de comportements et de manifestations mentales
*Représentative = doit mesurer assez de manifestations de notre concept
Comment faire la conceptualisation?
-Consultation des écrits scientifiques
-Consultation des instruments déjà existants
-Consultation formelle d’experts
