Cours 2 - Élaboration des tests Flashcards
Pourquoi créer des nouveaux tests? [3 origines]
- Nécessité de créer un nouveau test pour mettre une théorie à l’essai.
- Tests désuets, inadaptés ou qui doivent être révisés.
- Considérations pratiques relatives à la sélection, classification ou évaluation.
[TD Sec]
Si j’élabore un nouveau modèle de la personnalité ou de l’intelligence qui n’a pas de test, et donc que je dois tester, à quelle origine des nouveaux tests cela correspond-il?
- Nécessité de créer un nouveau test pour mettre une théorie à l’essai.
Vrai ou faux: si j’ai une théorie X, et une nouvelle théorie Y semblable à X, le test de la théorie X sera moins adapté à la théorie Y et il faudra donc en créer un juste pour la théorie Y.
À quelle origine des nouveaux tests cela correspond-il?
Vrai.
- Nécessité de créer un nouveau test pour mettre une théorie à l’essai.
Si une théorie est réfutée, que se passe-t-il avec ses tests?
À quelle origine des nouveaux tests cela correspond-il?
Ils ne sont plus bons, et on peut donc les mettre à jour.
- Tests désuets, inadaptés ou qui doivent être révisés.
Une théorie _____ depuis sa création peut nous amener à _____ le test pour qu’il reflète mieux les __________ de la théorie.
À quelle origine des nouveaux tests cela correspond-il?
Théorie modifiée.
Retravailler le test.
Les nouvelles connaissances.
- Tests désuets, inadaptés ou qui doivent être révisés.
Dans l’origine des nouveux tests #2 (Tests désuets, inadaptés ou qui doivent être révisés), à quelle situation peut correspondre un test inadapté?
Un test inadapté à la population qu’on tente d’étudier. (Il faut adapter les items à la population)
Quels 2 exemples sont-ils donnés pour des tests devenus désuets à cause du temps?
Évolution du vocabulaire.
Évolution de la culture.
Le développement des _____ permet la création de nouveaux tests.
Technologies.
On peut créer un nouveau test pour réduire les __________ et le __________.
Les coûts de testing et le temps de passation.
Qu’est-ce que l’objectif psychométrique de la sélection?
Processus visant à identifier les individus les plus adaptés à un critère spécifique.
Quel est un exemple de l’objectif psychométrique de la sélection?
Sélectionner qui aura une promotion.
Qu’est-ce que l’objectif psychométrique de la classification?
Attribuer des individus à différentes catégories en fonction de leurs caractéristiques ou performances mesurées.
Quel est un exemple de l’objectif psychométrique de la classification?
Classer le style d’attachement.
Qu’est-ce que l’objectif psychométrique de l’évaluation?
Mesure et analyse des capacités, traits ou performances d’un individu.
Quel est un exemple de l’objectif psychométrique de l’évaluation?
Évaluer le niveau d’estime de soi d’un individu.
Quelles sont les 6 étapes de l’élaboration d’un test?
- Définition de l’objectif du test (Usage anticipé).
- Questions relatives à la conception du test.
- Préparation des items.
- Analyse des items.
- Étalonnage et programmation de recherches connexes.
- Préparation du matériel définitif et publication.
[OQP AEP]
En quoi consiste l’étape #6 de l’élaboration d’un test?
Expliquer comment utiliser le test, les items du test et faire la publication scientifique.
Quelles sont les 2 étapes de l’élaboration d’un test qui permettent de retourner à une étape précédente?
Étape #2 (Questions relatives à la conception du test) –> Si choses non-prises en compte, retour à l’Étape #1 (Définition de l’objectif du test - Usage anticipé)
Étape #4 (Analyse des items) –> Si mauvais items, retour à l’Étape #3 (Préparation des items).
À quelle étape de l’élaboration d’un test fait référence l’usage anticipé?
1. Définition de l’objectif du test.
Que faut-il faire dans l’usage anticipé?
Énoncer les objectifs de l’instrument.
Dans l’usage anticipé, quelles sont les 3 composantes de l’énonciation des objectifs de l’instrument?
Identifier le concept mesuré.
Déterminer la population cible.
Établir les circonstances de passation et d’utilisation).
[Concept, Population, Circonstances]
Dans les objectifs de l’instrument de l’usage anticipé, de quoi dépend les circonstances d’utilisation du test?
De l’objectif psychométrique.
(Sélection, Classification, Évaluation)
Dans l’usage anticipé, quels sont les 3 moyens utilisés pour énoncer les objectifs de l’instrument?
Analyse d’instruments existants.
Consultation des écrits scientifiques.
Consultations formelles et informelles avec des experts et des utilisateurs.
[Ai EuE]
Les buts de l’instrument se résument souvent en __________.
En une phrase.
Que faut-il inclure dans la phrase du but de l’instrument?
Une description détaillée du concept mesuré.
Identification de la population cible.
[Concept, Population]
Quel autre élément peut-il faire partie de l’usage anticipé?
Expliquer pourquoi on créer un nouveau test s’il existe déjà un test similaire.
Dans l’étape #2 (Questions relatives à la conception du test) de l’élaboration d’un test, qu’affecte la prise de décisions?
La forme prise par le test.
Dans l’étape #2 (Questions relatives à la conception du test) de l’élaboration d’un test, sur quoi reposent les décisions sur la forme prise par le test?
L’objectif du test et les considérations pratiques.
Dans l’étape #2 (Questions relatives à la conception du test) de l’élaboration d’un test, sur quoi sont prises les décisions sur la forme prise par le test?
Le mode d’administration du test.
La longueur du test.
Le format des items.
Les scores du test (formet et nombre).
La formation des utilisateurs.
[MSL FF]
Idéalement, on ne produit pas les items avant que les _____ quant à la forme prise par le test ne soient abordées.
Décisions.
(Mode, Longeur, Format, Scores, Formation)
Dans l’étape #3 (Préparation des items) de l’élaboration d’un test, que faut-il faire?
Formuler et réviser les items.
Dans l’étape #3 (Préparation des items) de l’élaboration d’un test, de quoi doivent découler les items?
De la théorie et des recherches empiriques.
Si une théorie divise la dépression en 3 dimensions, les items devront _____ ces dimensions.
Réfléter.
Dans l’étape #3 (Préparation des items) de l’élaboration d’un test, qu’est-il important de différencier des théories? Quel serait un exemple d’un item représentant cela?
Différencier les théories des causes. (Théorie sur X versus causes de X)
Item de cause: je me sens maltraité, et donc je suis en dépression.
Dans l’étape #3 (Préparation des items) de l’élaboration d’un test, quelles sont les 4 composantes d’un item de test?
Stimulus (prémisse ou amorce).
Format de réponse.
Conditions de réponse.
Procédures de cotation.
[CF SC]
Dans l’étape #3 (Préparation des items) de l’élaboration d’un test, à quoi correspond la composante « stimulus » d’un test?
Littéralement la phrase de l’item.
(Ex.: « Je pleure souvent »)
Dans l’étape #3 (Préparation des items) de l’élaboration d’un test, quels sont des exemples de la composante « format de réponse » d’un test?
Développement, Oui/non, Échelle de Likert, etc.
Dans l’étape #3 (Préparation des items) de l’élaboration d’un test, quels sont des exemples de la composante « conditions de réponse » d’un test?
Limite de temps, Nombre d’essais, etc.
Dans l’étape #3 (Préparation des items) de l’élaboration d’un test, quels sont des exemples de la composante « procédure de cotation » d’un test?
Combien de point vaut une bonne réponse, Combien de point vaut X réponse, Combien de point si la personne répond plus vite, etc.
Dans l’étape #4 (Analyse des items) de l’élaboration d’un test, les items sont analysés afin de détermine quoi?
Les propriétés psychométriques de l’instrument.
Dans l’étape #4 (Analyse des items) de l’élaboration d’un test, quels sont les 2 éléments à considérer?
La fidélité.
La validité.
À quelle étape se fait la sélection des items?
Étape 4 (Analyse des items).
(PAS l’Étape 3 de Préparation des items)
Dans l’étape #5 (Étalonnage et programmation de recherches connexes) de l’élaboration d’un test, quels sont les 2 éléments préparés?
Préparation des normes à l’aide d’un échantillon normatif.
Préparation des critères de cotation.
[Ne Cc]
Dans l’étape #6 (Préparation du matériel définitif et publication) de l’élaboration d’un test, qu’est-ce qui est consigné?
La forme finale de l’instrument.
(Ses items, procédures d’administration et de cotation, etc.)
Dans l’étape #6 (Préparation du matériel définitif et publication) de l’élaboration d’un test, qu’est-ce qui est publié, et pourquoi?
Les résultats des études de validation (propriétés psychométriques).
Pour être évaluées par les pairs et les personnes pouvant utiliser le test.
Quels sont les 2 éléments de l’usage recommandé?
Définition de l’utilisation spécifique pouvant être faite des résultats de l’instrument de mesure.
Guides relatifs à l’administration et l’interprétation.
[Ur Gai :3]
Une échelle bonne pour évaluer sera bonne pour quoi?
Une échelle bonne pour classifier sera bonne pour quoi?
Évaluer: seulement pour évaluer.
Classifier: classifier et évaluer (par défaut).
Selon l’usage recommandé, les résultats de l’instrument ont une __________, c’est-à-dire ce pour quoi on a _____ l’instrument.
Une utilisation spécifique.
Ce pour quoi on a validé l’instrument.
(Si mon instrument mesure X, je ne peux pas m’en servir pour Y)
La création de tests est un processus _____.
Processus itératif.
(Itératif: Qui est répété plusieurs fois)
Vrai ou faux: la création d’un test psychométrique suit un développement linéaire.
Faux; la création n’est pas linéaire.
Lors de la création de tests, que faut-il faire tout au long du processus?
On doit interpréter les résultats de l’étude de validation pour détecter les problèmes et apporter les corrections nécessaires.
Dans quelles situations est-ce qu’un test peut-il être parfait?
Il est impossible d’avoir un test parfait.
Dans l’usage anticipé, il faut déterminer à quoi serviront les _____ de l’instrument. Ceux-ci auront une __________. Il faut aussi évaluer les __________.
Les résultats.
Une utilisation spécifique.
Les besoins réels.
Quand est-ce que l’adéquation d’un test est-elle vérifée?
À la dernière étape.
Quels sont les 4 différents acteurs présents dans un test, avec une description brève?
Concepteur: Personne qui créer l’instrument.
Bénéficiaire: Personne qui se fait évaluer avec l’instrument.
Administrateur: Personne qui procède à la mesure.
Utilisateur: Personne qui interprète les résultats de l’instrument.
[CUBA]
En tant qu’acteur, l’administrateur peut aussi en même temps être quel autre acteur, et dans quelle situation?
Bénéficiaire: Lorsqu’on répond soi-même (questionnaire auto-rapporté).
Utilisateur: Dans des tests plus libres (comme un MBTI en ligne).
Dans certaines situations, quels 3 acteurs pourraient correspondre à une seule personne?
Administrateur.
Bénéficiaire.
Utilisateur.
(Dans un test en ligne plus libre, comme un MBTI)
Quels sont les 3 éléments à identifier dans l’usage anticipé?
Les besoins.
Les acteurs.
Le contexte d’utilisation anticipé.
[ABC]
Quelles sont les questions à se poser pour l’usage anticipé face à l’identification des besoins?
Quel est le problème à régler avec la création de notre instrument?
Quel est le but de l’évaluation faite à l’aide de notre instrument?
[Problème à régler, But]
Quelles sont les questions à se poser pour l’usage anticipé face à l’identification des acteurs?
Qui veut-on aider à l’aide de notre instrument (Bénéficiaires)?
Qui va administrer l’instrument (Administrateurs)?
Qui va utiliser les résultats de l’instrument (Utilisateurs)?
[Aider, Administrer, Utiliser]
Quelles sont les situations possibles pour l’usage anticipé face à l’identification du contexte d’utilisation anticipé?
Identifier les gens par la recherche ou en faire une utilisation clinique pour envoyer les gens en traitement. (Plus clinique)
Se servir concrètement de l’instrument dans la vraie vie. (Plus concret)
[Clinique, Concret]
Quels sont les 3 exemples de test d’intelligence vus, avec leur population cible et but?
Test de Binet & Stanford-Binet;
- Binet: Identifier les enfants en difficulté pour les assigner dans des classes spéciales.
- Stanford-Binet: Binet pour les États-Unis
Wechsler Adult Intelligence Scale (WAIS): Évaluer l’intelligence des adultes. (Car Binet/Stanford-Binet n’étaient pas adéquat pour adultes)
[WB]
Quels sont les 2 exemples d’instrument de dépression et troubles mentaux vus, avec leur population cible et but?
Beck Depression Inventory: Mesure la sévérité de la dépression chez les adolescents et adultes. (Questionnaire auto-rapporté)
Prime MD - Évaluation primaire des troubles mentaux: Diagnostic de 9 troubles mentaux par un médecin. (Questionnaire et entrevue, utilisé en cabinet)
[BP; Dépression, Diagnostiquer]
Dans la conceptualisation, que faut-il nommer et définir?
Le concept à mesurer. (Ce que m’on instrument mesure)
Dans la conceptualisation, il faut dinstinguer les différentes _____ du concept.
Différentes composantes.
Dans la conceptualisation, en quoi faut-il traduire le construit théorique, et quel serait un exemple?
En une série d’éléments pouvant être observés ou sondés.
Exemple: avoir un item compréhensible pour le facteur comportemental de la dépression.
Que devons nous consulter pour effectuer la conceptualisation de notre concept?
Consultation des écrits scientifiques.
Consultation des instruments déjà existants.
Consultation formelle d’experts.
[EEI]
La théorie identifie souvent les _____ d’un construit.
Les dimensions.
Dans la conceptualisation, que veut-on dire par «chaque dimension devra être mesurée séparément»?
Un item ne doit pas mesurer plusieurs dimensions.
De quoi est constitué le contenu d’instrument?
Des différentes dimensions du concept.
Sur quoi est fondé le contenu d’un instrument?
Sur une proportion représentative d’un domaine fini de:
- Connaissances
- Comportements
- Manifestations mentales
[Rf CMC]
Dans le contenu, que veut-on dire par «domaine fini»?
Un domaine qui est connu et qui ne concerne pas des choses externes.
Lors des questions de conception préliminaires, sur quoi les décisions sont-elles prises?
Type de test.
Type d’items.
Nombre d’items.
Type de réponses.
Type de correction.
Type d’échelle.
Méthodes d’administration.
[TIN RACE]
Lors des questions de conception préliminaires, que visent à contrôler les décisions prises?
Les erreurs aléatoires.
Les erreurs systématiques.
[AS]
Qu’est-ce qu’une erreur aléatoire?
Une fluctuation du score en fonction de caractéristiques qui diffèrent entre chaque personne.
(Exemple: un participant aillant mal dormi)
Qu’est-ce qu’une erreur systématique?
Une erreur qui arrive pour tout le monde de manière égale.
(Exemple: une question oubliée)
Quels sont les 3 types d’items?
Items à choix de réponse.
Items à échelle.
Items à développement.
[DEC]
Quels sont les 2 sous-types d’items à choix de réponse?
Vrai ou faux.
Choix multiples.
[VC]
Quels sont les 3 sous-types d’items à échelle?
Échelle de Likert.
Échelle d’évaluation graphique.
Différenciateur sémantique.
[G DL]
Quels sont les 3 sous-types d’items à développement?
Questions ouvertes à réponse longue.
Évaluation du rendement.
Portfolio.
[PRO]
En quoi consiste un item à échelle de différenciateur sémantique?
À se situer entre deux pôles.
(Exemple: de extraverti à introverti)
Pour quoi sont souvent utilisés les items à choix de réponse?
Pour les évaluation du rendement.
Quelles sont les 2 sous-types de réponse possibles dans une échelle de Likert possibles?
Totalement en accord à totalement en désaccord.
Toujours à jamais.
[Accord, Toujours]
Quels sont les 2 options possibles face au points dans une échelle de Likert?
Avec point milieu (nombre impair).
Sans point milieu, pour forcer une décision (nombre pair).
[Pair]
Lors de la préparation des items, il faut générer plusieurs items pour chaque _____.
Chaque domaines.
Lors de la préparation des items, généralement, combien d’items faut-il créer?
Plus d’items que ce que l’on souhaite inclure.
Pour la cotation des items, comment sont cotés les items à choix de réponse, et quelle question faut-il se poser?
Des points sont accordés.
Comment faire la procédure de somme?
Pour la cotation des items, comment sont cotés les questions ouvertes?
Avec une grille.
Pour la cotation des items, dans les questions ouvertes, quels sont les 3 sous-types de cotation?
Cotation globale.
Cotation analytique.
Cotation par points.
[GAP]
En quoi consiste la cotation globale?
Un nombre de points attribués en fonction de l’idée globale qu’on se fait de la réponse.E
En quoi consiste la cotation analytique?
Un nombre de points attribués en fonction de X, de Y, de Z.
Exemple: Points pour la logique, pour les éléments présents, etc.
(Quand même globale, mais plus détaillée que la cotation globale)
En quoi consiste la cotation par points?
Un nombre de points attribués pour chaque éléments précis qu’on veut dans la réponse.
Exemple: Points pour la définition de X, pour avoir nommer Y, pour présenter les résultats de Z.
Plus la cotation des items est complexe, plus elle est _____ et _____.
Fidèle et valide.
Quels sont les 4 types d’échelles?
Nominale.
Ordinale.
Intervalle.
Proportions (Rapport/Ratio)
[NOIR]
Quels sont des exemples d’échelle nominale?
Vrai ou faux.
Choix de réponse.
Que est un exemple d’échelle ordinale?
Ordre d’arrivé.
Quelle est la différence entre une échelle d’intervalle et une échelle à proportions/rapport?
Intervalle: distance équivalente entre chacune des valeurs MAIS le 0 ne veut pas dire une absence.
Proportions/rapport: distance équivalente entre chacune des valeurs, ET 0 signifie une absence, ce qui permet de dire que quelque chose est 2x plus X que quelque chose.
[Pas d’absence, Absence et calcul]
Quel type d’échelle est une échelle de Likert?
Intervalle.
Quel est un exemple d’une échelle intervalle?
Température en Celsius.
Quels sont des exemples d’une échelle proportions/rapport?
Longueur.
Poids.
Qu’est-ce qui peut être plus adapté pour les enfants pour une échelle de Likert?
Des visages.
Quelles sont les 5 suggestions principales pour formuler des items à développement, et les 5 suggestions autres?
Veilleur à ce que la tâche soit claire.
Éviter l’utilisation d’items optionnels.
Préciser le système de cotation des items lors de l’élaboration.
Coter les items de façon anonyme.
Coter les items un à la fois.
Avoir une idée par item.
Avoir les items les plus claires possible.
Formuler le plus souvent possible au Je.
S’assurer que l’item peut être répondu à partir de l’échelle qu’on a.
S’assurer d’avoir un item inversé.
[U COCA]
[ICI JE]
Quelles sont les 3 éléments à prendre en compte pour les méthodes d’administration?
Directives pour les personnes évaluées.
Directives pour les personnes qui administrent le test.
Comment coter le test.
[C Dea]
L’usage anticipé d’un test est l’étape à laquelle l’on doit _______________ et _______________.
L’usage anticipé d’un test est l’étape à laquelle l’on doit définir ce que l’on tente de mesurer et comment on va le mesurer.
Lors de la création d’un test, il est nécessaire de _______________ et de produire des énoncés qui représententent les _______________ à mesurer.
Lors de la création d’un test, il est nécessaire de sélectionner un type d’item et de produire des énoncés qui représentent les différentes facettes du construit à mesurer.
