Cours 5: Étapes de conception d'un test Flashcards
Quelles sont les étapes de conception d’un test?
- Définir le but d’un test
- Question de conceptions préliminaires
- Préparation des items
- Analyse des items
- Standardisation
- Publication
Comment définir les objectifs du test?
Se demander: quel trait ou variable essayons-nous de mesurer?
**Important d’avoir défini adéquatement le trait et ses dimensions!!! (point de départ)
-Penser aux scores que nous allons obtenir (patho vs non-patho, détaillé)
-Spécifier le public cible (pour enfants, adultes, etc.)
-Vérifier si un test existe déjà
Ex: double traduction
En quoi consiste la double traduction?
Validation francophone d’un instrument:
-Donner à un traducteur fr PUIS retraduire à nouveau en anglais avec autre traducteur
*Doit arriver à la version originale!
Ex: je suis pas une valise/i am not a suitcase PAS BON
-Valider avec une analyse factorielle confirmatoire
Quelles sont les questions de conceptions préliminaires?
Mode d’administration
(Ex: test QI = 1 psy et 1 client MAIS si grand groupe, papier car trop cher)
Formation des utilisateurs
Longueur
Format des items
Nombre de scores (juste global ou sous-échelles aussi)
Ex: Wais = QI global, QI verbal, QI non-verbal, etc.
Quelle est l’origine des tests?
- Répondre à un besoin pratique (selon l’énoncé d’un problème de recherche Ex: école obligatoire = tests pour besoins des élèves, armée = tests pour bon soldats)
*Wechsler, MMPI - Base théorique (Ex: TAT selon psychodynamique)
- Révision, adaptation (Ex: tests d’intelligence car QI augmente avec générations et certains items plus valables = adapter)
Quel est l’exemple de l’adaptation du test sur la jalousie?
Le questionnaire sur la jalousie a été fait il y a longtemps et ne prends pas compte de la surveillance sur les réseaux sociaux = adaptation du test pour être plus représentatif
Quels sont les types d’items de choix de réponses?
Vrai ou faux
Choix multiples
Likert/différentiateurs sémantiques
En quoi consiste la cotation des items à choix de réponses?
Correct/incorrect
Dans une certaine direction (ex: tout à fait en accord)
Pondérations diverses possibles
Pourquoi c’est pas bien de donner un choix neutre dans les items à choix de réponses?
Les répondants ne se mouillent pas, y vont avec le choix facile
Quels sont les types d’items à développement?
-Essai, question d’examen, performance, portfolio
-Évaluation orale, test projectif
En quoi consiste la cotation des items à développement?
Problème majeur!!
-Fidélité interjuge (désaccords: surtout pour qs à développement ou cotation globale)
-Schème conceptuels (savoir quoi regarder)
Quel est le truc pour contrer les problèmes de cotation d’items à développement avec la fidélité interjuge?
Méthode qualificative à points!!
Doit mentionner tel concept pour avoir les points
*Comme dans les examens de nic
Quels sont les avantages des choix de réponses?
-Fidélité
-Moins de temps (coche les réponses)
-Optimisation (temps correction plus vite: lecture optique)
Quels sont avantages des items à développement?
-Observation du comportement (comment le client s’y prend pour répondre? Stratégie est mieux que le résultat + motivation et anxiété)
-Couverture d’endroits imprévus car plus grande profondeur dans les réponses
-Chez étudiants: Force la réflexion VS mémorisation avec choix de réponses
Quelles sont les 4 parties d’un item?
Stimulus (question)
Format de réponse (choix de réponses ou développement)
Conditions de réponse (limite temps, etc.)
Procédures de cotation
Quelles sont les suggestions pour les choix de réponses?
-1 contenu précis et 1 seul trait par item
(Ex mauvais: mon cours de psychométrie m’épuise et ça me rend dépressif = 2 traits)
-Simplicité!!
*Éviter les pièges
-Éviter les Ne pas
Quelles sont les 3 phases de l’analyse d’items?
- Mise à l’essai de l’item
- Analyse statistique
- Sélection
En quoi consiste la mise à l’essai de l’item?
Pour voir si ambiguïtés (Ex: C’est correct de prendre la voiture des autres):
-Demander à la personne de penser à voix haute pour voir raisonnement
-Choisir le bon public cible (en fonction du public cible du test)
**1e page de garde dans l’exam
Quelles sont les deux dimensions de l’analyse statistique de l’item?
Difficulté de l’item
Pouvoir discriminant de l’item
Qu’est-ce que la difficulté de l’item?
-Correct/incorrect: jusqu’à quel point l’item est facile/réussi ou non
*Déterminé avec valeur p (pourcentage élevé = facile)
-OU pourcentage dans une certaine direction lorsqu’il n’y a pas de bonne/mauvaise réponse
Qu’est-ce que le pouvoir discriminant de l’item?
Capacité de distinguer statistiquement des groupes répondants (discriminé avec critères et non sexe, race, etc.)
-Critère externe: groupes définis (Ex: item discrimine psychopathe de non psychopathe?)
-Critère interne: item avec score total (réussi l’item et a une note élevé)
Quels sont les indices de discrimination de l’item?
D (différence, différenciation): pourcentage du groupe fort - pourcentage groupe faible = indice de discrimination
r: corrélation entre la performance à l’item et la performance totale
**A juste les indices de discrimination à la fin du test, mais peut inférer ou le sait avec mise à l’essai formelle
À quelle endroit se produit la meilleure discrimination dans un test facile et dans un test difficile?
Test facile (beaucoup d’items au p élevé): discrimination dans la partie inférieure de la distribution des scores
Test difficile (beaucoup d’items au p bas): discrimination dans la partie supérieure de la distribution des scores
Comment se fait la sélection d’items?
- Grand nombre d’items pour augmenter le fidélité (jusqu’à saturation)
- Le niveau de difficulté du test en fonction de la valeur p de chacun des items
- items discriminants pour un test qui mesure bien le trait
4 et 5???
En quoi consiste l’étape de la standardisation?
Est-ce que nous avons un groupe représentatif? Est-ce qu’on peut comparer les scores obtenus?
En quoi consiste l’étape de la publication?
Livret du test (explique le test en général)
Manuel d’administration
Manuel technique
Fiches pour scores
Appui d’une publication scientifique (analyse factorielle confirmatoire)
En quoi consiste l’analyse factorielle confirmatoire?
VOIR!!!
