Étapes de conception du test Flashcards
Étapes
- Définir le but du test
- Question de conceptions préliminaires
- Préparation des items
- Analyse des items
- Standardisation
- Publication
Définition des objectifs
Trait et dimensions
Définir adéquatement le trait et ses dimensions
Validité de contenu: Faire un nombre de dimensions spécifiques + analyse factorielle pour vérifier
Définition des objectifs
Scores obtenus
Pathologique vs non pathologique (peut y avoir une relation entre les deux)
Détaillé (ex: MMPI): Une seule patho ou plusieurs
Définition des objectifs
Qui public?
Test existe déjà?
Avertir auteur original si traduction
Question de conceptions préliminaires
Mode d’administration (papier-crayon, ordi)
Formation des utilisateurs (quel niveau de formation requis)
Longueur
Format des items (QCM ou développement)
Nombre de scores (différentes échelles?)
Origine des tests
- Répondre à un besoin pratique (ex: Binet)
- Base théorique: Créer pour répondre à identifier différentes motivations à l’intérieur d’un individu (ex: TAT)
- Révision, adaptation: Déterminer si le matériel est encore accessible ou non
Préparation des items
Stimulus: Énoncés ou images
Format des réponses
Procédure de cotation
Préparation des items
Choix de réponses
Vrai ou faux, échelle de Likert
Avantages:
1. Fidélité quasi-parfaite
2. Moins de temps corriger
3. Optimisation (moins de temps)
Suggestions
1. 1 contenu précis et 1 seul trait à la fois
2. Simplicité
3. Éviter les Ne pas
4. Éviter les pièges
Préparation des items
Items à développement
Essai, question d’examen, performance (réalisation d’une tâche), portfolio, évaluation orale, test projectif
Avantages:
1. Observation du comportement
2. Couverture d’endroits imprévus
3. Réflexion
Préparation des items
Cotation
Correct/incorrect: Items dichotomiques
Dans une certaine direction (tout à fait d’accord, etc.)
Donner ou non un choix neutre
Problème majeur:
Fidélité inter-juge
Schéma conceptuel (savoir quoi regarder)
- Cotation globale: Lire la question et mettre une note
- Cotation analytique: Point sur l’organisation d’idées, le français, le vocabulaire, etc.
- Méthode de qualifications par points: Doit avoir une grille de correction pour être valide
Analyse d’items
3 phases:
1. Mise à l’essai de l’item
2. Analyse statistique
3. Sélection
Analyse des items
Mise à l’essai de l’item
Penser à voix haute quand il répond: Permet de voir comment la personne comprend la question
Choisir le bon public cible
Analyse des items
Analyse statistique
Difficulté de l’items (correct/incorrect)
Pouvoir discriminant de l’items (est-ce qu’il est réussit par ceux qui devraient le réussir)
Considérations pratiques
Analyse des items
Analyse statistique: Pouvoir discriminant de l’item
Discrimination avec un critère (pas sexe, race, etc.)
Critère externe: Discrimination entre les groupes
Critère interne: Bien réussit par ceux qui devraient réussir?
Indice de discrimination
Analyse des distracteurs
Analyse des items
Analyse statistique: Considérations pratiques
Difficulté et discrimination = Besties (pas toujours parfait)
Couverture du test et contenu à couvrir
Indice de discrimination: Plus il monte mieux c’est. Toujours par rapport à un autre indice (ex: 0,5 mieux que 0,1)
Analyse des distracteurs: devraient tromper certains des étudiants. Choisit -5% du temps pas bons
