Élaboration d'items Flashcards
Quelles sont les 6 étapes de la conception d’un test?
- Définir le but du test
- Questions de conceptions préliminaires : test papier crayon, sur ordinateur?…
- Préparation des items
- Analyse d’items : étape la plus importante, indice de difficulté pour chacun des items et un indice de discrimination pour chacun des items. Habituellement, item discriminant doit être un minimum difficile, mais pas l’inverse nécessairement. Pour savoir facile/difficile, mesurer avec pourcentage de réussite. Pour savoir discrimination, se demande est-ce que les gens qui le réussissent réussissent l’ensemble du reste de l’examen, est-ce qu’il discrimine ceux qui ont la compétence vs ceux qui ne l’ont pas
- Standardisation : regarder la version finale des items
- Publication : pour donner de la crédibilité à notre test
Quels sont les objectifs du test?
Quel trait ou variable essayons-nous de mesurer ?
Et surtout, avoir défini adéquatement le trait et ses dimensions !
Penser aux scores que nous obtiendrons
Pathologique (MMPI) vs Non pathologique (Big 5)
Détaillé (ex: MMPI)
Spécifie le public cible
Vérifier si un test existe déjà
Validation
Double traduction
Qu’est-ce que la double traduction?
exemple on veut utiliser le how I think questionnaire. On va voir le traducteur 1 et on lui dit traduit ce questionnaire de l’anglais au français. Après, on apporte la version en français au traducteur 2 qui ne parle pas au 1er et il va le traduire en anglais et ensuite on compare l’équivalence entre les versions (est-ce que les 2 versions en anglais arrivent au même, si oui = traduction équivalente). Certains trucs peuvent être difficile à traduire (p.ex. : blesser les autres, ça pourrait être physiquement ou psychologiquement, si on prend des coups de couteaux dans le dos dans mon emploi, peut prendre ça au premier degré ou pas, les expressions ne peuvent pas être traduites littéralement)
Quelles questions doit-on se poser lors de conceptions préliminaires?
Questions de conceptions préliminaires
Mode d’administration
Formation des utilisateurs
Longueur/fidélité (à quel point il est long ou pas)
MMPI de 576 items vs Beck abrégé de 13 items
Format des items
Choix multiples, actions (ex.: les blocs), histoire (projectif)
Nombre de scores
Beck abrégé -> dépressif ou non et sévérité
MMPI -> majorité des pathologies sont évaluées
Quelles sont les 3 origines des tests?
Répondre à un besoin pratique
Binet, Wechsler, Woodworth, MMPI, Otis
Ex: école, armée
Énoncé du problème de recherche : on ne sait pas si tel test est fidèle et valide pour mesurer tel caractéristique, pas la même chose que le problème social (ex. suicide est un problème social)
- Base théorique
TAT -> base sur la théorie - Révision, adaptation
Tests d’intelligence (refait nouvelle edition à tous les 5 ans), matériel jugé accessible ou non, Étant donné l’évolution de la technologie, plusieurs inventaires doivent être revus (ex. : jalousie, avant il n’y avait pas d’espionnage sur les réseaux sociaux de l’autre)
Qu’est-ce que l’effet Flynn?
QI des nouvelles générations est toujours un peu plus élevés que celui des générations plus vieilles, entre autres à cause de l’accessibilité à l’information et plus de stimulations
Quels sont les différents types d’items?
Choix de réponses
Items à développement
Comment est-ce qu’on cote des choix de réponses?
correct/incorrect
Dans une certaine direction (e.g., Tout à fait d’accord, tout à fait en désaccord)
Donner ou non un choix neutre dans l’échelle : on suggère d’enlever le choix neutre pour forcer la personne à aller d’un côté
Pondération diverses possibles
Comment est-ce qu’on cote des items à développement?
Items à développement
Essai, question d’examen, performance/évaluation du rendement, portfolio
Évaluation orale, test projectif.
Cotation : Problème majeur
Fidélité interjuge : pas facile quand on doit corriger des items à développement
Schèmes conceptuels
Savoir quoi regarder
Cotation globale : regarder la réponse et dire que ça ça vaut 8, 10…
Cotation analytique : donner des points pour expression des idées, grammaire, contenu
Méthode de qualification par point : si je vois le mot façonnement ou shaping et le mot pigeon, ça vaut 10, si juste 1 des 2, juste 5 points
Quels sont les avantages des choix de réponses?
Fidélité très élevée voir parfaite
Moins de temps
Optimisation : si on doit évaluer bcp de personnes en peu de temps, mieux d’avoir des choix de réponses
Quels sont les avantages des items à développement?
Observation du comportement (voit comment la personne si prend pour résoudre la tâche, souvent plus important que la réponse)
Couverture d’endroits imprévus
Effets possibles sur les personnes évaluées
Choix de réponses = mémorisation ?
Item à développement = réflexion ?
Qu’est-ce que les stratégies antérieures et postérieures?
Stratégies antérieures : fait référence au lobe frontal, car il est en avant du reste du cerveau et séparé par les régions postérieures et par sillon de Rolando. Ça veut dire qu’elle a des stratégies
Stratégies postérieures : fait référence au lobe occipital, ça veut dire qu’elle fait par essai erreur
Comment devrait-on créer un choix de réponse?
1 contenu précis et 1 seul trait
Ex: Mon cours de psychométrie m’épuise tellement que je me sens dépressif
Quoi répondre ?
Mon cours m’épuise mais je ne me sens pas dépressif
Mon cours ne m’épuise pas mais je me sens dépressif
Simplicité
Éviter les Ne pas (n’est-il pas vrai que…)
Éviter les pièges (test plus la capacité de lecture que le contenu)
Quelles sont les 3 phases de l’analyse d’items?
- Mise à l’essai de l’item
Penser à voix haute
Choisir le bon public cible
Demande au public cible de répondre à voix haute aux items. Ex. : il faut parfois blesser les autres pour arriver à ses fins - Analyse statistique
- Sélection
À quoi servent les statistiques de l’item?
Déterminer la difficulté et la discrimination des items
Difficulté de l’item (p-value -> proportion de réussite de l’item (à quel point il est facile ou non), donne un indice sur la difficulté de notre item)
correct/incorrect
Note: Jusqu’à quel point l’item est facile ou non
Va dans une certaine direction
J’entends des voix -> checker le %
Pouvoir discriminant de l’item
Globalement, est-ce que l’item est réussi surtout par ceux qui maîtrisent bien la matière (ex: ont réussi tout le reste de l’examen)
