Chapitre 7 Flashcards
De façon générale, les organisations professionnelles
s’attendent à ce que les auteurs aient construit leur
instrument en respectant les critères répertoriés dans les
Standards du testing en éducation et en psychologie
#Policier sur le mur, ligne, test, école, Éli
Étapes de construction d’un test
table de la bibli
- Définir le construit de façon compréhensive; établir les domaines et sous-domaines; établir le réseau nomologique
- Déterminer le type de test pertinent
- Déterminer le type d’items pertinent et développer un bassin d’items #type, piscine
- Déterminer la ou les utilisations prévues #piscine tourne
- Déterminer la longueur du test nécessaire et la pertinence de formes parallèles
- Conduire une étude pilote auprès des individus ciblés (évaluer la vraisemblance et certaines propriétés psychométriques de base) #Pilote de cire
- Conduire une validation empirique détaillée (i.e., évaluer les propriétés psychométriques) #voiture, crochet vert, chimie
- Effectuer la standardisation (ou l’étalonnage, i.e., établir des normes)
- Produire la documentation technique; i.e., un manuel de
l’utilisateur, ou par articles scientifiques
Deux grandes méthodes de construction des tests
Champ de construction
- Déductive (ou rationnelle)
« conclure en partant de propositions prises pour
prémisses » #Sherlock - À partir d’un cadre théorique
- Théorie scientifique
- Construits, domaines, indicateurs (les concepteurs du test les déterminent en fonction de la théorie)
- Théorie clinique
- On veut répondre à un manque ou besoin pratique
- e.g., comment mesurer les schèmes relationnels des PSE ?
Comment mesurer la motivation au changement ?
- Inductive (ou empirique)
« conclure en remontant des faits à la loi »
À partir d’une démarche empirique (ou factuelle, ou
pragmatique)
1. Analyse d’items / Analyse factorielle : les items
statistiquement liés au construits sont sélectionnés
(corrélations item-total, saturations factorielles, etc.)
2. Sélection critériée : e.g., seuls les items qui différencient des groupes sont sélectionnés (e.g., échelle Antisocialité du MMPI-2)
* Toutefois, la démarche n’est jamais complètement empirique
* Pour générer des items, les auteurs ont toujours une
théorie sous-jacente, même si elle est implicite
Avantages des Méthode déductive (rationnelle)
- Avantage: Contexte théorique clair, cohérence logique (i.e., réseau nomologique souvent connu a priori)
Désavantage des Méthode déductive (rationnelle)
- Subjectivité face à la théorie, théorie implicite des auteurs
- On ne sait pas si cela fonctionne dans la réalité sans faire des études empiriques (i.e., la structure factorielle, validité de critère, etc.)
- On ne sait pas si les répondants.es interpréteront les items
inspirés de la théorie (et en conséquence, les construits) de la même manière que le concepteur du test le croyait - e.g., une échelle d’évaluation du mécanisme de défense de
l’humour est en fait reliée à l’Extraversion
Avantages de la Méthode inductive
Plus grande objectivité et plus représentatif de la réalité; on vérifie notre compréhension d’un construit, appuyée explicitement par des données
Désavantages de la Méthode inductive
On n’arrive pas nécessairement au résultat qu’on voulait, les
données dictent le résultat final (e.g., structure factorielle, etc.)
* e.g., les données suggèrent que les items d’anxiété et de
dépression sont combinés dans un seul facteur
* Les statistiques peuvent parfois dénaturer les concepts en
raison de biais d’échantillonnage
* e.g., les statistiques suggèrent d’éliminer un aspect clinique important, alors que les résultats discordants sont surtout le fruit d’un mauvais échantillonnage, ou trop petit échantillon
Analyse d’items
- Étape classique dans le développement d’un nouvelle
instrument d’évaluation - Sert à identifier les meilleurs items à inclure dans une
échelle à partir d’analyses statistiques - Deux indices de base en psychométrie peuvent être
utilisés : la difficulté et la discrimination des items
Difficulté de l’item
MontEverest
la proportion (ou pourcentage) d’individus qui
endossent ou répondent correctement à l’item
* Le nom « difficulté » a été donné simplement parce
qu’initialement, a été développé avec des tests de performance
* Peut aussi s’appliquer aux items à choix de réponses multiples; devient la proportion d’individus qui endossent chaque catégorie de réponse
* Items trop difficile ou trop faciles peu utiles
* Idéalement, on veut des items de difficultés variées
Discrimination de l’item
Le degré auquel les individus avec un score élevé sur un test répondent correctement à un item particulier – ou l’inverse
* Parfois aussi appelé « effet de l’item » puisqu’il s’agit d’un indice de l’efficacité d’un item de discriminer les individus qui connaissent le contenu de ceux qui ne le connaissent pas
* S’appliquent aussi aux items à choix multiple; il s’agit simplement de calculer une corrélation corrigée entre le score à l’échelle et à l’item
Note : Exemple : Les gens qui ont un score élevé à l’examen qui échouent presque tous cette question-là alors que les gens qui ont un score faible réussissent presque tous cette question : l’item est étrange. Si les gens qui ont un score élevé réponde correctement à un item, on pourra dire que cet item a un degré élevé de corrélation
Différents items et choix de réponse possibles, selon
- Type de construit évalué
- Utilisations particulières d’un instrument
- Préférences personnelles des auteurs
Items à réponses construites
- Aussi appelés « questions à développement » ou « à réponse ouverte » ou « à réponse libre »
- Une prémisse est présentée à la personne évaluée, mais pas de contrainte sur un choix de réponse fixe
- Il y a néanmoins certaines règles qui sont possibles, ce qui fait qu’il existe des (a) questions ouvertes à réponse longue et (b) des questions ouvertes à réponse courte
- Les questions à réponses construites sont essentielles en
entrevue
Items à réponses sélectionnées
- Aussi appelés « questions objectives », « à choix forcé », « à
choix multiples », « vrai ou faux » - Une PRÉMISSE est présentée à la personne évaluée et elle est placée devant la CONTRAINTE COGNITIVE d’un choix de réponse fixe
- Il s’agit du type d’items le plus utilisé dans les instruments
d’évaluation en sciences humaines, sociales et psychologiques - Parce que sont plus objectifs, plus facile de dériver un score numérique, plus fiables, souvent plus brefs, etc.
Items à réponses sélectionnées, les différentes types :
Fréquentation, noix, lumière forte, Like
- Échelle de fréquence (Jamais, toujours)
- Échelle de variété (Aucun, 6 ou + comportements)
- Échelle d’intensité/gravité (Pas du tout problématique, Extrêmement problématique)
- Échelle de Likert (Tout à fait en
désaccord, Tout à fait d’accord)
Lorsqu’une personne doit répondre à une question à réponse sélectionnée, elle doit effectuer quatre tâches cognitives
Spinx, Hermionne, bac récuo, baton droit, parler
- Compréhension : comprendre le contenu pertinent
- Récupération : récupérer l’information pertinente en mémoire qui est nécessaire pour répondre
- Jugement : porter un jugement sur la base de l’information récupérée
- Répondre : rapporter ce jugement, sur la base du choix de
réponse disponible
