Cours 11 : méthodes construction instrument de mesure, etc. Flashcards
Combien de tests utiles existe-il en psychoed?
Une grande variété!! Ex. test aptitudes intellectuelles, rendement, neuropsychologiques, etc.
Quelle catégorie de test est souvent oubliée en psychologie?
Les mesures de construits environnementaux : structure familiale, quartier, etc.
La construction et la validation d’un test est un processus à…
Long terme. Peut s’échelonner sur plusieurs années. Révisions sont nécessaires avant d’être pleinement satisfaisants
De façon générale, les organisations professionnelles s’attendent à ce que les auteurs.trices aient construit leur instrument en..
Respectant les critères répertoriés dans les Strandards du testing en éducation et en psychologie.
Construction des test : différentes étapes
Peuvent varier d’un instrument à l’autres.
Certaines propriétés psychométriques sont critiques pour certains types de tests.
Il y a 9 étapes en tout.
Deux grandes méthodes de construction de tests
-Déductive (rationnelle) : conclure en partant de propositions prises pour prémisses.
inductive (empirique) : Conclure en remontant des faits à la loi. On formule des items et on laisse les données nous fournir les réponses.
Méthode déductive : quoi, avantages et désavantages
Aussi appelée rationnelle
- Cadre théorique ; développer des instruments à partir de théories scientifiques (construits, domaines, indicateurs) ou cliniques (répondre à un manque ou besoin pratique).
- Avantage : contexte théorique clair, cohérence logique, c’est-à-dire réseau nomologique souvent connu a priori.
- Désavantages :
subjectivité face à la théorie (théories implicites), on ne comprend pas de la même façon les items (interprétation différentes du concepteur), on ne sait pas si cela fonctionne dans la réalité sans faire des études empiriques
Méthode inductive : 2 types
Aussi appelée empirique, factuelle, pragmatique: à partir d’une démarche empirique.
- Analyse d’items / factorielle : les items qui ont une saturation factorielle faible seront rejetés, on garde seulement les meilleurs (qui sont statistiquement liés au construit)
- Sélection critériée : seuls les items qui différencient des groupes seront sélectionnés.
**Jamais complètement empirique. Auteurs ont toujours une théorie sous-jacente, mm si elle est implicite.
Méthode inductive : avantages et désavantages
Avantages : plus grande objectivité et plus représentatif de la réalité; on vérifie notre compréhension d’un construit, appuyée explicitement par des données
Désavantages :
- on arrive pas nécessairement au résultat qu’on voulait (données dictent résultat final).
- Statistiques peuvent parfois dénaturer les concepts en raison biais échantillonngage.
L’analyse d’item : c’est quoi et indices
Étape classique dans le développement d’un nouvel instrument.
- Identifier les meilleurs items à inclure dans une échelle. Avec saturation factorielle = choisir saturations les plus hautes (0,3 ou 0,4 et plus).
- Deux indices : difficulté et discrimination
Difficulté de l’item
La proportion d’individus qui endossent ou répondent correctement à l’item.
- Difficulté pcq développé avec tests de performance.
- On souhaite avoir items variés : items moyens, quelques items difficiles, quelques items faciles. On veut discriminer les gens.
- Items trop diffciles ou trop faciles sont peu utiles. Ne permettent pas de discriminer les gens.
Ex :
- vrai = 30% et faux 70% : bon item.
- vrai 92% et faux 8%, commence à être moins bon.
Pour items à choix multiples : on veut voir une certaine distribution normale dans chacun des choix. On veut également que tt les choix de réponse aient une certaine fréquence.
Discrimination de l’item + aussi appelé…
Le degré auquel les individus avec un score élevé sur un test répondent correctement à un item particulier – ou l’inverse.
- Si a un score élevé, devrait répondre correctement.
- Si score faible, devrait répondre incorrectement.
- Aussi appelé l’effet de l’item : indice efficacité d’un item, discriminer les gens qui connaissent le contenu de ceux qui ne le connaissent pas.
- S’applique aussi aux items à choix multiples (calculer corrélation entre le score à l’échelle totale et l’item)
L’indice de discrimination s’applique aussi aux instruments de mesure de construits….
avec des items sans bonne réponse!
Analyse d’items : exemple tableau
Meilleur item : celui avec la meilleure corrélation (0.620)
Si items à enlever : seraient ceux avec moins forte corrélation.
Corrélation multiple au carré : pourcentage de variance expliqué. Plus c’est élevé, mieux c’est car informe que ça appartient au même contenu.
Types items et choix de réponses différents possibles selon.. (3)
- Type de construit évalué
- Utilisations particulières d’un instrument
- Préférences personnelles des auteurs.trices
Les questions des items peuvent être aussi présentées de plusieurs façons : oralement en …. et visuellement en …
- Oralement en entrevue
- Oralement en version informatique (i.e., appli qui «lit» les questions)
- Visuellement en version papier-crayon
- Visuellement en version informatique (sur ordinateur fixe, ou avec appli sur un téléphone intelligent, une tablette)
Distinction plus fondamentale est le …
le type de réponse qui est demandé à la personne évaluée : (a) items à réponses construites et (b) items à réponses sélectionnées
Items à réponses construites
Questions à développement, réponse ouverte, réponse libre.
- Prémisse est présentée : qu’est-ce que je veux savoir.
- Pas de contraintes cognitives : on laisse la personne parler/écrire ce qui luit vient à l’esprit.
- Il existe des réponses ouvertes à réponses longues (Ex. Parler moi de vos pratiques parentales) et à réponses courtes (ex. 4 ou 5 mots compléter phrase).
- Réponse courte implique contrainte cognitive pcq force à synthétiser
Items à réponses sélectionnées
Questions objectives, à choix forcés, choix multiples, vrai ou faux.
- Prémisse est présentée et placé devant contrainte cognitive d’un choix de réponse fixe.
- Type le plu utilisé dans instruments d’évaluation
- Pourquoi + fréquent : plus objectif, plus fiables, plus bref, plus facile à codifier.
Différentes échelles réponses sélectionnées (4)
- Fréquence : si fait souvent les comportement.
- Variété : combien de comportement se manifestent. variété est souvent plus grave que la fréquence.
- Intensité ou gravité : problématique ou non.
- Likert : accord ou désaccord.
Lorsqu’une personne doit répondre à une question à réponse sélectionnée, elle doit effectuer quatre tâches cognitives :
- Compréhension : comprendre le contenu
- Récupération : récupérer info en mémoire qui est nécessaire pour répondre
- Jugement : porter jugement sur base de l’info récupérée
- Répondre : rapporter le jugement sur la base des choix de réponses disponibles
Caractéristiques souhaitables des items
- Niveau de langage simple
- Bref
- Choix de réponses simples
- Éviter contenu multiples : 1 item = 1 construit. pas mettre 2 construits dans un mm item
- Absence de leurre (piège) : faux choix
- Questions sur sujets sensibles : peuvent causer distorsion, non-réponse, etc (plus de biais)
Traduction des échelles
Au Qc : cruciale.
- Traduction maison : 1) sans étude vérifant propriétés psychométriques et/ou 2) sans recueillir des normes québécoises.
- Parfois, traduction suffisante, mais souvent adaptation items est nécessaire.
- La compréhension du contenu, le sens/signification des items est plus important que la traduction exacte.
- Étape qui doit être prise très au sérieux.
6 étapes de l’adaptation transculturelle
- Traduire et adapter les items (méthode de choix : traduction à rebours)
- Experts indépendants révisent la traduction : on leur demande si elle est bonne
- Éliminer ou adapter les items selon leurs commentaires
- Étude pilote auprès des individus ciblés : petit groupe de personne, pas la vraie étude.
- Validation empirique formelle : évaluation des propriétés psychométriques (complexe)
- Standardisation : établir des normes
**Important garder le sens des items!!!
5 façons d’établir l’équivalence transculturelle
Équivalence sémantique : Chaque item ont la même signification dans les deux langues/cultures.
Équivalence de contenu : Chaque item est pertinent dans les 2 langues/cultures.
Équivalence factorielle : La structure factorielle est la même dans les deux langues/cultures
Équivalence critériée : validité de critère est similaire dans les deux langues/cultures. Parfois difficile de conclure à la non équivalence critériée.
Équivalence de la fidélité : indices de fidélités sont similaires dans les deux langues/culture (cohérence interne)