Cours 2 Flashcards
Le modèle de la cible : un processus qui décrit :
1- Comment construire/modifier un instrument psychométrique
2- Comment vérifier les qualités psychométriques d’un instrument
Modèle de la cible : 3 concepts
1- Fidélité ou Fiabilité
2- Validité
3- Utilité
Fidélité ou Fiabilité
Quel niveau d’erreur de mesure l’instrument contient-il?
Coeur du modèle : dépourvu d’erreur de mesure et ampleur de la mesure. Il y a toujours des erreurs, mais on veut les quantifier. Est-ce que le score obtenu représente le score réel de la personne? Si mettons, question mal posés (grande diversité de raison d’erreurs) : résultats pas stables : erreurs de mesure : pas fidèle 100
Validité
À quel point l’instrument mesure-t-il ce qu’il est censé mesurer?
Mesure adéquatement ce qu’il est censé mesurer tout en ayant peu d’erreurs de mesure
Utilité
Est-ce que l’instrument sert à quelque chose?
Peu avoir une mesure sans erreur et valide, mais si pas utile, ne sert à rien : utilité englobe fiabilité et validité : le + important = utilité.
Importance de l’ordre des 3 concepts dans le modèle de la cible
On peut avoir de la fiabilité sans validité, mais on ne peut pas avoir de validité sans fiabilité (dessin important dans l’ordre qu’ils sont mis. On ne peut pas aller + dans les périphéries sans que les autres soient incluent. Pas blanc et noir, c’est + à quel point il y a validité/fidélité.
Gauche vers la droite : si on accumule des erreurs aux premières étapes, ça va s’accumuler par la suite.
Modèle de la cible : deux phases
Préparation et Vérification
Préparation = le + important, il faut être bien préparé pour avoir une bonne analyse et de bons résultats.
Modèle de la cible : six étapes (étape + concept associé)
- Usage anticipé
- Conceptualisation
- Élaboration
- Stabilité
- Congruence
- Usage recommandé
(1-6 : utilité, 2-5 : validité, 3-4 : fidélité)
Pour chaque étape : deux tâches
Objectifs et moyens
Objectifs
Ce qu’on veut accomplir en créant notre instrument, objectifs spécifiques à chaque étape
Moyens
Comment on fait pour réaliser ces objectifs-là
Étape 1 : l’usage anticipé : objectifs
Déterminer si besoin quelconque pour développer un instrument, si oui :
objectifs =
- Buts de l’instrument
- Population visée
- Contexte d’utilisation (est-ce que l’instrument doit être supervisé ou non, papier crayon ou en ligne? etc.)
DONC :
- Déterminer ce que mesurera l’instrument et à quoi serviront les résultats qui en émaneront (construit et les buts fondamental et psychométrique)
- Déterminer qui seront les bénéficiaires (population), les utilisateurs et les administrateurs
- Déterminer le contexte d’utilisation (contexte)
Étape 1 : l’usage anticipé : moyens
- analyses d’instruments
- lectures
- consultations (gens dans le milieu qui ont de l’expertise en psychométrie)
Objectif ou moyen le + important?
Objectif
Usage anticipé : exemple du Scholastic Aptitude Test (SAT)
- Instrument utilisé dans le système scolaire américain
- BUT : prédire le succès scolaire d’élèves du secondaire une fois à l’université
- Ne s’intéresse qu’à ce qui a été appris au secondaire et ne prétend pas mesurer l’intelligence
Bénéficiaires : étudiants au secondaire
Concepteurs : association des collèges
Administrateurs : collèges et universités
En classe, papier crayons, supervisés par les gens
Étape 2 : la conceptualisation : objectifs
- Définir, catégoriser et organiser les composantes des phénomènes à mesurer
- Positionnement avec d’autres concepts
Étape 2 : la conceptualisation : moyens
- Synthèse des aspects conceptuels des instruments
(sous dimensions? être certain d’avoir les bonnes définitions, choix et bien définir pour être certain que quand on mesure, on mesure la bonne chose) (conceptualisation : va permettre d’aller au plus large au plus précis pour que ce soit le + clair possible au final. On veut décortiquer pour s’assurer de mesurer juste, par exemple, le bien être et non la détresse).
(positionnement avec d’autres concepts : créer des hypothèses : si notre test mesure bien ce qu’il est censé mesurer, ça devrait créer des hypothèses avec d’autres concepts). - Lectures théoriques
- Consultations (experts dans le domaine)
Étape 2 : la conceptualisation : exemple du Scholastic Aptitude Test (SAT)
Les aptitudes sont de deux types :
- Verbales (SAT-V)
- Antonymes
- Analogies
- Compléter phrases
- Compréhension de lecture
Mathématiques (SAT-M)
- Questions numériques
- Comparaisons de quantités
Deux types d’aptitudes : verbales et mathématiques
Étape 3 : l’élaboration : objectifs
- Prévoir les sources d’erreur de manière à les minimiser
- Choix du format de l’instrument (choix multiple, ex. échelle de mesure 5 pts-7pts?)
- Construire les items (selon notre définition et notre opérationnalisation)(important de faire attention avec le langage, par exemple, pour matcher avec notre clientèle visé (ex : enfant))
- Choisir la méthode de correction (moyenne? Correction négative? choix à faire)
Étape 3 : l’élaboration : moyens
- Lectures “psychométriques” (voir ce qui est déjà fait dans la littérature pour nous aiguiller)
- Inventaire des stratégies déjà employées
Étape 3 : l’élaboration : exemple du scholastic aptitude test (SAT)
Questions à choix multiples élaborées par des professeurs de « high-school » et de « college » et des psychométriciens.
SAT-V : 85 questions de simple à difficile
- Antonymes (5 choix)
- Analogies (5 choix)
- Compléter phrases (5 choix)
- Compréhension de lecture (5 choix)
SAT-M : 60 questions de simple à difficile
- Questions numériques (5 choix)
- Comparaisons de quantités (4 choix)
Gradient de difficulté
- Durée = deux heures
- Passation en groupe
- Le score est déterminé par des points accumulés pour les bonnes réponses et des points retranchés pour les mauvaises réponses (correction pour avoir deviné)
- Le score varie de 200 à 800, la moyenne est ajustée à 500 et l’écart-type est ajusté à 100
- Une vingtaine de versions parallèles sont administrées simultanément
Choix p/r au test.
Étape 4 : la stabilité : objectifs
- Vérifier la nature (c’est quoi notre erreur) et l’ampleur (à quel point il y en a) de l’erreur
- Établir la stabilité interne (à l’intérieur du test) et temporelle (dans le temps)
Étape 4 : la stabilité : moyens
- Erreur-type de mesure
- Analyses d’items
- Analyses corrélationnelles
- Approche hypothético-déductive (hypothèse p/r à notre instrument en lui-même)
- Accord inter-juges
Étape 4 : la stabilité : exemple du scholastic aptitude test (SAT)
Erreur-type de mesure
- SAT-V : 31
- SAT-M : 33
Consistance interne
- SAT-V : Alpha de cronbach de alpha = 0.92
- SAT-M : Alpha de Cronbach de alpha = 0.91
Stabilité temporelle (intervalle de 7 mois)
- SAT-V : corrélation test-retest r= 0.88
- SAT-M : correlation test-retest r= 0.85
Étape 5 : la congruence : objectifs
Vérifier les quantifications et/ou l’organisation des concepts. (on veut s’assurer de bien mesurer ce qu’on veut mesurer : on va s’assurer que ce qu’on a défini/quantifié a été mesuré correctement)
Étape 5 : la congruence : moyens
- Analyses corrélationnelles
- Approche hypothético-déductive (hypothèse en lien avec des critères)
- Analyses factorielles
- Équations structurelles
Étape 5 : la congruence : exemple du scholastic Aptitude test (SAT)
Validité de contenu :
- Les questions posées représentent les domaines enseignés au « high-school »
Validité prédictive (résultats partiels – les meilleurs élèves seulement)
- Corrélation entre le SAT-V et les notes au « college » : r=0.54
- Corrélation entre le SAT-M et les notes ou « college » : r= 0.48
- Corrélation entre les notes au « high-school » et les notes au « college » : r = 0.67
SAT : mesure unique, notes au secondaire sur le long terme
Étape 6 : l’usage recommandé : objectifs
- Préciser buts, population visée, circonstances d’utilisation/de passation
- Guider l’interprétation (on va vouloir créer un guide d’utilisation, on veut faire nos preuves scientifiques que note article est pertinent)
Étape 6 : l’usage recommandé : moyens
- Article scientifique
- Normes (permet d’interpréter nos résultats de manière + rigoureuse
Étape 6 : l’usage recommandé : exemple de scholastic aptitude test (SAT)
BUT : prédire le succès scolaire d’élèves du secondaire une fois à l’université
Manuels et beaucoup de recherches
Population : tous les types de populations d’élèves de « high school » décrits
Semble pouvoir atteindre ce but, mais la mesure n’est pas parfaite
Modèle de la cible : processus décisionnel
Lors de la construction et de la validation, il faut :
- Détecter les problèmes;
- Apporter les correctifs requis
Le modèle de la cible rend plus simple le processus de décisions qui permet de détecter les problèmes et apporter les correctifs nécessaires.
Qu’est-ce qu’il se passe s’il y a un problème lors de la vérification?
Je dois déterminer ou est le problème et y revenir (même couleur, mais dans l’étape de préparation), une fois réglé, on retourne à la vérification.
Problème détecté à l’étape de la stabilité →
retour à l’étape de l’élaboration
Problème détecté à l’étape de la congruence →
retour à l’étape de la conceptualisation
Problème détecté à l’étape de l’usage recommandé →
retour à l’étape de l’usage anticipé
6 problématiques auxquelles le modèle de la cible aide à répondre
1- Mauvaise connaissance des autres instruments
2- Utilisation d’instruments désuets
3- Concepts mal définis
4- Type de mesure peu approprié à la situation
5- Techniques statistiques mal utilisées
6- Mauvaises interprétations des indices statistiques.
Les résultats d’un instrument doivent obligatoirement être interprétés en fonction de quoi?
1- Du construit
2- De la population
3- Du contexte
Le construit : définition et exemples
C’est le concept qu’on va mesurer avec notre instrument (ex : dépression, engagement, etc.)
Exemples :
- La dépression ne doit pas être utilisée pour mesurer l’anxiété ou l’épuisement professionnel
- L’identification à l’organisation ne doit pas être utilisée pour mesurer l’engagement affectif envers l’organisation
La population : définition
Ce sont les gens qui vont passer le test. (peut être large ou précis).
Le contexte : définition et exemples
Ce sont les conditions dans lesquelles les participants vont passer le test
Exemples :
- Temps de passation
- Connaissances préalables.
Les objectifs de l’instrument : but fondamental
“Qu’est-ce qu’on évalue et pourquoi?” Quel est le problème que l’instrument entend contribuer à régler? À quoi les résultats serviront-ils?
Voulez-vous discriminer entre deux groupes de personnes? Voulez-vous effectuer un diagnostic? Voulez-vous établir un profil des caractéristiques d’une personne?
Les objectifs de l’instrument : but psychométrique
- Quelle est la valeur ajoutée de l’instrument p/r aux autres instruments existants? Pourquoi créer/modifier cet unstrument?
**Le pourquoi est important à mettre dans la rédaction de nos buts
Pourquoi créer un nouvel instrument? Exemples de buts psychométriques courants
- Procéder à une évaluation plus courte
- Changer la modalité d’évaluation
- Traduire avec ou sans adaptation culturelle
- Préciser le construit
- Cibler plus précisément un pan de la population
- Créer une version parallèle d’un test
Les acteurs à identifier
- Concepteur, administrateur, bénéficiaire et utilisateur
Utilisateur
La personne qui va utiliser les résultats à la fin
Les administrateurs et utilisateurs peuvent être les mêmes
Concepteur
La personne qui crée l’instrument : souvent un psychométricien
Administrateur
La personne qui procède à la mesure (test autoadministré quand on le fait sur internet par exemple)
Les administrateurs et utilisateurs peuvent être les mêmes
Bénéficiaire
La personne qui se fait évaluer à l’aide de l’instrument
