Cours 2 Flashcards
Le modèle de la cible : un processus qui décrit :
1- Comment construire/modifier un instrument psychométrique
2- Comment vérifier les qualités psychométriques d’un instrument
Modèle de la cible : 3 concepts
1- Fidélité ou Fiabilité
2- Validité
3- Utilité
Fidélité ou Fiabilité
Quel niveau d’erreur de mesure l’instrument contient-il?
Coeur du modèle : dépourvu d’erreur de mesure et ampleur de la mesure. Il y a toujours des erreurs, mais on veut les quantifier. Est-ce que le score obtenu représente le score réel de la personne? Si mettons, question mal posés (grande diversité de raison d’erreurs) : résultats pas stables : erreurs de mesure : pas fidèle 100
Validité
À quel point l’instrument mesure-t-il ce qu’il est censé mesurer?
Mesure adéquatement ce qu’il est censé mesurer tout en ayant peu d’erreurs de mesure
Utilité
Est-ce que l’instrument sert à quelque chose?
Peu avoir une mesure sans erreur et valide, mais si pas utile, ne sert à rien : utilité englobe fiabilité et validité : le + important = utilité.
Importance de l’ordre des 3 concepts dans le modèle de la cible
On peut avoir de la fiabilité sans validité, mais on ne peut pas avoir de validité sans fiabilité (dessin important dans l’ordre qu’ils sont mis. On ne peut pas aller + dans les périphéries sans que les autres soient incluent. Pas blanc et noir, c’est + à quel point il y a validité/fidélité.
Gauche vers la droite : si on accumule des erreurs aux premières étapes, ça va s’accumuler par la suite.
Modèle de la cible : deux phases
Préparation et Vérification
Préparation = le + important, il faut être bien préparé pour avoir une bonne analyse et de bons résultats.
Modèle de la cible : six étapes (étape + concept associé)
- Usage anticipé
- Conceptualisation
- Élaboration
- Stabilité
- Congruence
- Usage recommandé
(1-6 : utilité, 2-5 : validité, 3-4 : fidélité)
Pour chaque étape : deux tâches
Objectifs et moyens
Objectifs
Ce qu’on veut accomplir en créant notre instrument, objectifs spécifiques à chaque étape
Moyens
Comment on fait pour réaliser ces objectifs-là
Étape 1 : l’usage anticipé : objectifs
Déterminer si besoin quelconque pour développer un instrument, si oui :
objectifs =
- Buts de l’instrument
- Population visée
- Contexte d’utilisation (est-ce que l’instrument doit être supervisé ou non, papier crayon ou en ligne? etc.)
DONC :
- Déterminer ce que mesurera l’instrument et à quoi serviront les résultats qui en émaneront (construit et les buts fondamental et psychométrique)
- Déterminer qui seront les bénéficiaires (population), les utilisateurs et les administrateurs
- Déterminer le contexte d’utilisation (contexte)
Étape 1 : l’usage anticipé : moyens
- analyses d’instruments
- lectures
- consultations (gens dans le milieu qui ont de l’expertise en psychométrie)
Objectif ou moyen le + important?
Objectif
Usage anticipé : exemple du Scholastic Aptitude Test (SAT)
- Instrument utilisé dans le système scolaire américain
- BUT : prédire le succès scolaire d’élèves du secondaire une fois à l’université
- Ne s’intéresse qu’à ce qui a été appris au secondaire et ne prétend pas mesurer l’intelligence
Bénéficiaires : étudiants au secondaire
Concepteurs : association des collèges
Administrateurs : collèges et universités
En classe, papier crayons, supervisés par les gens
Étape 2 : la conceptualisation : objectifs
- Définir, catégoriser et organiser les composantes des phénomènes à mesurer
- Positionnement avec d’autres concepts
Étape 2 : la conceptualisation : moyens
- Synthèse des aspects conceptuels des instruments
(sous dimensions? être certain d’avoir les bonnes définitions, choix et bien définir pour être certain que quand on mesure, on mesure la bonne chose) (conceptualisation : va permettre d’aller au plus large au plus précis pour que ce soit le + clair possible au final. On veut décortiquer pour s’assurer de mesurer juste, par exemple, le bien être et non la détresse).
(positionnement avec d’autres concepts : créer des hypothèses : si notre test mesure bien ce qu’il est censé mesurer, ça devrait créer des hypothèses avec d’autres concepts). - Lectures théoriques
- Consultations (experts dans le domaine)
Étape 2 : la conceptualisation : exemple du Scholastic Aptitude Test (SAT)
Les aptitudes sont de deux types :
- Verbales (SAT-V)
- Antonymes
- Analogies
- Compléter phrases
- Compréhension de lecture
Mathématiques (SAT-M)
- Questions numériques
- Comparaisons de quantités
Deux types d’aptitudes : verbales et mathématiques
Étape 3 : l’élaboration : objectifs
- Prévoir les sources d’erreur de manière à les minimiser
- Choix du format de l’instrument (choix multiple, ex. échelle de mesure 5 pts-7pts?)
- Construire les items (selon notre définition et notre opérationnalisation)(important de faire attention avec le langage, par exemple, pour matcher avec notre clientèle visé (ex : enfant))
- Choisir la méthode de correction (moyenne? Correction négative? choix à faire)
Étape 3 : l’élaboration : moyens
- Lectures “psychométriques” (voir ce qui est déjà fait dans la littérature pour nous aiguiller)
- Inventaire des stratégies déjà employées
Étape 3 : l’élaboration : exemple du scholastic aptitude test (SAT)
Questions à choix multiples élaborées par des professeurs de « high-school » et de « college » et des psychométriciens.
SAT-V : 85 questions de simple à difficile
- Antonymes (5 choix)
- Analogies (5 choix)
- Compléter phrases (5 choix)
- Compréhension de lecture (5 choix)
SAT-M : 60 questions de simple à difficile
- Questions numériques (5 choix)
- Comparaisons de quantités (4 choix)
Gradient de difficulté
- Durée = deux heures
- Passation en groupe
- Le score est déterminé par des points accumulés pour les bonnes réponses et des points retranchés pour les mauvaises réponses (correction pour avoir deviné)
- Le score varie de 200 à 800, la moyenne est ajustée à 500 et l’écart-type est ajusté à 100
- Une vingtaine de versions parallèles sont administrées simultanément
Choix p/r au test.
Étape 4 : la stabilité : objectifs
- Vérifier la nature (c’est quoi notre erreur) et l’ampleur (à quel point il y en a) de l’erreur
- Établir la stabilité interne (à l’intérieur du test) et temporelle (dans le temps)
Étape 4 : la stabilité : moyens
- Erreur-type de mesure
- Analyses d’items
- Analyses corrélationnelles
- Approche hypothético-déductive (hypothèse p/r à notre instrument en lui-même)
- Accord inter-juges
Étape 4 : la stabilité : exemple du scholastic aptitude test (SAT)
Erreur-type de mesure
- SAT-V : 31
- SAT-M : 33
Consistance interne
- SAT-V : Alpha de cronbach de alpha = 0.92
- SAT-M : Alpha de Cronbach de alpha = 0.91
Stabilité temporelle (intervalle de 7 mois)
- SAT-V : corrélation test-retest r= 0.88
- SAT-M : correlation test-retest r= 0.85
