Cours 2 Flashcards
LE MODÈLE DE LA CIBLE = Un processus qui décrit:
- Comment construire/modifier un instrument psychométrique.
◦ Surtout construire - Comment vérifier les qualités psychométriques d’un instrument.
Fidélité ou Fiabilité
- Quel niveau d’erreur de mesure l’instrument contient-il?
◦ La base, F pour fondation, c’est la fondation de tout
un outil pourrait être ______ mais pas ________, mais un outil pas ________ n’est pas ________
un outil pourrait être fidèle mais pas valide, mais un outil pas fidèle n’est pas valide
Sortes de fidélité
- Fidélité interne/Cohérence interne
- Fidélité inter-juges
- Fidélité test-re test
Fidélité interne/Cohérence interne
si on a un instrument avec des items qui sont supposé mesurer la même chose
- Ex. l’item 1, 2, 3, 4 et 5 sont supposer mesurer la même chose pour l’extraversion, l’item 1 à 4 sont extrêmement corrélé et après l’item 5 a pas vraiment rapport, ex. les gens score super fort a 1-4 mais pas à 5 et vice versa
Validité
- À quel point l’instrument mesure-t-il ce qu’il est censé mesurer?
◦ On fait un test sur l’anxiété mais au final on test la dépression
◦ quel niveau d’erreur de mesure notre test contient til
Utilité
- Est-ce que l’instrument sert à quelque chose?
- Si personne ne va s’en servir ce n’est pas utile
- S’il est utile il est automatiquement fidèle et valide
DEUX PHASES DANS LE LE MODÈLE DE LA CIBLE
Préparation - Vérification
SIX ÉTAPES DANS LE LE MODÈLE DE LA CIBLE
- Usage anticipé
- Conceptualisation
- Élaboration
- Stabilité
- Congruence
- Usage recommandé
DEUX TÂCHES DANS LE LE MODÈLE DE LA CIBLE
Objectifs - Moyens
Objectifs
Mes goals
Moyens
Comment je vais y arriver
ÉTAPE 1: L’USAGE ANTICIPÉ - Objectifs
- Buts de l’instrument
- Population visée
- Contexte d’utilisation
◦ Je vais aller lire et voir ce qu’il se passe dans la littérature, qu’est-ce qu’il se passe dans le monde du travail pour rendre mon outil utile
ÉTAPE 1: L’USAGE ANTICIPÉ - Moyens
- Analyse d’instruments
◦ regarder ce qui existe dans le monde
« il n’existe aucun outil valide » - Lectures
- Consultations
ÉTAPE 1: L’USAGE ANTICIPÉ - Example:
Scholastic Aptitude Test (SAT) (après l’école secondaire pour prédire leur aptitude à l’école pour l’uni, prédire la performance une fois à l’uni)
Version pré-2005
- Instrument utilisé dans le système scolaire américain
- BUT : prédire le succès scolaire d’élèves du secondaire une fois à l’université
- Ne s’intéresse qu’à ce qui a été appris au secondaire et ne prétend pas mesurer l’intelligence
ÉTAPE 2: LA CONCEPTUALISATION - Objectifs
- Définir, catégoriser et organiser les composantes des phénomènes à mesurer
- Positionnement avec d’autres concepts
◦ M’assurer que je mesure ce que je veux mesurer
◦ Qu’est-ce qu’il va mesurer
ÉTAPE 2: LA CONCEPTUALISATION - Moyens
- Synthèse des aspects conceptuels des instruments
- Lectures théoriques
- Consultations
ÉTAPE 2: LA CONCEPTUALISATION - Example:
Scholastic Aptitude Test (SAT)
Catégorise les composantes qu’on veut mesurer :
Les aptitudes sont de deux types:
Verbales (SAT-V)
* Antonymes
* Analogies
* Compléter phrases
* Compréhension de lecture
Mathématiques (SAT-M)
* Questions numériques
* Comparaisons de quantités
ÉTAPE 3: L’ÉLABORATION - Objectifs
- Prévoir les sources d’erreur de manière à les minimiser
- C’est là que je vais faire des Choix du format de l’instrument
- Construire les items
- Choisir la méthode de correction
◦ C’est là qu’on commence à s’intéresser aux indices psychométriques
◦ Décider c’est quoi le test et qui qui va les données
◦ Décider le nombre de questions
ÉTAPE 3: L’ÉLABORATION Moyens
- Lectures « psychométriques »
- Inventaire des stratégies déjà employées
ÉTAPE 3: L’ÉLABORATION Example:
Scholastic Aptitude Test (SAT)
Questions à choix multiples élaborées par des professeurs de « high-school » et de « college » et des psychométriciens
SAT-V : 85 questions de simple à difficile
* Antonymes (5 choix)
* Analogies (5 choix)
* Compléter phrases (5 choix)
* Compréhension de lecture (5 choix)
SAT-M : 60 questions de simple à difficile
* Questions numériques (5 choix)
* Comparaisons de quantités (4 choix)
- Durée = deux heures
- Passation en groupe (on les passe en groupes)
- Le score est déterminé par des points accumulés pour les bonnes réponses et des points retranchés pour les mauvaises réponses (correction pour avoir deviné)
- Le score varie de 200 à 800, la moyenne est ajustée à 500 et l’écart- type est ajusté à 100
- Une vingtaine de versions parallèles sont administrées simultanément (version A, version B)
ÉTAPE 4: LA STABILITÉ Objectifs
- Vérifier la nature et l’ampleur de l’erreur
- Établir la stabilité interne et temporelle
ÉTAPE 4: LA STABILITÉ Moyens
- Erreur-type de mesure
- Analyses d’items
- Analyses corrélationnelles
- Approche hypothético- déductive
◦ on va faire des hypothèse et on va voir si elles sont répondues - Accord inter-juges
ÉTAPE 4: LA STABILITÉ Example:
Scholastic Aptitude Test (SAT)
Erreur-type de mesure
* SAT-V : 31
* SAT-M : 33
Consistance interne
* SAT-V : Alpha de Cronbach de α=0,92
* SAT-M : Alpha de Cronbach de α=0,91
Stabilité temporelle (intervalle de 7 mois)
* SAT-V : corrélation test-retest r=0,88
* SAT-M : corrélation test-retest r=0,85
ÉTAPE 5: LA CONGRUENCE Objectifs
- Vérifier les quantifications et/ou l’organisation des concepts
- Différence stabilité et congruence : la congruence = j’ai envie de savoir c’est quoi le over lap entre ce que je veux mesurer vs ce que je mesure vraiment
ÉTAPE 5: LA CONGRUENCE Moyens
- Analyses corrélationnelles
- Approche hypothético-déductive
- Analyses factorielles
- Équations structurelles
ÉTAPE 5: LA CONGRUENCE Example:
Scholastic Aptitude Test (SAT)
Validité de contenu
* Les questions posées représentent les domaines enseignés au « high-school »
Validité prédictive (résultats partiels – les meilleurs élèves seulement)
* Corrélation entre le SAT-V et les notes au « college » : r=0,54
* Corrélation entre le SAT-M et les notes au « college » : r=0,48
* Corrélation entre les notes au « high-school » et les notes au « college » : r=0,67
Validité d’apparence
ÉTAPE 6: L’USAGE RECOMMANDÉ Objectifs
- Préciser buts, population visée, circonstances d’utilisation/de passation
- Guider l’interprétation, des résultats des mesures de cette instrument-là
ÉTAPE 6: L’USAGE RECOMMANDÉ Moyens
- Regarder les Article scientifique
- Regarder les differentes Normes
- Regarder si les normes nous permettent de discriminer soit la population anticipé ou si finalemet on doit changer de population
- Normes vont aussi nous aider a guider l’interpretation
- Donc parfois un score tout seul ca veux rien dire mais quand on va standardisé le score et qu’on va le comparer a une norme qu’on va être capable de guider l’interpretation
ÉTAPE 6: L’USAGE RECOMMANDÉ Example:
Scholastic Aptitude Test (SAT)
BUT : prédire le succès scolaire d’élèves du secondaire une fois à l’université
Se sont baser sur des Manuels et beaucoup de recherches
Population: Tous les types de populations d’élèves de « high school » décrits
Semble pouvoir atteindre ce but, mais la mesure n’est pas parfaite
- Moins bonne validité prédictive que les notes du high school en tant qu’a elle
PROCESSUS DÉCISIONNEL - Lors de la construction et de la validation, il faut:
- détecter les problèmes ;
- apporter les correctifs requis.
Le modèle de la cible rend ces tâches plus faciles.
Ordre des étapes si tout va bien
Ordre des étapes si j’ai un problème de fiabilité
Je dois déterminer où est le problème…
Si j’ai un problème a l’étape __ je retourne a l’étape __
Si j’ai un problème a l’étape __ je retourne a l’étape __
Si j’ai un problème a l’étape __ je retourne a l’étape __
Si j’ai un problème a l’étape 4 je retourne a l’étape 3
Si j’ai un problème a l’étape 5 je retourne a l’étape 2
Si j’ai un problème a l’étape 6 je retourne a l’étape 1
Problème détecté à l’étape de la stabilité:
Retour à l’étape de __________
- Problème détecté à l’étape de la stabilité:
Retour à l’étape de l’élaboration (concept de la fiabilité)
Problème détecté à l’étape de la congruence:
Retour à l’étape de ___________
- Problème détecté à l’étape de la congruence:
Retour à l’étape de la conceptualisation (concept de la validité)
Problème détecté à l’étape de l’usage recommandé: Retour à l’étape de _________________
- Problème détecté à l’étape de l’usage recommandé: Retour à l’étape de l’usage anticipé (concept de l’utilité)
On retourne à l’étape analogue, l’étape de la même _________
couleur
PROBLÉMATIQUES AUXQUELLES LE MODÈLE DE LA CIBLE AIDE À RÉPONDRE
- Mauvaise connaissance des autres instruments
- Utilisation d’instruments désuets
- Concepts mal définis
- Type de mesure peu approprié à la situation
- Techniques statistiques mal utilisées
- Mauvaise interprétation des indices statistiques
CONCEPTS DE BASE
Les résultats d’un instrument doivent obligatoirement être interprétés en fonction:
- du construit
- de la population
- du contexte
- LE CONSTRUIT
C’est le concept qu’on va mesurer avec notre instrument (p. ex., dépression, engagement, rendement en mathématique, etc.)
- LE CONSTRUIT
Exemples
- La dépression (avec le BDI) ne doit pas être utilisée pour mesurer l’anxiété (il faudrait utiliser le BAI) ou l’épuisement professionnel.
- L’identification à l’organisation ne doit pas être utilisée pour mesurer l’engagement affectif envers l’organisation.
- LA POPULATION
Ce sont les gens qui vont passer le test (p. ex., enfants, adultes canadiens, travailleurs du milieu de la santé, etc.)
- LA POPULATION Exemples
Binet (1905) BUT : Identifier les enfants à assigner à des classes spéciales
Stanford-Binet (1916) BUT : Adapter le Binet aux besoins des États-Unis
* Développer plus d’épreuves « à la Binet »
* Démontrer l’utilité auprès d’un plus grand groupe normatif
Wechsler Adult Intelligence Scale (WAIS) (1939) BUT : Évaluer l’intelligence des adultes
* Le Binet n’était pas adéquat pour le besoin de Wechsler
* L’obtention d’un seul score pour décrire l’intelligence
* Les items étaient infantiles, simplets
- LE CONTEXTE
Ce sont les conditions dans lesquelles les participants vont passer le test
Ex. si ya eu un alarme de feu l’enfant est destabilisé
- LE CONTEXTE Exemples
- Temps de passation
- Connaissances préalables
ÉTAPE 1: L’USAGE ANTICIPÉ
Objectifs
- Déterminer ce que mesurera l’instrument et à quoi serviront les résultats qui en émaneront (1. construit et les buts fondamental et psychométrique)
But fondamental : a quoi il va servir mon truc
Psychométrique : Oui il existe des tests mais moi j’ai envie d’un test qui va être plus fidèle ou plus valide - Déterminer qui seront les bénéficiaires (2. population), les utilisateurs et les administrateurs
- Déterminer le contexte d’utilisation (3. contexte)
ÉTAPE 1: L’USAGE ANTICIPÉ - Moyens
- Survol analytique des instruments existants et des articles de recherches sur le domaine
- Consultations avec des experts
ÉTAPE 1: L’USAGE ANTICIPÉ Lieu dans le Modèle de la cible
Concept de l’Utilité (en rouge)
Phase de Préparation (à gauche de la ligne verticale)
LES OBJECTIFS DE L’INSTRUMENT (2 buts)
But fondamental et But psychométrique
But fondamental:
- « Qu’est-ce qu’on évalue et pourquoi? » Quel est le problème que l’instrument entend contribuer à régler? À quoi les résultats serviront-ils?
- Voulez-vous discriminer entre deux groupes de personnes? Voulez-vous effectuer un diagnostic? Voulez-vous établir un profil des caractéristiques d’une personne?
But psychométrique:
- Quelle est la valeur ajoutée de l’instrument par rapport aux autres instruments existants? Pourquoi créer/modifier cet instrument?
POURQUOI CRÉER UN NOUVEL INSTRUMENT?
Exemples de buts psychométriques courants
Procéder à une évaluation plus courte → Afin de réduire la durée de l’évaluation, de réduire la fatigue liée à l’évaluation ou afin de réduire les coûts de celle-ci.
Changer la modalité d’évaluation → Pour mieux répondre aux besoins d’une population cible donnée; pour répondre à un changement de contexte (p. ex., passer d’une entrevue à un questionnaire afin d’évaluer un plus grand nombre de personnes).
Traduire avec ou sans adaptation culturelle → Parce qu’un bon instrument existe déjà dans une autre langue ou culture.
Préciser le construit → Pour mieux correspondre aux avancées théoriques et cliniques et répondre aux besoins d’une population cible (Ex.: la dépression « générale » se subdivise-t-elle en types de dépression?) Différent types d’anxiété, résilience c’est quelque chose qui se développe
Cibler plus précisément un pan de la population → Pour mieux répondre aux besoins d’une population donnée. (Ex.: la dépression « en générale » VS la dépression de femmes enceintes et monoparentales.)
Créer une version parallèle d’un test → Pour s’assurer que les réponses d’un test ne soient pas divulguées. Ex. examen version 1 et 2
LES ACTEURS À IDENTIFIER
Concepteur, Administrateur, Bénéficiaire, Utilisateur
Concepteur
La personne qui crée l’instrument
Administrateur
La personne qui procède à la mesure, ex. le neuropsychologue, le professeur, auto-administrer
Bénéficiaire
La personne qui se fait évaluer à l’aide de l’instrument, ex. élève
Utilisateur
La personne qui évalue les bénéficiaires à l’aide des résultats de l’instrument, ex. les chercheur
