Cours 2 - Modèle de la cible et usage anticipé Flashcards
Qu’est-ce que le modèle de la cible?
Un processus qui décrit :
1. Comment construire/modifier un instrument psychométrique.
2. Comment vérifier les qualités psychométriques d’un instrument.
Explique moi les 3 couleurs du modèle de la cible.
Qu’est-ce que la fidélité?
Quel niveau d’erreur de mesure l’instrument contient-il?
Qu’est-ce que la validité?
À quel point l’instrument mesure-t-il ce qu’il est censé mesurer?
Qu’est-ce que l’utilité?
Est-ce que l’instrument sert à quelque chose?
Quelles sont les deux phases du modèle de la cible?
- Préparation
- Vérification
Rapidement, qu’est-ce que la phase de préparation?
C’est là que je construis mon instrument de mesure.
Rapidement, qu’est-ce que la phase de vérification?
C’est là que je vérifie la fidélité, validité et utilité de l’outil.
Nomme moi les 6 étapes du modèle de la cible.
- Usage anticipé
- Conceptualisation
- Élaboration
- Stabilité
- Congruence
- Usage recommandé
Quels sont les 2 tâches du modèle de la cible?
- Objectifs (haut)
- Moyens (bas)
Parmi la fiabilité, la validité et l’utilité, quel concept fait référence au niveau d’erreur de mesure de l’instrument?
La fidélité!
Quelle étape du modèle de la cible correspond à la phase de vérification de l’utilité de l’instrument?
Usage recommandé!
Quels sont les objectifs de la phase 1 de l’usage anticipé?
- Buts de l’instrument
- Population visée
- Contexte d’utilisation (p. ex., il serait plus facile de passer un test à des ados sur leur téléphone que sur papier/crayon)
Quels sont les moyens de l’étape 1 de l’usage anticipé?
- Analyse de l’instruments
- Lectures
- Consultations (p. ex., expert dans le domaine)
Nomme moi un exemple d’usage anticipé avec le Scholastic Aptitude Test (SAT).
BUT : prédire le succès scolaire d’élèves du secondaire une fois à l’université
POPULATION : étudiants au secondaire
CONTEXTE : en classe, supervisé
MOYEN : constat qu’il n’y avait pas de test utilisé de manière généralisée aux USA
Quels sont les objectifs de l’étape 2 de conceptualisation?
- Définir, catégoriser et organiser les composantes des phénomènes à mesurer.
- Positionnement avec d’autres concepts.
Quels sont les 4 moyens de l’étape 2 de conceptualisation?
- Synthèse des aspects conceptuels des instruments
- Lectures théories
- Lectures empiriques
- Consultations
Explique moi l’étape 2 de conceptualisation avec l’exemple du SAT.
Quels sont les objectifs de l’étape 3 d’élaboration?
Prévoir les sources d’erreur de manière à les minimiser.
- Choix du format de l’instrument (QCM, QÀD, etc.)
- Construire les items
- Choisir la méthode de correction
- Version préliminaire des consignes de passation
Nomme moi les moyens de l’étape 3 d’élaboration.
- Lectures “psychométriques”
- Inventaire des stratégies déjà employées
Qu’est-ce que l’échantillon de convenance?
Un échantillon disponible sur le moment qui vient compléter le test pour voir comment nos items se comportent (échantillon pas nécessairement représentatif de l’échantillon).
L’échantillon de convenance fait partie de quelle étape du modèle de la cible?
L’étude de validation!
Nomme moi les objectifs de l’étape 4 de la stabilité.
- Vérifier la nature et l’ampleur de l’erreur
- Établir la stabilité interne et temporelle.
Nomme moi les moyens de l’étape 4 de la stabilité.
- Approche hypothético-déductive
- Erreur-type de mesure (si ça sort de l’intervalle ou non)
- Analyses d’items
- Analyses corrélationnelles
- Accord inter-juges
Qu’est-ce que l’approche hypothético-déductive?
Ma corrélation sera de 0,57 lorsque l’on va faire passer le test (hypothèse). Est-ce que je confirme ou infirme cette hypothèse (déduction)?
Quels sont les objectifs de l’étape 5 de la congruence?
- Vérifier les quantifications et/ou l’organisation des concepts.
Quels sont les moyens de l’étape 5 de la congruence?
- Approche hypothético-déductive
- Analyses corrélationnelles
- Analyses factorielles
- Équations structurelles
Nomme moi les objectifs de l’étape 6 d’usage recommandé.
- Préciser buts, population visée, circonstances d’utilisation/de passation.
- Guider l’interprétation
Quels sont les moyens de l’étape 6 d’usage recommandé.
- Articles scientifiques
- Normes
Lors de la construction et de la validation d’un instrument psychométrique, il faut (2 choses) :
- Détecter les problèmes
- Apporter les correctifs requis
=> Le modèle de la cible rend ces tâches plus faciles.
Vrai ou faux? Si un problème est détecté dans la phase de vérification, il faut retourner à l’étape correspondant à ce concept dans la phase de la préparation.
Vrai!
Problème détecté à l’étape de la stabilité, retour à l’étape de…
…l’élaboration!
Problème détecté à l’étape de la congruence, retour à l’étape de…
…la conceptualisation!
Problème détecté à l’étape de l’usage recommandé, retour à l’étape de…
…l’usage anticipé!
Quels sont les 2 types de buts dans l’usage anticipé?
- But fondamental
- But psychométrique
Qu’est-ce que le but fondamental?
- “Qu’est-ce qu’on évalue et pourquoi?”
- Quel est le problème que l’instrument entend contribuer à régler? À quoi les résultats serviront-ils?
- Voulez-vous discriminer entre deux groupes de personnes? Voulez-vous effectuer un diagnostic? Voulez-vous établir un profil des caractéristiques d’une personne?
Qu’est-ce que le but psychométrique?
Quelle est la valeur ajoutée de l’instrument par rapport aux autres instruments existants? Pourquoi créer/modifier cet instrument?
Les résultats d’un instrument doivent obligatoirement être interprétés en fonction (3 choses) :
- du construit
- de la population
- du contexte
Qu’est-ce que le construit?
- C’est le concept qu’on va mesurer avec notre instrument (ex: dépression, engagement, etc.)
- La dépression (avec le BDI) ne doit pas être utilisée pour mesurer l’anxiété (il faudrait utiliser le BAI) ou l’épuisement professionnel.
- L’identification à l’organisation ne doit pas être utilisée pour mesurer l’engagement affectif envers l’organisation.
Qu’est-ce que la population?
- Ce sont les gens qui vont passer le test
(ex: enfants, adultes canadiens, travailleurs du milieu de la santé, etc.)
Qu’est-ce que le contexte?
- Ce sont les conditions dans lesquelles les participants vont passer le test.
- Temps de passation, connaissances préalables, modalités de passation (ex., en ligne).
Nomme moi 6 exemples de buts psychométriques.
- Procéder à une évaluation plus courte.
- Changer la modalité d’évaluation.
- Traduire avec ou sans adaptation culturelle.
- Préciser le construit.
- Cibler plus précisément un pan de la population.
- Créer une version parallèle d’un test.
Qu’est-ce que le but de procéder à une évaluation plus courte?
Afin de réduire la durée de l’évaluation, de réduire la fatigue liée à l’évaluation ou afin de réduire les coûts de celle-ci.
Qu’est-ce que le but de changer la modalité d’évaluation?
Pour mieux répondre aux besoins d’une population cible donnée; pour répondre à un changement de contexte
(Ex.: passer d’une entrevue à un questionnaire afin d’évaluer un plus grand nombre de personnes).
Qu’est-ce que le but de traduire avec ou sans adaptation culturelle?
Parce qu’un bon instrument existe déjà dans une autre langue ou culture.
Qu’est-ce que le but de préciser le construit?
Pour mieux correspondre aux avancées théoriques et cliniques et répondre aux besoins d’une population cible
(Ex.: la dépression «générale» se subdivise-t-elle en types de dépression?)
Qu’est-ce que le but de cibler plus précisément un pan de la population?
Pour mieux répondre aux besoins d’une population donnée.
(Ex.: la dépression «en générale» VS la dépression de femmes enceintes et monoparentales.)
Qu’est-ce que le but de créer une version parallèle d’un test?
Pour s’assurer que les réponses d’un test ne soient pas divulguées.
Nomme moi les 6 acteurs à identifier lors de l’étape d’usage anticipé.
- Concepteur
- Administrateur
- Bénéficiaire
- Utilisateur
- Mandataires
- Correcteurs
Qui est le concepteur?
La personne qui crée l’instrument.
Qui est l’administrateur?
La personne qui procède à la mesure.
Est purement la personne qui surveille le test au moment de la passation.
Qui est le bénéficiaire?
La personne qui se fait évaluer à l’aide de l’instrument.
Qui est l’utilisateur?
La personne qui évalue les bénéficiaires à l’aide des résultats de l’instrument.
Vrai ou faux? La personne qui fait un test en ligne est elle-même l’administrateur.
Vrai!
Qui sont les mandataires?
C’est celui qui demande qu’on passe le test, mais ne sera pas nécessairement l’utilisateur.
Qui sont les correcteurs?
Ceux qui corrigent le test.
Peut même être un ordinateur (p. ex., examens corrigés par un logiciel informatique).
Est-ce que les acteurs que l’on vise à l’usage anticipé sont les mêmes acteurs impliqué dans l’étude de validation?
Non!!!
