Cours 2 - Modèle de la cible; Étape 1 : Usage anticipé Flashcards
Qui a inventé le modèle de la cible?
Chiocchio, 1996
Qu’est-ce que le modèle de la cible? Quel processus décrit-il?
Un processus qui décrit :
• Comment construire/modifier un instrument psychométrique.
• Comment vérifier les qualités psychométriques d’un instrument.
Quels sont les trois concepts du modèle de la cible?
Fidélité/fiabilité
Validité
Utilité
Qu’est-ce que la fidélité/fiabilité?
C’est quel niveau d’erreur de mesure l’instrument contient.
Si le score obtenu représente bien le score réel.
Qu’est-ce que la validité?
C’est à quel point l’instrument mesure ce qu’il est censé mesurer.
Qu’est-ce que l’utilité?
C’est est-ce que l’instrument sert à quelque chose.
Quel est la partie la plus importante du modèle de la cible?
La fidélité
Quels sont les 2 phases du modèle de la cible?
Préparation
Vérification
Qu’est-ce que la phase de préparation?
La phase la plus importante pour bien préparer les analyses.
Il faut prendre des décisions par exemple, avoir une compréhension pointue du but (quoi faire avec l’instrument et son contexte d’utilisation –
utilité).
Il faut une définition du construit (validité) pour générer des hypothèses pour des idées liées au construit (avec d’autres critères). Il faut prendre des décisions en fonction des erreurs de mesure qui peuvent se produire.
Qu’est-ce que la phase de vérification?
Il faut analyser les données (statistiques) et s’assurer qu’il fonctionne comme il devrait. Peut-être des données de stabilité temporelle (fidélité).
Quels sont les 6 étapes du modèle de la cible?
- Usage anticipé
- Conceptualisation
- Élaboration
- Stabilité
- Congruence
- Usage recommandé
Quels sont les 2 tâches du modèle de la cible?
Objectifs
Moyens
Qu’est-ce que l’objectif?
Ce que l’on veut accomplir. On utilise des balises théoriques de la littérature. Objectifs spécifiques.
Qu’est-ce que les moyens?
Comment on fait pour atteindre les objectifs (lecture, recherche…). Mais en vérification il faut des analyses statistiques.
Parmi la fiabilité, la validité et l’utilité, quel concept fait référence au niveau d’erreur de mesure de l’instrument?
Fidélité
Quelle est l’étape 2 du modèle de la cible?
Conceptualisation
Quelle étape du modèle de la cible correspond à la phase de vérification de l’utilité de l’instrument?
Usage recommandé
Quelle est l’étape 2 du modèle de la cible?
Conceptualisation
Lors de la phase de préparation/planification, quel étape fait référence à l’utilité?
L’usage anticipé
Quels sont les objectifs de l’usage anticipé?
- Buts de l’instrument
- Population visée
- Contexte d’utilisation
Quels sont les moyens de l’usage anticipé?
- Analyse d’instrument
- Lectures
- Consultation
Qu’est-ce que le SAT et quel est son but?
C’est un instrument utilisé dans le système scolaire américain.
Il vise à prédire le succès scolaire d’élèves du secondaire une fois à l’université.
Lors de la phase de préparation/planification, quel étape fait référence à la validité?
La conceptualisation
Quels sont les objectifs de la conceptualisation?
- Définir, catégoriser et organiser les composantes des phénomènes à mesurer
- Positionnement avec d’autres concepts
Quels sont les moyens de la conceptualisation?
- Synthèse des aspects conceptuels des instruments
- Lecture théorique
- Consultation
Lors de la phase de préparation/planification, quel étape fait référence à la fidélité?
L’élaboration
Quels sont les objectifs de l’élaboration?
• Prévoir les sources d’erreur de manière à les minimiser
• Choix du format de l’instrument
• Construire les items
• Choisir la méthode de correction
Quels sont les moyens de l’élaboration?
- Lecture “psychométrique”
- Inventaire des stratégies déjà employées
Quel est le format du SAT?
Choix multiples.
Comment sont construit les items du SAT?
Selon 2 catégories : SAT verbal et SAT mathématique.
Comment est corrigé le SAT?
Le score est déterminé par des points accumulés pour les bonnes réponses et des points retranchés pour les mauvaises réponses (correction pour avoir deviné).
Lors de la phase de vérification, quel étape fait référence à la fidélité?
La stabilité
Quels sont les objectifs de la stabilité?
o Vérifier la nature et l’ampleur de l’erreur
o Établir la stabilité interne et temporelle
Quels sont les moyens de la stabilité?
o Erreur-type de mesure
o Analyses d’items
o Analyses corrélationnelles
o Approche hypothético-déductive
o Accord inter-juges
Quelle est l’erreur type de meure du SAT?
SAT-V : 31
SAT-M : 33
Quel est la consistance interne du SAT?
SAT-V : Alpha de Cronbach de α = 0,92
SAT-M : Alpha de Cronbach de α = 0,91
Quel est la stabilité temporelle du SAT?
SAT-V : corrélation test-retest r = 0,88
SAT-M : corrélation test-retest r = 0,85
Lors de la phase de vérification, quel étape fait référence à la validité?
La congruence
Quels sont les objectifs de la congruence?
o Vérifier les quantifications et/ou l’organisation des concepts
Quels sont les moyens de la congruence?
o Analyses corrélationnelles
o Approche hypothético-déductive
o Analyses factorielles
o Équations structurelles
À quoi fait référence la validité de contenu du SAT?
• Les questions posées représentent les domaines enseignés au « high-school »
À quoi fait référence la validité prédictive du SAT?
• Corrélation entre le SAT-V et les notes au « college » : r = 0,54
• Corrélation entre le SAT-M et les notes au « college » : r = 0,48
• Corrélation entre les notes au « high-school » et les notes au « college » : r = 0,67
Lors de la phase de vérification, quel étape fait référence à l’utilité?
L’usage recommandé
Quels sont les objectifs de l’usage recommandé?
o Préciser buts, population visée, circonstances d’utilisation/de passation
o Guider l’interprétation
Quels sont les moyens de l’usage anticipé?
o Article scientifique
o Normes
En quoi le processus décisionnel est-il important lors de la création d’un instrument psychométrique?
Afin de détecter des problèmes et apporter des correctifs requis.
Quel est le principe général du processus décisionnel?
Si un problème est détecté dans la phase de vérification, il faut retourner à l’étape correspondant à ce concept dans la phase de la préparation.
Fiabilité réfère à…
Élaboration et stabilité
Validité réfère à…
Conceptualisation et congruence
Utilité réfère à…
L’usage anticipé et l’usage recommandé
Quels sont les problématiques auxquelles le modèle de la cible aide à répondre?
- Mauvaise connaissance des autres instruments
- Utilisation d’instruments désuets
- Concepts mal définis
- Type de mesure peu approprié à la situation
- Techniques statistiques mal utilisées
- Mauvaise interprétation des indices statistiques
Les résultats d’un instrument doivent obligatoirement être interprété en fonction de quoi?
- du construit
- de la population
- du contexte
Qu’est-ce qu’un construit?
C’est le concept qu’on va mesurer avec notre instrument.
Qu’est-ce que la population réfère à?
Ce sont les gens qui vont passer le test.
Qu’est-ce que le contexte?
Ce sont les conditions dans lesquelles les participants vont passer le test (temps de passation, connaissances préalables).
Quels sont les objectifs de l’usage anticipé en terme de construit, population et contexte?
o Déterminer ce que mesurera l’instrument et à quoi serviront les résultats qui en émaneront (1. construit et les buts fondamental et psychométrique)
o Déterminer qui seront les bénéficiaires (2. population), les utilisateurs et les administrateurs
o Déterminer le contexte d’utilisation (3. contexte)
Qu’est-ce que le but fondamental?
« Qu’est-ce qu’on évalue et pourquoi? » Quel est le problème que l’instrument entend contribuer à régler? À quoi les résultats serviront-ils?
Qu’est-ce que le but psychométrique?
Quelle est la valeur ajoutée de l’instrument par rapport aux autres instruments existants? Pourquoi créer/modifier cet instrument?
Pourquoi créer un nouvel instrument?
Procéder à une évaluation plus courte
Changer la modalité d’évaluation
Traduire avec ou sans adaptation culturelle
Préciser le construit
Cibler plus précisément un pan de la population
Créer une version parallèle d’un test
Qui sont les acteurs d’un test?
Concepteur
Admnistrateur
Bénéficiaires
Utilisateur
Qu’est-ce qu’un concepteur?
La personne qui crée l’instrument.
Souvent un psychométricien.
Qu’est-ce qu’un administrateur?
La personne qui procède à la mesure.
Qu’est-ce qu’un bénéficiaire?
La personne qui se ait évaluer à l’aide de l’instrument.
Qu’est-ce qu’un utilisateur?
La personne qui évalue les bénéficiaires à l’aide des résultats de l’instrument.
Quel est la différence entre les acteur impliqué dans l’étude de validation et les acteurs impliqué dans l’utilisation du test?
Dans l’étude de validation, c’est un échantillon de convenance, tandis que dans l’utilisation du test c’est la population cible.
