Examen intra - Cours 1 à 6 Flashcards
Qu’est-ce que la psychométrie?
Science de la mesure dans le domaine de la psychologie. Cette discipline se caractérise par l’étude des différentes techniques d’élaboration, d’administration et d’utilisation de tests produisant des résultats sur lesquels on peut se fier.
Qu’est-ce qu’un test?
Processus standardisé qui génère de l’information quantifiable au sujet d’un échantillon de comportements ou de mécanismes cognitifs.
Quels sont les principes de base en psychométrie?
- Les individus se distinguent par des traits ou des caractéristiques importantes
- Ces traits peuvent être quantifiés
- Ces traits sont assez stable
- Les mesures de ces traits sont liées au comportement
Quels sont les principales catégories de test?
Test d’aptitudes intellectuelles
Test de rendement
Test de personnalité
Mesures des intérêts et des attitudes
Test neurophysiologique
Qui peut avoir à choisir un instrument?
Étudiant au cycle supérieur
Chercheur
Psychologue
Qui peut avoir à choisir un instrument?
Étudiant au cycle supérieur
Chercheur
Psychologue
Qui peut avoir à interpréter les résultats d’un instrument?
Étudiant au cycle supérieur
Chercheur
Psychologue
Qui peut avoir à concevoir un instrument
Étudiant (parfois)
Chercheur (souvent)
Psychologue (rarement)
Qui a inventé le modèle de la cible?
Chiocchio, 1996
Qu’est-ce que le modèle de la cible? Quel processus décrit-il?
Un processus qui décrit :
• Comment construire/modifier un instrument psychométrique.
• Comment vérifier les qualités psychométriques d’un instrument.
Quels sont les trois concepts du modèle de la cible?
Fidélité/fiabilité
Validité
Utilité
Qu’est-ce que la fidélité/fiabilité?
C’est quel niveau d’erreur de mesure l’instrument contient.
Si le score obtenu représente bien le score réel.
Qu’est-ce que la validité?
C’est à quel point l’instrument mesure ce qu’il est censé mesurer.
Qu’est-ce que l’utilité?
C’est est-ce que l’instrument sert à quelque chose.
Quel est la partie la plus importante du modèle de la cible?
La fidélité
Quels sont les 2 phases du modèle de la cible?
Préparation
Vérification
Qu’est-ce que la phase de préparation?
La phase la plus importante pour bien préparer les analyses.
Il faut prendre des décisions par exemple, avoir une compréhension pointue du but (quoi faire avec l’instrument et son contexte d’utilisation –
utilité).
Il faut une définition du construit (validité) pour générer des hypothèses pour des idées liées au construit (avec d’autres critères). Il faut prendre des décisions en fonction des erreurs de mesure qui peuvent se produire.
Qu’est-ce que la phase de vérification?
Il faut analyser les données (statistiques) et s’assurer qu’il fonctionne comme il devrait. Peut-être des données de stabilité temporelle (fidélité).
Quels sont les 6 étapes du modèle de la cible?
- Usage anticipé
- Conceptualisation
- Élaboration
- Stabilité
- Congruence
- Usage recommandé
Quels sont les 2 tâches du modèle de la cible?
Objectifs
Moyens
Qu’est-ce que l’objectif?
Ce que l’on veut accomplir. On utilise des balises théoriques de la littérature. Objectifs spécifiques.
Qu’est-ce que les moyens?
Comment on fait pour atteindre les objectifs (lecture, recherche…). Mais en vérification il faut des analyses statistiques.
Parmi la fiabilité, la validité et l’utilité, quel concept fait référence au niveau d’erreur de mesure de l’instrument?
Fidélité
Quelle est l’étape 2 du modèle de la cible?
Conceptualisation
Quelle étape du modèle de la cible correspond à la phase de vérification de l’utilité de l’instrument?
Usage recommandé
Quelle est l’étape 2 du modèle de la cible?
Conceptualisation
Lors de la phase de préparation/planification, quel étape fait référence à l’utilité?
L’usage anticipé
Quels sont les objectifs de l’usage anticipé?
- Buts de l’instrument
- Population visée
- Contexte d’utilisation
Quels sont les moyens de l’usage anticipé?
- Analyse d’instrument
- Lectures
- Consultation
Qu’est-ce que le SAT et quel est son but?
C’est un instrument utilisé dans le système scolaire américain.
Il vise à prédire le succès scolaire d’élèves du secondaire une fois à l’université.
Lors de la phase de préparation/planification, quel étape fait référence à la validité?
La conceptualisation
Quels sont les objectifs de la conceptualisation?
- Définir, catégoriser et organiser les composantes des phénomènes à mesurer
- Positionnement avec d’autres concepts
Quels sont les moyens de la conceptualisation?
- Synthèse des aspects conceptuels des instruments
- Lecture théorique
- Consultation
Lors de la phase de préparation/planification, quel étape fait référence à la fidélité?
L’élaboration
Quels sont les objectifs de l’élaboration?
- Prévoir les sources d’erreur de manière à les minimiser
- Choix du format de l’instrument
- Construire les items
- Choisir la méthode de correction
Quels sont les moyens de l’élaboration?
- Lecture “psychométrique”
- Inventaire des stratégies déjà employées
Quel est le format du SAT?
Choix multiples.
Comment sont construit les items du SAT?
Selon 2 catégories : SAT verbal et SAT mathématique.
Comment est corrigé le SAT?
Le score est déterminé par des points accumulés pour les bonnes réponses et des points retranchés pour les mauvaises réponses (correction pour avoir deviné).
Lors de la phase de vérification, quel étape fait référence à la fidélité?
La stabilité
Quels sont les objectifs de la stabilité?
o Vérifier la nature et l’ampleur de l’erreur
o Établir la stabilité interne et temporelle
Quels sont les moyens de la stabilité?
o Erreur-type de mesure o Analyses d'items o Analyses corrélationnelles o Approche hypothético-déductive o Accord inter-juges
Quelle est l’erreur type de meure du SAT?
SAT-V : 31
SAT-M : 33
Quel est la consistance interne du SAT?
SAT-V : Alpha de Cronbach de α = 0,92
SAT-M : Alpha de Cronbach de α = 0,91
Quel est la stabilité temporelle du SAT?
SAT-V : corrélation test-retest r = 0,88
SAT-M : corrélation test-retest r = 0,85
Lors de la phase de vérification, quel étale fait référence à la validité?
La congruence
Quels sont les objectifs de la congruence?
o Vérifier les quantifications et/ou l’organisation des concepts
Quels sont les moyens de la congruence?
o Analyses corrélationnelles
o Approche hypothético-déductive
o Analyses factorielles
o Équations structurelles
À quoi fait référence la validité de contenu du SAT?
• Les questions posées représentent les domaines enseignés au « high-school »
À quoi fait référence la validité prédictive du SAT?
- Corrélation entre le SAT-V et les notes au « college » : r = 0,54
- Corrélation entre le SAT-M et les notes au « college » : r = 0,48
- Corrélation entre les notes au « high-school » et les notes au « college » : r = 0,67
Lors de la phase de vérification, quel étape fait référence à l’utilité?
L’usage recommandé
Quels sont les objectifs de l’usage recommandé?
o Préciser buts, population visée, circonstances d’utilisation/de passation
o Guider l’interprétation
Quels sont les moyens de l’usage anticipé?
o Article scientifique
o Normes
En quoi le processus décisionnel est-il important lors de la création d’un instrument psychométrique?
Afin de détecter des problèmes et apporter des correctifs requis.
Quel est le principe général du processus décisionnel?
Si un problème est détecté dans la phase de vérification, il faut retourner à l’étape correspondant à ce concept dans la phase de
la préparation.
Fiabilité réfère à…
Élaboration et stabilité
Validité réfère à…
Conceptualisation et congruence
Utilité réfère à…
L’usage anticipé et l’usage recommandé
Quels sont les problématiques auxquelles le modèle de la cible aide à répondre?
- Mauvaise connaissance des autres instruments
- Utilisation d’instruments désuets
- Concepts mal définis
- Type de mesure peu approprié à la situation
- Techniques statistiques mal utilisées
- Mauvaise interprétation des indices statistiques
Les résultats d’un instrument doivent obligatoirement être interprété en fonction de quoi?
- du construit
- de la population
- du contexte
Qu’est-ce qu’un construit?
C’est le concept qu’on va mesurer avec notre instrument.
Qu’est-ce que la population réfère à?
Ce sont les gens qui vont passer le test.
Qu’est-ce que le contexte?
Ce sont les conditions dans lesquelles les participants vont passer le test (temps de passation, connaissances préalables).
Quels sont les objectifs de l’usage anticipé en terme de construit, population et contexte?
o Déterminer ce que mesurera l’instrument et à quoi serviront les résultats qui en émaneront (1. construit et les buts fondamental et psychométrique)
o Déterminer qui seront les bénéficiaires (2. population), les utilisateurs et les administrateurs
o Déterminer le contexte d’utilisation (3. contexte)
Qu’est-ce que le but fondamental?
« Qu’est-ce qu’on évalue et pourquoi? » Quel est le problème que l’instrument entend contribuer à régler? À quoi les résultats serviront-ils?
Qu’est-ce que le but psychométrique?
Quelle est la valeur ajoutée de l’instrument par rapport aux autres instruments existants? Pourquoi créer/modifier cet instrument?
Pourquoi créer un nouvel instrument?
Procéder à une évaluation plus courte
Changer la modalité d’évaluation
Traduire avec ou sans adaptation culturelle
Préciser le construit
Cibler plus précisément un pan de la population
Créer une version parallèle d’un test
Qui sont les acteurs d’un test?
Concepteur
Admnistrateur
Bénéficiaires
Utilisateur
Qu’est-ce qu’un concepteur?
La personne qui crée l’instrument.
Souvent un psychométricien.
Qu’est-ce qu’un administrateur?
La personne qui procède à la mesure.
Qu’est-ce qu’un bénéficiaire?
La personne qui se ait évaluer à l’aide de l’instrument.
Qu’est-ce qu’un utilisateur?
La personne qui évalue les bénéficiaires à l’aide des résultats de l’instrument.
Quel est la différence entre les acteur impliqué dans l’étude de validation et les acteurs impliqué dans l’utilisation du test?
Dans l’étude de validation, c’est un échantillon de convenance, tandis que dans l’utilisation du test c’est la population cible.
Qu’est-ce que l’étape de la conceptualisation cherche à faire?
On veut que les indices statistiques soient bon.
Qu’est-ce que la validité dans la phase de préparation?
Validité en général
* « Est-ce que mon instrument mesure ce qu’il est censé mesurer ? »
À l’étape de la conceptualisation
* « Qu’est-ce que je veux mesurer ? »
Quels sont les étapes de conceptualisation?
A. Connaître et différencier les différentes définitions du phénomène
B. Positionnement de l’auteur sur la définition qu’il utilisera :
suivante.
b. Énoncé général;
c. Positionnement sur la structure du phénomène;
d. Indicateurs et exemples clairs de la définition.
C. Positionnement du phénomène avec d’autres variable
Quels sont les étapes de conceptualisation?
A. Connaître et différencier les différentes définitions du phénomène
B. Positionnement de l’auteur sur la définition qu’il utilisera :
suivante.
* Énoncé général;
* Positionnement sur la structure du phénomène;
* Indicateurs et exemples clairs de la définition.
C. Positionnement du phénomène avec d’autres variable
Comment définir un concept?
Énoncer général qui défini le construit.
Dimensions.
Indicateur.
Exemple du quotidien.
Qu’est-ce que la validité?
C’est le degré auquel un test mesure ce qu’il prétend mesurer.
En quoi doit-on nous fier pour la validité de l’instrument?
Aux résultats de l’instrument (interprétation des résultats).
Quels sont les types de validité?
- Validité d’apparence
- Validité critériée
- Validité de contenu
- Validité de construit
Qu’est-ce que la validité d’apparence?
Est-ce que le questionnaire semble mesurer ce qu’il doit mesurer? Quelles impressions l’instrument laisse-t-il sur les participants?
Sur quoi se base la validité d’apparence?
- Preuve non-empirique (la plupart du temps)
- Jugement subjectif
- Professionnalisme
Qu’est-ce que la validité critériée?
C’est n’importe quoi qui est relié au phénomène mesuré par notre instrument.
Qu’est-ce qu’un critère?
Critère : Manifestation externe au phénomène qui
* informe sur la nature ou l’intensité du phénomène de façon indépendante du nouvel
instrument ;
* génère un chiffre ou une classification au sujet de chacun des participants à la recherche de validation.
À quoi réfère la validité critériée dans les étapes de la conceptualisation?
L’étape C
Positionnement du phénomène avec d’autres variables. « Quelles sont les manifestations concrètes qui seraient liées aux résultats que mon instrument générera? »
À quoi servent les critères?
À créer un système hypothético-déductif, qui servira à démontrer la validité de notre instrument à l’étape 5 (congruence).
Quels sont les types de critères?
- Critère réalise externe
- Autres tests
- Groupe contrasté
Qu’est-ce qu’un critère réaliste externe?
Un instrument mesurant déjà exactement le même phénomène.
Habituellement, le test est conçu pour remplacer le critère externe dans le futur.
Qu’est-ce qu’un critère autre test?
N’importe quel test qui est relié au phénomène évalué par mon instrument.
À quoi sert un critère autres test?
- Qui permet de formuler une hypothèse propre à une recherche de validation.
- Le critère doit être fiable et valide.
- Habituellement, il doit permettre permette de démontrer un lien entre les résultats que l’instrument en cours de validation génère (la réalité que l’instrument tente de décrire) et la réalité (représentée par le critère)
Quels sont les types de validité des autres test?
Validité concomitante
Validité prédictive
Validité convergente
Validité divergente
Qu’est-ce que la validité concomitante?
Passation du nouvel instrument et du critère en même temps
Qu’est-ce que la validité prédictive?
Passation du nouvel instrument, puis du critère après un délai
Qu’est-ce qu’une validité convergente?
Les phénomènes mesurés par le nouvel instrument et le critère vont dans le même sens
Qu’est-ce que la validité divergente?
Les phénomènes mesurés par le nouvel instrument et le critère vont dans des directions opposées
Qu’est-ce que la validité des groupes contrastés?
Permet de démontrer que le test permet de différencier un groupe d’un autre
Plus la différenciation est grande, plus le test est valide
Il faut que la différence soit statistiquement significative, mais ait aussi une taille d’effet importante
Qu’est-ce que la validité de contenu?
La correspondance entre le contenu d’un test et le domaine défini de connaissances/comportements que l’on veut mesurer.
Comment doit être le domaine afin d’obtenir une bonne validité de contenu?
Concret
Fini
À quel étape de la conceptualisation la validité de contenu réfère t’elle?
L’étape B
Positionnement de l’auteur sur la définition qu’il utilisera :
a) Énoncé général; b) positionnement sur la structure du phénomène; c) indicateurs et exemples clairs de la définition. « Quel est
le domaine et quels en sont les thèmes particuliers que je veux représenter par les résultats que mon instrument générera? »
Qu’est-ce que la validité de contenu implique?
- Définir clairement tous les domaines du concept à l’étude
- Connaître le niveau de connaissance des concepts qu’on veut évaluer (difficulté)
- Pouvoir déterminer à quel point les questions correspondent réellement au contenu défini
À quoi réfère un construit dans la validité de construit?
- Un construit est un concept abstrait qui tente de représenter la réalité.
- En psychologie, les concepts sont bien souvent abstraits (ou latents)
- On tente de se représenter le construit et de le mesurer pour pouvoir mieux le comprendre
À quel étape de la conceptualisation réfère la validité de construit?
Étape B
Positionnement de l’auteur sur la définition qu’il utilisera :
a) Énoncé général; b) positionnement sur la structure du phénomène; c) indicateurs et exemples clairs de la définition. « Quelle
est la définition du phénomène que je veux mesurer? »
Que vise l’étape de la conceptualisation?
Définir de façon claire et concise le construit et ses dimensions.
Qu’est-ce que la variance non-relié au construit?
Degré auquel les résultats du test subissent l’influence d’éléments extérieurs au construit
Qu’est-ce que la portion sous représenté du construit?
Degré auquel un test omet d’importants aspects du construit
Quel est la différence entre la validité de contenu et la validité de construit?
La validité de contenu se fait avec une variable concrète et un domaine fini (on peut identifier tout les éléments faisant parti du concept) et c’est une approche généralement qualitative.
La validité de construit se fait avec une variable abstraite, il peut y avoir plusieurs définitions du concepts et c’est une approche statistique (analyses factorielles).
À quoi correspond la fiabilité lors de la phase de préparation?
Fiabilité en général
* « Jusqu’à quel point mon instrument comporte-t-il de l’erreur de mesure? »
À l’étape de l’élaboration
* « Comment créer un instrument qui limite au maximum l’erreur de mesure? »
Que faut-il prendre en considération lors de l’étape de l’élaboration?
- au type de test
- au type et au nombre d’items
- au type de réponse
- au type d’échelle
- à la méthode de cotation
- à la méthode d’administration
Quels sont les types d’erreur possible?
Erreur systématique
Erreur aléatoire
Qu’est-ce que l’erreur systématique?
a) La même erreur de mesure affecte tous les scores d’un instrument de la même manière, dans la même direction
OU
b) La même erreur de mesure affecte tous les scores d’une personne de la même manière, dans la même direction
Qu’est-ce que l’erreur aléatoire?
N’affecte pas tous les scores de la même manière
Quels sont les 4 catégories de l’erreur aléatoire?
Erreurs lors de la cotation
Variation dans les procédures d’administration
Variation dues aux répondants
Variation en raison du contenu (items)
Qu’est-ce qu’un instrument normatif?
Instruments dont l’interprétation des résultats repose sur la comparaison aux résultats compilés auprès d’un échantillon de la population à qui s’adresse l’instrument
Qu’est-ce qu’un instrument critérié?
Instruments dont l’interprétation des résultats repose sur le fait qu’un seuil critique a été, ou non, dépassé
Qu’est-ce qu’un test de vitesse?
Faire le plus d’item possible dans le temps le plus court possible.
Quel est la caractéristique d’un test de vitesse?
Tous les items sont faciles et ont un niveau de difficulté égal
(sauf lorsque le test est aussi de puissance)
Qu’est-ce qu’un test de puissance?
Vérifier les limites des connaissances ou des habiletés du candidat
Quel est la caractéristique d’un test de puissance?
Les items sont ordonnés du plus facile au plus difficile
Peut inclure un temps limite
Qu’est-ce qu’un test de performance typique?
Comment la personne est-elle dans la vie de tous les jours ?
Vise à mesurer le niveau habituel
Qu’est-ce qu’un test de performance maximale?
Comment la personne est-elle à son mieux?
Vise à mesurer la meilleure performance possible
Qu’est-ce qu’un test papier-crayon?
Les personnes qui passent le test répondent à des items écrits