Cours 2 Flashcards
Joachim tente d’expliquer les principes de base de la psychométrie à son ami dans le but de réviser pour son examen. Toutefois, certains éléments sont encore confus pour lui. Parmi ses affirmations suivantes, laquelle ou lesquelles sont fausses?
A. S’intéresse aux différences interindividuelles
B. Mesure des traits qui fluctent dans le temps
C. Ces traits sont liés au comportement
D. A et B
E. Toutes ces réponses sont vraies
Réponse : B
Modèle de la cible et usage anticipé
Un processus qui décrit:
De la gauche à la droite
• Comment construire/modifier (certaine lacune) un instrument psychométrique.
• Comment vérifier les qualités psychométriques d’un instrument
La taille des cercles: plus est gros = plus l’étape est importante
Fidélité/fiabilité
TROIS CONCEPTS
Dépourvue d’erreur de mesure (s’assurer qu’on ait le moins d’erreur de mesure possible)
Le score qu’on obtient représente vraiment la personne
Si on test sur deux temps différents, on a les mêmes résultats
• Quel niveau d’erreur de mesure l’instrument contient-il?
Validité
TROIS CONCEPTS
Mesure adéquatement ce qu’on veut mesurer, tout en ayant peu d’erreur de mesure.
Englobe la fidélité, car ne peux pas être valide sans être fiable
• À quel point l’instrument mesure-t-il ce qu’il est censé mesurer?
De fait, si un instrument utile est nécessairement valide, un instrument valide peut ne pas être utile. Par exemple, un instrument utile pour mesurer la dépression auprès de personnes atteintes du SIDA ne l’est pas nécessairement pour mesurer la dépression auprès des personnes souffrant de schizophrénie.
Un instrument est considéré comme valide lorsqu’il mesure adéquatement ce qu’il est censé mesurer tout en étant suffisamment dépourvu d’erreur de mesure
De plus, la validité d’un instrument n’est pas une caractéristique qui, une fois atteinte, reste immuable : elle doit être évaluée périodiquement.
Utilité
TROIS CONCEPTS
Obtenir une mesure valide et que le but soit préétabli, qu’est-ce que qu’on va en faire
Englobe la validité et la fidélité, alors si mon instrument est utile, il est valide et fiable
• Est-ce que l’instrument sert à quelque chose? Pas de réponse oui/non, c’est un continuum = à quel point notre instrument est valide…
Le concept d’utilité est, en raison de sa superficie dans le modèle, le plus important et suppose aussi qu’il englobe les deux autres concepts.
Deux phases
Préparation: La phase de la préparation est celle qui est la plus importante
Faire des choix afin d’éliminer les erreurs de mesure
Vérification: vérifier que tout fonctionne. Plus d’élément statistique, interprétation, s’assurer que tout fonctionne bien
La ligne noir = échantillon de validation qui nous permet de vérifier si notre truc fonctionne.
La phase de préparation amène le concepteur à créer des conditions qui faciliteront la vérification ultérieure des propriétés attendues de l’instrument. Les préoccupations sont nombreuses et incluent une compréhension fine du but et du contexte (utilité) dans lequel l’instrument sera utilisé, la définition de ce que l’on veut mesurer (validité) et les principaux problèmes qui peuvent survenir dans le contexte de la mesure (fidélité). D’une certaine manière, la préparation de l’instrument est plus importante que sa vérification. En effet, la préparation donne une direction théorique et conceptuelle aux stratégies qui seront employées pour procéder à la vérification. En ce sens, les problèmes engendrés par une préparation déficiente ne peuvent être réparés lors de la phase de vérification.
La phase de vérification implique de tester, grâce à la méthode scientifique, l’ensemble des choix effectués à la phase de préparation.
Les 6 étapes:
- Usage anticipé
- Conceptualisation
- Élaboration
- Stabilité
- Congruence
- Usage recommandé
Impossible d’avoir une bonne vérification si on n’a pas planifié
DEUX TÂCHES
Objectifs: quoi.
Moyens: comment y arriver
Pour passer d’une étape à l’autre, il faut atteindre les objectifs en choisissant les moyens appropriés puis en les appliquant correctement. Dans la phase de préparation, ces techniques vont de la lecture exhaustive du domaine d’intérêt, aux consultations avec divers experts, incluant les sujets eux-mêmes. En vérification, ces moyens impliquent l’usage de méthodologies de recherche et de techniques statistiques.
ÉTAPE 1: L’USAGE ANTICIPÉ
Si on utilise un instrument pour le TDAH et qu’on évalue une population dépressive, mon instrument peut être bon mais il n’a pas rapport
Objectifs (ce qui guide ce qu’on va utiliser (moyens) alors les objectifs sont plus impo)
• Déterminer le but de l’instrument (c’est quoi son utilisation, sa valeur ajouté)
• Population visée (qui va l’utiliser)
• Contexte d’utilisation (duré, l’admin et interprète ont besoin d’une formation ? en ligne, format…)
Moyens
• Analyse d’instruments (pour voir ce qui a déjà été fait)
• Lectures
• Consultations (expert sur la création d’instruments)
Exemple:
Scholastic Aptitude Test (SAT)
Mesure universelle des connaissances acquise des étudiants durant le secondaire
Version pré-2005
• Instrument utilisé dans le système scolaire américain
• BUT : prédire le succès scolaire d’élèves du secondaire une fois à l’université
• Ne s’intéresse qu’à ce qui a été appris au secondaire et ne prétend pas mesurer l’intelligence
Bénéficière: étudiants
Utilisateur ; collège université
Administrateur: collège université
Concepteur: collège board (profs)
Contexte: en personne, supervisé
Objectifs. Il est nécessaire de prédéterminer le ou les buts de l’instrument à créer et les problèmes qu’il veut contribuer à résoudre. Il est possible que la création comme telle d’un nouvel instrument ne soit pas nécessaire et que seules certaines modifications à un instrument existant soient suffisantes.
L’usage anticipé concerne aussi l’utilisation qui sera faite des résultats obtenus grâce à l’instrument. Cette étape nécessite aussi de préciser la population visée par l’instrument désiré.
Dans la même veine, il faut décrire et anticiper la quantité de formation requise par les utilisateurs de l’instrument pour effectuer la passation ou interpréter les résultats ainsi que la durée de passation optimale.
Les réponses à ces questionnements permettent, entre autres, d’orienter la conceptualisation ultérieure des mesures à effectuer.
Moyens. Un survol analytique des instruments existants et des articles de recherches sur le domaine est nécessaire.
ÉTAPE 2: LA CONCEPTUALISATION
Objectifs
• Définir, catégoriser et organiser (phénomène séparé en plusieurs composantes (ex. santé psycho au travail, est ce que on peut diviser en concept plus précis (détresse psycho au travail et amélioration psycho au travail) les composantes des phénomènes à mesurer (concept claire, préciser)
• Positionnement avec d’autres concepts (mesurer en même temps que d’autre concept connexe et on regarde s’il y a des ressemblances. Formulation d’hypothèse: plus une personne est anxieuse, plus elle est dépressive)
Ex: impulsivité et la drogue
Moyens
• Synthèse des aspects conceptuels des instruments (ce qu’on voit dans la littérature)
• Lectures théoriques
• Consultations (expert sur les définitions précise entre les différents contextes)
La définition doit être cohérente avec les sous dimensions
Exemple:
Scholastic Aptitude Test (SAT)
Les aptitudes sont de deux types:
• Verbales (SAT-V)
• Antonymes
• Analogies
• Compléter phrases
• Compréhension de lecture
• Mathématiques (SAT-M)
• Questions numériques
• Comparaisons de quantités
Étape 2 : Conceptualisation
Objectifs. Il importe de définir les grandes composantes des phénomènes à mesurer. Cela implique de rendre opérationnelles les définitions à l’aide d’indicateurs clairs.
Le fait d’organiser et de maîtriser les liens conceptuels qui sous-tendent les différentes composantes de l’instrument à venir permet de déterminer l’importance relative de ces composantes.
Moyens. Le meilleur moyen d’effectuer une conceptualisation adéquate est de bien connaître les théories qui caractérisent le domaine d’application de notre instrument.
ÉTAPE 3: L’ÉLABORATION
Objectifs
• Prévoir les sources d’erreur de manière à les minimiser (essayer de prédire les erreurs)
• Choix du format de l’instrument (QCM, choix de réponse sur échelle de 4pts)
• Construire les items (les questions)
• Choisir la méthode de correction (pour minimiser l’erreur de mesure, on veut s’assurer que la correction se fasse de la même façon)
Moyens
• Lectures «psychométriques»
• Inventaire des stratégies déjà employées
Exemple:
Scholastic Aptitude Test (SAT)
Questions à choix multiples élaborées par des professeurs de «high-school» et de «college» et des psychométriciens
SAT-V : 85 questions de simple à difficile
• Antonymes (5 choix)
• Analogies (5 choix)
• Compléter phrases (5 choix)
• Compréhension de lecture (5 choix)
SAT-M : 60 questions de simple à difficile
• Questions numériques (5 choix)
• Comparaisons de quantités (4 choix)
Exemple:
Scholastic Aptitude Test (SAT)
• Durée = deux heures
• Passation en groupe (pas en équipe, pleins de personne dans une salle = groupe, mais tout le monde répond individuellement)
• Le score est déterminé par des points accumulés pour les bonnes réponses et des points retranchés pour les mauvaises réponses (correction pour avoir deviné)
• Le score varie de 200 à 800, la moyenne est ajustée à 500 et l’écart-type est ajusté à 100
• Une vingtaine de versions parallèles sont administrées simultanément
Étape 3 : Élaboration
Objectifs. Cette étape suppose de prévoir les sources d’erreur de mesure et de construire l’instrument de manière à les minimiser. Pour ce faire, il faut considérer, entre autres, l’impact du niveau de langage et de la culture. C’est à l’étape de l’élaboration que sont créés les items de notre instrument. Par exemple, s’il s’agit d’un questionnaire, les items sont les questions que nous poserons, le format de ces questions (p. ex. : choix multiples) et le format des réponses (p. ex. échelle en cinq points). Le format des items doit être compatible avec la situation où l’instrument doit être administré. Lors de l’administration, les comportements éventuels de l’utilisateur et du sujet sont des facteurs importants.
Moyens. Une analyse des recherches portant spécifiquement sur la psychométrie est cruciale.
ÉTAPE 4: LA STABILITÉ
Objectifs
- Vérifier la nature et l’ampleur de l’erreur (ampleur = quantité) nous permet de savoir si on peut faire confiance au test
- Établir la stabilité interne (instable à l’intérieur du test lui-même) et temporelle (dans le temps, plusieurs mesure)
Moyens
- Erreur-type de mesure
- Analyses d'items
- Analyses corrélationnelles
- Approche hypothético-déductive
- Accord inter-juges
Exemple:
Scholastic Aptitude Test (SAT)
Erreur-type de mesure
• SAT-V : 31
• SAT-M : 33
Consistance interne
• SAT-V : Alpha de Cronbach de α=0,92
• SAT-M : Alpha de Cronbach de α=0,91
6 items: la personne devrait répondre de façon similaire/constante entre les 6 items
Stabilité temporelle (intervalle de 7 mois)
•SAT-V : corrélation test-retest r=0,88
•SAT-M : corrélation test-retest r=0,85
Étape 4 : Stabilité
Objectifs. Cette étape vise à déterminer si les choix stratégiques effectués à l’étape de l’élaboration ont été efficaces.
Des mesures caractérisées par de l’erreur auront tendance à être instables. Ainsi, deux types de stabilité peuvent être évalués : l’une temporelle, l’autre interne. La stabilité temporelle, moyennant un délai justifié entre les mesures, constitue l’indice de stabilité le plus important. Idéalement, les deux stabilités sont évaluées.
Moyens. La vérification des moyennes et écarts-types de chacun des items est une étape nécessaire, mais doit être complétée par des analyses corrélationnelles (p. ex. : test-retest, split-half) et de consistance interne (analyses factorielles et alpha de Cronbach). L’accord inter-juge est aussi une option.
ÉTAPE 5: LA CONGRUENCE
Est-ce que ce que je mesure est conceptualiser comme il faut. Les hypothèses et le phénomène est comparer avec le phénomène connexe
Objectifs:
- Vérifier les quantifications et/ou l'organisation des concepts
Moyens:
- Analyses corrélationnelles
- Approche hypothético-déductive
- Analyses factorielles
- Équations structurelles
Ce que je veux vs ce que je mesure vraiment = congruence
Idéalement, les deux cercle sont l’un par-dessus l’autre
(Voir notes)
Exemple:
Scholastic Aptitude Test (SAT)
Validité de contenu
l Les questions posées représentent les domaines enseignés au «high-school»
Validité prédictive (résultats partiels – les meilleurs élèves seulement)
l Corrélation entre le SAT-V et les notes au «college» : r = 0,54
l Corrélation entre le SAT-M et les notes au «college» : r = 0,48
l Corrélation entre les notes au «high-school» et les notes au «college» : r = 0,67
Alors le SAT n’est pas tant important
Étape 5 : Congruence
Objectifs. Cette étape vise à déterminer si les phénomènes définis, structurés et quantifiés au moment de la conceptualisation ont été mesurés correctement.
Trois types de vérifications sont possibles. Des comparaisons prédictives ou concomitantes constituent les deux premiers types et impliquent l’utilisation de points de repère. Les points de repère peuvent être des comportements, des caractéristiques des individus, des résultats à d’autres instruments ou le jugement d’autres individus ou, évidemment, une combinaison de ces éléments. Plus ces points de repère sont valides eux-mêmes, nombreux et variés, plus la conclusion sur l’atteinte de l’objectif de cette étape est elle-même valide. Le troisième type implique de vérifier dans quelle mesure l’organisation des concepts effectuée à l’étape de la conceptualisation se reproduit empiriquement grâce aux résultats obtenus avec l’instrument. Idéalement, les trois types de vérifications sont effectués.
Moyens. Des analyses corrélationnelles, incluant les analyses factorielles confirmatives, et d’autres techniques variées dont les analyses de variances peuvent être utilisées. Ces techniques peuvent être utilisées dans des schémas expérimentaux ou quasi expérimentaux où un ensemble des résultats peut être interprété de manière hypothético-déductive.
ÉTAPE 6: L’USAGE RECOMMANDÉ
Objectifs
- Préciser buts, population visée, circonstances d’utilisation/de passation (faire un retour global)
- Guider l'interprétation (apporter des nuances, aider ceux qui sont initier aux résultats)
Moyens
- Article scientifique
- Normes (crée des normes afin d’interpréter les résultats)
Exemple:
Scholastic Aptitude Test (SAT)
BUT : prédire le succès scolaire d’élèves du secondaire une fois à l’université
Manuels et beaucoup de recherches
Population: Tous les types de populations d’élèves de «high school» décrits
Semble pouvoir atteindre ce but, mais la mesure n’est pas parfaite
Étape 6 : Usage recommandé
Objectifs. L’étape précédente est très importante dans le processus de création d’un instrument. Toutefois, une bonne congruence n’implique pas nécessairement que le but de l’instrument et d’autres paramètres déterminés à l’étape de l’usage anticipé, ont été entièrement atteints. Ainsi, il est possible que l’instrument ne puisse discriminer de manière aussi sensible entre toutes les strates de la population visée. Le concepteur d’un instrument doit, lors de l’étape de l’usage recommandé, présenter les preuves scientifiques de pertinence de son instrument.
Moyens. La rédaction d’articles scientifiques est le meilleur moyen de faire la démonstration de la qualité et la pertinence d’un instrument puisque le processus de publication est régi par la critique et l’approbation anonyme d’un comité de pairs.
PROCESSUS DÉCISIONNEL
Lors de la construction et de la validation, il faut:
• détecter les problèmes ;
• apporter les correctifs requis.
Le modèle de la cible rend ces tâches plus faciles.
(Voir notes)
