EXAM 3 Flashcards
définition validité
le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement
La validité ne concerne pas l’instrument de mesure lui-même, mais plutôt
l’interprétation des résultats:
La validité n’est pas inhérente à l’instrument lui-même, mais plutôt
au contexte de son utilisation: on ne peut pas dire qu’un test est valide:
la validité n’est pas une affaire de
« tout ou rien » (valide ou pas valide), mais plutôt une question de « degré » de validité.
2 niveaux de validité
- Degré global pour une certaine population
* Degré pour une personne particulière
) ces techniques destinées à recueillir des preuves de validité ont été regroupées en trois grandes catégories :
- Validation de contenu (contenu vs. apparente);
- Validation pragmatique [critériée, prédictive];
- Validation de construit [conceptuelle, théorique].
La validation de contenu
Cette validation désigne l’aptitude d’un instrument à appréhender les aspects de contenu pour lesquels il a été conçu, et ceux-là seulement.
La validation pragmatique
Cette validation désigne l’aptitude d’un instrument (conçu par exemple dans une perspective d’évaluation pronostique) à prédire (de manière aussi précise que possible) le niveau de réussite, d’adaptation, d’intégration, etc., d’un ensemble d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement.
2 types de validité pragmatiques:
Validité concomitante/concourante:
Validité prédictive:
on détermine le degré de corrélation entre les scores obtenus au test et les scores obtenus à une mesure de référence (administration du test et de la mesure du critère pratiquement en même temps);
Validité prédictive:
Validité concomitante/concourante:
on évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier);
Validité prédictive
La validation de construit
La validité de construit se défini comme étant la justesse avec laquelle un instrument de mesure permet d’obtenir des résultats conformes aux construits définis par son contexte théorique; elle indique dans quelle mesure les énoncés d’un instrument sont cohérents avec la théorie et les concepts, définis de façon opérationnelle.
L’analyse multitrait-multiméthode:
- Matrice de corrélation entre les résultats obtenus à différents tests: illustre à la fois la validité convergente et la validité discriminante;
- On s’attend à ce que la plus forte corrélation soit trouvé pour même trait-même méthode; et la plus petite corrélation pour traits différents-méthode différente;
Limites méthode multitrait multi-méthode
demande beaucoup de temps de la part des sujets (faire plusieurs tests…) + difficulté à trouver des tests qui évaluent les mêmes traits
L’analyse factorielle
projeter 3 (ou plus) variables qui sont fortement corrélées entre elles sur une nouvelle variable qui retient l’essentiel de la variance commune. Cette nouvelle variable représente le facteur.
2 types de validité de construit
Validité convergente
Validité discriminante
• Vérifier à quel point est-ce que l’échelle est reliée à des variables et des mesures du même construit. En ce sens, l’outil devrait corréler avec les autres outils qui évaluent des construits identiques ou très similaire
validité convergente
• Vérifier à quel point l’échelle s’écarte de variables et de mesures de construits différents. En ce sens, l’outil ne devrait pas corréler avec des construits indépendants de celui qu’il évalue.
Validité discriminante
Étapes du processus de construction:
- 1ère Étape: La détermination des utilisations prévues du test;
- 2ème Étape: La définition de ce que l’on souhaite mesurer;
- 3ème Étape: La création des items;
- 4ème Étape: l’évaluation des items;
- 5ème Étape: La détermination des propriétés métriques du test définitif;
Pour aider à mieux définir ce que l’on veut mesurer, ____ processus (ou méthodes) peuvent être mis en action:
cinq
- L’évaluation des items
Deux démarches sont habituellement suivies:
(1) Évaluation des items par des juges:
(2) Réalisation d’une mise à l’essai des items:
- La détermination des propriétés métriques
- Évaluation des indices de validité;
- Évaluation des indices de fidélité;
- Établissement des normes.
V-F il y a 6 étapes dans construction d’un test
• Faux 5 étapes
VF Le constructeur d’un test n’est pas responsable des applications éthiques du test
• Faux
Élaborer/créer plusieurs tests pour évaluer des comportements ou des dimensions de la personnalité a des points positifs et des points à bien réfléchir, par exemple:
- On respecte les caractéristiques de la culture cible;
* Mais, on n’a pas de points de comparaison.
Traduire un seul et même test pour qu’on puisse l’utiliser en plusieurs langues et cultures a des aspects positifs et des points à bien réfléchir, par exemple:
- Beaucoup moins de travail au niveau méthodologique, notamment en ce qui concerne l’échantillonnage (toutes les caractéristiques de l’échantillon ont été déjà pensé avant);
- Une diminution au niveau de la précision de la mesure, les normes et même d’autres qualités métrologiques (indices de mesures) (comportement encore à comprendre/expliquer).
Dans ce sens, l’adaptation des tests se situe entre ces deux processus, par exemple:
- Permet un plus grand respect des idiosyncrasies de la culture cible;
- Permet qu’on garde une bonne précision de la mesure, entre autres indices métrologiques pertinents.
D’autres avantages de l’adaptation:
- Permet de s’assurer que le contenu et la structure factorielle du test soient relativement les mêmes ;
- Permet d’utiliser la même structure (style de rédaction, la révision théorique, la méthodologie générale utilisée, etc.) proposée à la présentation de l’instrument original;
- Permet de démontrer l’équivalence d’épreuves administrées dans des langues et des cultures différentes.
Quelques difficultés de l’adaptation:
Les différences linguistiques et culturelles:
- Équivalence des concepts (posséder la même signification);
- Format du test (degré de familiarité avec certain type d’item);
- Limite de temps (textes traduits peuvent être plus longs).
Indicateurs de qualité de l’adaptation
Analyse d’items:
Fidélité:
Équivalence au niveau du construit:
Validité pragmatique:
Est-il préférable de réaliser la traduction d’un test par un traducteur professionnel ou un expert de la matière
Selon:
- Budget
- Peser les pour et les contre entre l’expertise de la langue et l’expertise dans la matière
- Si les éléments culturels diffèrent beaucoup
- Le temps disponible pour la traduction
- L’objectif et l’utilisation du test
Les caractéristiques des examinateurs bien formés :
- Ils choisissent les tests qui conviennent à la fois au but visé et aux personnes qui sont évaluées;
- Ils connaissent la documentation portant sur le test choisi et les derniers développements qui le concernent;
- Ils sont capable d’évaluer les qualités techniques des tests;
- Ils sont sensibles aux conditions de passation (peuvent influencer le rendement au test);
- Ils font de conclusions ou des recommandations seulement après avoir considéré les résultats en relation avec les caractéristiques de la personne évaluée.
Les responsabilités des éditeurs de tests :
la distribution
- L’achat de tests est limité aux personnes possédant la qualification requise pour assurer la sécurité du matériel et empêcher une mauvaise utilisation de celui-ci;
- Les caractéristiques techniques d’un test doivent être clairement présentées;
- Les tests ne doivent pas être offerts prématurément pour un usage générale;
- La passation de tests psychologiques par la poste est à proscrire, parce qu’on ne peut pas contrôler les conditions de passation et qu’on a aucune connaissance de la personne évaluée.
Les responsabilités des éditeurs de tests :
le marketing
• Il ne faut pas utiliser de termes « trop publicitaires » qui mettent en valeur le test en cachant les renseignements essentiels à son évaluation;
Le code de déontologie des psychologues
Dans la section V du Code on trouve les règles suivantes:
• Le psychologue doit interpréter le matériel psychologique avec _______
• Le psychologue ne peut remettre à autrui, sauf à _______ les données brutes et non interprétées inhérentes à une consultation psychologique;
• Le psychologue doit éviter toute possibilité _________ des informations qu’il fourni à autrui.
• Dans l’exercice de la profession, le professionnel doit tenir compte des________généralement reconnus en psychologie;
• Dans tout rapport psychologique, écrit ou verbal, le psychologue doit s’en tenir à son interprétation du matériel psychologique relié à la ________ (3)
prudence;
un autre psychologue,
de fausse interprétation ou d’emploi erroné
principes scientifiques
consultation, à ses conclusions et à ses recommandations;
Quelques conclusions sur l’utilisation compétente des tests
• Accepter la responsabilité reliée à une _________
• Avoir une connaissance satisfaisante du ________
• Ne pas ________ des documents protégés par les droits d’auteur;
• Connaître les _______
• Connaître les tests et ______
utilisation compétente des tests; code de déontologie; photocopier standards légaux; ses limites;
Les preuves de la validité
contenu du test processus des réponses structure interne du test relation avec d'autres variables conséquences du testing
Principes de base pour rassembler des preuves de validité basées sur le contenu d’un test
- Définir avec soin le domaine et les facettes du concept et valider cette définition.
- Utiliser un échantillon d’experts et de membres de Ia population de référence pour créer les items et les autres aspects du test.
- Soumettre toutes les composantes du contenu du test à une étude de _____
- Utiliser plusieurs experts pour évaluer les indices de validité basés sur le contenu du test et quantifier leurs jugements à l’aide _______
- Examiner Ia représentation proportionnelle des items relativement aux différentes facettes du concept.
- Présenter les preuves de______basées sur le contenu lors de Io publication de tout nouvel instrument.
- Prendre en compte toutes les analyses psychométriques ultérieures pour affiner les preuves de validité basées sur le contenu du test.
- validité.
- d’échelles formalisées.
- validité
Le degré de concordance (ou de fidélité) entre les juges peut être évalué par trois indicateurs :
- La variance des jugements
- La concordance des jugements :
- La cohérence interne des jugements
lorsque celle-ci est faible, les juges ont tendance à attribuer la même cote à un même item.
- La variance des jugements :
: les juges ont tendance à ordonner de la même manière les items selon leur degré de congruence avec la facette à mesurer. L’item le plus congruent pour un juge est également le plus congruent pour les autres juges.
- La concordance des jugements
les juges sont consistants dans leur manière d’évaluer les items par rappo11 aux autres juges. Un juge sévère
- La cohérence interne des jugements :
Hormis les problèmes d’interprétation, l’analyse factorielle soulève plusieurs questions méthodologiques relatives aux conditions de son application. Les plus importantes concernent : (3)
- la taille de l’échantillon
- la normalité
- la linéarité
Le khi carré est en fait un indice de_______
mauvais ajustement
Le khi carré est en fait un indice de mauvais ajustement : plus sa valeur est petite, ________
meilleur est l’ajustement.
la validité est présenté comme un concept unitaire, se rapportant non au test lui même, mais aux
inférences faites à partir des résultats
Pour Messick, la notion de base est celle de
cadre conceptuel
Le cadre conceptuel est, pour un part, défini par
l’usage prévu des scores au test
récolter des preuves de validité consiste d’abord à générer ______ qui seront ensuite mise à
hypothèse
l’épreuve des faits
Différents types de preuves de validité
- le contenu
- le processus de réponse
- la structure interne
- les relations avec d’autres varibales
- les conséquences du testing
les preuves de validité basé sur le contenu ne concernent pas uniquement la formulation des items, mais aussi ______
leur format, les consignes de passation et la cotation
les preuves asées sur les processus de réponses
il s’agit de vérifier si les ________ correspondent bien à ce qui est prévu dans le cadre conceptuel qui sous-tend le test
démarches de mise en oeuvre par les sujets pour produire leur réponses
les preuves basées sur la structure interne du test
il s’agit de vérifier que les relations entre les épreuves sont bien conformes au _____ et qu’elle justifient le calcul des différents scores composites
modèle théorique
La validité différentielle
validité des inférences faites sur la base des scores à un test non seulement pour les différents usages, mais aussi pour les ______
différents groupes de la population
