LA VALIDITÉ Flashcards
Qu’est-ce que la validité ?
C’est le degré avec lequel un test mesure ce qu’il prétend mesurer uniquement.
Elle ne peut jamais être parfaite.
Pourquoi il est nécessaire de procéder au processus de validation ?
Parce que plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche à étudier.
EXEMPLE
Concept de la dépression : s’assurer que l’instrument se rapporte uniquement à la dépression, et non pas à la tristesse, la solitude, l’ennui, etc. (Dans la définition on retrouve ces éléments)
Concept de l’agressivité : s’assurer que l’instrument se rapporte uniquement à l’agressivité et non à la frustration, à la colère, à l’impulsivité, à la dangerosité, etc.
*D’où l’importance de la définition de ce que je mesure
Vrai ou faux : la validité ne concerne pas l’instrument de même lui-même, mais plutôt l’interprétation des résultats.
Vrai.
EXEMPLE
Dépressions vs. Déficit cognitif -> même résultat, mais raisons différentes.
Dépression = pas l’énergie, pas la motivation
Déficit cognitif = pas la capacité
Le processus de validation est une façon de déterminer quel élément ?
Le niveau de confiance que l’on peut avoir par rapport aux inférences qu’on fait en s’appuyant sur les résultats obtenus à un test.
La validité n’est pas inhérente à l’instrument lui-même, pourquoi ?
Parce que la validité est inhérente au contexte de son utilisation (un test n’est pas valide en lui même)
Pourquoi on ne peut pas dire qu’un test est valide ?
La validité d’un instrument est directement et uniquement lié au contexte dans lequel le processus de validation a été effectué.
On peut seulement dire qu’on a démontré qu’il est valide avec telle clientèle et sous telles conditions.
L’évaluation de la validité d’un test est ________
Un processus continu d’accumulation de preuves ou d’évidences (normalement quantitatives)
Vrai ou faux : Il faut considérer le nom d’un test comme un indice précis de ce qu’il mesure ?
Faux, il faut éviter.
Vrai ou faux : la validité est une affaire de tout ou rien (valide ou pas valide).
Faux, c’est une question de degré de validité. (Donne un bon indice)
Un test n’est jamais valide à 100%.
Selon le ‘‘Standards for Educational and Psychological Testing’’ il existe 3 grandes catégories de techniques destinées à recueillir des preuves de validité, lesquelles ?
1) Validation de contenu (contenu vs. apparente)
2) Validation pragmatique (critériée, prédictive)
3) Validation de construit (conceptuelle, théorique)
Qu’est-ce que la validité de contenu ?
Elle désigne l’aptitude d’un instrument à appréhender les aspects de contenu pour lesquels il a été conçu et ceux-là seulement.
EX :
Dans une épreuve de connaissance ayant pour but de vérifier la maîtrise dans tel domaine d’apprentissage, il faut s’assurer que les contenues des items utilisés contribuent tous à évaluer un aspect significatif (ou dimension) de ce domaine, qu’ils forment un échantillon important de tous les items (qui représentent les contenus).
Vrai ou faux : dans la validité de contenu, il ne faut pas veiller à ce que les contenus de ces items ne fassent pas appel à des caractéristiques que l’on souhaite explicitement ne pas solliciter.
Faux, il faut le faire.
Quel type de validité on examine lors de la construction de l’instrument de mesure (choix des items) ?
La validation de contenu.
Par quelle méthode la validation de contenu est estimée généralement ?
La méthode des juges experts.
Qui sont les juges experts et quel est leur rôle ?
Ce sont des personnes qui ont une bonne connaissance du concept à mesurer ou qui on une expertise dans l’élaboration d’instrument de mesure.
Leur rôle est de se prononcer sur le contenu des énoncés, soit sur leur clarté, leur représentativité, l’exhaustivité, dimensionnalité et la pertinence de l’outil dans son ensemble.
Qu’est ce que la validation pragmatique ?
Elle désigne l’aptitude d’un instrument (conçu par exemple dans une perspective d’évaluation pronostique) à prédire (de manière aussi précise que possible) le niveau de réussite, d’adaptation, d’intégration, etc., d’un ensemble d’individus par rapport à des situations qu’il rencontreront (ou pourraient rencontrer) ultérieurement.
EX: l’évaluation du QI et du succès professionnel.
*Mesure de validité intéressante mais lourde
Quelle est la procédure la plus simple pour évaluer la validité pragmatique d’un instrument ?
Elle à étudier la corrélation (ou comparaison de moyenne, mais moins robuste) entre les résultats obtenus par un même groupe d’individus à deux moments différents.
EX: au début et à la fin d’un programme de formation ou d’un cycle d’études
*Pas la plus facile par contre, elle prend beaucoup de temps et sur le plan de l’application plusieurs difficultés peuvent parfois se présenter.
Quel est l’objectif d’une méthode issue de l’approche corrélationnelle ou analyse de régression ?
Prédire la situation future d’un individu sur la base d’éléments qui caractérisent sa situation présente.
Qu’est-ce que signifie précisément d’évaluer la validation pragmatique d’un instrument ?
Elle détermine dans quelle mesure les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement ( % de variance prédite ou expliquée)
Il existe 2 types de validité pragmatiques, quels sont-ils ?
1) Validité concomitante / concourante
On détermine le degré de corrélation entre les scores obtenus au test et les scores obtenus à une mesure de référence (administration du test et de la mesure du critère pratiquement en même temps)
*Semblable à la fidélité parallèle
2) Validité prédictive
On évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier)
EX: profils professionnels, SAT
Qu’est-ce que la validité de construit ?
Elle se définit comme étant la justesse avec laquelle un instrument de mesure permet d’obtenir des résultats conformes aux construits définis par son contexte théorique ; elle indique dans quelle mesure les énoncés d’un instrument sont cohérents avec la théorie et les concepts, définis de façon opérationnelle.
Opérationnelle = à tous les jours, 5 fois, 10 fois (on peut mesurer)
Dans de nombreuses situations en psychologie, on cherche à étudier des entités hypothétiques ou construits, comment se définissent-ils ?
Ils résultent d’une élaboration psycho-sociale et théorique et ils ne sont pas directement accessibles à l’observation et à la mesure. (On mesure des indicateurs/critères pour identifier).
EX: intelligence, aptitudes, personnalité, connaissances, compétences, capacités et habiletés diverses, motivation, intérêt, aptitudes.
Vrai ou faux : Les construits sont considérés comme des mini-théories qui expliquent la relation entre différents concepts, que ce soient des comportements ou attitudes.
Vrai
Les construits sont aussi appelés facteurs (dimensions, composantes), qu’est-ce qu’ils expliquent ?
Ils viennent expliquer les corrélations qu’on observe entre les différentes variables.
Quelle est la façon la plus usuelle de calculer la validité de construit ?
Avoir recours une méthode issue de l’approche corrélationnelle (L’analyse multitrait-multiméthode et l’analyse factorielle)
Quel est l’objectif de l’approche corrélationnelle (analyse multitrait-multiméthode et l’analyse factorielle) ?
Démontrer la pertinence (relation, association) d’un item par rapport à sa propre dimensions théorique (AF).
Qu’est-ce que l’analyse multitrait-multiméthode ?
Matrice de corrélation entre les résultats obtenus à différents tests.
Elle illustre à la fois la validité convergente et la validité discriminante.
On s’attend à ce que la plus forte corrélation soit trouvé pour un même trait-même méthode et la plus petite corrélation pour traits différentes-méthode différente
Quelles sont les 2 limites de l’analyse multitrait-multiméthode ?
1) Elle demande beaucoup de temps de la part des sujets (faire plusieurs tests)
2) Difficile à trouver des tests qui évaluent les mêmes traits
Vrai ou faux : Il n’y a pas toujours 2 temps à la méthode multitrait-multiméthode qui sont représentés par les axes des abscisses (x) et des ordonnées (y).
Faux, il y a toujours 2 temps.
VOIR IMAGE *
Quel est le rationnel de l’analyse factorielle ?
C’est de projeter 3 (ou plus) variables qui sont fortement corrélées entre elles sur une nouvelle variable qui retient l’essentiel de la variance commune.
Cette nouvelle variable représente le facteur.
(1) Combien de facteurs l’analyse nous propose ?
(2) Quel est le pourcentage d’explication de la variance ?
(3) Est-ce que tous les items sont valides par la biais de la validation de construit ou y a-t-il des items nécessitant une reformulation ?
* Total de la variance expliquée par 3 facteurs.
Vrai ou faux : Le résultat du processus de validation de construit mène un indice statistique unique.
Faux, il mène à plusieurs résultats qui doivent être interprétés en lien avec les éléments théoriques sur lesquels le test se base.
Vrai ou faux : la validité de construit d’un instrument sera plus facilement mesurable si la théorie utilisée est implicite et bien définie.
Faux, si elle est explicite et bien définie.
Quels sont les 2 types de validité de construit ?
1) Validité convergente
Vérifier à quel point est-ce que l’échelle est reliée à des variables et des mesures du même construit. L’outil devrait corréler avec les autres outils qui évaluent des construits identiques ou très similaires.
EX: tests de dépression devraient avoir sensiblement les mêmes résultats
2) Validité discriminante
Vérifier à quel point l’échelle s’écarte de variables et de mesures de construits différents. L’outil ne devrait pas corréler avec des construits indépendants de celui qu’il évalue. (Mesure pas la même chose)
EX: anxiété devrait pas avoir une corrélation avec déficits cognitifs
Est-ce qu’on peut affirmer qu’un test est valide en soi ?
Non, c’est l’interprétation qu’on fait du test qui est valide,
Si un test est validé l’est-il de façon permanente ?
Non, l’accumulation d’indices de validité qui le rend valide.
Une psychologue remplaçante peut-elle compléter l’évaluation ?
Non, il doit avoir une rencontre clinique avec opinion clinique.
Peut l’intégrer, mais en distinguant qui a fait quoi en nommant l’interprétation des résultats.
Une psychologue remplaçante peut-elle achever le rapport ?
Quand l’évaluation est complétée, il peut avoir une rencontre clinique et distinguer le travail de chaque personne.
Une entrevue de bilan peut-elle être faite par une psychologue remplaçante si le rapport est complétée ?
Non.
