Validité Flashcards
Comment peut-on définir la validité ?
La validité est le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement!
Plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche étudier; alors, il est nécessaire de procéder au processus de validation!
Donnez deux exemples concrets de la validation.
Concept: agressivité
S’assurer que l’instrument se rapporte uniquement à l’agressivité, et non pas à la frustration, à la colère, à l’impulsivité, à la dangerosité, etc.
Concept: dépression
- S’assurer que l’instrument se rapporte uniquement à la dépression, et non pas à la tristesse, la solitude, l’ennui, etc.
Vrai ou faux ?
La validité ne concerne pas l’instrument de mesure lui-même, mais plutôt l’interprétation des résultats
Vrai, le processus de validation est une façon de déterminer le niveau de confiance qu’on peut avoir par rapport aux inférences qu’on fait en s’appuyant sur les résultats obtenus à un test.
Vrai ou faux ?
La validité n’est pas inhérente à l’instrument lui-même, mais plutôt au contexte de son utilisation: on ne peut pas dire qu’un test est valide
Vrai, on peut seulement dire qu’on a démontré qu’il est valide avec telle clientèle et sous telles conditions. La validité d’un instrument est directement et uniquement lié au contexte dans lequel le processus de validation a été effectué.
L’évaluation de la validité d’un test est un processus continu d’accumulation de «preuves» ou «d’évidences» (normalement quantitatives).
Vrai ou faux ?
Il faut éviter de considérer le nom du test comme un indice précis de ce qu’il mesure;
Vrai, Un test n’est jamais valide à 100%; la validité n’est pas une affaire de «tout ou rien» (valide ou pas valide), mais plutôt une question de «degré» de validité.
Il existe de multiples méthodes pour étudier ces liens, chacune ayant reçu un nom particulier; dans le « Standards for Educational and Psychological Testing » (2015) ces techniques destinées à recueillir des preuves de validité ont été regroupées en trois grandes catégories : Lesquelles ?
- Validation de contenu (contenu vs. apparente);
- Validation pragmatique [critériée, prédictive];
- Validation de construit [conceptuelle, théorique].
Comment peut-on définir la validation de contenu ?
Cette validation désigne l’aptitude d’un instrument à appréhender les aspects de contenu pour lesquels il a été conçu, et ceux-là seulement. Par exemple, dans le cas d’une épreuve de connaissance ayant pour but de vérifier la maîtrise dans tel domaine d’apprentissage, il faut s’assurer que les contenus des items utilisés contribuent tous à évaluer un aspect significatif (ou dimension) de ce domaine; en d’autres termes, qu’ils forment un échantillon important de tous les items (qui représentent les contenus).
On veillera également à ce que les contenus de ces items ne fassent pas appel à des caractéristiques que l’on souhaite explicitement ne pas solliciter!
Généralement, on examine ce type de validité lors de la construction de l’instrument de mesure (choix des items).
Ce type de validité est généralement estimé par la méthode des «juges experts». Les experts sont des personnes qui ont une bonne connaissance du concept à mesurer ou qui ont une expertise dans l’élaboration d’instrument de mesure. Ces derniers sont invités à se prononcer sur le contenu des énoncés, soit sur leur clarté, leur représentativité, l’exhaustivité, dimensionnalité et la pertinence de l’outil dans son ensemble.
Comment peut-on définir la validation pragmatique ?
Cette validation désigne l’aptitude d’un instrument (conçu par exemple dans une perspective d’évaluation pronostique) à prédire (de manière aussi précise que possible) le niveau de réussite, d’adaptation, d’intégration, etc., d’un ensemble d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement. Un exemple très classique est celui qui concerne l’évaluation du QI et du succès professionnel.
Pour évaluer la validité pragmatique d’un instrument, la procédure la plus simple (techniquement parlant, car, sur le plan de l’application plusieurs difficultés peuvent parfois se présenter) consiste à étudier la corrélation (ou comparaison de moyenne – moins robuste) entre les résultats obtenus par un même groupe d’individus à deux moments différents (par exemple au début et à la fin d’un programme de formation ou d’un cycle d’études).
Dans cette perspective on peut avoir recours à une méthode issue de l’approche corrélationnelle (l’analyse de régression), dont un des objectifs est précisément de prédire la situation future d’un individu sur la base d’éléments qui caractérisent sa situation présente
Évaluer cette qualité d’un instrument signifie précisément déterminer dans quelle mesure les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (pourcentage de variance prédite ou «expliquée»).
Il existe 2 types de validation pragmatique. Lesquels ? Expliquez
Validité concomitante /concourante: on détermine le degré de corrélation entre les score obtenus au test et les scores obtenus à une mesure de référence (administration du test et de la mesure du critère pratiquement en même temps);
Validité prédictive: on évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier);
Comment peut-on définir la validation de construit ?
La validité de construit se défini comme étant la justesse avec laquelle un instrument de mesure permet d’obtenir des résultats conformes aux construits définis par son contexte théorique; elle indique dans quelle mesure les énoncés d’un instrument sont cohérents avec la théorie et les concepts, définis de façon opérationnelle.
Dans de nombreuses situations en psychologie, on cherche à étudier des entités hypothétiques, qui résultent d’une élaboration psycho-sociale et théorique: intelligence, aptitudes, personnalité, connaissances, compétences, capacités et habiletés diverses, motivation, intérêt, attitudes. Ces entités (qu’on appelle précisément des «construits») ne sont pas directement accessibles à l’observation et à la mesure
Les construits sont considérés des «mini-théories» qui expliquent la relation entre différents concepts, que ce soient des comportements, attitudes… On les appelle aussi des «facteurs» (dimensions, composantes) et ils viennent en fait expliquer les corrélations qu’on observe entre différentes variables.
Quelle est la façon la plus usuelle de calculer la validité de construit ?
La façon la plus usuelle de calculer la validité de construit est d’avoir recours à une méthode issue de l’approche corrélationnelle (analyse multitrait-multiméthode et l’analyse factorielle), dont un des objectifs est précisément de démontrer la pertinence (relation, association) d’un item par rapport à sa propre dimension théorique (AF).
Qu’est-ce que l’analyse multitrait-multiméthode ? (validation construit) Quelle est sa limite ?
Matrice de corrélation entre les résultats obtenus à différents tests: illustre à la fois la validité convergente et la validité discriminante;
On s’attend à ce que la plus forte corrélation soit trouvé pour même trait-même méthode; et la plus petite corrélation pour traits différents-méthode différente;
Limite: demande beaucoup de temps de la part des sujets (faire plusieurs tests…) + difficulté à trouver des tests qui évaluent les mêmes traits
Il y a toujours deux temps à la méthode multitrait-multiméthode, qui sont représentés par les axes des abscisses (x) et des ordonnées (y)
Exemples de traits (A,B,C):
Dépression (A), tristesse (B), désespoir (C)
Exemples de méthodes (1,2,3):
Observation directe (Méthode 1), questionnaire papier (Méthode 2), entrevue semi-structurée (Méthode 3)
Qu’est-ce que l’analyse factorielle ? (validation de construit)
Le rationnel de l’analyse factorielle est de projeter 3 (ou plus) variables qui sont fortement corrélées entre elles sur une nouvelle variable qui retient l’essentiel de la variance commune. Cette nouvelle variable représente le facteur.
(1) Combien de facteurs l’analyse nous propose?
(2) Quel est le pourcentage d’explication de la variance?
(3) Est-ce que tous les items sont valides par la biais de la validation de construit ou y a-t-il des items nécessitant une reformulation?
Vrai ou faux ?
Le résultat du processus de validation de construit n’amène pas à un indice statistique unique mais bien à plusieurs résultats qui doivent être interprétés en lien avec les éléments théoriques sur lesquels le test se base.
Vrai, La validité de construit d’un instrument sera plus facilement mesurable si la théorie utilisée est explicite et bien définie.
Quels sont les 2 types de validation de construit ? Expliquez
- Validité convergente: Vérifier à quel point est-ce que l’échelle est reliée à des variables et des mesures du même construit. En ce sens, l’outil devrait corréler avec les autres outils qui évaluent des construits identiques ou très similaire
- Validité discriminante: Vérifier à quel point l’échelle s’écarte de variables et de mesures de construits différents. En ce sens, l’outil ne devrait pas corréler avec des construits indépendants de celui qu’il évalue.
