Cours 9

Question 1

Définition générale de la validité?

Answer 1

La validité est le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement!

Question 2

Pourquoi faut-il passer par un processus de validation?

Answer 2

Plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche étudier; alors, il est nécessaire de procéder au processus de validation!

Question 3

Que concerne la validité ?

Answer 3

La validité ne concerne pas l’instrument de mesure lui-même (alors, c’est pas l’instrument que c’est valide), mais plutôt l’interprétation des résultats de ses items:

Question 4

Que permet de déterminer le processus de validation?

Answer 4

le processus de validation est une façon de déterminer le niveau de certitude qu’on peut avoir, en s’appuyant aux indices obtenus (résultats obtenus à un test par le biais de ses items, évidemment).

on doit dire qu’on a démontré de preuves de validité avec telle clientèle et sous telles conditions. La validité d’un instrument psychométrique est lié au contexte dans lequel le processus de l’accumulation de preuves a été effectué.
l’évaluation de la validité est un processus continu d’accumulation de «preuves» ou «d’évidences».

Question 5

Vrai ou faux, il faut éviter de considérer le nom du test comme une «preuve» ou «évidence» de ce que le test mesure

Answer 5

Vrai, car un test n’est jamais valide à 100%; la validité n’est pas une affaire de «tout ou rien» (valide ou pas valide), mais plutôt une question de «degré» selon les indices de validité vérifiés.

Question 6

Il existe de multiples méthodes pour étudier la validité des instruments psychométriques (psychologiques), chacune ayant reçu un nom particulier;
Dans le « Standards for Educational and Psychological Testing »
(2015) les techniques destinées à recueillir des «preuves» ou «évidences» de validité ont été regroupées en trois catégories fondamentales: Quelles sont-elles?

Answer 6

• Validation de contenu (concept vs. apparente);
  
  • Validation pragmatique [critériée, prédictive];
  • Validation de construit [conceptuelle, théorique].

Question 7

Qu’est-ce que la validation de contenue?

Answer 7

Cette validation désigne la capacité d’un instrument à capturer (saisir) les aspects de contenu pour lesquels il a été conçu, et ceux-là seulement.

Par exemple, dans le cas d’une épreuve de connaissance (ayant pour but vérifier la maîtrise dans un domaine spécifique de l’apprentissage), il faut s’assurer que les contenus des items contribuent à évaluer les aspects fondamentaux de ce domaine; qu’ils forment un échantillon des items important (qui représentent les contenus – création d’un pool d’items).

Question 8

Quand est-ce que qu’on examine la validation de contenue?

Answer 8

Normalement, on examine ce type de validité lors de la construction de l’instrument de mesure (choix des contenus des items).

Question 9

Par qui est estimé la validation de contenue?

Answer 9

Ce type de validité est habituellement estimé par la méthode des «juges-experts». Les experts sont des personnes qui ont une connaissance reconnue du concept à mesurer et préférablement qui ont aussi une expertise dans l’élaboration d’instrument de mesure. Les juges-experts sont normalement invités à se prononcer sur le contenu de chaque énoncé, soit: clarté, représentativité, exhaustivité, dimensionnalité et pertinence.

Question 10

Qu’elles sont les statistiques habituellement utilisées dans la validation de contenue?

Answer 10

Les statistiques habituellement utilisées :
Coefficient de Validité de Contenu (CVC): mesure la proportion (ou le pourcentage) des réponses des juges-experts qui sont d’accord sur certains aspects relatifs au contenu inhérent aux items de l’instrument;
Corrélation Intra-Classe (ICC): mesure l’association des d’opinions entre juges-experts ayant un certain degré formation en termes de trait quantitatif.

Question 11

Qu’est-ce que la validation pragmatique?

Answer 11

Cette validation désigne la capacité d’un instrument à prédire (aussi explicite et invariable que possible) le niveau de performance (comportement) d’un groupe d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement.
Un exemple classique est celui qui concerne l’évaluation du QI et le succès professionnel.

Question 12

Qu’elle procédure peut permettre la validation pragmatique?

Answer 12

Pour évaluer la validité pragmatique d’un instrument, la procédure la plus simple consiste à calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents (pouvant être deux moments «présents» ou un moment présent et l’autre «future»).

Normalement, on utilise une méthode issue de l'approche corrélationnelle: l’analyse de régression, dont un des objectifs est précisément de prédire la variance d’une variable (présente ou future) par le biais d’une (ou plusieurs) variable indépendante.

Question 13

Dans la validation pragmatique, que signifie le fait d’évaluer cette qualité psychométrique de l’ensemble des items d’un instrument ?

Answer 13

Évaluer cette qualité psychométrique de l’ensemble des items d’un instrument signifie précisément déterminer dans quelle mesure les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (pourcentage de variance prédite ou «expliquée»).

Question 14

Qu’elles sont les 2 types de validation pragmatique?

Answer 14

Validité concomitante/concourante

Et

Validité prédictive

Question 15

Qu’est-ce que la validité concomitante/concourante?

Answer 15

on détermine le degré d’association entre les scores obtenus au test et les scores obtenus à une mesure de référence (l’administration du test et de la mesure du critère pratiquement en même temps – temps présent)

Question 16

Qu’est-ce que la validité prédictive? (en contexte pragmatique)

Answer 16

on évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier);

Question 17

Qu’elles sont les statistiques habituellement utilisées dans la validation pragmatique?

Answer 17

Les statistiques habituellement utilisées :
Coefficient de Détermination (CD): pourcentage d’explication de la variance entre deux mesures, sans considérer l’ordre des mesures;
Corrélation Multiple au carré (R2) (et, à la fois, Beta Standardisé - β): pourcentage d’explication de la variance entre deux (ou plusieurs) mesures, en considérant l’ordre des mesures.

Question 18

Qu’est-ce que la validation de construit ?

Answer 18

La validité de construit est définie comme étant la justesse/certitude avec laquelle l’ensemble d’items d’un instrument de mesure psychologique permet d’obtenir des résultats conformes aux concepts (ou construits - ou traits) définis par son contexte théorique;
cette validité indique dans quelle mesure les énoncés d’un instrument sont cohérents (structure interne) avec la théorie.

Question 19

Qu’elle est de lien entre validité de construit et entités hypothétiques ?

Answer 19

Dans de nombreuses situations en psychologie, on cherche à étudier des entités hypothétiques (construits ou traits), qui résultent d’une élaboration psycho-sociale et théorique: intelligence, personnalité, connaissances, compétences, dépression, motivation, intérêt, etc. Ces entités ne sont malheureusement pas directement accessibles (on ne peux pas les mesurer directement).

Question 20

Vrai ou faux, la validité de construit peut aussi être considéré comme une “mini théorie” ?

Answer 20

Les construits sont aussi considérés des «mini-théories» qui expliquent les relations entre différents concepts (ou contenus) évalués par les items.
On les appelle aussi «facteurs» (ou dimensions, ou composantes) qui sont expliqués par l’association entre les concepts (contenus) inhérent aux variables directement mesurables (les items).

Pourquoi ces construits peuvent être considéré des mini theorie: car on peut les tester, avec le modelage d’équation structurel!

Question 21

Qu’elles statistiques sont utilisées dans la validation de construit?

Answer 21

l’analyse multitrait-multiméthode;
l’analyse factorielle.

Question 22

Qu’est-ce que l’analyse multitrait-multiméthode ?

Answer 22

Une matrice de corrélation entre les résultats obtenus à différents traits (hétérotraits vs monotraits) et à différents méthodes (hétérométhode vs monométhode);

On s’attend à ce que la plus forte corrélation soit trouvé pour même trait-même méthode; et la plus faible corrélation soit trouvé pour traits différents-méthodes différentes;

Question 23

Qu’elles sont les limites de l’analyse multitrait-multiméthode?

Answer 23

Limite: demande beaucoup de temps de la part des sujets (faire plusieurs tests… Deux temps) + difficulté à trouver et faire la passation des plusieurs tests qui évaluent les mêmes traits.

Il y a toujours deux temps à la validité multitrait-multiméthode, qui sont représentés par les axes des abscisses (x) et des ordonnées (y)
Exemples de traits (A, B, C):
Dépression (A), Tristesse (B), Désespoir (C)
Exemples de méthodes (1, 2, 3):
Observation directe (Méthode 1), Questionnaire papier (Méthode 2), Entrevue semi-structurée (Méthode 3)

Question 24

Qu’est-ce que l’analyse factorielle?

Answer 24

Le rationnel de l’analyse factorielle est d’avoir au moins 3 (préférablement plus) variables observées (mesurées) qui sont corrélées entre elles sur une nouvelle variable (latente) qui retient l’essentiel de la variance commune. Cette nouvelle variable représente le facteur (voir le diapo «Relations entre différents concepts»). Questions typiques:

(1) Combien de facteurs l’analyse nous propose?
(2) Quel est le pourcentage d’explication de la variance?
(3) Est-ce que tous les items sont valides ou existe-il

Question 25

Le résultat du processus de validation de construit amène à quoi?

Answer 25

Comme vous pouvez bien noter, le résultat du processus de validation de construit n’amène pas à un indice statistique unique mais bien à plusieurs résultats qui doivent être interprétés en lien avec les éléments théoriques sur lesquels le test est basé.
La validité de construit d’un instrument sera plus facilement mesurable si la théorie utilisée est claire et bien définie.

Question 26

Qu’elles sont les 2 types de validité de construit?

Answer 26

• Validité convergente
• Validité discriminante

Question 27

Qu’est-ce que la validité convergente?

Answer 27

par exemple, tester la force de l’association entre les résultats des items de l’échelle cible et les autres qui mesurent le même construit. En ce sens, les résultats de l’outil devrait corréler avec les autres outils qui évaluent le même construit.

Question 28

Qu’est-ce que la validité discriminante?

Answer 28

par exemple, vérifier à quel point les résultats des items de l’échelle cible s’écarte d’autres mesures de construits différents. En ce sens, l’outil ne devrait pas corréler de façon importante avec ces autres construits.