Cours 09 - Validité

Question 1

Quelle est la définition générale de la validité?

Answer 1

La validité est le degré avec lequel un test mesure ce qu’il prétend mesurer, ET CELA SEULEMENT.

Question 2

Que fait-on lorsque plusieurs instruments ne permettent pas d’observer directement?

Answer 2

Il est nécessaire de procéder au processus de validation (la synthèse/combinaison linéaire des comportements qui seront en relation avec le phénomène qu’on souhaite mesurer).

Question 3

La validité concerne l’instrument lui-même. V ou F?

Answer 3

Faux. Il ne concerne pas l’instrument de mesure lui-même, mais plutôt..

1) l’interprétation des résultats associés à ses items. Ce sont donc les items qui sont valides.

2) le contexte de son utilisation (clientèle en général). On doit démontré des preuves de validité avec telle clientèle et avec telles conditions.

Question 4

Le processus de validation est une façon de déterminer quoi?

Answer 4

Le niveau de certitude qu’on peut avoir, en s’appuyant aux indices obtenus.

Question 5

L’évaluation de la validité est un processus…?

Answer 5

continu d’accumulation de preuves ou d’évidences.

Question 6

Le nom du test est-elle une preuve ou une évidence de ce que le test mesure?

Answer 6

Non.

Question 7

Un test peut-il être valide à 100%?

Answer 7

Non. Ce n’est pas une affaire de tout ou rien, mais plutôt une question de DEGRÉ, selon les indices de validité vérifiés.

Question 8

Il existe de multiples méthodes statistiques pour étudier le degré de validité des instruments psychométriques.

En ce qui concerne les preuves (évidences), les Standards (2014) commencent à exiger, spécifiquement :

Answer 8

5 sources de preuves… des preuves de validité basées sur, soit :

1) le contenu du test
2) les processus de réponse
3) la structure interne
4) les relations avec d’autres variables
5) les conséquences du test

Question 9

Quelles sources de preuve/évidence sont les plus fondamentales?

Answer 9

Indices de contenu
Indices des relations avec d’autres variables
Indices de structure interne

Question 10

Dans un graphique circulaire, pour dire que notre test est valide et fidèle, où les points (des répondants) doivent se situer?

Answer 10

Concentré dans le milieu… il sera fidèle puisque tous les nuages de points seront concentrés à un endroit et valide puisqu’elle couvrira l’ensemble de la variance du phénomène que l’on souhaite mesurer (soit le point central).

Question 11

En psychométrie, la validité de contenu (aussi appelée ____), doit faire référence à quoi?

Answer 11

validité logique

à toutes les facettes d’un concept donné.

(Je dois prendre en compte toutes les dimensions du concept mesuré… ex. pour évaluer la dépression; je dois prendre en compte l’appétit, la tristesse, le sommeil, etc.)

Question 12

La validité de contenu nécessite le recours à qui?

Answer 12

aux experts reconnus en la matière pour évaluer si les items du test évaluent un contenu défini.

Question 13

Les experts sont des personnes qui ont une connaissance reconnue de quoi?

Answer 13

du concept à mesurer et préférablement qui ont aussi une expertise dans l’élaboration d’instrument de mesure.

Question 14

Les juges-experts sont normalement invités à se prononcer sur quoi?

Answer 14

Le contenu de CHAQUE énoncé, soit sur leur
1) clarté
2) représentativité
3) exhaustivité
4) dimensionnalité
5) pertinence

Question 15

La validité de contenu est la plus souvent abordée dans quoi?

Answer 15

Les tests académiques et professionnels, où les items du test doivent refléter les connaissances réellement requises pour un domaine.

Question 16

Dans un contexte clinique, la validité de contenu fait référence à quoi?

Answer 16

À la correspondance entre les items (contenus) du test et le contenu des symptômes d’une maladie.

Question 17

La validité de contenu fait référence à la manière dont un instrument évalue quoi?

Answer 17

Tous les aspects théoriques du concept qu’il est censé mesurer. Il faut présenter aux évaluateurs une synthèse solide de la théorie du trait latent afin d’aider l’évaluation du contenu des items.

À quel point un instrument couvre toutes les parties pertinentes du concept qu’il vise à mesurer.

Question 18

Une méthode bien connue et encore utilisée pour mesurer la validité de contenu est :
Développée par qui?

Answer 18

Méthode permettant d’évaluer l’accord entre les évaluateurs.

Question 19

La méthode permettant d’évaluer l’accord entre les évaluateurs a été développée par qui et que propose t-elle?

Answer 19

Lawshe (1975). Il propose que chaque expert réponde à cette question : La connaissance mesurée par cet item est-elle “essentielle”, “utile, mais pas essentielle”, ou “pas nécessaire” (aux objectifs spécifiques du test)?

Si plus de la moitié des experts indiquent qu’un item est essentiel, cet item a une certaine validité de contenu.

Question 20

Lawshe a développé une formule appelée “ratio de validité de contenu”..

quelle est la formule?

les résultats varieront entre quoi?

Answer 20

CVR = (ne - N/2)/(N/2)

Les résultats vont varier entre -1 et 1. Une valeur positive signifie qu’au moins la moitié des spécialistes ont jugé l’item comme essentiel.

Question 21

Le CVR (Ratio de validité de contenu) peut être utilisé comme indicateur de validité par item, mais aussi de quoi?

Answer 21

de la validité globale du contenu du test.

Question 22

Les preuves basées sur le contenu d’un test peuvent inclure quoi?

Answer 22

des analyses empiriques à partir de la relation entre le contenu de chaque item et sa pertinence pour le domaine d’étude.

Question 23

Selon Balbinotti, normalement, on examine la validité de contenu quand?

Answer 23

Lors de la construction de l’instrument de mesure.

Question 24

Explique-moi la validation pragmatique.

Answer 24

Cette validation désigne la capacité d’un instrument à prédire (aussi explicite et invariable possible) le niveau de performance (comportement) d’un groupe d’individus par rapport à des situations qu’ils rencontreront ultérieurement.

ex. évaluation du QI permet de prédire le succès professionnel plus tard (critère et prédicteur)

Question 25

Pour évaluer la validité pragmatique d’un instrument, la procédure la plus simple consiste à faire quoi?

Answer 25

À calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents : deux passations au moment présent ou deux passations de test au moment présent et futur

Question 26

Pour évaluer la validité pragmatique d’un instrument, on peut aussi utiliser une méthode issue de l’approche corrélationnelle, soit…

Answer 26

L’analyse de régression, dont on veut prédire la variance d’une variable par le biais d’une variable indépendante (va pouvoir donner une pseudo cause-effet).

Question 27

Évaluer la validation pragmatique signifie précisément de déterminer dans quelle mesure…

Answer 27

les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (% de variance prédite ou expliquée : r2 ou R2)

Question 28

Il y a deux types de validation pragmatique, quelles sont-elles?

Answer 28

Validité concomitante/courante
Validité prédictive

Question 29

Explique-moi la validité concomitante/courante

Answer 29

On détermine le degré d’association entre les scores obtenus au test et les scores obtenus à une mesure de référence (administration du test et de la mesure du critère pratiquement en même temps)

Question 30

Explique-moi la validité prédictive

Answer 30

On évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère séparée d’un laps de temps important)

Question 31

Quelles sont les statistiques habituellement utilisées pour la validation pragmatique?

Answer 31

Le coefficient de détermination (r2) ; % d’explication de la variance entre deux mesures, sans considérer l’ordre des mesures

La corrélation multiple au carré (R2) ; % d’explication de la variance entre deux mesures, en considérant l’ordre des mesures

Question 32

La validité de construit est définie comme étant quoi?

Answer 32

Comme étant la justesse ou la certitude avec laquelle l’ensemble d’items d’un instrument de mesure psychologique permet d’obtenir des résultats conformes aux concepts définis par son contexte théorique.

Question 33

La validité de construit nous indique quoi?

Answer 33

Elle nous indique dans quelle mesure les énoncés d’un instrument (la combinaison linéaire des items) sont cohérents (structure interne) avec la théorie.

Question 34

Quelle validité est LA plus importante?

Answer 34

La validité de construit. Sa rigueur méthodologique est incomparable.

Question 35

Les construits peuvent aussi être considérés comme quoi?

Answer 35

Des mini-théories qui expliquent les relations entre différents concepts évalués directement par les items et les dimensions.

Question 36

Les dimensions (dans la validité de construit) sont aussi appelé comment?

Answer 36

Ils sont aussi appelés facteurs (ou construits, ou traits latents) qui sont expliqués par la combinaison linéaire des contenus des items ou même la combinaison linéaire d’autres construits.

Question 37

Les façons robustes de calculer la validité de construit sont toujours issues de quelle approche?

Lesquelles?

Answer 37

L’approche corrélationnelle

L’analyse multitrait-multiméthode
L’analyse factorielle

Question 38

Explique-moi l’analyse multitrait-multiméthode.

Answer 38

C’est une matrice de corrélation entre les résultats obtenus a différents traits et a différentes méthodes. (Corrélations la plus forte lorsque l’on calcule même trait, même méthode VS différent trait, différente méthode).

Question 39

Nomme-moi une limite de l’analyse multitrait-multiméthode.

Answer 39

Elle demande beaucoup de temps de la part des sujets

Difficulté a trouver et faire la passation des plusieurs tests qui évaluent les mêmes traits.

Question 40

Il y a toujours combien de temps a la validité multitrait-multiméthode?

Answer 40

2 temps, représentés par les axes des abscisses (x) et des ordonnées (y)

Question 41

Parle-moi de l’analyse factorielle.

Answer 41

Le rationnel de l’analyse factorielle est d’avoir minimalement 3 variables observées qui soient expliquées par une variable latente. Cette variable latente est représentée par le facteur.

Question 42

Quelles sont des questions typiques d’une analyse factorielle? (3)

Answer 42

1) Combien de facteurs l’analyse nous propose?

2) Quel est le pourcentage d’explication de la variance?

3) Est-ce que tous les items sont valides ou existe-il des items nécessitant une reformulation ou une exclusion?

Aller voir diapo 32 (cours 9)

Question 43

Le résultat du processus de validation de construit amène a un indice statistique unique. V ou F?

Answer 43

Faux. Le processus de validation de construit amène a plusieurs résultats qui doivent être interprétés en lien avec les éléments théoriques sur lesquels le test est basé.

Question 44

La validité de construit d’un instrument (ensemble de preuves de validité) sera plus facilement mesurable si quoi?

Answer 44

Si la théorie utilisée est claire et bien définie.

Question 45

Il y a deux types de validité de construit. Nomme-moi quels sont-ils.

Answer 45

La validité convergente et la validité discriminante.

Question 46

Explique-moi la validité convergente.

Answer 46

Tester la force de l’association entre les résultats des items de l’échelle cible et les autres qui mesurent le même construit (on veut qu’elle soit forte la corrélation).

Question 47

Explique-moi la validité discriminante.

Answer 47

Vérifier a quel point les résultats des items de l’échelle cible s’écarte d’autres mesures de construits différents (on veut qu’elle soit faible la corrélation).