Cours 9

Question 1

Quelle est la définition générale de la validité?

Answer 1

C’est le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement

Question 2

Pourquoi il est nécessaire de procéder au processus de validation?

Answer 2

Parce que plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche étudier

Question 3

La validité ne concerne pas l’instrument de mesure lui-même, mais plutôt? (2)

Answer 3

1) L’interprétation des résultats associés à ses items
2) le contexte de son utilisation

Question 4

Pourquoi la validité concerne l’interprétation des résultats associés à ses items?

Answer 4

Parce que le processus de validation est une façon de déterminer le niveau de certitude qu’on peut avoir, en s’appuyant aux indices obtenus

Question 5

Pourquoi la validité concerne le contexte de l’utilisation de l’outil? (2)

Answer 5

1) On doit dire qu’on a démontré de preuves de validité avec telle clientèle et avec telles conditions. La validité d’un instrument psychométrique est lié au contexte dans lequel le processus de l’accumulation de preuves a été effectué
2) L’évaluation de la validité est un processus continu d’accumulation de “preuves” ou “d’évidence”

Question 6

Pourquoi un test n’est jamais valide à 100% ?

Answer 6

Parce que la validité n’est pas une affaire de “tout ou rien”, mais plutôt une question de “degré”, selon les indices de validité vérifiés

Question 7

Quels sont les “5 sources de preuves” selon Standards (2014)?

Answer 7

Validité basée sur :
1) le contenu du test
2) les processus de réponse
3) la structure interne
4) les relations avec d’autres variables
5) les conséquences du test

Question 8

Quelles sont les 3 sources de validité les plus fondamentales?

Answer 8

1) Indices de contenu
2) Indices des relations avec d’autres variables
3) Indices de structure interne

Question 9

Quels sont les autres noms pour les indices des relations avec d’autres variables?

Answer 9

Pragmatique, critériée et prédictive

Question 10

Quels sont les autres noms pour les indices de structure interne?

Answer 10

Construit, conceptuelle et théorique

Question 11

En psychométrie, la validité de contenu doit faire référence à quoi? Et donne un exemple.

Answer 11

À toutes les facettes d’un concept donné,
Par exemple, une échelle de dépression peut manquer de validité de contenu si elle n’évalue que la dimension affective de la dépression et ne prend pas en compte la dimension conative.

Question 12

Nomme un autre nom de la validité de contenu?

Answer 12

Validité logique

Question 13

La validité de contenu nécessite quoi?

Answer 13

Nécessite le recours à des experts reconnus en la matière pour évaluer si les items du test évaluent un contenu défini

Question 14

Qui sont les experts de la validité de contenu?

Answer 14

Les experts sont des personnes qui ont une connaissance reconnue du concept à mesurer et préférablement qui ont aussi une expertise dans l’élaboration d’instrument de mesure.

Question 15

Les juges-experts sont invités à se prononcer sur quelles dimensions du contenu de chaque énoncé? (5)

Answer 15

1) Clarté
2) représentativité
3) exhaustivité
4) dimensionnalité
5) pertinence

Question 16

La validité de contenu est la plus souvent abordée dans quel type de test?

Answer 16

Les tests académiques et professionnels, où les items du test doivent refléter les connaissances réellement requises pour un domaine

Question 17

Dans un contexte clinique, la validité fait référence à quoi?

Answer 17

À la correspondance entre les items (contenus) du test et le contenu des symptômes d’une maladie

Question 18

Qu’est-ce que la validité de contenu?

Answer 18

Elle fait référence à la manière dont un instrument évalue tous les aspects théoriques du concept qu’il est censé mesurer

Question 19

Qu’est-ce qui permettrait de mieux évaluer le contenu des items?

Answer 19

Présenter aux évaluateurs une synthèse solide de la théorie du trait latent

Question 20

La validité de contenu est supposée pouvoir évaluer quoi?

Answer 20

Dans quelle mesure un instrument couvre toutes les parties pertinentes du concept qu’il vise à mesurer

Question 21

Qui a développer une méthode bien connue et encore utilisée pour mesurer la validité de contenu? Et elle permet quoi?

Answer 21

Lawshe (1975), elle permet d’évaluer l’accord entre les évaluateurs

Question 22

Quelle est la question que Lawshe a proposé que chacun des experts réponde pour chaque item?

Answer 22

La connaissance mesurée par cet item est-elle “essentielle”, “utile, mais pas essentielle” ou “ pas nécessaire”?

Question 23

Comment fonctionne la méthode de Lawshe?

Answer 23

Si plus de la moitié des juges-experts indiquent qu’un item est essentiel, cet item a au moins une certaine validité de contenu. Le niveau de validité de contenu est d’autant plus élevé qu’un plus grand nombre de panélistes s’accordent à dire qu’un item particulier est essentiel.

Question 24

Comment s’appelle la formule développée par Lawshe?

Answer 24

Ratio de validité de contenu

Question 25

Quelles sont les règles du ratio de validité de contenu?

Answer 25

1) Les résultats de cette formule varient entre -1 et 1
2) Les valeurs positives indiquent qu’au moins la moitié des spécialistes ont jugé l’item comme essentiel
3) Le CVR moyen pour l’ensemble des items peut être utilisé comme indicateur de la validité globale du contenu du test

Question 26

En ce qui concerne l’évaluation du contenu des tests, les Standards laissent entendre quoi?

Answer 26

Que les preuves basées sur le contenu d’un test peuvent inclure des analyses empiriques à partir de la relation entre le contenu de chaque item et sa pertinence pour le domaine d’étude. Les preuves fondées sur le contenu du test peuvent provenir de jugements d’experts sur la relation entre certaines parties du test et les concepts

Question 27

à quel moment on examine la validité de contenu?

Answer 27

Lors de la construction de l’instrument de mesure, lors du choix initial des contenus des items

Question 28

Qu’est-ce que la validation pragmatique?

Answer 28

Elle désigne la capacité d’un instrument à prédire le niveau de performance d’un groupe d’individus par rapport à des situations qu’ils rencontreront ultérieurement

Question 29

Quel est l’exemple classique de la validation pragmatique?

Answer 29

L’évaluation du QI et le succès professionnel

Question 30

Quel est la procédure la plus simple pour évaluer la validité pragmatique d’un instrument?

Answer 30

Elle consiste à calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents, soit,
1) 2 passations de tests au moment présent (virtuellement simultané)
2) 2 passations de tests, une au moment présent et l’autre au “future”

Question 31

Quel est la méthode issue de l’approche corrélationnelle afin d’évaluer la validation pragmatique?

Answer 31

L’analyse de régression, dont un des objectifs est précisément de prédire la variance d’une variable par le biais d’une variable indépendante

Question 32

Quels sont les 2 types de validité pragmatique?

Answer 32

1) Validité concomitante/concourante
2) Validité prédictive

Question 33

Qu’est-ce que la validité concomitante?

Answer 33

On détermine le degré d’association entre les scores obtenus au test et les scores obtenus à une mesure de référence, ou critère, soit l’administration du test et de la mesure du critère pratiquement en même temps

Question 34

Qu’est-ce que la validité prédictive?

Answer 34

On évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future, soit l’administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier

Question 35

Quelles sont les statistiques habituellement utilisées lors de la validation pragmatique?

Answer 35

1) Coefficient de détermination (r2), pourcentage d’explication de la variance entre deux mesures, sans considérer l’ordre des mesures
2) Corrélation Multiple au carré (R²), pourcentage d’explication de la variance entre deux mesures, en considérant l’ordre des mesures

Question 36

Quels sont les 2 types de corrélation multiple au carré?

Answer 36

1) simple, soit la relation entre 2 variable, dépendante et indépendante
2) Multiple, 2 ou plus de variables indépendants,

Question 37

Qu’est-ce que la validité de construit?

Answer 37

Elle est définie comme étant la justesse/certitude avec laquelle l’ensemble des items d’un instrument de mesure psychologique permet d’obtenir des résultats conformes aux concepts définis par son contexte théorique. DONC, cette validité indique dans quelle mesure les énoncés d’un instrument sont cohérents avec la théorie (structure interne)

Question 38

Qu’est-ce qu’une entité hypothétique?

Answer 38

Tout ce qui n’est pas directement accessible

Question 39

Les construits peuvent être considérées comme quoi et pourquoi?

Answer 39

Comme des “mini-théories”, puisqu’ils expliquent les relations entre différents concepts évalués directement par les items et les dimensions

Question 40

Quels sont les façons robustes de calculer la validité de construit?

Answer 40

1) L’analyse multitrait-multiméthode
2) L’analyse factorielle

Question 41

Qu’est-ce que l’analyse multitrait-multiméthode?

Answer 41

Une matrice de corrélation entre les résultats obtenus à différents traits et à différentes méthodes

Question 42

à quoi d’attend-t-on d’une analyse multitrait-multiméthode?

Answer 42

On s’attend à ce que la plus forte corrélation soit trouvé par le calcul “même trait-même méthode” et la plus faible corrélation soit trouvé pour traits différents-méthodes différentes

Question 43

Quel est la limite de l’analyse multitrait-multiméthode?

Answer 43

Elle demande beaucoup de temps de la part des sujets et demande une certaine difficulté à trouver et faire la passation des plusieurs tests qui évaluent les mêmes traits

Question 44

Quel est le rationnel de l’analyse factorielle?

Answer 44

C’est d’avoir minimalement 3 variables observées (préférablement plus) qui soient expliquées par une variable latente. Cette variable latente est représentée par le facteur.

Question 45

Quelles sont les questions typiques d’une analyse factorielle?

Answer 45

1) Combien de facteurs l’analyse nous propose?
2) Quel est le pourcentage d’explication de la variance?
3) Est-ce que tous les items sont valides ou existe-t-il des items nécessitant une reformulation/exclusion?

Question 46

La validité de construit d’un instrument sera plus facile si …

Answer 46

La théorie utilisée est claire et bien définie

Question 47

Quels sont les 2 types de validité de construit?

Answer 47

1) Validité convergente
2) Validité discriminante

Question 48

Qu’est-ce que la validité convergente?

Answer 48

Tester la force de l’association entre les résultats des items de l’échelle cible et les autres qui mesurent le même construit. En ce sens, les résultats de l’outil devrait corréler avec les autres outils qui évaluent le même construit

Question 49

Qu’est-ce que la validité discriminante?

Answer 49

Vérifier à quel point les résultats des items de l’échelle cible s’écarte des autres mesures de construits différents. En ce sens, l’outil ne devrait pas corréler de façon importante avec ces autres construits