Cours 9

Question 1

Quelle est la définition générale de la validité?

Answer 1

La validité est le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement!

Question 2

Pourquoi est-il nécessaire de procéder au processus de validation?

Answer 2

Car plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche étudier

Question 3

La validité ne concerne pas l’instrument de mesure lui-même (alors, ce n’est pas l’instrument que c’est valide), mais plutôt _____________________ (2 + explications).

Answer 3

L’interprétation des résultats associés à ses items
- Le processus de validation est une façon de déterminer le niveau de certitude qu’on peut avoir, en s’appuyant aux indices obtenus.

Le contexte de son utilisation
- On doit dire qu’on a démontré de preuves de validité avec telle clientèle et avec telles conditions.
La validité d’un instrument psychométrique est liée au contexte dans lequel le processus de l’accumulation de preuves a été effectué.

Question 4

L’évaluation de la validité est un _______________________ d’accumulation de _______________ ou _______________.

Answer 4

Processus continu

« preuves » ou « d’évidences »

Question 5

Comment faut-il arrêter de considérer le nom du test?

Answer 5

Comme une “preuve” ou “évidence” de ce que le test mesure.
Exemple : Le test de dépression de Beck mesure la variance de la dépression.

Question 6

Est-ce que la validité est une question de tout ou rien? Expliquez.

Answer 6

Un test n’est jamais valide à 100%; la validité n’est pas une affaire de « tout ou rien » (valide ou pas valide), mais plutôt une question de « degré », selon les indices de validité vérifiés.

Question 7

Que commencent à exiger les Standards (2014) concernant les preuves (exigences)?

Answer 7

Commence à exiger spécifiquement “cinq sources de preuves”, des preuves de validité basées sur:

a. Le contenu du test
b. Less processus de réponse
c. La structure interne
d. Les relations avec d’autres variables
e. Les conséquences du test.

Question 8

Parmi les 5, quelles sont les trois sources les plus fondamentales?

Answer 8

• Indices de contenu
• Indices des relations avec d’autres variables [pragmatique, critériée, prédictive]
• Indices de structure interne [construit, conceptuelle, théorique]

Question 9

Expliquez la source de preuve “les processus de réponse”

Answer 9

Les gens ont un patron de réponse, ne répondent pas au hasard. Exemple : quelqu’un de déprimé, il a une tendance à être + en accord avec des questions qui touchent la dépression.

Question 10

Expliquez la source de preuve “les conséquences du test”

Answer 10

Très peu étudié, la passation d’un test peut avoir des conséquences négatives ou positives pour la société

Question 11

En psychométrie, à quoi doit faire référence la validité de contenu?

Donnez un exemple.

Answer 11

En psychométrie, la validité de contenu (également connue comme validité logique) doit faire référence à toutes les facettes d’un concept donné.

Par exemple, une échelle de dépression peut manquer de validité de contenu si elle n’évalue que la dimension affective (anesthésie affective) de la dépression et ne prend pas en compte la dimension conative (ou comportementale = perte de l’initiative).

Exemple : Dans l’intelligence il y a deux grandes dimensions, soit une version verbale et non verbale. De juste mesurer l’intelligence de façon verbale fera en sorte qu’on perd de la validité.

Question 12

Que nécessite la validité de contenu?

Answer 12

La validité de contenu nécessite le recours à des experts reconnus en la matière pour évaluer si les items du test évaluent un contenu défini.

Les experts sont des personnes qui ont une connaissance reconnue du concept à mesurer et préférablement qui ont aussi une expertise dans l’élaboration d’instrument de mesure.

Question 13

Sur quoi les juges-experts sont-ils normalement invités à se prononcer?

Answer 13

Sur le contenu de chaque énoncé, soit:
- Clarté
- Représentativité (le contenu doit représenter la théorie)
- Exhaustivité
- Dimensionnalité
- Pertinence

Ces éléments sont donc généralement demandés aux juges.

Question 14

Dans quels domaines les test de validité de contenu est la plus souvent abordée?

Answer 14

La validité de contenu est la plus souvent abordée dans les tests académiques et professionnels, où les items du test doivent refléter les connaissances réellement requises pour un domaine.

Question 15

À quoi fait référence la validité de contenu dans un contexte clinique?
Donnez un exemple.

Answer 15

Dans un contexte clinique, la validité de contenu fait référence à la correspondance entre les items (contenus) du test et le contenu des symptômes d’une maladie (par exemple)
Ex : les items de dépressions doivent être en lien avec la dépression.

Question 16

La validité de contenu fait référence à la manière dont un instrument évalue _______________________________________.

Alors, ….

Answer 16

Tous les aspects théoriques du concept qu’il est censé mesurer

Alors, présenter aux évaluateurs (juges experts) une synthèse solide de la théorie du trait latent pourrait bien les aider à mieux évaluer le contenu des items, selon nos propres bases théoriques

Question 17

Qu’est-ce que la validité de contenu est supposée pouvoir évaluer?

Answer 17

Cette validité est supposée pouvoir évaluer dans quelle mesure un instrument couvre toutes les parties pertinentes du concept qu’il vise à mesurer (s’il en manque, perd de la validité)

Question 18

Qui a développé une méthode bien connue et encore utilisée pour mesurer la validité de contenu?

En quoi consiste cette méthode?

Answer 18

Lawshe (1975)

Il s’agit essentiellement d’une méthode permettant d’évaluer l’accord entre les évaluateurs.

Question 19

Qu’a proposé Lawshe (1975)?

Answer 19

Il a proposé que chacun des experts réponde à la question suivante (dans un contexte de connaissance, par exemple), pour chaque item :

« La connaissance mesurée par cet item est-elle « essentielle », “utile, mais pas essentielle” ou “pas nécessaire (aux objectifs spécifiques du test) ? »

Selon Lawshe (1975), si plus que la moitié des juges-experts indiquent qu’un item (contenu) est essentiel, cet item a au moins une certaine validité de contenu.

Le niveau de validité du contenu est d’autant plus élevé qu’un plus grand nombre de panélistes s’accordent à dire qu’un item particulier est essentiel.

Question 20

Quelle formule Lawshe (1975) a-t-il développé? Expliquez.

Answer 20

Ratio de validité de contenu

CVR = (ne - N/2)/(N/2)

CVR = ratio de validité de contenu
ne = nombre de juges indiquant que la connaissance est « essentielle »
N = nombre total de juges.

Les résultats de cette formule varient entre -1 et +1
Les résultats positifs indiquent qu’au moins la moitié des spécialistes ont jugé l’item comme essentiel.

Le CVR moyen pour l’ensemble des items peut être utilisé comme indicateur de la validité globale du contenu du test.

Question 21

Concernant l’évaluation du contenu des tests, que laissent entendre les Standards (2014)?

Answer 21

Les Standards (2014) laissent entendre que les preuves basées sur le contenu d’un test peuvent inclure des analyses empiriques à partir de la relation entre le contenu de chaque item et sa pertinence pour le domaine d’étude :

« Les preuves fondées sur le contenu du test peuvent provenir de jugements d’experts sur la relation entre certaines parties du test et les concepts [dimensions] »

Question 22

Selon Balbinotti (2005), quand utilisons-nous la validité de contenu?

Answer 22

Lors de la construction de l’instrument de mesure (choix initial des contenus des items).

Question 23

Que désigne la validation pragmatique?

Answer 23

Cette validation désigne la capacité d’un instrument à prédire (aussi explicite et invariable que possible) le niveau de performance (comportement) d’un groupe d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement.

Question 24

Dans la validité pragmatique, de quoi voulons-nous faire la relation?
Donnez un exemple.

Answer 24

On veut faire la relation de deux variables : une variable critère et la variable que nous voulons valider

Un exemple classique est celui qui concerne l’évaluation du QI et le succès professionnel
- On s’attend que la variance soit pas mal partagée entre ces 2 variables
- Si théoriquement parlant mon test de Qi est bon, il doit prédire le succès professionnel (on a un enfant avec un très haut Qi, devrait avoir un bon succès professionnel)

Question 25

Validation pramgatique:

« Les résultats des tests indiquent-ils ________________________________ ? »

Answer 25

Les résultats qu’ils sont censés indiquer

Question 26

En quoi consiste la procédure la plus simple pour évaluer la validité pragmatique?
Donnez un exemple.

Answer 26

Elle consiste à calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents, par exemple :

• Deux passations de tests au moment présent (virtuellement simultané); ou,
• Deux passations de tests : une au moment présent et l’autre au « futur ».

Question 27

Validité pragmatique:
Cette corrélation sera transformée en _______________________ (de ___ à ___), ce qui donnera un résultat qui est ___________________.

Answer 27

Coefficient de détermination

De r à r2

bidirectionnel

Question 28

Quelle autre méthode pouvons nous aussi utiliser normalement afin d’évaluer la validité pragmatique?

Answer 28

Une méthode issue de l’approche corrélationnelle: l’analyse de régression

Question 29

Quel est l’un des objectifs de l’analyse de régression?

Answer 29

Est précisément de prédire la variance d’une variable (présente ou future) par le biais d’une (ou plusieurs) variable indépendante.

Question 30

Que ne permet PAS l’analyse de régression?

Answer 30

Ne permet PAS la cause à effet, une pseudo-cause à effet à cause du vecteur directionnel.
Vecteur directionnel : déterminer VD (celle que je veux expliquer) et VI (celle que je veux utiliser pour expliquer la variable).

Question 31

Que signifie d’évaluer cette qualité psychométrique (validité) de l’ensemble des items d’un instrument?

Answer 31

Signifie précisément déterminer dans quelle mesure les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (pourcentage de variance prédite ou « expliquée » : r2 ou R2).

Question 32

Quels sont les deux types de validité pragmatique?

Answer 32

• Validité concomitante/concourante
• Validité prédictive

Question 33

Qu’est-ce que la validité concomitante/concourante?

Answer 33

On détermine le degré d’association entre les scores obtenus au test et les scores obtenus à une mesure de référence, ou critère (l’administration du test et de la mesure du critère pratiquement en même temps – temps présent)

Question 34

Qu’est-ce que la validité prédictive?

Answer 34

On évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier)

Question 35

Quelles sont les statistiques habituellement utilisées dans la validité pragmatique?

Answer 35

a. Coefficient de Détermination (r2) : pourcentage d’explication de la variance entre deux mesures, sans considérer l’ordre des mesures (Pearson)

b. Corrélation Multiple au carré (R2) : pourcentage d’explication de la variance entre deux (ou plusieurs) mesures, en considérant l’ordre des mesures.

Question 36

Expliquez la distinction entre le coefficient de détermination (r2) et la corrélation multiple au carré (R2).

Answer 36

r2 : Corrélation, ne considère pas l’ordre des mesures, bidirectionnelle.

R2 : Régression : Corrélation multiple au carré peut être soit simple ou multiple

• Corrélation multiple simple : fait la relation entre 2 variables, soit une VD et une autre VD.
  Résultat qui sort : le même résultat que Pearson. La seule différence est qu’il va y avoir une direction (pas bidirectionnel)
  Ma variable va expliquer combien de % de variance de mon critère?
• Corrélation multiple multiple: plusieurs variables indépendantes
  Résultat de la corrélation qui sort : pas pareil que Pearson.
  L’origine de cette corrélation va se faire par la combinaison linéaire des multiples variables indépendantes associée à la seule variable dépendante.
  Ex : c’est la combinaison linéaire des 5 VI associé à la VD

Question 37

Quelle validation nous intéresse normalement, et pour quelle raison?

Answer 37

La validation de construit, vu sa rigueur incomparable.

Question 38

Quelle est la définition de la validité de construit?

Answer 38

La justesse/certitude avec laquelle l’ensemble d’items d’un instrument de mesure psychologique permet d’obtenir des résultats conformes aux concepts (ou construits, ou traits) définis par son contexte théorique.

Question 39

Qu’indique la validité de construit?

Answer 39

Dans quelle mesure les énoncés d’un instrument sont cohérents (structure interne) avec la théorie.

Question 40

À quoi s’intéressons-nous dans la validité de construit?

Answer 40

On s’intéresse à la structure interne de l’instrument.

Question 41

Dans de nombreuses situations en psychologie, on cherche à étudier des ________________________________, qui résultent d’une _________________________________.

Answer 41

Entités hypothétiques (construits ou traits)

Élaboration psycho-sociale et théorique

Question 42

Qu’est-ce que entité hypothétique? Donnez des exemples.

Answer 42

Entité hypothétique/construit/variable latente : quelque chose que nous ne pouvons pas observer directement/ne sont pas accessibles directement.

Exemples:
- Intelligence
- Personnalité
- Connaissances
- Compétences
- Dépression
- Motivation
- Intérêt, etc.

Question 43

Lorsque l’on parle d’entité hypothétique, il faut penser à _______________________.

Answer 43

La validité de construit.

Question 44

Comment les construits peuvent aussi être considérés?

Answer 44

Des « mini-théories » qui expliquent les relations entre différents concepts (ou contenus) évalués directement par les items et les dimensions.

Question 45

Comment les dimensions sont-elles aussi appelées?

Answer 45

Les dimensions sont aussi appelées « facteurs » (ou construits, ou traits latents, ou variable latentes, ou autres, dépendamment des auteurs) qui sont expliqués par la combinaison linéaire des contenus des items (l’association entre les concepts, contenus – les variables directement mesurables) ou même la combinaison linéaire d’autres construits.

Question 46

Quelles sont les façons robustes de calculer la validité de construit (toujours issues de l’approche corrélationnelle)?

Answer 46

• Analyse multitrait-multiméthode;
• Analyse factorielle.

Question 47

Qu’est-ce que l’analyse multitrait-multiméthode?

Answer 47

Une matrice de corrélation entre les résultats obtenus à différents traits (hétérotraits vs monotraits) et à différents méthodes (hétérométhode vs monométhode);

Question 48

À quoi on s’attend dans l’analyse multitrait-multiméthode?

Answer 48

On s’attend à ce que :

• La plus forte corrélation soit trouvé par le calcul « même trait-même méthode »
  et
• La plus faible corrélation soit trouvé pour traits différents-méthodes différentes;

Question 49

Quelles sont les limites de l’analyse multitrait-multiméthode?

Answer 49

• Demande beaucoup de temps de la part des sujets (faire plusieurs tests… Deux temps)
• Difficulté à trouver et faire la passation des plusieurs tests qui évaluent les mêmes traits.

Question 50

Combien de temps à la validité multitraitement-multiméthode? Et par quoi sont-ils représentés?

Answer 50

Il y a toujours deux temps à la validité multitrait-multiméthode, qui sont représentés par les axes des abscisses (x) et des ordonnées (y)

Question 51

Quel est le rationnel de l’analyse factorielle?

Answer 51

Le rationnel de l’analyse factorielle est d’avoir minimalement 3 variables observées (préférablement plus) qui soient expliquées par une variable latente (variable qui retient l’essentiel de la variance commune, variance vraie).
Cette variable latente est représentée par le facteur.

Question 52

Quelles sont les questions typiques d’une analyse factorielle?

Answer 52

1. Combien de facteurs l’analyse nous propose? (propose : exploratoire)
2. Quel est le pourcentage d’explication de la variance?
3. Est-ce que tous les items sont valides ou existe-il des items nécessitant une reformulation/exclusion?

Question 53

Comme vous pouvez bien noter, le résultat du processus de validation de construit n’amène pas à ______________________, mais bien à ______________________________________.

Answer 53

Un indice statistique unique

Plusieurs résultats qui doivent être interprétés en lien avec les éléments théoriques sur lesquels le test est basé.

Question 54

La validité de construit d’un instrument (ensemble de preuves de validité) sera plus facilement mesurable ________________________________.

Answer 54

Si la théorie utilisée est claire et bien définie.

Question 55

Quelles sont les deux types de validité de construit?

Answer 55

• Validité convergente
• Validité discriminante

Question 56

Décrivez la validité convergente.

Answer 56

Par exemple, tester la force de l’association entre les résultats des items de l’échelle cible et les autres qui mesurent le même construit.

En ce sens, les résultats de l’outil devraient corréler avec les autres outils qui évaluent le même construit.

Question 57

Décrivez la validité discriminante.

Answer 57

Par exemple, vérifier à quel point les résultats des items de l’échelle cible s’écarte d’autres mesures de construits différents.

En ce sens, l’outil ne devrait pas corréler de façon importante avec ces autres construits.