Cours 9 - Validité

Question 1

Validation - intro

Définition générale ?

Answer 1

• La validité est le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement! (il ne peut pas mesure autre chose)
• Plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche étudier; alors, il est nécessaire de procéder au processus de validation.

(ex: étudier la dépression, on mesure des comportements qui sont la conséquence du phénomène, par le biais de cette conséquence, on trouve la synthèse des connaissance)
critique de l’expression combinaisaon linéaire = doit être linéaire (ex: avec Pearson), donc, on dit synthèse plutôt

Question 2

Validation - intro

La validité ne concerne pas l’instrument de mesure lui-même (alors, c’est pas l’instrument que c’est valide), mais plutôt …

Answer 2

l’interprétation des résultats associés à ses items:
le processus de validation est une façon de déterminer le niveau de certitude qu’on peut avoir, en s’appuyant aux indices obtenus.

l’instrument est pas valide, mais ses items, oui.

Question 3

Validation - intro

La validité ne concerne pas l’instrument de mesure lui-même (alors, c’est pas l’instrument que c’est valide), mais plutôt le … ?

Answer 3

contexte de son utilisation (clientèle et conditions en générales) :
- on doit dire qu’on a démontré de preuves de validité avec telle clientèle et avec telles conditions. La validité d’un instrument psychométrique est lié au contexte dans lequel le processus de l’accumulation de preuves a été effectué.
- l’évaluation de la validité est un processus continu d’accumulation de «preuves» ou «d’évidences».

l’instrument est pas valide, mais son contexte d’utilisation, oui.

Question 4

Validation - intro

Il faut arrêter de considérer le nom du test comme une «preuve» ou «évidence» de ce que le test mesure …

ex; questionnaire de dépression Québec

Answer 4

Un test n’est jamais valide à 100%; la validité n’est pas une affaire de «tout ou rien» (valide ou pas valide), mais plutôt une question de «degré», selon les indices de validité vérifiés.

existe pas 100% valide

Question 5

Validation - intro

Il existe de multiples méthodes statistiques (et quelques uns non strictement statistiques) pour étudier le degré de validité des instruments psychométriques (psychologiques);
En ce qui concerne les preuves (les évidences), actuellement les … commencent à exiger, spécifiquement, …, des preuves de validité basées sur :

Answer 5

Standards (2014)
«cinq sources de preuves»,
** (a) le contenu du test **
(b) les processus de réponse,
** (c) la structure interne **
**(d) les relations avec d’autres variables **
(e) les conséquences du test.

b) processus de réponse : si qqn est déprimé, tendance à être plus accord avec les questions qui touche la dépression.
e) les conséquences du test : la passation d’un test peut avoir des conséquences négatives ou positives pour notre société

Question 6

Validation - intro

Image Chapanis (1951)

Answer 6

fidèle - non valide
peu fidèle - valide
non fidèle - non valide
fidèle - valide

• nuage de point concentré = fidélité
• englobe une bonne partie de la variance que le construit couvre = validité

Question 7

Validité de contenu

Définition ?

Answer 7

faire référence à toutes les facettes d’un concept donné
fait référence à la manière dont un instrument évalue tous les aspects théoriques du concept qu’il est censé mesurer.

Par exemple, une échelle de dépression peut manquer de validité de contenu si elle n’évalue que la dimension affective (anesthésie affective) de la dépression et ne prend pas en compte la dimension conative (ou comportementale = perte de l’initiative).

Autre exemple : si intelligence a deux grandes dimensions : verbal et non-verbal. Mesurer juste intelligence non-verbal, on pert de la validité

Question 8

Validité de contenu

La validité de contenu nécessite …
Les experts sont des personnes qui…
Les juges-experts sont …

Answer 8

le recours à des experts reconnus en la matière pour évaluer si les items du test évaluent un contenu défini.

ont une connaissance reconnue du concept à mesurer et préférablement qui ont aussi une expertise dans l’élaboration d’instrument de mesure.

normalement invités à se prononcer sur le contenu de chaque énoncé, soit:
clarté,
représentativité,
exhaustivité,
dimensionnalité et
pertinence

représentativité :
exhaustivité : couvre tout le construit ?
dimentionnalité : combiens de facteurs sont intrinsèques dans la théorie ?
pertinence : item écrit comme ça, à l’aise de répondre ?

Question 9

Validité de contenu

La validité de contenu est la plus souvent abordée dans

Answer 9

les tests académiques et professionnels
où les items du test doivent refléter les connaissances réellement requises pour un domaine.

Question 10

Validité de contenu

Dans un contexte clinique, la validité de contenu fait référence à ?

Answer 10

la correspondance entre les items (contenus) du test et le contenu des symptômes d’une maladie (par exemple)…

Question 11

Validité de contenu

CLINIQUE ? Ce type de validité fait référence à la manière dont un instrument évalue tous les aspects théoriques du concept qu’il est censé mesurer. Procédure ?

Answer 11

Alors, présenter aux évaluateurs (juges experts) une synthèse solide de la théorie du trait latent pourrait bien les aider à mieux évaluer le contenu des items, selon nos propres bases théoriques.

Cette validité est supposée pouvoir évaluer dans quelle mesure un instrument couvre toutes les parties pertinentes du concept qu’il vise à mesurer.

Question 12

Validité de contenu

Lawshe (1975)

Answer 12

méthode permettant d’évaluer l’accord entre les évaluateurs
Lawshe (1975) a proposé que chacun des experts réponde à la question suivante (dans un contexte de connaissance, par exemple), pour chaque item : «La connaissance mesurée par cet item est-elle “essentielle”, “utile, mais pas essentielle” ou “pas nécessaire (aux objectifs spécifiques du test) ?»

Selon Lawshe (1975), si plus que la moitié des juges-experts indiquent qu’un item (contenu) est essentiel, cet item a au moins une certaine validité de contenu. Le niveau de validité du contenu est d’autant plus élevé qu’un plus grand nombre de panélistes s’accordent à dire qu’un item particulier est essentiel.

Question 13

Validité de contenu

• Lawshe (1975) a développé une formule appelée “…”
• expliquer les variables ?
• interpétation ?

CVR = (ne - N/2)/(N/2)

Answer 13

ratio de validité de contenu

CVR = ratio de validité de contenu;
ne = nombre de juges indiquant que la connaissance est «essentielle»;
N = nombre total de juges.

Les résultats de cette formule varient entre -1 et +1 ;
Les valeurs positives indiquent qu’au moins la moitié des spécialistes ont jugé l’item comme essentiel.
Le CVR moyen pour l’ensemble des items peut être utilisé comme indicateur de la validité globale du contenu du test.

Question 14

Validité de contenu

Finalement, en ce qui concerne l’évaluation du contenu des tests, les Standards (2014) laissent entendre que …

Answer 14

les preuves basées sur le contenu d’un test peuvent inclure des analyses empiriques à partir de la relation entre le contenu de chaque item et sa pertinence pour le domaine d’étude :
«Les preuves fondées sur le contenu du test peuvent provenir de jugements d’experts sur la relation entre certaines parties du test et les concepts[dimensions]»

Question 15

Validation pragmatique

Selon Balbinotti (2005), normalement, on examine ce type de validité lors de …

Answer 15

la construction de l’instrument de mesure (choix initial des contenus des items).

Question 16

Validation pragmatique

Définition

Answer 16

la capacité d’un instrument à prédire (aussi explicite et invariable que possible) le niveau de performance (comportement) d’un groupe d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement.

Question 17

Validation pragmatique

Exemple classique

Answer 17

l’évaluation du QI et le succès professionnel.
«Les résultats des tests indiquent-ils les résultats
qu’ils sont censés indiquer ?»
on s’attend à ce que la variance soit partagée

Question 18

Validation pragmatique

Procédure pour évaluer la validité pragmatique d’un instrument … ?

Answer 18

la procédure la plus simple consiste à calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents, par exemple :
- deux passations de tests au moment présent (virtuellement simultané); ou,
- deux passations de tests : une au moment présent et l’autre au «future».

Question 19

Validation pragmatique

on peut aussi utiliser une méthode issue de l’approche corrélationnelle, laquelle ?
objectifs est ?

Answer 19

l’analyse de régression
précisément de prédire la variance d’une variable (présente ou future) par le biais d’une (ou plusieurs) variable indépendante.

pas de cause-effet, pseudo cause-effet à cause du vecteur directionnel

Question 20

Validation pragmatique

Évaluer cette qualité psychométrique de l’ensemble des items d’un instrument signifie précisément … ?

Answer 20

déterminer dans quelle mesure les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (pourcentage de variance prédite ou «expliquée» : r2 ou R2).

Question 21

Validation pragmatique

2 types de validité pragmatiques ?

Answer 21

Validité concomitante/concourante: on détermine le degré d’association entre les scores obtenus au test et les scores obtenus à une mesure de référence, ou critère (l’administration du test et de la mesure du critère pratiquement en même temps – temps présent);

Validité prédictive: on évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier);

Question 22

Validation pragmatique

Les statistiques habituellement utilisées ? (2)

Answer 22

• Coefficient de Détermination (r2) : pourcentage d’explication de la variance entre deux mesures, sans considérer l’ordre des mesures;
  (Pearson, Spearman, bidirectionnelle)
• Corrélation Multiple au carré (R2) : pourcentage d’explication de la variance entre deux (ou plusieurs) mesures, en considérant l’ordre des mesures, unidirectionnelle
  Divisé en deux :
• corr. multiple simple : une var indép.(x) et une dép. (y)
• corr. multiple multiple : plusieurs var. indép. (x) et une seule dép. (y), se fait par la combinaison linéaire des variables indép. (x) associé à la var. dép. (y)

Question 23

Validation de construit

Définition ?

La plus importante !
Structure interne !

Answer 23

• la justesse/certitude avec laquelle l’ensemble d’items d’un instrument de mesure psychologique permet d’obtenir des résultats conformes aux concepts (ou construits, ou traits) définis par son contexte théorique.
• cette validité indique dans quelle mesure les énoncés d’un instrument sont cohérents (structure interne) avec la théorie

Question 24

Validation de construit

Le construit

Answer 24

• Dans de nombreuses situations en psychologie, on cherche à étudier des entités hypothétiques qui résultent d’une élaboration psycho-sociale et théorique
• Ces entités ne sont malheureusement pas directement mesurable
• Les construits peuvent aussi être considérés des «mini-théories» qui expliquent les relations entre différents concepts (ou contenus) évalués directement par les items et les dimensions.
• Les dimensions sont aussi appelées «facteurs» (ou construits, ou traits latents, ou variable latentes, ou autres, dépendamment des auteurs) qui sont expliqués par la combinaison linéaire des contenus des items (l’association entre les concepts, contenus – les variables directement mesurables) ou même la combinaison linéaire d’autres construits.

Question 25

Validation de construit

p.26 - les 4 modèles d’explication d’un phénomène psychologie

Locus de contrôle (entité hypothétique) divisé en 3 dimensions :
Grande force, externe, interne

Answer 25

1e ordre - Relations entre tous les cercles et tous les carrés = monde exploratoire. On n’ose pas dire qu’une corrélation existe ou n’existe pas. On explore quelles sont les corrélation qui marchent et marchent pas. Le LOC est présent dans le modèle.
2e ordre - LOC pas présent, corrélations entre les 3 dimensions et tout avec tout. Si celui-là s’adapte mieux que le premier, on ne peut pas parler du LOC.
3e ordre - LOC pas présente, permettre ou pas permettre l’association entre certains items et dimensions, juste les corrélations qui fonctionnent, confirmatoire, mini théorie
4e ordre - LOC présent, confirmatoire

petits carrés = items
petits cercles = erreurs

relation plus grande entre item erreur que entre item et dimension, ?

Question 26

Validation de construit

Les façons robustes de calculer la validité de construit (toujours issues de l’approche corrélationnelle): (2)

Answer 26

• l’analyse multitrait-multiméthode;
• l’analyse factorielle.

Question 27

Validation de construit

L’analyse multitrait-multiméthode
C’est quoi ?
Limite ?
Il y a toujours deux temps à la validité multitrait-multiméthode, qui sont représentés par les axes des abscisses (x) et des ordonnées (y) ?

voir p.30 !

Answer 27

Une matrice de corrélation entre les résultats obtenus à différents traits (hétérotraits vs monotraits) et à différents méthodes (hétérométhode vs monométhode);

On s’attend à ce que la plus forte corrélation soit trouvé par le calcule «même trait-même méthode»; et la plus faible corrélation soit trouvé pour traits différents-méthodes différentes;

LIMITES =
temps (faire plusieurs tests… Deux temps)
+ difficulté à trouver et faire la passation des plusieurs tests qui évaluent les mêmes traits.

Exemples de traits (A, B, C):
Dépression (A), Tristesse (B), Désespoir (C)

Exemples de méthodes (1, 2, 3):
Observation directe (Méthode 1),
Questionnaire papier (Méthode 2),
Entrevue semi-structurée (Méthode 3)

Question 28

Validation de construit

L’analyse factorielle
C’est quoi ?
Questions typiques ?

p.32 et 33 !

Answer 28

Le rationnel de l’analyse factorielle est d’avoir minimalement 3 variables observées (préférablement plus) qui soient expliquées par une variable latente (variable qui retient l’essentiel de la variance commune, variance vraie). Cette variable latente est représentée par le facteur.

(1) Combien de facteurs l’analyse nous propose?
(2) Quel est le pourcentage d’explication de la variance?
(3) Est-ce que tous les items sont valides ou existe-il des items nécessitant une reformulation/exclusion?

Question 29

Validation de construit

2 types de validité de construit ?

Answer 29

• Validité convergente : par exemple, tester la force de l’association entre les résultats des items de l’échelle cible et les autres qui mesurent le même construit. En ce sens, les résultats de l’outil devrait corréler avec les autres outils qui évaluent le même construit. (élevée)
• Validité discriminante : par exemple, vérifier à quel point les résultats des items de l’échelle cible s’écarte d’autres mesures de construits différents. En ce sens, l’outil ne devrait pas corréler de façon importante avec ces autres construits. (pas élevée)