Cours 9 - Validité Flashcards
Validation - intro
Définition générale ?
- La validité est le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement! (il ne peut pas mesure autre chose)
- Plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche étudier; alors, il est nécessaire de procéder au processus de validation.
(ex: étudier la dépression, on mesure des comportements qui sont la conséquence du phénomène, par le biais de cette conséquence, on trouve la synthèse des connaissance)
critique de l’expression combinaisaon linéaire = doit être linéaire (ex: avec Pearson), donc, on dit synthèse plutôt
Validation - intro
La validité ne concerne pas l’instrument de mesure lui-même (alors, c’est pas l’instrument que c’est valide), mais plutôt …
l’interprétation des résultats associés à ses items:
le processus de validation est une façon de déterminer le niveau de certitude qu’on peut avoir, en s’appuyant aux indices obtenus.
l’instrument est pas valide, mais ses items, oui.
Validation - intro
La validité ne concerne pas l’instrument de mesure lui-même (alors, c’est pas l’instrument que c’est valide), mais plutôt le … ?
contexte de son utilisation (clientèle et conditions en générales) :
- on doit dire qu’on a démontré de preuves de validité avec telle clientèle et avec telles conditions. La validité d’un instrument psychométrique est lié au contexte dans lequel le processus de l’accumulation de preuves a été effectué.
- l’évaluation de la validité est un processus continu d’accumulation de «preuves» ou «d’évidences».
l’instrument est pas valide, mais son contexte d’utilisation, oui.
Validation - intro
Il faut arrêter de considérer le nom du test comme une «preuve» ou «évidence» de ce que le test mesure …
ex; questionnaire de dépression Québec
Un test n’est jamais valide à 100%; la validité n’est pas une affaire de «tout ou rien» (valide ou pas valide), mais plutôt une question de «degré», selon les indices de validité vérifiés.
existe pas 100% valide
Validation - intro
Il existe de multiples méthodes statistiques (et quelques uns non strictement statistiques) pour étudier le degré de validité des instruments psychométriques (psychologiques);
En ce qui concerne les preuves (les évidences), actuellement les … commencent à exiger, spécifiquement, …, des preuves de validité basées sur :
Standards (2014)
«cinq sources de preuves»,
** (a) le contenu du test **
(b) les processus de réponse,
** (c) la structure interne **
**(d) les relations avec d’autres variables **
(e) les conséquences du test.
b) processus de réponse : si qqn est déprimé, tendance à être plus accord avec les questions qui touche la dépression.
e) les conséquences du test : la passation d’un test peut avoir des conséquences négatives ou positives pour notre société
Validation - intro
Image Chapanis (1951)
fidèle - non valide
peu fidèle - valide
non fidèle - non valide
fidèle - valide
- nuage de point concentré = fidélité
- englobe une bonne partie de la variance que le construit couvre = validité
Validité de contenu
Définition ?
faire référence à toutes les facettes d’un concept donné
fait référence à la manière dont un instrument évalue tous les aspects théoriques du concept qu’il est censé mesurer.
Par exemple, une échelle de dépression peut manquer de validité de contenu si elle n’évalue que la dimension affective (anesthésie affective) de la dépression et ne prend pas en compte la dimension conative (ou comportementale = perte de l’initiative).
Autre exemple : si intelligence a deux grandes dimensions : verbal et non-verbal. Mesurer juste intelligence non-verbal, on pert de la validité
Validité de contenu
La validité de contenu nécessite …
Les experts sont des personnes qui…
Les juges-experts sont …
le recours à des experts reconnus en la matière pour évaluer si les items du test évaluent un contenu défini.
ont une connaissance reconnue du concept à mesurer et préférablement qui ont aussi une expertise dans l’élaboration d’instrument de mesure.
normalement invités à se prononcer sur le contenu de chaque énoncé, soit:
clarté,
représentativité,
exhaustivité,
dimensionnalité et
pertinence
représentativité :
exhaustivité : couvre tout le construit ?
dimentionnalité : combiens de facteurs sont intrinsèques dans la théorie ?
pertinence : item écrit comme ça, à l’aise de répondre ?
Validité de contenu
La validité de contenu est la plus souvent abordée dans
les tests académiques et professionnels
où les items du test doivent refléter les connaissances réellement requises pour un domaine.
Validité de contenu
Dans un contexte clinique, la validité de contenu fait référence à ?
la correspondance entre les items (contenus) du test et le contenu des symptômes d’une maladie (par exemple)…
Validité de contenu
CLINIQUE ? Ce type de validité fait référence à la manière dont un instrument évalue tous les aspects théoriques du concept qu’il est censé mesurer. Procédure ?
Alors, présenter aux évaluateurs (juges experts) une synthèse solide de la théorie du trait latent pourrait bien les aider à mieux évaluer le contenu des items, selon nos propres bases théoriques.
Cette validité est supposée pouvoir évaluer dans quelle mesure un instrument couvre toutes les parties pertinentes du concept qu’il vise à mesurer.
Validité de contenu
Lawshe (1975)
méthode permettant d’évaluer l’accord entre les évaluateurs
Lawshe (1975) a proposé que chacun des experts réponde à la question suivante (dans un contexte de connaissance, par exemple), pour chaque item : «La connaissance mesurée par cet item est-elle “essentielle”, “utile, mais pas essentielle” ou “pas nécessaire (aux objectifs spécifiques du test) ?»
Selon Lawshe (1975), si plus que la moitié des juges-experts indiquent qu’un item (contenu) est essentiel, cet item a au moins une certaine validité de contenu. Le niveau de validité du contenu est d’autant plus élevé qu’un plus grand nombre de panélistes s’accordent à dire qu’un item particulier est essentiel.
Validité de contenu
- Lawshe (1975) a développé une formule appelée “…”
- expliquer les variables ?
- interpétation ?
CVR = (ne - N/2)/(N/2)
ratio de validité de contenu
CVR = ratio de validité de contenu;
ne = nombre de juges indiquant que la connaissance est «essentielle»;
N = nombre total de juges.
Les résultats de cette formule varient entre -1 et +1 ;
Les valeurs positives indiquent qu’au moins la moitié des spécialistes ont jugé l’item comme essentiel.
Le CVR moyen pour l’ensemble des items peut être utilisé comme indicateur de la validité globale du contenu du test.
Validité de contenu
Finalement, en ce qui concerne l’évaluation du contenu des tests, les Standards (2014) laissent entendre que …
les preuves basées sur le contenu d’un test peuvent inclure des analyses empiriques à partir de la relation entre le contenu de chaque item et sa pertinence pour le domaine d’étude :
«Les preuves fondées sur le contenu du test peuvent provenir de jugements d’experts sur la relation entre certaines parties du test et les concepts[dimensions]»
Validation pragmatique
Selon Balbinotti (2005), normalement, on examine ce type de validité lors de …
la construction de l’instrument de mesure (choix initial des contenus des items).
Validation pragmatique
Définition
la capacité d’un instrument à prédire (aussi explicite et invariable que possible) le niveau de performance (comportement) d’un groupe d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement.
Validation pragmatique
Exemple classique
l’évaluation du QI et le succès professionnel.
«Les résultats des tests indiquent-ils les résultats
qu’ils sont censés indiquer ?»
on s’attend à ce que la variance soit partagée
Validation pragmatique
Procédure pour évaluer la validité pragmatique d’un instrument … ?
la procédure la plus simple consiste à calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents, par exemple :
- deux passations de tests au moment présent (virtuellement simultané); ou,
- deux passations de tests : une au moment présent et l’autre au «future».
Validation pragmatique
on peut aussi utiliser une méthode issue de l’approche corrélationnelle, laquelle ?
objectifs est ?
l’analyse de régression
précisément de prédire la variance d’une variable (présente ou future) par le biais d’une (ou plusieurs) variable indépendante.
pas de cause-effet, pseudo cause-effet à cause du vecteur directionnel
Validation pragmatique
Évaluer cette qualité psychométrique de l’ensemble des items d’un instrument signifie précisément … ?
déterminer dans quelle mesure les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (pourcentage de variance prédite ou «expliquée» : r2 ou R2).
Validation pragmatique
2 types de validité pragmatiques ?
Validité concomitante/concourante: on détermine le degré d’association entre les scores obtenus au test et les scores obtenus à une mesure de référence, ou critère (l’administration du test et de la mesure du critère pratiquement en même temps – temps présent);
Validité prédictive: on évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier);
Validation pragmatique
Les statistiques habituellement utilisées ? (2)
-
Coefficient de Détermination (r2) : pourcentage d’explication de la variance entre deux mesures, sans considérer l’ordre des mesures;
(Pearson, Spearman, bidirectionnelle) -
Corrélation Multiple au carré (R2) : pourcentage d’explication de la variance entre deux (ou plusieurs) mesures, en considérant l’ordre des mesures, unidirectionnelle
Divisé en deux : - corr. multiple simple : une var indép.(x) et une dép. (y)
- corr. multiple multiple : plusieurs var. indép. (x) et une seule dép. (y), se fait par la combinaison linéaire des variables indép. (x) associé à la var. dép. (y)
Validation de construit
Définition ?
La plus importante !
Structure interne !
- la justesse/certitude avec laquelle l’ensemble d’items d’un instrument de mesure psychologique permet d’obtenir des résultats conformes aux concepts (ou construits, ou traits) définis par son contexte théorique.
- cette validité indique dans quelle mesure les énoncés d’un instrument sont cohérents (structure interne) avec la théorie
Validation de construit
Le construit
- Dans de nombreuses situations en psychologie, on cherche à étudier des entités hypothétiques qui résultent d’une élaboration psycho-sociale et théorique
- Ces entités ne sont malheureusement pas directement mesurable
- Les construits peuvent aussi être considérés des «mini-théories» qui expliquent les relations entre différents concepts (ou contenus) évalués directement par les items et les dimensions.
- Les dimensions sont aussi appelées «facteurs» (ou construits, ou traits latents, ou variable latentes, ou autres, dépendamment des auteurs) qui sont expliqués par la combinaison linéaire des contenus des items (l’association entre les concepts, contenus – les variables directement mesurables) ou même la combinaison linéaire d’autres construits.
