Cours 9 - La validité Flashcards
définition générale de la validité
= le DEGRÉ avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement!
V/F ds la réalité, on peut utiliser le tout ou rien ds la validité
FAUX, c’est un DEGRÉ
pourquoi procéder au processus de validation?
plrs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche à étudier
définition processus de validation
= processus d’accumulations de preuves (d’évidences) de validité
exemples de mesures directes
poids, grandeur
exemples de mesures indirectes
motivation, personnalité, intelligence
V/F quand on s’assure que l’instrument se rapporte uniquement à l’agressivité, ça veut dire pas de frustration, de colère, d’impulsivité, de dangerosité, etc.
VRAI, seulement agressivité
ce que la validité ne concerne pas (1)
l’instrument de mesure
ce que la validité concerne (2)
1- l’interprétation des résultats de ses items
2- le contexte de son utilisation (au test)
pourquoi la validité concerne l’interp des résultats?
le processus de validation dét le niv de certitude qu’on a P/R aux inférences qu’on fait en s’appuyant sur les résultats
pourquoi la validité concerne le contexte de son utilisation?
on doit préciser les preuves de validité avec telle clientèle et sous telles conditions
l’évaluation de la validité est…
…un processus continu d’accumulation de preuves ou d’évidences
V/F le test peut être valide à 100%
FAUX
pourquoi un test ne peut pas être valide à 100%?
car c’est une question de DEGRÉ selon les indices de validité vérifiés
quelles sont les catégories de techniques destinées à recueillir des preuves (3)?
1- validation de contenu
2- validation pragmatique
3- validation de construit
définition validation de contenu
= capacité d’un instrument à capturer (saisir) les aspects de contenu pour lesquels il a été conçu, et ceux-là seulement
que faut-il s’assurer à propos du contenu des items dans la validation de contenu?
que les items forment un échan des items imp qui représ les contenus (création d’un pool d’items)
quand examine-t-on la validation de contenu?
lors de la construction de l’instrument de mesure (choix des contenus des items)
comment est estimé la validation de contenu?
par la méthode des juges-experts
qu’est-ce que la méthode des juges-experts?
ces pers qui ont des conn sur le concept à mesurer se prononcent sur le contenu de chaque énoncé
quels sont les 5 aspects qui composent le contenu des énoncés (aspects auxquels les juges-experts se prononcent)?
- clarté
- représentativité
- exhaustivité
- dimensionnalité
- pertinence
qu’est-ce que la clarté?
l’énoncé est clair pour le participant
qu’est-ce que la représentativité?
le concept est compris dans la théorie
qu’est-ce que l’exhaustivité?
je touche à tous les éléments de la théorie
qu’est-ce que la dimensionnalité?
les mêmes dimensions que ceux proposées dans la théorie
qu’est-ce que la pertinence?
oui, ça touche et mentionne la théorie, mais est-ce pertinent dans ce test?
quelles statistiques sont utilisées dans la validation de contenu? (2)
- coefficient de validité de contenu (CVC)
- corrélation intra-classe (ICC)
que mesure le CVC?
la proportion (%) des rép des juges-experts qui sont d’accord sur certains aspects relatifs au contenu inhérent aux items de l’instrument
que mesure la ICC?
l’association des opinions entre juges-experts ayant un certain degré de formation en termes de trait quantitatif
définition de la validation pragmatique
la capacité d’un instrument à prédire (aussi explicite et invariable que possible) le niveau de performance (comportement) d’un gr d’individus P/R à des situations qu’ils rencontrent (ou pourraient rencontrer) ultérieurement
exemple classique de validation pragmatique
l’évaluation du QI et le succès professionnel
quelle est la procédure la plus simple pour évaluer la validité pragmatique?
calculer la corrélation entre les résultats obtenus par un même gr d’individus à 2 moments différents (2 présents ou 1 p et 1 futur)
ds la validité pragmatique, quelle méthode de l’approche corrélationnelle est utilisée?
l’analyse de régression
quel est un des objectifs de l’analyse de régression?
prédire la variance d’une variable (p ou f) par le biais d’une (ou plrs) v indép
que signifie précisément l’évaluation de la validité pragmatique?
dét ds quelle mesure les prédicteurs retenus permettent de fournir une estimation valide (explicite, claire, empirique et relativement invariable) des résultats qui seront obtenus ultérieurement (pourcentage de variance prédite ou expliquée)
2 types de validité pragmatique
1- validité concomitante/concourante
2- validité prédictive
que détermine la validité concourante?
le degré d’asso entre les scores obtenus au test et les scores obtenus à une mesure de réf (2 mesures au présent)
qu’évalue la validité prédictive?
la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (1 mesure p et 1 f)
2 statistiques habituellement utilisées dans la validité pragmatique
1- coefficient de détermination (CD)
2- corrélation multiple au carré (R2, et à la fois beta standardisé, B)
qu’est-ce que le CD?
pourcentage d’expl de la variance entre 2 mesures, sans considérer l’ordre des mesures
qu’est-ce que le R2?
pourcentage d’expl de la variance entre 2 ou plrs mesures, en considérant l’ordre des mesures
définition validation de construit
= la justesse/certitude avec laquelle l’ensemble d’items d’un instrument de mesure psychologique permet d’obtenir des résultats conformes aux concepts (ou construits, traits) définis par son contexte théorique
qu’indique la validité de construit
ds quelle mesure les énoncés d’un instrument sont cohérents (structure interne) avec la théorie (et les concepts rattachés), définis de façon opérationnelle (construction des facteurs)
quelles sont les nombres de juges-experts possible
3, 4 ou 5 => min et max de variance voulue
quelles sont les entités les plus étudiées en psychologie
les entités hypothétiques
quel est le défaut des entités hypothétiques?
elles ne sont pas directement accessibles
comment sont considérés les construits?
comme des mini-théories qui expliquent les relations entre les diff concepts évalués par les items
à quel moment un concept devient un construit?
le moment où on teste un concept, il devient un construit
synonyme de construits
facteurs, dimensions, composantes
par quoi sont expliqués les facteurs (construits)
l’asso linéaire entre les concepts (contenus) inhérent aux variables directement mesurables
comment appelle-t-on les variables mesurables
les items
comment appelle-t-on les variables qui ne sont pas directement mesurables
variables latentes
3 modèles d’analyse factorielle
1- modèle d’analyse factorielle exploratoire
2- modèle d’analyse factorielle confirmatoire de premier ordre
3- modèle d’analyse factorielle confirmatoire de premier et de deuxième ordre
quand utilise-t-on confirmatoire?
qd on connait ds la litt
cb de facteurs de 2e ordre et de 1er ordre ds exploratoire
2e = 1 1er = 3
exploratoire : comment est mesuré le facteur de 2e ordre
par le biais de 3 dimensions (3 facteurs de 1er ordre)
cb de variables latentes ds exploratoire
4 (1 (2e) + 3 (1er))
qu’expliquent les variables manifestes
une partie de la variance de ces items explique la variable latente, etc
quelles variables ont des erreurs associées à la mesure
variables manifestes (mesurables)
que représente les erreurs associées à la mesure
la partie de la variance qui n’est pas expliquée par les facteurs de 1er ordre
2 façons robustes de calculer la validité de construit
1- l’analyse multitrait-multiméthode
2- l’analyse factorielle
qu’est-ce que l’analyse multitrait-multiméthode
une matrice de corrélation entre les résultats obtenus à différents traits et à différentes méthodes
AMM : où la corrél est la plus forte et où plus faible
- même trait/même méthode
- diff traits/diff méthodes
AMM : 2 types traits et 2 types méthodes
- hétérotraits VS monotraits
- hétérométhode VS monométhode
AMM : limites (2)
- bcp de tps de la part des sujets (plrs test à 2 tps)
- difficulté à trouver/faire passation des plrs tests qui évaluent les mêmes traits
exemples de traits et de méthodes
traits (ABC)
A = dépression
B = tristesse
C = désespoir
méthodes (123)
1 = observation directe
2 = questionnaire papier
3 = entrevue semi-structurée
AMM : qu’indique les corrél les plus élevées et pourquoi
mêmes traits et mêmes méthodes, car test-retest donc mesure de fidélité
quel est le rationnel de l’analyse factorielle?
avoir au moins 3 variables qui sont corrélées entre elles sur une nouvelle variable qui retient l’essentiel de la variance commune. nouvelle variable = le facteur
AF : tableau total variance explained
total variance explained
- total = savoir cb de facteurs retenus (>1)
- % de variance/cumul avant extrac nécess > extraits
- % variance extraits = le 2e facteur expl un surplus de % de variance (surplus = ce qu’il n’a pas été expl par les facteurs avant)
AF : tableau Pattern Matrix
Pattern matrix (résultats AFE)
- pas de chiffre = pas imp (imp > 0,3) (imp =/= sign)
- les chiffres dim ds un facteur, et qd + grand c’est pq change de facteur
- item avec 2 chiffres = mesure 2 choses, donc item complexe et prob validité (reformuler et retester)
qu’amène le résultat du processus de validation de construit
plrs résultats qui doivent être interp en lien avec les éléements théoriques sur lesquels le test est basé (et non un indice statistique unique)
la validité de construit d’un instrument sera plus facilement mesurable si…
…la théorie utilisée est claire et bien définie
2 types validité construit
1- validité convergente
2- validité discriminante
qu’est-ce que la validité convergente
qd on teste la force de l’asso entre les résultats des items de l’échelle cible et les autres qui mesurent le MÊME construit, association forte
qu’est-ce que la validité discriminante?
à quel pt les résultats des items de l’échelle cible s’écarte d’autres mesures de construits DIFFÉRENTS, donc une association faible
