Cours 09 - Validité Flashcards
Quelle est la définition générale de la validité?
La validité est le degré avec lequel un test mesure ce qu’il prétend mesurer, ET CELA SEULEMENT.
Que fait-on lorsque plusieurs instruments ne permettent pas d’observer directement?
Il est nécessaire de procéder au processus de validation (la synthèse/combinaison linéaire des comportements qui seront en relation avec le phénomène qu’on souhaite mesurer).
La validité concerne l’instrument lui-même. V ou F?
Faux. Il ne concerne pas l’instrument de mesure lui-même, mais plutôt..
1) l’interprétation des résultats associés à ses items. Ce sont donc les items qui sont valides.
2) le contexte de son utilisation (clientèle en général). On doit démontré des preuves de validité avec telle clientèle et avec telles conditions.
Le processus de validation est une façon de déterminer quoi?
Le niveau de certitude qu’on peut avoir, en s’appuyant aux indices obtenus.
L’évaluation de la validité est un processus…?
continu d’accumulation de preuves ou d’évidences.
Le nom du test est-elle une preuve ou une évidence de ce que le test mesure?
Non.
Un test peut-il être valide à 100%?
Non. Ce n’est pas une affaire de tout ou rien, mais plutôt une question de DEGRÉ, selon les indices de validité vérifiés.
Il existe de multiples méthodes statistiques pour étudier le degré de validité des instruments psychométriques.
En ce qui concerne les preuves (évidences), les Standards (2014) commencent à exiger, spécifiquement :
5 sources de preuves… des preuves de validité basées sur, soit :
1) le contenu du test
2) les processus de réponse
3) la structure interne
4) les relations avec d’autres variables
5) les conséquences du test
Quelles sources de preuve/évidence sont les plus fondamentales?
Indices de contenu
Indices des relations avec d’autres variables
Indices de structure interne
Dans un graphique circulaire, pour dire que notre test est valide et fidèle, où les points (des répondants) doivent se situer?
Concentré dans le milieu… il sera fidèle puisque tous les nuages de points seront concentrés à un endroit et valide puisqu’elle couvrira l’ensemble de la variance du phénomène que l’on souhaite mesurer (soit le point central).
En psychométrie, la validité de contenu (aussi appelée ____), doit faire référence à quoi?
validité logique
à toutes les facettes d’un concept donné.
(Je dois prendre en compte toutes les dimensions du concept mesuré… ex. pour évaluer la dépression; je dois prendre en compte l’appétit, la tristesse, le sommeil, etc.)
La validité de contenu nécessite le recours à qui?
aux experts reconnus en la matière pour évaluer si les items du test évaluent un contenu défini.
Les experts sont des personnes qui ont une connaissance reconnue de quoi?
du concept à mesurer et préférablement qui ont aussi une expertise dans l’élaboration d’instrument de mesure.
Les juges-experts sont normalement invités à se prononcer sur quoi?
Le contenu de CHAQUE énoncé, soit sur leur
1) clarté
2) représentativité
3) exhaustivité
4) dimensionnalité
5) pertinence
La validité de contenu est la plus souvent abordée dans quoi?
Les tests académiques et professionnels, où les items du test doivent refléter les connaissances réellement requises pour un domaine.
Dans un contexte clinique, la validité de contenu fait référence à quoi?
À la correspondance entre les items (contenus) du test et le contenu des symptômes d’une maladie.
La validité de contenu fait référence à la manière dont un instrument évalue quoi?
Tous les aspects théoriques du concept qu’il est censé mesurer. Il faut présenter aux évaluateurs une synthèse solide de la théorie du trait latent afin d’aider l’évaluation du contenu des items.
À quel point un instrument couvre toutes les parties pertinentes du concept qu’il vise à mesurer.
Une méthode bien connue et encore utilisée pour mesurer la validité de contenu est :
Développée par qui?
Méthode permettant d’évaluer l’accord entre les évaluateurs.
La méthode permettant d’évaluer l’accord entre les évaluateurs a été développée par qui et que propose t-elle?
Lawshe (1975). Il propose que chaque expert réponde à cette question : La connaissance mesurée par cet item est-elle “essentielle”, “utile, mais pas essentielle”, ou “pas nécessaire” (aux objectifs spécifiques du test)?
Si plus de la moitié des experts indiquent qu’un item est essentiel, cet item a une certaine validité de contenu.
Lawshe a développé une formule appelée “ratio de validité de contenu”..
quelle est la formule?
les résultats varieront entre quoi?
CVR = (ne - N/2)/(N/2)
Les résultats vont varier entre -1 et 1. Une valeur positive signifie qu’au moins la moitié des spécialistes ont jugé l’item comme essentiel.
Le CVR (Ratio de validité de contenu) peut être utilisé comme indicateur de validité par item, mais aussi de quoi?
de la validité globale du contenu du test.
Les preuves basées sur le contenu d’un test peuvent inclure quoi?
des analyses empiriques à partir de la relation entre le contenu de chaque item et sa pertinence pour le domaine d’étude.
Selon Balbinotti, normalement, on examine la validité de contenu quand?
Lors de la construction de l’instrument de mesure.
Explique-moi la validation pragmatique.
Cette validation désigne la capacité d’un instrument à prédire (aussi explicite et invariable possible) le niveau de performance (comportement) d’un groupe d’individus par rapport à des situations qu’ils rencontreront ultérieurement.
ex. évaluation du QI permet de prédire le succès professionnel plus tard (critère et prédicteur)
Pour évaluer la validité pragmatique d’un instrument, la procédure la plus simple consiste à faire quoi?
À calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents : deux passations au moment présent ou deux passations de test au moment présent et futur
Pour évaluer la validité pragmatique d’un instrument, on peut aussi utiliser une méthode issue de l’approche corrélationnelle, soit…
L’analyse de régression, dont on veut prédire la variance d’une variable par le biais d’une variable indépendante (va pouvoir donner une pseudo cause-effet).
Évaluer la validation pragmatique signifie précisément de déterminer dans quelle mesure…
les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (% de variance prédite ou expliquée : r2 ou R2)
Il y a deux types de validation pragmatique, quelles sont-elles?
Validité concomitante/courante
Validité prédictive
Explique-moi la validité concomitante/courante
On détermine le degré d’association entre les scores obtenus au test et les scores obtenus à une mesure de référence (administration du test et de la mesure du critère pratiquement en même temps)
Explique-moi la validité prédictive
On évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère séparée d’un laps de temps important)
Quelles sont les statistiques habituellement utilisées pour la validation pragmatique?
Le coefficient de détermination (r2) ; % d’explication de la variance entre deux mesures, sans considérer l’ordre des mesures
La corrélation multiple au carré (R2) ; % d’explication de la variance entre deux mesures, en considérant l’ordre des mesures
La validité de construit est définie comme étant quoi?
Comme étant la justesse ou la certitude avec laquelle l’ensemble d’items d’un instrument de mesure psychologique permet d’obtenir des résultats conformes aux concepts définis par son contexte théorique.
La validité de construit nous indique quoi?
Elle nous indique dans quelle mesure les énoncés d’un instrument (la combinaison linéaire des items) sont cohérents (structure interne) avec la théorie.
Quelle validité est LA plus importante?
La validité de construit. Sa rigueur méthodologique est incomparable.
Les construits peuvent aussi être considérés comme quoi?
Des mini-théories qui expliquent les relations entre différents concepts évalués directement par les items et les dimensions.
Les dimensions (dans la validité de construit) sont aussi appelé comment?
Ils sont aussi appelés facteurs (ou construits, ou traits latents) qui sont expliqués par la combinaison linéaire des contenus des items ou même la combinaison linéaire d’autres construits.
Les façons robustes de calculer la validité de construit sont toujours issues de quelle approche?
Lesquelles?
L’approche corrélationnelle
L’analyse multitrait-multiméthode
L’analyse factorielle
Explique-moi l’analyse multitrait-multiméthode.
C’est une matrice de corrélation entre les résultats obtenus a différents traits et a différentes méthodes. (Corrélations la plus forte lorsque l’on calcule même trait, même méthode VS différent trait, différente méthode).
Nomme-moi une limite de l’analyse multitrait-multiméthode.
Elle demande beaucoup de temps de la part des sujets
Difficulté a trouver et faire la passation des plusieurs tests qui évaluent les mêmes traits.
Il y a toujours combien de temps a la validité multitrait-multiméthode?
2 temps, représentés par les axes des abscisses (x) et des ordonnées (y)
Parle-moi de l’analyse factorielle.
Le rationnel de l’analyse factorielle est d’avoir minimalement 3 variables observées qui soient expliquées par une variable latente. Cette variable latente est représentée par le facteur.
Quelles sont des questions typiques d’une analyse factorielle? (3)
1) Combien de facteurs l’analyse nous propose?
2) Quel est le pourcentage d’explication de la variance?
3) Est-ce que tous les items sont valides ou existe-il des items nécessitant une reformulation ou une exclusion?
Aller voir diapo 32 (cours 9)
Le résultat du processus de validation de construit amène a un indice statistique unique. V ou F?
Faux. Le processus de validation de construit amène a plusieurs résultats qui doivent être interprétés en lien avec les éléments théoriques sur lesquels le test est basé.
La validité de construit d’un instrument (ensemble de preuves de validité) sera plus facilement mesurable si quoi?
Si la théorie utilisée est claire et bien définie.
Il y a deux types de validité de construit. Nomme-moi quels sont-ils.
La validité convergente et la validité discriminante.
Explique-moi la validité convergente.
Tester la force de l’association entre les résultats des items de l’échelle cible et les autres qui mesurent le même construit (on veut qu’elle soit forte la corrélation).
Explique-moi la validité discriminante.
Vérifier a quel point les résultats des items de l’échelle cible s’écarte d’autres mesures de construits différents (on veut qu’elle soit faible la corrélation).
