Cours 9 Flashcards
Quelle est la définition générale de la validité?
C’est le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement
Pourquoi il est nécessaire de procéder au processus de validation?
Parce que plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche étudier
La validité ne concerne pas l’instrument de mesure lui-même, mais plutôt? (2)
1) L’interprétation des résultats associés à ses items
2) le contexte de son utilisation
Pourquoi la validité concerne l’interprétation des résultats associés à ses items?
Parce que le processus de validation est une façon de déterminer le niveau de certitude qu’on peut avoir, en s’appuyant aux indices obtenus
Pourquoi la validité concerne le contexte de l’utilisation de l’outil? (2)
1) On doit dire qu’on a démontré de preuves de validité avec telle clientèle et avec telles conditions. La validité d’un instrument psychométrique est lié au contexte dans lequel le processus de l’accumulation de preuves a été effectué
2) L’évaluation de la validité est un processus continu d’accumulation de “preuves” ou “d’évidence”
Pourquoi un test n’est jamais valide à 100% ?
Parce que la validité n’est pas une affaire de “tout ou rien”, mais plutôt une question de “degré”, selon les indices de validité vérifiés
Quels sont les “5 sources de preuves” selon Standards (2014)?
Validité basée sur :
1) le contenu du test
2) les processus de réponse
3) la structure interne
4) les relations avec d’autres variables
5) les conséquences du test
Quelles sont les 3 sources de validité les plus fondamentales?
1) Indices de contenu
2) Indices des relations avec d’autres variables
3) Indices de structure interne
Quels sont les autres noms pour les indices des relations avec d’autres variables?
Pragmatique, critériée et prédictive
Quels sont les autres noms pour les indices de structure interne?
Construit, conceptuelle et théorique
En psychométrie, la validité de contenu doit faire référence à quoi? Et donne un exemple.
À toutes les facettes d’un concept donné,
Par exemple, une échelle de dépression peut manquer de validité de contenu si elle n’évalue que la dimension affective de la dépression et ne prend pas en compte la dimension conative.
Nomme un autre nom de la validité de contenu?
Validité logique
La validité de contenu nécessite quoi?
Nécessite le recours à des experts reconnus en la matière pour évaluer si les items du test évaluent un contenu défini
Qui sont les experts de la validité de contenu?
Les experts sont des personnes qui ont une connaissance reconnue du concept à mesurer et préférablement qui ont aussi une expertise dans l’élaboration d’instrument de mesure.
Les juges-experts sont invités à se prononcer sur quelles dimensions du contenu de chaque énoncé? (5)
1) Clarté
2) représentativité
3) exhaustivité
4) dimensionnalité
5) pertinence
La validité de contenu est la plus souvent abordée dans quel type de test?
Les tests académiques et professionnels, où les items du test doivent refléter les connaissances réellement requises pour un domaine
Dans un contexte clinique, la validité fait référence à quoi?
À la correspondance entre les items (contenus) du test et le contenu des symptômes d’une maladie
Qu’est-ce que la validité de contenu?
Elle fait référence à la manière dont un instrument évalue tous les aspects théoriques du concept qu’il est censé mesurer
Qu’est-ce qui permettrait de mieux évaluer le contenu des items?
Présenter aux évaluateurs une synthèse solide de la théorie du trait latent
La validité de contenu est supposée pouvoir évaluer quoi?
Dans quelle mesure un instrument couvre toutes les parties pertinentes du concept qu’il vise à mesurer
Qui a développer une méthode bien connue et encore utilisée pour mesurer la validité de contenu? Et elle permet quoi?
Lawshe (1975), elle permet d’évaluer l’accord entre les évaluateurs
Quelle est la question que Lawshe a proposé que chacun des experts réponde pour chaque item?
La connaissance mesurée par cet item est-elle “essentielle”, “utile, mais pas essentielle” ou “ pas nécessaire”?
Comment fonctionne la méthode de Lawshe?
Si plus de la moitié des juges-experts indiquent qu’un item est essentiel, cet item a au moins une certaine validité de contenu. Le niveau de validité de contenu est d’autant plus élevé qu’un plus grand nombre de panélistes s’accordent à dire qu’un item particulier est essentiel.
Comment s’appelle la formule développée par Lawshe?
Ratio de validité de contenu
Quelles sont les règles du ratio de validité de contenu?
1) Les résultats de cette formule varient entre -1 et 1
2) Les valeurs positives indiquent qu’au moins la moitié des spécialistes ont jugé l’item comme essentiel
3) Le CVR moyen pour l’ensemble des items peut être utilisé comme indicateur de la validité globale du contenu du test
En ce qui concerne l’évaluation du contenu des tests, les Standards laissent entendre quoi?
Que les preuves basées sur le contenu d’un test peuvent inclure des analyses empiriques à partir de la relation entre le contenu de chaque item et sa pertinence pour le domaine d’étude. Les preuves fondées sur le contenu du test peuvent provenir de jugements d’experts sur la relation entre certaines parties du test et les concepts
à quel moment on examine la validité de contenu?
Lors de la construction de l’instrument de mesure, lors du choix initial des contenus des items
Qu’est-ce que la validation pragmatique?
Elle désigne la capacité d’un instrument à prédire le niveau de performance d’un groupe d’individus par rapport à des situations qu’ils rencontreront ultérieurement
Quel est l’exemple classique de la validation pragmatique?
L’évaluation du QI et le succès professionnel
Quel est la procédure la plus simple pour évaluer la validité pragmatique d’un instrument?
Elle consiste à calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents, soit,
1) 2 passations de tests au moment présent (virtuellement simultané)
2) 2 passations de tests, une au moment présent et l’autre au “future”
Quel est la méthode issue de l’approche corrélationnelle afin d’évaluer la validation pragmatique?
L’analyse de régression, dont un des objectifs est précisément de prédire la variance d’une variable par le biais d’une variable indépendante
Quels sont les 2 types de validité pragmatique?
1) Validité concomitante/concourante
2) Validité prédictive
Qu’est-ce que la validité concomitante?
On détermine le degré d’association entre les scores obtenus au test et les scores obtenus à une mesure de référence, ou critère, soit l’administration du test et de la mesure du critère pratiquement en même temps
Qu’est-ce que la validité prédictive?
On évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future, soit l’administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier
Quelles sont les statistiques habituellement utilisées lors de la validation pragmatique?
1) Coefficient de détermination (r2), pourcentage d’explication de la variance entre deux mesures, sans considérer l’ordre des mesures
2) Corrélation Multiple au carré (R²), pourcentage d’explication de la variance entre deux mesures, en considérant l’ordre des mesures
Quels sont les 2 types de corrélation multiple au carré?
1) simple, soit la relation entre 2 variable, dépendante et indépendante
2) Multiple, 2 ou plus de variables indépendants,
Qu’est-ce que la validité de construit?
Elle est définie comme étant la justesse/certitude avec laquelle l’ensemble des items d’un instrument de mesure psychologique permet d’obtenir des résultats conformes aux concepts définis par son contexte théorique. DONC, cette validité indique dans quelle mesure les énoncés d’un instrument sont cohérents avec la théorie (structure interne)
Qu’est-ce qu’une entité hypothétique?
Tout ce qui n’est pas directement accessible
Les construits peuvent être considérées comme quoi et pourquoi?
Comme des “mini-théories”, puisqu’ils expliquent les relations entre différents concepts évalués directement par les items et les dimensions
Quels sont les façons robustes de calculer la validité de construit?
1) L’analyse multitrait-multiméthode
2) L’analyse factorielle
Qu’est-ce que l’analyse multitrait-multiméthode?
Une matrice de corrélation entre les résultats obtenus à différents traits et à différentes méthodes
à quoi d’attend-t-on d’une analyse multitrait-multiméthode?
On s’attend à ce que la plus forte corrélation soit trouvé par le calcul “même trait-même méthode” et la plus faible corrélation soit trouvé pour traits différents-méthodes différentes
Quel est la limite de l’analyse multitrait-multiméthode?
Elle demande beaucoup de temps de la part des sujets et demande une certaine difficulté à trouver et faire la passation des plusieurs tests qui évaluent les mêmes traits
Quel est le rationnel de l’analyse factorielle?
C’est d’avoir minimalement 3 variables observées (préférablement plus) qui soient expliquées par une variable latente. Cette variable latente est représentée par le facteur.
Quelles sont les questions typiques d’une analyse factorielle?
1) Combien de facteurs l’analyse nous propose?
2) Quel est le pourcentage d’explication de la variance?
3) Est-ce que tous les items sont valides ou existe-t-il des items nécessitant une reformulation/exclusion?
La validité de construit d’un instrument sera plus facile si …
La théorie utilisée est claire et bien définie
Quels sont les 2 types de validité de construit?
1) Validité convergente
2) Validité discriminante
Qu’est-ce que la validité convergente?
Tester la force de l’association entre les résultats des items de l’échelle cible et les autres qui mesurent le même construit. En ce sens, les résultats de l’outil devrait corréler avec les autres outils qui évaluent le même construit
Qu’est-ce que la validité discriminante?
Vérifier à quel point les résultats des items de l’échelle cible s’écarte des autres mesures de construits différents. En ce sens, l’outil ne devrait pas corréler de façon importante avec ces autres construits
