Cours 9 Flashcards
Quelle est la définition générale de la validité?
La validité est le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement.
Vrai ou Faux. Plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche à étudier.
Vrai.
Vrai ou Faux. La validité ne concerne pas l’instrument de mesure lui-même. Justifie (2)
Vrai, c’est plutôt l’interprétation des résultats associés à ses items et le contexte de son utilisation (clientèle et conditions en générales).
Le processus de validation est une façon de déterminer quoi?
En s’appuyant sur quoi?
Le niveau de certitude qu’on peut avoir, en s’appuyant aux indices obtenus.
La validité d’un instrument psychométrique est liée dans quel contexte?
Au contexte dans lequel le processus de l’accumulation de preuves a été effectué.
L’évaluation de la validité est un processus continu de quoi?
D’accumulation de « preuves » et « d’évidences »
Vrai ou Faux. Un test n’est jamais valide à 100%.
Vrai.
La validité n’est pas une affaire de « tout ou rien » (valide ou pas valide), mais plutôt une question de quoi?
« degré », selon les indices de validité vérifiés
Quelles sont les 5 sources de preuve de validité?
(a) le contenu du test (b) les processus de réponse
(c) la structure interne (d) les relations avec d’autres variables
(e) les conséquences du test
Quelles sont les 3 sources les plus fondamentales?
Indice de contenu
Indice des relations avec d’autres variables [pragmatique, critériée, prédictive]
Indice de structure interne [construit, conceptuelle, théorique
Quel est le type de validité très peu étudié?
Conséquences du test
La validité de contenu est également connue sous quel nom?
Validité logique
La validité de contenu doit faire référence à quoi?
À toutes les facettes d’un concept donné
La validité de contenu nécessite quoi? Pourquoi?
Le recours à des experts reconnus en la matière pour évaluer si les items du test évaluent un contenu défini.
Les experts sont des personnes qui ont quoi?
Une connaissance reconnue du concept à mesurer et préférablement qui ont aussi une expertise dans l’élaboration d’instrument de mesure.
Les juges-experts sont normalement invités à se prononcer sur le contenu de chaque énoncé, soit quoi? (5)
Clarté, représentativité, exhaustivité, dimensionnalité et pertinence
La validité de contenu est la plus souvent abordée dans quoi?
Dans les tests académiques et professionnels
Dans un contexte clinique, la validité de contenu fait référence à quoi par exemple?
À la correspondance entre les items (contenus) du test et le contenu des symptômes d’une maladie
La validité de contenu fait référence à quoi?
À la manière dont un instrument évalue tous les aspects théoriques du concept qu’il est censé mesurer.
Une méthode bien connu et encore utilisée pour mesurer la validité de contenu a été développé par qui?
Lawshe
La méthode de Lawshe s’agit essentiellement de quoi?
Il s’agit essentiellement d’une méthode permettant d’évaluer l’accord entre les évaluateurs.
Comment est appelé la formule que Lawshe a développé?
Ration de validité de contenu
Quelle est la question que Lawshe (1975) a proposé que chacun des experts réponde (dans un contexte de connaissance, par exemple) pour chaque item?
La connaissance mesurée par cet item est-elle “essentielle”, “utile, mais pas essentielle” ou “pas nécessaire (aux objectifs spécifiques du test)?
Les résultats de Lawshe varient entre quoi et quoi?
-1 et +1
Qu’est-ce qu’indique les valeurs positives de la formule de Lawshe?
Au moins la moitié des spécialistes ont jugé l’item comme essentiel.
Le CVR moyen pour l’ensemble des items peut être utilisé comme quoi?
Indicateur de la validité globale du contenu du test
Wilson, Pan, & Schumsky (2012) ont proposé quoi?
Une transformation pour le CVR
En ce qui concerne l’évaluation du contenu des tests, les Standards (2014) laissent entendre que les preuves basées sur le contenu d’un test peuvent inclure quoi?
Des analyses empiriques à partir de la relation entre le contenu de chaque item et sa pertinence pour le domaine d’étude.
Les preuves fondées sur le contenu du test peuvent provenir de quoi?
De jugements d’experts sur la relation entre certaines parties du test et les concepts [dimensions]
Qu’est-ce que désigne la validité pragmatique?
La capacité d’un instrument à prédire (aussi explicite et invariable que possible) le niveau de performance (comportement) d’un groupe d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement.
Quelle est la procédure la plus simple pour évaluer la validité pragmatique d’un instrument?
Calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents.
Quelles sont les deux passations de test de la validité pragmatique?
- Au moment présent (virtuellement simultané)
- Au moment présent et l’autre au « future »
Quel est un des objectifs de l’analyse de régression?
Prédire la variance d’une variable (présente ou future) par le biais d’une (ou plusieurs) variable indépendante.
Évaluer cette qualité psychométrique de l’ensemble des items d’un instrument signifie quoi?
Déterminer dans quelle mesure les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (pourcentage de variance prédite ou « expliquée » : r2 ou R2).
Quels sont les deux types de validité pragmatique?
Validité concomitante / concourante
Validité prédictive
On détermine quoi dans la validité concomitante / concourante?
On détermine le degré d’association entre les scores obtenus au test et les scores obtenus à une mesure de référence, ou critère (l’administration du test et de la mesure du critère pratiquement en même temps – temps présent).
On évaluer quoi dans la validité prédictive?
On évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier).
Qui suis-je? Pourcentage d’explication de la variance entre deux mesures, sans considérer l’ordre des mesures
Coefficient de détermination (r2)
Qui suis-je? Pourcentage d’explication de la variance entre deux (ou plusieurs) mesures, en considérant l’ordre des mesures
Corrélation multiple au carré (R2)
Quelle la seule différence de la corrélation Multiple au carré simple avec la corrélation de Pearson?
La corrélation multiple au carré simple aura une direction. Elle n’est pas bidirectionnelle.
Lorsqu’on fait une corrélation multiple au carré multiple, l’origine de la corrélation va se faire par quoi?
La combinaison linéaire des VI associée avec la VD
Comment la validité de construit est-elle définie?
La validité de construit est définie comme étant la justesse/certitude avec laquelle l’ensemble d’items d’un instrument de mesure psychologique permet d’obtenir des résultats conformes aux concepts (ou construits, ou traits) définis par son contexte théorique.
La validité de construit indique quoi?
Dans quelle mesure les énoncés d’un instrument sont cohérents (structure interne) avec la théorie.
Quelles sont les entités hypothétiques (construits ou traits), qui résultent d’une élaboration psycho-sociale et théorique?
intelligence, personnalité, connaissances, compétences, dépression, motivation, intérêt, etc
Les construits peuvent aussi être considérés comme quoi?
Des « mini-théories »
Les « mini-théories » expliquent quoi?
Les relations entre différents concepts (ou contenus) évalués directement par les items et les dimensions.
Quels sont les synonymes des dimensions?
facteurs, construits, traits latents, variables latentes
Les dimensions sont expliquées par quoi?
La combinaison linéaire des contenus des items (l’association entre les concepts, contenus – les variables directement mesurables) ou même la combinaison linéaire d’autres construits.
Quelles sont les 3 dimensions du locus de contrôle selon Balbinotti?
Dimension grande force
Dimension interne
Dimension externe
Le deuxième modèle explicatif permet de savoir quoi?
Quel item s’associe davantage avec quelle dimension
Quelle est le type de modèle du troisième et quatrième modèle explicatif?
Modèle confirmatoire
Quelles sont les deux façons robustes de calculer la validité de construit (toujours issues de l’approche corrélationnelle)?
Analyse multitrait-multiméthode
Analyse factorielle
Qu’est-ce que l’analyse multitrait-multiméthode?
Une matrice de corrélation entre les résultats obtenus à différents traits (hétérotraits vs monotraits) et à différents méthodes (hétérométhode vs monométhode).
Vrai ou Faux. On s’attend à ce que la plus forte corrélation soit trouvé par le calcul « même trait-même méthode »; et la plus faible corrélation soit trouvé pour traits différents-méthodes différentes.
Vrai.
Quels sont les deux limites de l’analyse multitrait-multiméthode?
- Demande beaucoup de temps de la part des sujets (faire plusieurs tests… Deux temps)
- Difficulté à trouver et faire la passation des plusieurs tests qui évaluent les mêmes traits.
Les deux temps de mesure de l’analyse multitrait-multiméthode sont représentés par quoi?
Les axes des abscisses (x) et les axes des ordonnées (y)
Nomme trois exemples de traits.
A = Dépression
B = Tristesse
C = Désespoir
Nomme trois exemples de méthodes.
- Observation directe
- Questionnaire papier
- Entrevue semi-structurée
Quelles sont les trois questions typiques de l’analyse factorielle?
(1) Combien de facteurs l’analyse nous propose?
(2) Quel est le pourcentage d’explication de la variance?
(3) Est-ce que tous les items sont valides ou existe-il des items nécessitant une reformulation / exclusion?
Le résultat du processus de validation de construit n’amène pas à un indice statistique unique mais bien à quoi?
À plusieurs résultats qui doivent être interprétés en lien avec les éléments théoriques sur lesquels le test est basé.
La validité de construit d’un instrument (ensemble de preuves de validité) sera plus facilement mesurable si quoi?
La théorie utilisée est claire et bien définie.
Quels sont les deux types de validité de construit?
Validité convergente
Validité discriminante
Nomme un exemple pour évaluer la validité convergente.
Tester la force de l’association entre les résultats des items de l’échelle cible et les autres qui mesurent le même construit. En ce sens, les résultats de l’outil devraient corréler avec les autres outils qui évaluent le même construit.
Nomme un exemple pour évaluer la validité discriminante.
Vérifier à quel point les résultats des items de l’échelle cible s’écarte d’autres mesures de construits différents. En ce sens, l’outil ne devrait pas corréler de façon importante avec ces autres construits.
