Cours 9 - La validité Flashcards
Qu’est-ce la validité?
Le degrés avec lequel un test mesure ce qu’il prétend mesurer
La validité ne concerne pas l’instrument de mesure lui-même. Mais plutôt ? (2)
mais plutôt
- le contexte de son utilisation (clientèle et conditions en générales)
- l’interprétation des résultats associés à ses items (les items qui sont valides et non l’instrument)
vrai ou faux.
Un test peut être valide à 100%
Faux.
Un test n’est jamais valide à 100%; la validité n’est pas une affaire de «tout ou rien» (valide ou pas valide), mais plutôt une question de «degré», selon les indices de validité vérifiés.
Il faut arrêter de considérer le nom du test comme une «____» ou une «évidence» de ce que le test mesure.
preuve
Qui a commencé à exiger des preuves de validité?
Standards, 2014
Nommez les 5 sources de preuves de Standards (2014), les preuves de validités.
(1) le contenu du test,
(2) les processus de réponse,
(3) la structure interne,
(4) les relations avec d’autres variables et,
(5) les conséquences du test.
Nommez les 3 sources de preuves de validités les plus fondamentales.
- Indices de contenu (validité de contenu)
- Indices des relations avec d’autres variables (validité pragmatique/de critère)
- Indices de structure interne (validité de construit)
Qui suis-je ? Validité logique.
Validité de contenu
Qu’est-ce la validité de contenu?
La validité de contenu évalue dans quelle mesure les divers items d’un instrument psychométrique sont représentatifs du ou des construits mesurés et de leurs différentes facettes.
Par exemple, une échelle de dépression peut manquer de validité de contenu si elle n’évalue que la dimension affective de la dépression et ne prend pas en compte la dimension conative ou comportementale.
La validité de contenu nécessite le _______ reconnus en la matière pour évaluer si les items du test évaluent un contenu défini.
recours à des experts
*Consulter plusieurs experts pour valider le contenu de l’instrument et quantifier leurs jugements l’aide d’échelles formalisées.
Sur quels énoncés les juges experts sont-ils invités à se prononcer dans la validité de contenu?
- Clarté
- Représentativité
- Exhaustivité
- Dimensionnalité
- Pertinence
Dans quel contexte la validité de contenu est la plus souvent abordée?
dans les tests académiques et professionnels, où les items du test doivent refléter les connaissances réellement requises pour un domaine
À quoi fait référence la validité de contenu dans un contexte clinique? (basé sur une exemple)
fait référence à la correspondance entre les items (contenus) du test et le contenu des symptômes d’une maladie
La validité de contenu fait référence à …
à la manière dont un instrument évalue tous les aspects théoriques du concept qu’il est censé mesurer.
Cette validité est supposée pouvoir évaluer dans quelle mesure un instrument couvre toutes les parties pertinentes du concept qu’il vise à mesurer
Quelle est la méthode bien connue et encore utilisée pour mesurer la validité de contenu a été développée par Lawshe (1975)?
Il s’agit essentiellement d’une méthode permettant d’évaluer l’accord entre les évaluateurs.
Chacun des experts réponde à la question suivante pour chaque item : «La connaissance mesurée par cet item est-elle “essentielle”, “utile, mais pas essentielle” ou “pas nécessaire (aux objectifs spécifiques du test) ?»
Si plus que la moitié des juges-experts indiquent qu’un item est essentiel, cet item a au moins une certaine validité de contenu.
Expliquez ce que vous savez sur le ratio de validité de contenu?
- Les résultats de cette formule varient entre -1 et +1
- Les valeurs positives indiquent qu’au moins la moitié des spécialistes ont jugé l’item comme essentiel.
- Le CVR moyen pour l’ensemble des items peut être utilisé comme indicateur de la validité globale du contenu du test.
Standards (2014) laissent entendre que les preuves basées sur le contenu d’un test peuvent inclure des ____ ______ à partir de la relation entre le contenu de chaque item et sa pertinence pour le domaine d’étude.
analyses empiriques
Selon Balbinotti (2005), normalement, on examine la validité de contenu à quelle moment ?
lors de la construction de l’instrument de mesure (choix initial des contenus des items)
Qu’est-ce la validité de critère (pragmatique) ?
La capacité d’un instrument à prédire le niveau de performance (comportement) d’un groupe d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement.
«Les résultats des tests indiquent-ils les résultats qu’ils sont censés indiquer ?»
Quel est la procédure la plus simple pour évaluer la validité pragmatique d’un instrument?
- Calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents
- Aussi, analyse de régression
Nommez les deux types de validité pragmatique.
- Validité concomitante/concourante
- Validité prédictive
Qu’est-ce la validité concomitante?
Un type de la validité pragmatique.
les résultats de l’instrument sont comparés à des données déjà disponibles (mesure de référence) concernant le critèrepour évaluer leur degré d’association, ou à des données ayant été obtenues au même moment que celles de l’instrument à l’étude
ex. mesure le QI et compare avec les résultats de son ancien bulletin
Qu’est-ce la validité prédictive?
Un type de la validité pragmatique.
- on vérifie le degré d’association entre les résultats de l’instrument et un critère futur, pour lequel la mesure ne sera disponible que plus tard.
ex: QI et le futur bulletin scolaire
Donnez une exemple pour différencier la validité concomitance et la validité prédictive.
Par exemple, si on administre un test d’intelligence à un groupe d’élèves et que l’on calcule les corrélations entre leur QI et leurs notes scolaires indiquées au plus récent bulletin, on obtient alors une donnée sur la validité concomitante du test d’intelligence.
Par contre, si on administre le test de QI au début de l’année scolaire et que l’on calcule les corrélations entre le score de QI des élèves et leurs résultats cumulatifs à la fin de l’année scolaire, on obtient alors une donnée sur la validité prédictive de ce test d’intelligence.
Nommez la différence entre le coefficient de détermination (r2) et la corrélation multiple au carré (R2).
- Coefficient de Détermination (r2) : pourcentage d’explication de la variance entre deux mesures, sans considérer l’ordre des mesures -> Bidirectionelle
- Corrélation Multiple au carré (R2) : pourcentage d’explication de la variance entre deux (ou plusieurs) mesures, en considérant l’ordre des mesures.
Quels sont les deux types de corrélation multiple ?
- Corrélation multiple SIMPLE: corrélation entre 2 variables dépendantes (comme dans Pearson, sauf que la direction est qu’elle N’EST PAS bidirectionnelle).
- Corrélation multiple multiple: corrélation entre PLUSIEURS variables (2 et +) (différente de Pearson)
Qu’est-ce la validité de construit?
indique dans quelle mesure les énoncés d’un instrument sont cohérents (structure interne) avec la théorie.
Quelle type de validité est la plus importante?
validité de construit
qu’est-ce des mini-théories?
expliquent les relations entre différents concepts (ou contenus) évalués directement par les items et les dimensions
Nommez les façons robustes pour calculer la validité de construit.
- l’analyse multitrait-multiméthode;
- l’analyse factorielle.
Expliquez modèles exploratoire et modèle confirmatoire.
- L’analyse de type exploratoire ne permet pas de déterminer à l’avance quelles variables devraient être liées à quels facteurs.
- L’analyse factorielle confirmatoire permet de déterminer non seulement le nombre de facteurs mais aussi l’appartenance de chaque variable à un ou plusieurs facteurs.
qu’est-ce l’analyse multitrait-multiméthode
Une matrice de corrélation entre les résultats obtenus à différents traits (hétérotraits vs monotraits) et à différents méthodes (hétérométhode vs monométhode);
On s’attend à ce que la plus forte corrélation soit trouvé par le calcule «même trait-même méthode»; et la plus faible corrélation soit trouvé pour traits différents-méthodes différentes;
Quel est la limite de l’analyse multitrait-multiméthode?
demande beaucoup de temps de la part des sujet + difficulté à trouver et à faire la passation de plusieurs test qui évaluent les mêmes traits
expliquez l’analyse factorielle.
Le rationnel de l’analyse factorielle est d’avoir minimalement 3 variables observées (préférablement plus) qui soient expliquées par une variable latente (variable qui retient l’essentiel de la variance commune, variance vraie). Cette variable latente est représentée par le facteur.
Quelles sont les questions typiques d’une analyse factorielle?
(1) Combien de facteurs l’analyse nous propose?
(2) Quel est le pourcentage d’explication de la variance?
(3) Est-ce que tous les items sont valides ou existe-il des items nécessitant une reformulation/exclusion?
La validité de construit d’un instrument (ensemble de preuves de validité) sera plus facilement mesurable si la théorie utilisée est ____et bien _____.
claire
définie
quelles sont les deux types de validité de construit?
- validité convergente
- validité discriminante
expliquez la validité convergente.
teste si les concepts censés être liés le sont effectivement
- on s’attend à une corrélation forte
expliquez la validité discriminante.
teste si les concepts ne devant avoir aucune lien n’en ont effectivement pas. (également dénommée validité divergente)
*S’attend à une corrélation faible
