Cours 4 et 5 - Validité des tests Flashcards
Vrai ou faux? Je peux me baser sur un test validé mais l’utiliser différement pour interpréter des scores que son usage habituel.
Faux; La validité est propre à l’interprétation et l’usage qui sont faits d’un test. La façon dont j’interprète le test doit être validée.
Vrai ou faux? La validité est un continuum.
Vrai; ce n’est pas du tout ou rien. il est presqu’impossible qu’un test soit 100% valide.
Vrai ou faux? Les normes d’un test peuvent être inexactes/mésadaptées (ex; changent avec le temps) sans que la validité soit mauvaise pour autant.
Vrai
Lorsqu’on mesure par la bande des construits qui ne sont pas reliés à ce qu’on veut mesurer (ex; la compréhension de lecture dans un test de résolution de problèmes mathématiques), il s’agit de la _______________.
variance non reliée au construit
Qui suis-je? Degré auquel le test omet des éléments importants du construit.
Sous-représentation du construit
Par exemple, un test sur la dépression ne tient pas compte de la dimension cognitive dans ses items.
Qui suis-je? Degré avec lequel un test semble mesurer ce qu’il vise à mesurer.
Validité d’apparence
Qu’est-ce que la validité de contenu?
C’est le degré avec lequel le contenu du test correspond au contenu du concept étudié. À quoi point il représente bien l’ensemble des éléments qu’on cherche à évaluer.
Quel test nous permet d’évaluer la validité d’apparence?
Aucun test ne peut l’évaluer. En revanche, on peut se tourner vers l’avis d’experts en la matière qui nous donnent leur impression de la validité d’apparence.
Qu’est-ce que le contenu d’un instrument?
C’est une proportion représentative d’un domaine fini de connaissances et de comportements.
Comment peut-on déterminer la validité de contenu d’un test?
D’abord, il faut définir solidement le construit mesuré. Ensuite, on fait un tableau détaillant les items rattachés aux dimensions. On vise à obtenir un bon échantillonage d’items et à représenter toute les dimensions rattachées au construit.
Pour quels types de test la validité de contenu est particulièrement importante?
Les tests de rendement et les tests d’aptitudes. En effet, il est plus facile et nécessaire de faire une liste exhaustive de ce qu’on doit mesurer dans le test (vs. test de personnalité, par exemple).
Aussi pour test diagnostic avec symptômes déjà prédéfinis (par exemple, DSM5).
La __________________ implique de quantifier la relation entre le résultat du test et un autre critère considéré comme étant un indicateur important du concept mesuré.
validité critériée
On utilise un test d’aptitude au travail pour prédire la performance au travail 8 mois plus tard. Il s’agit de quel type de validité critériée?
La validité prédictive
On veut mesurer si notre test peut prédire le critère de la performance au travail
Quel type de validité consiste à utiliser le test pour prédire la valeur que prennent actuellement d’autres variables liées?
La validité concomitante (validité critériée)
Par exemple, on administre un test sur l’état de stress actuel en même temps de prendre une mesure du rythme cardiaque du bénéficiaire.
Qui suis-je? Critère qui donne une définition réaliste du construit mesuré par l’instrument, s’exprimant par un coefficient de corrélation ou par une régression.
Critère réaliste externe
Vrai ou faux? Dans la méthode des groupes constratés pour la validité critériée, il suffit de montrer que les groupes soient significativement différent au niveau des scores au test.
Faux; il doit y avoir assez de différence entre les groupes pour que ce soit utile dans la pratique. La taille de l’effet est importante.
Si la différence de moyenne entre les 2 groupes est significative mais petite, la faible distinction entre ces derniers n’est pas assez importante.
Quelles sont les méthodes servant à mesurer la validité critériée?
- Critère réaliste externe
- Groupes contrastés
- Corrélations avec d’autres tests (validité convergente et validité discriminante)
À quoi s’attend-on nous lorsqu’on mesure la validité convergente à l’aide d’une corrélation avec un autre test?
La corrélation entre le résultat à l’instrument et le critère sera positive et (modérément) élevée.
Qui suis-je? Degré de désaccord entre l’instrument évalué et un instrument établi mesurant le concept à l’étude.
Validité divergente
Par exemple, on met en relation notre test sur la dépression avec un test mesurant l’estime de soi. On s’attend à ce que la corrélation soit négative, ce qui nous prouverait la validité divergente.
La matrice multitraits multiméthodes (Campbell et Fiske) est une méthode permettant de mesurer quel type de validité?
La validité convergente et discriminante/divergente
(validité critériée)
Qui suis-je? Ensemble d’hypothèses portant sur ce que l’on devrait observer si l’instrument est valide.
Système hypothético-déductif
Par exemple, si les scores de mon test d’anxiété sont élevés, je devrais observer des scores élevés dans une échelle de stress quotidien et des scores faibles dans une échelle mesurant l’optimisme.
Vrai ou faux? Si certaines relations attendues de notre système hypothético-déductif ne sont pas trouvées, c’est nécessairement parce que notre instrument n’est pas valide.
Faux; ça peut être le cas mais le problème pourrait aussi être au niveau des critères utilisés.
Afin de s’assurer qu’on mesure bien la validité de notre instrument, on doit faire attention aux critères qu’on utilise. Que devons-nous nous assurer lors du choix d’un critère?
Le critère doit être indépendant de l’instrument testé, des concepteurs de l’instrument testé et des administrateurs de l’instument testé car il pourrait y avoir contamination.
Lorsque le critère est l’information que fournit un juge/un expert, on doit s’assurer de 2 choses. Lesquelles?
- Le juge ne doit pas reproduire ce que l’instrument testé vise à faire, donc doit ne doit pas utiliser les critères du test (sinon ça sert à rien, le but est d’avoir un critère différent)
- Le juge ne doit pas connaître les résultats obtenus à l’instrument testé (pourrait influencer son interprétation)
Qu’avons nous besoin pour tester l’effet d’atténuation?
La stabilité temporelle de l’instrument testé, la stabilité temporelle du critère et la corrélation entre l’instrument et le critère.
Qu’est-ce que l’effet d’atténuation?
Une mauvaise fidélité atténue la validité de l’instrument testé.
Vrai ou faux? Il est possible de tester l’effet d’atténuation même si on n’a pas d’information quant à la stabilité temporelle du critère.
Vrai;
𝑟_(𝑥^′ 𝑦)=𝑟_𝑥𝑦/√(𝑟_𝑥𝑥 )
Dans la formule d’effet d’atténuation, que représente 𝑟_(𝑥^′ 𝑦^′ ) ?
Le coefficient de validité désatténué théorique
Qui suis-je? Montre l’effet des erreurs de mesure sur le coefficient de validité observé.
Le coefficient de validité désatténué
Qu’est-ce que nous dit le coefficient de validité désatténué?
a) La limite supérieure théorique de la validité pouvant être atteinte avec les instruments s’ils n’avaient pas d’erreur
b) Un nouveau coefficient de validité de notre instrument
a) si la fidélité était parfaite, ce serait notre coefficient de validité? *
Vrai ou faux? En psychologie, les construits ne sont souvent pas observables directement (cachés, latents). Donc, il faut les inférer.
Vrai
Quelles méthodes nous permettent de mesurer la validité de construit?
- Structure interne (cohérence interne)
- Analyse factorielle
Un test distingue bien la gravité de la dépression de l’anxiété. Il s’agit de la validité de __________________.
construit
Quelles sont les limites de la validité de contenu?
- Il est difficile d’établir clairement le domaine des items.
- Avec quel degré chaque item couvrent-ils les spécifications du contenu?
- Elle ne fait aucune référence aux résultats du test.
Dans une matrice de corrélation basée sur un système hypothético-déductif, pourquoi doit-on démontrer 2 fois la cohérence interne de notre instrument pour le temps 1 et temps 2?
Je dois vérifier si l’intrusment reste cohérent après un délai.
Quelles hypothèses doit comporter la matrice de corrélation basée sur un système hypothético-déductif?
Les hypothèses relatives à l’instrument et la convergente ou divergente avec des critères
Les hypothèses relatives aux relations entre les critères (ex; devrait avoir une corrélation négtive entre un critère divergent et un critère convergent)
Vrai ou faux? Dans une matrice de corrélation basée sur un système hypothético-déductif, je retrouve une faible corrélation (0,22) entre mon instrument et un critère supposé convergent, cela montre nécessairement que mon instrument est invalide.
Faux; il se pourrait aussi que ce soit le critère qui n’est pas valide (ne mesure pas ce qu’il prétend mesurer). Cette matrice ne nous le dit pas vraiment.
Toutefois, si notre instrument ne corrèle pas significativement avec les autres critères comme on devrait s’attendre, on peut bien douter que le manque de validité vient de notre instrument. À l’inverse, si le critère qui ne corrèle pas bien avec notre instrument n’a pas non plus de corrélation significative avec tous les autres critères de la matrice, on peut supposer que c’est lui qui est invalide.
Dans la validité critériée, une corrélation de 0,50 est _______________.
grande
Pour prédire la validité critériée en combinant plusieurs critères de différents tests, il est préférable d’avoir des variables prédisant chacune _____________________ de variance unique.
a) peu
b) beaucoup
b)
Les démarches de corrélation multiple peuvent démontrer que certaines variables n’ont pas de valeur prédictive une fois que d’autres variables prédictives sont considérées. On n’est pas obliger de faire tous les tests pour bien prédire la validité critériée.
Qui suis-je? Degré avec lequel un nouvel instrument (ou autre source d’information) ajoute à la compréhension ou la prédiction d’un phénomène.
Validité incrémentielle
Pour la validité critériée, qu’est-ce qui nous permet de départager les instruments avec une valeur prédictive unique de ceux qui n’en apportent pas plus?
Des corrélations ou régressions multiples de l’information provenant de différents tests.
Vrai ou faux? La validité de construit est parfois vue comme faisant partie de la validité de contenu et la validité critériée.
Vrai, car elle démontre que l’instrument mesure ce qu’il est censé mesurer en démontrant la relation avec un critère ou un contenu.
Vrai ou faux? Il est possible d’atteindre une validité de construit parfaite qui représente réellement 100% du construit.
Faux; il y aura toujours une sous-représentation du construit qu’on ne pourra pas identifier. On vérifie davantage si l’instrument mesure le construit tel que je l’ai conceptualisé selon la théorie.
Quelles méthodes statistiques permettent de mesurer la validité de construit?
La structure interne et l’analyse factorielle
Pourquoi la cohérence interne est aussi un indice de la validité de construit?
Si les réponses «vont toutes dans le même sens», il y a des preuves que ça mesure une seule et même chose.
Qu’est-ce que la saturation en analyse factorielle?
La corrélation entre un item et un facteur. Plus l’item est relié au facteur, plus la corrélation est élevée.
Dans quel type d’analyse factorielle tous les items d’un instrument sont entrés en même temps dans l’analyse pour en générer des facteurs?
L’analyse factorielle exploratoire
Quel type d’analyse factorielle est utilisé quand on a des hypothèses claires relatives à la structure du concept?
L’analyse factorielle confirmatoire. En effet, les résultats de cette analyse indiquent si oui ou non la structure posée en hypothèse représente bien ce qui est observé dans les données (est-ce que les items saturent bel et bien les facteurs proposés).
Vrai ou faux? On peut utiliser les résultats d’une analyse factorielle pour identifier les items ayant beaucoup d’erreur de mesure.
Vrai; ces items auront de faibles saturations avec les facteurs. On peut ainsi les retirer ou les reformuler.
Vrai ou faux? L’analyse factorielle donne une réponse absolue sur la façon dont est vraiment représenté notre concept.
Faux
Quelles sont les étapes de l’analyse factorielle?
- Proposer une structure.
- Assigner chaque item à une dimension.
- Quantifier l’erreur de mesure des items.
- Vérifier si les items appartiennent à leur dimension.
Dans l’analyse factorielle, on vise des corrélations (saturations) de _______ et plus.
0,30
Plus petit que ça, on retire le facteur
La validité quantifie la façon avec laquelle un l’utilisation d’un test permet de faire des __________ valides.
inférences
Dans une matrice de corrélation basée sur un système hypothético-déductif, pourquoi faut-il non seulement vérifier les hypothèses relatives à l’instrument mais aussi celles relatives aux relations entre les critères?
La vérification de la validité implique l’inspection de toute la matrice de corrélation. Si on voit qu’un des critères ne semble pas être valide vis-à-vis les autres (par exemple, critère convergent et critère divergent corrélent positivement ensemble), cela met en doute les conclusions basées sur ceux-ci.
Vrai ou faux? Dans l’analyse factorielle, il suffit que les items corrèlent fortement à une dimension pour qu’on puisse dire qu’ils appartiennent à cette dimension.
Faux; il faut aussi que ces items corrèlent faiblement avec les autres items des autres dimensions.
Dans quelle situation je vais trouver la corrélation la plus forte et la corrélation la moins forte :
A) même trait et méthode différente
B) trait différent et même méthode
C) trait différent et méthode différente
la plus forte : A)
la moins forte : C)
Quand on analyse notre matrice et qu’on observe les corrélations, quand peut-on dire que la taille d’effet est petite, moyenne et grande (quelles sont les valeurs associées ?) ?
petite : 0,10
moyenne : 0,30
grande : 0,50
