Cours 4 et 5 - Validité des tests

Question 1

Vrai ou faux? Je peux me baser sur un test validé mais l’utiliser différement pour interpréter des scores que son usage habituel.

Answer 1

Faux; La validité est propre à l’interprétation et l’usage qui sont faits d’un test. La façon dont j’interprète le test doit être validée.

Question 2

Vrai ou faux? La validité est un continuum.

Answer 2

Vrai; ce n’est pas du tout ou rien. il est presqu’impossible qu’un test soit 100% valide.

Question 3

Vrai ou faux? Les normes d’un test peuvent être inexactes/mésadaptées (ex; changent avec le temps) sans que la validité soit mauvaise pour autant.

Answer 3

Vrai

Question 4

Lorsqu’on mesure par la bande des construits qui ne sont pas reliés à ce qu’on veut mesurer (ex; la compréhension de lecture dans un test de résolution de problèmes mathématiques), il s’agit de la _______________.

Answer 4

variance non reliée au construit

Question 5

Qui suis-je? Degré auquel le test omet des éléments importants du construit.

Answer 5

Sous-représentation du construit
Par exemple, un test sur la dépression ne tient pas compte de la dimension cognitive dans ses items.

Question 6

Qui suis-je? Degré avec lequel un test semble mesurer ce qu’il vise à mesurer.

Answer 6

Validité d’apparence

Question 7

Qu’est-ce que la validité de contenu?

Answer 7

C’est le degré avec lequel le contenu du test correspond au contenu du concept étudié. À quoi point il représente bien l’ensemble des éléments qu’on cherche à évaluer.

Question 8

Quel test nous permet d’évaluer la validité d’apparence?

Answer 8

Aucun test ne peut l’évaluer. En revanche, on peut se tourner vers l’avis d’experts en la matière qui nous donnent leur impression de la validité d’apparence.

Question 9

Qu’est-ce que le contenu d’un instrument?

Answer 9

C’est une proportion représentative d’un domaine fini de connaissances et de comportements.

Question 10

Comment peut-on déterminer la validité de contenu d’un test?

Answer 10

D’abord, il faut définir solidement le construit mesuré. Ensuite, on fait un tableau détaillant les items rattachés aux dimensions. On vise à obtenir un bon échantillonage d’items et à représenter toute les dimensions rattachées au construit.

Question 11

Pour quels types de test la validité de contenu est particulièrement importante?

Answer 11

Les tests de rendement et les tests d’aptitudes. En effet, il est plus facile et nécessaire de faire une liste exhaustive de ce qu’on doit mesurer dans le test (vs. test de personnalité, par exemple).
Aussi pour test diagnostic avec symptômes déjà prédéfinis (par exemple, DSM5).

Question 12

La __________________ implique de quantifier la relation entre le résultat du test et un autre critère considéré comme étant un indicateur important du concept mesuré.

Answer 12

validité critériée

Question 13

On utilise un test d’aptitude au travail pour prédire la performance au travail 8 mois plus tard. Il s’agit de quel type de validité critériée?

Answer 13

La validité prédictive
On veut mesurer si notre test peut prédire le critère de la performance au travail

Question 14

Quel type de validité consiste à utiliser le test pour prédire la valeur que prennent actuellement d’autres variables liées?

Answer 14

La validité concomitante (validité critériée)
Par exemple, on administre un test sur l’état de stress actuel en même temps de prendre une mesure du rythme cardiaque du bénéficiaire.

Question 15

Qui suis-je? Critère qui donne une définition réaliste du construit mesuré par l’instrument, s’exprimant par un coefficient de corrélation ou par une régression.

Answer 15

Critère réaliste externe

Question 16

Vrai ou faux? Dans la méthode des groupes constratés pour la validité critériée, il suffit de montrer que les groupes soient significativement différent au niveau des scores au test.

Answer 16

Faux; il doit y avoir assez de différence entre les groupes pour que ce soit utile dans la pratique. La taille de l’effet est importante.
Si la différence de moyenne entre les 2 groupes est significative mais petite, la faible distinction entre ces derniers n’est pas assez importante.

Question 17

Quelles sont les méthodes servant à mesurer la validité critériée?

Answer 17

• Critère réaliste externe
• Groupes contrastés
• Corrélations avec d’autres tests (validité convergente et validité discriminante)

Question 18

À quoi s’attend-on nous lorsqu’on mesure la validité convergente à l’aide d’une corrélation avec un autre test?

Answer 18

La corrélation entre le résultat à l’instrument et le critère sera positive et (modérément) élevée.

Question 19

Qui suis-je? Degré de désaccord entre l’instrument évalué et un instrument établi mesurant le concept à l’étude.

Answer 19

Validité divergente
Par exemple, on met en relation notre test sur la dépression avec un test mesurant l’estime de soi. On s’attend à ce que la corrélation soit négative, ce qui nous prouverait la validité divergente.

Question 20

La matrice multitraits multiméthodes (Campbell et Fiske) est une méthode permettant de mesurer quel type de validité?

Answer 20

La validité convergente et discriminante/divergente
(validité critériée)

Question 21

Qui suis-je? Ensemble d’hypothèses portant sur ce que l’on devrait observer si l’instrument est valide.

Answer 21

Système hypothético-déductif
Par exemple, si les scores de mon test d’anxiété sont élevés, je devrais observer des scores élevés dans une échelle de stress quotidien et des scores faibles dans une échelle mesurant l’optimisme.

Question 22

Vrai ou faux? Si certaines relations attendues de notre système hypothético-déductif ne sont pas trouvées, c’est nécessairement parce que notre instrument n’est pas valide.

Answer 22

Faux; ça peut être le cas mais le problème pourrait aussi être au niveau des critères utilisés.

Question 23

Afin de s’assurer qu’on mesure bien la validité de notre instrument, on doit faire attention aux critères qu’on utilise. Que devons-nous nous assurer lors du choix d’un critère?

Answer 23

Le critère doit être indépendant de l’instrument testé, des concepteurs de l’instrument testé et des administrateurs de l’instument testé car il pourrait y avoir contamination.

Question 24

Lorsque le critère est l’information que fournit un juge/un expert, on doit s’assurer de 2 choses. Lesquelles?

Answer 24

1. Le juge ne doit pas reproduire ce que l’instrument testé vise à faire, donc doit ne doit pas utiliser les critères du test (sinon ça sert à rien, le but est d’avoir un critère différent)
2. Le juge ne doit pas connaître les résultats obtenus à l’instrument testé (pourrait influencer son interprétation)

Question 25

Qu’avons nous besoin pour tester l’effet d’atténuation?

Answer 25

La stabilité temporelle de l’instrument testé, la stabilité temporelle du critère et la corrélation entre l’instrument et le critère.

Question 26

Qu’est-ce que l’effet d’atténuation?

Answer 26

Une mauvaise fidélité atténue la validité de l’instrument testé.

Question 27

Vrai ou faux? Il est possible de tester l’effet d’atténuation même si on n’a pas d’information quant à la stabilité temporelle du critère.

Answer 27

Vrai;
𝑟_(𝑥^′ 𝑦)=𝑟_𝑥𝑦/√(𝑟_𝑥𝑥 )

Question 28

Dans la formule d’effet d’atténuation, que représente 𝑟_(𝑥^′ 𝑦^′ ) ?

Answer 28

Le coefficient de validité désatténué théorique

Question 29

Qui suis-je? Montre l’effet des erreurs de mesure sur le coefficient de validité observé.

Answer 29

Le coefficient de validité désatténué

Question 30

Qu’est-ce que nous dit le coefficient de validité désatténué?
a) La limite supérieure théorique de la validité pouvant être atteinte avec les instruments s’ils n’avaient pas d’erreur
b) Un nouveau coefficient de validité de notre instrument

Answer 30

a) si la fidélité était parfaite, ce serait notre coefficient de validité? *

Question 31

Vrai ou faux? En psychologie, les construits ne sont souvent pas observables directement (cachés, latents). Donc, il faut les inférer.

Answer 31

Vrai

Question 32

Quelles méthodes nous permettent de mesurer la validité de construit?

Answer 32

• Structure interne (cohérence interne)
• Analyse factorielle

Question 33

Un test distingue bien la gravité de la dépression de l’anxiété. Il s’agit de la validité de __________________.

Answer 33

construit

Question 34

Quelles sont les limites de la validité de contenu?

Answer 34

1. Il est difficile d’établir clairement le domaine des items.
2. Avec quel degré chaque item couvrent-ils les spécifications du contenu?
3. Elle ne fait aucune référence aux résultats du test.

Question 35

Dans une matrice de corrélation basée sur un système hypothético-déductif, pourquoi doit-on démontrer 2 fois la cohérence interne de notre instrument pour le temps 1 et temps 2?

Answer 35

Je dois vérifier si l’intrusment reste cohérent après un délai.

Question 36

Quelles hypothèses doit comporter la matrice de corrélation basée sur un système hypothético-déductif?

Answer 36

Les hypothèses relatives à l’instrument et la convergente ou divergente avec des critères
Les hypothèses relatives aux relations entre les critères (ex; devrait avoir une corrélation négtive entre un critère divergent et un critère convergent)

Question 37

Vrai ou faux? Dans une matrice de corrélation basée sur un système hypothético-déductif, je retrouve une faible corrélation (0,22) entre mon instrument et un critère supposé convergent, cela montre nécessairement que mon instrument est invalide.

Answer 37

Faux; il se pourrait aussi que ce soit le critère qui n’est pas valide (ne mesure pas ce qu’il prétend mesurer). Cette matrice ne nous le dit pas vraiment.
Toutefois, si notre instrument ne corrèle pas significativement avec les autres critères comme on devrait s’attendre, on peut bien douter que le manque de validité vient de notre instrument. À l’inverse, si le critère qui ne corrèle pas bien avec notre instrument n’a pas non plus de corrélation significative avec tous les autres critères de la matrice, on peut supposer que c’est lui qui est invalide.

Question 38

Dans la validité critériée, une corrélation de 0,50 est _______________.

Answer 38

grande

Question 39

Pour prédire la validité critériée en combinant plusieurs critères de différents tests, il est préférable d’avoir des variables prédisant chacune _____________________ de variance unique.
a) peu
b) beaucoup

Answer 39

b)
Les démarches de corrélation multiple peuvent démontrer que certaines variables n’ont pas de valeur prédictive une fois que d’autres variables prédictives sont considérées. On n’est pas obliger de faire tous les tests pour bien prédire la validité critériée.

Question 40

Qui suis-je? Degré avec lequel un nouvel instrument (ou autre source d’information) ajoute à la compréhension ou la prédiction d’un phénomène.

Answer 40

Validité incrémentielle

Question 41

Pour la validité critériée, qu’est-ce qui nous permet de départager les instruments avec une valeur prédictive unique de ceux qui n’en apportent pas plus?

Answer 41

Des corrélations ou régressions multiples de l’information provenant de différents tests.

Question 42

Vrai ou faux? La validité de construit est parfois vue comme faisant partie de la validité de contenu et la validité critériée.

Answer 42

Vrai, car elle démontre que l’instrument mesure ce qu’il est censé mesurer en démontrant la relation avec un critère ou un contenu.

Question 43

Vrai ou faux? Il est possible d’atteindre une validité de construit parfaite qui représente réellement 100% du construit.

Answer 43

Faux; il y aura toujours une sous-représentation du construit qu’on ne pourra pas identifier. On vérifie davantage si l’instrument mesure le construit tel que je l’ai conceptualisé selon la théorie.

Question 44

Quelles méthodes statistiques permettent de mesurer la validité de construit?

Answer 44

La structure interne et l’analyse factorielle

Question 45

Pourquoi la cohérence interne est aussi un indice de la validité de construit?

Answer 45

Si les réponses «vont toutes dans le même sens», il y a des preuves que ça mesure une seule et même chose.

Question 46

Qu’est-ce que la saturation en analyse factorielle?

Answer 46

La corrélation entre un item et un facteur. Plus l’item est relié au facteur, plus la corrélation est élevée.

Question 47

Dans quel type d’analyse factorielle tous les items d’un instrument sont entrés en même temps dans l’analyse pour en générer des facteurs?

Answer 47

L’analyse factorielle exploratoire

Question 48

Quel type d’analyse factorielle est utilisé quand on a des hypothèses claires relatives à la structure du concept?

Answer 48

L’analyse factorielle confirmatoire. En effet, les résultats de cette analyse indiquent si oui ou non la structure posée en hypothèse représente bien ce qui est observé dans les données (est-ce que les items saturent bel et bien les facteurs proposés).

Question 49

Vrai ou faux? On peut utiliser les résultats d’une analyse factorielle pour identifier les items ayant beaucoup d’erreur de mesure.

Answer 49

Vrai; ces items auront de faibles saturations avec les facteurs. On peut ainsi les retirer ou les reformuler.

Question 50

Vrai ou faux? L’analyse factorielle donne une réponse absolue sur la façon dont est vraiment représenté notre concept.

Answer 50

Faux

Question 51

Quelles sont les étapes de l’analyse factorielle?

Answer 51

1. Proposer une structure.
2. Assigner chaque item à une dimension.
3. Quantifier l’erreur de mesure des items.
4. Vérifier si les items appartiennent à leur dimension.

Question 52

Dans l’analyse factorielle, on vise des corrélations (saturations) de _______ et plus.

Answer 52

0,30
Plus petit que ça, on retire le facteur

Question 53

La validité quantifie la façon avec laquelle un l’utilisation d’un test permet de faire des __________ valides.

Answer 53

inférences

Question 54

Dans une matrice de corrélation basée sur un système hypothético-déductif, pourquoi faut-il non seulement vérifier les hypothèses relatives à l’instrument mais aussi celles relatives aux relations entre les critères?

Answer 54

La vérification de la validité implique l’inspection de toute la matrice de corrélation. Si on voit qu’un des critères ne semble pas être valide vis-à-vis les autres (par exemple, critère convergent et critère divergent corrélent positivement ensemble), cela met en doute les conclusions basées sur ceux-ci.

Question 55

Vrai ou faux? Dans l’analyse factorielle, il suffit que les items corrèlent fortement à une dimension pour qu’on puisse dire qu’ils appartiennent à cette dimension.

Answer 55

Faux; il faut aussi que ces items corrèlent faiblement avec les autres items des autres dimensions.

Question 56

Dans quelle situation je vais trouver la corrélation la plus forte et la corrélation la moins forte :
A) même trait et méthode différente
B) trait différent et même méthode
C) trait différent et méthode différente

Answer 56

la plus forte : A)

la moins forte : C)

Question 57

Quand on analyse notre matrice et qu’on observe les corrélations, quand peut-on dire que la taille d’effet est petite, moyenne et grande (quelles sont les valeurs associées ?) ?

Answer 57

petite : 0,10

moyenne : 0,30

grande : 0,50