Cours 6 - Évaluation de la qualité de la mesure (validité)

Question 1

Quels sont les grands principes de la validité ? (4)

Answer 1

1. La validité est un élément essentiel de la qualité d’une mesure, le plus important selon les Normes de pratique en testing en psychologie et en éducation. 2. L’étude de la validité vise à répondre à la question «Est-ce que mon test mesure bien ce qu’il est censé mesurer?» 3. La validité d’un test est limitée par sa fidélité. Un test ne peut être valide sans être fidèle. 4. Un test n’est pas valide de façon absolue: on estime la validité de l’interprétation des données dans un certain contexte et avec une certaine population. On estime le niveau ou le degré de validité dans un contexte particulier.

Question 2

Quelles sont les 5 catégories de méthodes d’estimation de la validité?

Answer 2

1. Validité d’apparence 2. Validité de contenu 3. Validité critériée 4. Validité de construit 5. Validité de conséquence

Question 3

Quels sont les types de validité critériée? (2)

Answer 3

1. Validités concomitante et prédictive 2. Validités convergente et divergente

Question 4

Quels sont les types de validité de construit? (3)

Answer 4

1. Analyses factorielles 2. Effet des variables expérimentales 3. Changements développementaux

Question 5

Le symbole consacré de la validité est ___.

Answer 5

rxy x: le test développé y: un critère extérieur représentant le construit mesuré par le test développé

Question 6

Vrai ou Faux. Il existe plusieurs coefficients de validité.

Answer 6

VRAI voyon donc

Question 7

Quels sont les 3 coefficients de validité?

Answer 7

1. des corrélations, des pourcentages 2. des indices statistiques liés aux analyses de comparaison de moyennes, des indices statistiques liés à des analyses factorielles 3. des indices liés à diverses analyses inférentielles

Question 8

Qu’est-ce que la validité d’apparence?

Answer 8

Elle s’intéresse à la crédibilité du test pour les personnes qui le passent. Si le client ne croit pas dans le processus, il sera moins motivé à s’investir et ses résultats ne seront pas représentatifs du construit évalué.

Question 9

Quelle est la démarche employée pour évaluer la validité d’apparence?

Answer 9

Demander à des gens qui ont passé le test s’ils pensent que les résultats de ce test reflètent bien qui ils sont.

Question 10

La validité d’apparence et de contenu sont des analyses assez _________.

Answer 10

assez subjectives.

Question 11

La validité d’apparence et de contenu sont-elles une preuve empirique de la validité d’un instrument?

Answer 11

Non. Ce ne sont pas une preuve empirique de la validité d’un instrument.

Question 12

Vrai ou Faux. La validité d’apparence est souvent étudiée.

Answer 12

Faux, elle est rarement étudiée.

Question 13

Pour quelles mesures la validité d’apparence est plus pertinente?

Answer 13

Pour certaines mesures comme les tests projectifs.

Question 14

La présentation des données de la validité d’apparence et de contenu se fait généralement sous forme … (2)

Answer 14

1. sous une forme qualitative 2. par le biais de pourcentages

Question 15

Quel type de validité concerne cet énoncé : Est-ce que les items contenus dans le test sont représentatifs du construit?

Answer 15

La validité de contenu

Question 16

Quels sont les 2 aspects que comprend la représentativité de la validité de contenu?

Answer 16

1. Respect des limites du construit 2. Respect de la structure du construit

Question 17

Quelles sont les 3 notions associées à la validité de contenu?

Answer 17

1. Sous-représentation du construit 2. Variance non reliée au construit 3. Tableau de spécifications

Question 18

Qu’est-ce qu’un tableau de spécifications?

Answer 18

Tableau qui précise les limites et la structure du construit.

Question 19

Vrai ou Faux. Il y a de la variance non reliée au construit dans tous les tests.

Answer 19

Vrai.

Question 20

L’évaluation de la validité de contenu est influencé par …

Answer 20

par notre opinion sur le construit.

Question 21

Dans la démarche employée pour la validité de contenu, on consulte des experts de contenu pour évaluer … (4)

Answer 21

1. La pertinence des dimensions identifiées par les auteurs du test. 2. La qualité des items pour mesurer les dimensions 3. Le vocabulaire employé 4. Les biais possibles

Question 22

Est-il toujours pertinent de vérifier la validité de contenu?

Answer 22

Oui.

Question 23

Quel est la première étape dans l’acceptation d’un test par ceux qui sont susceptibles de l’utiliser?

Answer 23

Vérifier la validité de contenu

Question 24

Quel type de validité concerne cet énoncé : Le test va-t-il dans le même sens qu’un critère extérieur qui permet de détecter la présence ou le niveau du construit à l’étude?

Answer 24

La validité critériée

Question 25

Vrai ou Faux. Dans la validité critériée, si le test mesure le construit, il devrait réagir de façon différente à cette autre façon d’estimer le construit.

Answer 25

Faux. Il devrait réagir de façon semblable à cette autre façon d’estimer le construit.

Question 26

La validité de critère d’un test est influencée par … (2)

Answer 26

1. Le critère employé 2. La fidélité du test à l’étude (principe d’atténuation)

Question 27

Quelles sont les 3 grandes catégories de critères? (validité critériée)

Answer 27

1. Critère externe réaliste
2. Groupes contrastés
3. Un test reconnu pour évaluer le construit d’intérêt ou un construit plus ou moins associé

Question 28

Qu’est-ce qu’un critère externe réaliste?

Answer 28

Une façon de mesurer le construit qui n’est pas un test et qui pourrait représenter le construit. (ex: évaluer la réussite académique pour mesurer l’intelligence)

Question 29

Qu’est-ce que des groupes contrastés?

Answer 29

Deux groupes reconnus pour présenter des niveaux différents du construit. (ex: groupe dépressif vs groupe pas dépressif)

Question 30

Quelle est la démarche employée si il y a un critère externe réaliste ou des groupes contrastés? (2 démarches) (validité critériée)

Answer 30

1. Concomitante: le critère est évalué en même temps que le test. 2. Prédictive: le critère est su après le test seulement.

Question 31

Quelle est la démarche employée si le critère est un test? (2 démarches) (validité critériée)

Answer 31

1. Validité convergente: le test est mis en lien avec un autre qui mesure le même construit ou un construit associé. 2. Validité divergente: le test est mis en lien avec un autre qui mesure un construit différent, peu en lien avec le test ou moins en lien avec le test.

Question 32

À quoi on s’attend quand on interprète une corrélation de validité critériée? (2)

Answer 32

1. Corrélation positive ou négative, tout dépendant du lien conceptuel attendu entre le critère et le test 2. La corrélation attendue sera modérée et plus, tout dépendant du critère employé (r=0,40 et plus)

Question 33

Que fait-on lors de l’interprétation des résultats d’une comparaison de moyenne de la validité critériée? À quoi on s’attend?

Answer 33

On fait la comparaison de la moyenne de groupes au test. La différence entre les moyennes doit aller dans le sens attendu et être significative.

Question 34

On interprète les résultats de la validité critériée selon …

Answer 34

selon la théorie de la décision

Question 35

Qu’est-ce que l’analyse de l’efficience d’un test?

Answer 35

Utilisée dans la validité critériée, elle vise à estimer dans quelle mesure le test est capable de prédire l’appartenance au groupe en fonction des résultats à celui-ci.

Question 36

Quel concept concerne cet énoncé : Un seuil est fixé dans le test qui déterminera l’appartenance ou non à un groupe.

Answer 36

Analyse de l’efficience d’un test.

Question 37

L’analyse de l’efficience d’un test est plus utile avec …

Answer 37

avec les tests de classement ou de diagnostic, comme les tests d’intelligence, les tests évaluant les désordres de la personnalité…

Question 38

Quelle est la particularité du groupe critère dans la théorie de la décision?

Answer 38

Le groupe critère est celui qui a le construit que l’on veut mesurer.

Question 39

Qu’est-ce qu’un taux d’efficience? Quel est le calcul?

Answer 39

% de bonnes décisions dans les groupes, les gens qui sont bien classés Efficience = (vrais positifs+vrais négatifs) / nb total d’individus dans les groupes.

Question 40

Qu’est-ce qu’un taux de sensibilité? Quel est le calcul?

Answer 40

combien d’individus du groupe critère sont bien classés, qui ont le problème Sensibilité = vrais positifs / (vrais positifs + faux négatifs)

Question 41

Qu’est-ce qu’un taux de spécificité? Quel est le calcul?

Answer 41

combien d’individus des groupes de contrôle sont bien classés, qui n’ont pas le problème Spécificité = vrais négatifs / (vrais négatifs + faux positifs)

Question 42

Que permet l’interprétation de résultats tirés d’une étude des validités convergente et divergente? (3)

Answer 42

1.Façon de colliger les données d’une étude des validités convergente et divergente. 2. Permet aussi d’étudier les biais de méthodes. 3. Permet aussi d’étudier la consistance interne des mesures.

Question 43

Comment est aussi appelée l’interprétation de résultats tirés d’une étude des validités convergente et divergente?

Answer 43

Matrice multitraits-multiméthodes

Question 44

Quel type de validité concerne cet énoncé : L’instrument réagit-il de façon similaire au construit, si on l’expose à des variables qui entretiennent un lien avec le construit?

Answer 44

La validité de construit!

Question 45

Que vérifie-t-on avec la validité de construit? (3)

Answer 45

1. Vérifier l’effet de différentes variables expérimentales sur les résultats au test. 2. Vérifier si les résultats fluctuent en fonction de changements développementaux qui influencent le construit. 3. Vérifier si les dimensions postulées par l’auteur du test sont réellement présentes dans le test.

Question 46

Quelles sont les 3 démarches employées pour vérifier la validité de construit?

Answer 46

1. Effet de différentes variables expérimentales. 2. Effet des changements développementaux. 3. Analyses factorielles.

Question 47

Dans la démarche d’effet de différentes variables expérimentales employée pour vérifier la validité de construit, il y a une __________ pour créer la variable expérimentale.

Answer 47

Il y a une manipulation pour créer la variable expériementale

Question 48

Quelles sont les 2 types d’études possibles dans la validité de construit? Expliquez.

Answer 48

Étude longitudinale: une cohorte passe le test à plusieurs moments au cours de sa vie. Étude transversale: on compare les résultats de cohortes d’âge différent à un moment précis.

Question 49

Quelle est la limite de l’étude longitudinale?

Answer 49

C’est long et il peut y avoir effet d’apprentissage.

Question 50

Quelle est la limite de l’étude transversale?

Answer 50

Les résultats pourraient s’expliquer par un effet de cohorte.

Question 51

Que calcule une analyse factorielle?

Answer 51

Une analyse factorielle calcule de multiples corrélations entre les parties d’un test

Question 52

Que permet d’identifier une analyse factorielle?

Answer 52

Elle permet d’identifier les parties d’un test qui corrèlent le plus entre elles afin de constituer des regroupements. Ces regroupements devraient refléter la théorie postulée.

Question 53

Les analyses factorielles fournissent des ________________ variant de _ à _ pour chacun des scores que l’on retrouve dans un test.

Answer 53

des niveaux de saturation variant de 0 à 1

Question 54

Une saturation ____ devrait être retrouvé entre la partie du test et le(s) regroupement(s) postulé(s) comme étant mesuré(s) par cette partie. Une saturation ____ devrait être retrouvée entre la partie du test et les autres regroupements.

Answer 54

Une saturation ≥ 0,40

Question 55

Qu’est-ce que la validité de conséquence?

Answer 55

Renvoie aux conséquences tant positives que négatives associées au fait d’utiliser un test.

Question 56

La validité de conséquence implique de prendre en compte …

Answer 56

prendre en compte l’énoncé d’intention du test, c’est-à-dire l’utilisation projetée par les concepteurs.

Question 57

Quel type de validité concerne cet énoncé : Existe-il des effets pervers à utiliser un tel test?

Answer 57

Validité de conséquence.

Question 58

Vrai ou Faux. Les opinions sont unanimes concernant la validité de conséquence: elle est plus une question de politique que de validité.

Answer 58

Faux. Certains considèrent qu’elle est essentielle. D’autres affirment que la conséquence de l’évaluation est plus une question de politique que de validité.

Question 59

La validité de conséquence est une forme de validité peu _______ et peu ________.

Answer 59

peu définie et peu étudiée

Question 60

Qu’est-ce que la généralisation de la validité?

Answer 60

Consiste à soupeser toutes les preuves existantes de validité d’un test pour juger de la validité probable de celui-ci dans des circonstances données.

Question 61

Quelle sont les 3 conditions requises pour la généralisation de la validité?

Answer 61

1. Une bonne connaissance du construit en cause et des recherches effectuées à ce sujet. 2. Une compréhension des concepts méthodologiques liés à la fidélité et à la validité de la mesure. 3. Un compréhension des circonstances relatives à l’utilisation prévue du test.

Question 62

Quelles sources d’aide sont utilisées pour la généralisation de la validité? (2)

Answer 62

1. Les sources d’information sur les tests et plus particulièrement les répertoires de compte-rendu critiques (MMY). 2. Les méta-analyses.

Question 63

Que permettent les méta-analyses dans la généralisation de la validité?

Answer 63

Permettent de faire une synthèse des données empiriques cumulées dans les études portant sur un construit en particulier ou sur l’usage d’un test un particulier.

Question 64

L’erreur de mesure provient de diverses sources. Nommez en 3.

Answer 64

1. Caractéristiques du participant ou de l’examinateur 2. Caractéristiques du test ou de la situation de testing 3. Le hasard

Question 65

Quels sont les 2 types d’erreur?

Answer 65

1. L’erreur non systématique et/ou transitoire. 2. L’erreur systématique et/ou permanente.

Question 66

L’erreur non systématique va affecter …

Answer 66

va affecter la fidélité et indirectement, la validité de la mesure.

Question 67

L’erreur systématique va affecter …

Answer 67

va affecter la validité seulement.

Question 68

Selon les Normes de pratique du testing, au sujet de la validité, les documents accompagnateurs d’un test doivent … (5)

Answer 68

1. Fournir des preuves empiriques de la validité de l’instrument, et ce, pour tous les scores disponibles. 2. Vérifier la validité en fonction de l’utilisation projetée du test. 3. Les interprétations non basées sur des évidences empiriques doivent être indiquées comme telles. 4. S’il y a un délai entre la passation du test et l’évaluation d’un critère, on devrait préciser l’intervalle. 5. Pour chaque méthode d’estimation de la validité, décrire de façon détaillée le contexte dans lequel les coefficients ont été obtenus.

Question 69

Selon les Normes de pratiques, le concepteur d’un test à l’obligation de … (3)

Answer 69

1. Veiller à ce que son test soit à jour ou le retiré du marché. 2. S’assurer que son test soit équitable pour toutes les personnes susceptibles de la passer et fournir des preuves empiriques à ce sujet. 3. Si des modifications sont suggérés pour les candidats présentant un handicap précis, ces modifications et leur justification devraient être décrites en détail dans le manuel et des preuves de validité devraient être fournies, si elles sont disponibles.