Chapitre 5

Question 1

Que dit la validité?

Answer 1

Est-ce que le test mesure bien ce qu’il est censé mesurer?

Est-ce que mon test mesure quelque chose d’autre que je ne veux pas forcément mesurer?

Question 2

Quelles sont deux précisions au sujet de la définition de la validité?

Answer 2

Ce qu’on peut en dire selon les contextes d’utilisation (se référer aux objectifs du test). La notion de validité: ce n’est pas un attribut du test en soi. C’est un attribut de l’utilisation d’un test dans un CONTEXTE donné. Comprendre les objectifs du test. Beaucoup de choses qui comptent pour déterminer la validité du test.

C’est une question de degré, pas « c’est tout ou rien ».
Ex. À quel degré le Rorschach est-il valide pour détecter la gravité d’une dépression?

(Validité vs l’exactitude des normes)

Question 3

Tient-on compte des normes lorsque l’on parle de validité?

Answer 3

Non. Validité vs. exactitude des normes.

Question 4

Que dit Maxwell sur la validité? 1992

Answer 4

Pense que la validité «n’est pas une caractéristique propre à une méthode particulière, mais concerne plutôt les données, les résultats et les conclusions issus de l’utilisation de cette méthode dans le cadre d’un contexte et d’un objectif précis

Question 5

Est-ce que la validité/fiabilité ne touche qu’une approche quantitative?

Answer 5

Non.

Question 6

Quel est l’ancien classement de la validité?

Answer 6

1. Contenu et apparence
2. Critériée
   - Concomitante (ancien terme)
   - Prédictive (ancien terme)
3. Construit

Question 7

Quel est le nouveau classement?

Answer 7

1. Contenu
2. Relations avec les autres variables
   - Convergente et divergente
   - Relation avec les critères du test
3. Processus de réponse
4. Structure interne (analyse factorielle, validité de structure (synonyme))
5. Conséquence

Question 8

Quel type de validité s’oppose à quelque chose d’empirique et systématique?

Answer 8

La validité apparente/d’apparence

Question 9

Validité de contenu.

Answer 9

• Plus un test est valide, plus il couvre l’ensemble des dimensions ou sous-dimensions théoriquement associées à un test (voir figure 5,1)
• Il y a des tests ou le construit est sous représenté
  Exemples… QI
• Et des tests qui couvrent de la variance non reliée au construit, c.-à-d. qui mesurent un ou des constuits sans liens logiques avec ce que le test dit mesurer
  Exemples… la déficience et l’autisme

Question 10

Quel test est-ce que le construit est sous-représenté?

Answer 10

Le QI.

Question 11

Quelle question pourrait-on se poser pour la valditié de contenu?

Answer 11

Le contenu du test correspond-il aux objectifs du test ?

Question 12

Nommez un domaine en quoi la validité de contenu est utile.

Answer 12

Rendement (scolaire ou professionnel)
- Ex: Les items du premier examen du psy4130 couvrent-ils la matière enseignée ou lue, soit les chapitres 1 à 6 ? (Ici, précisément, validité didactique)

Question 13

Le contenu d’un test s’inspire souvent de quoi?

Answer 13

D’un canevas, d’un énoncé de principe ou d’objectifs

Question 14

Comment doit être le contenu de tests de la personnalité?

Answer 14

Il doit s’aligner sur ce qui est opportun selon des experts (recension des écrits) et autres tests.

Question 15

Quels sont les problèmes avec la validité de contenu?

Answer 15

1. Il est difficile d’établir le domaine des items (voir le modèle de stress parental) surtout pour la personnalité
2. Il est difficile d’établir jusqu’à quel point un item mesure un contenu donné
   Ex. « Je suis satisfait-e du dernier vêtement que j’ai acheté ». Dépression oui, mais jusqu’à quel point considérant. « Je n’ai plus autant de plaisir qu’avant ».
3. Contrairement aux autres types de validité, aucune démonstration à faire avec les réponses effectives des sujets
   - pas de statistiques sur les réponses des sujets
   - à l’occasion, des statistiques, par ex., sur le jugement des experts (accords interjuges)

Question 16

Y’a-t-il une démonstration à faire avec les réponses effectives des sujets dans la validité de contenu?

Answer 16

Non

Question 17

Quelle serait une question de base pour la validité de critère?

Answer 17

Existe-t-il un lien, tel qu’attendu, entre les résultats du test et des critères externes (ne pas confondre avec l’évaluation critériée)

Trois approches les plus communes

• Critère réaliste externe
• Groupe de contraste
• Un autre test

Question 18

Quel serait le lien à faire entre la validité de critère et l’approche traditionnelle?

Answer 18

Validité concomitante, et validité prédictive.
- Classique: corréler le test et le critère en même temps (comcomitante) ou avec un délai, voir si le test prédit le critère (prédictive).

Question 19

Est-ce que l’évaluation critériée et la validité critériée c’est la même chose?

Answer 19

Non

Question 20

Le lien test-critère correspond à quoi?

Answer 20

Une corrélation (r). En fait, on fait une régression en ce qui concerne la prédiction.

Question 21

Est-ce que le contraste entre deux groupes de répondants peut indiquer sur la validité?

Answer 21

Oui.

Ex: Les enfants de 4 ans réussissent moins bien un test de FE que les enfants de 5 ans.

Question 22

Dans quel contexte n’utilise-t-on pas la corrélation pour la prédiction (validité critériée)?

Answer 22

Dans le cas où le critère est dichotomique (ex: dépressif ou non).

Question 23

Peut-on faire une validité de critère par groupe contraste avant et après une intervention?

Answer 23

Oui.

On regarde la taille de l’effet (superposer les deux courbes normales des deux groupes).

Question 24

Quand on compare deux tests (validité de critère) à quoi doit-on faire attention?

Answer 24

Aux appellations.

Question 25

Quand on compare deux tests (validité critériée), comment procède-t-on?

Answer 25

À l’aide d’une corrélation.

Question 26

Rappel: qu’est-ce qui peut affecter la corrélation (r)?

Answer 26

Linéarité
Homogénéité
Hétéroscédasticité

Question 27

De quoi dépend la validité critériée?

Answer 27

De la fiabilité et de la validité du critère lui-même.

Question 28

Parlez de la matrice multiméthodes.

Answer 28

Une seule méthode est insuffisante pour rendre compte d’une situation. Une seule méthode est insuffisante. On combine les méthodes. On travaille avec les faiblesses et les forces de chacune.

Matrice multitrait multiméthode, multidimensionnelle-multiméthode ou multiconstruit-multiméthode.

On regarde différentes dimensions d’un construit, et on regarde plusieurs méthodes. Cela permet de regarder la validité (en rassemblant des preuves).

Question 29

Que peut-on se demander avec la méthode multitrait multiméthodes?

Answer 29

On peut se demander comment combiner les différentes informations.

Question 30

Une représentation des effets additifs de l’information provenant de divers tests (ou sous-test) pour mesure un construit

Answer 30

Différents carrés superposés. Si les carrés sont trop superposés (ex: Beck et DSM pour la dépression), le test n’apporte pas plus d’information, donc il n’est pas nécessaire. Mais si le test est complémentaire (ex: entrevue clinique), cela peut être utile de le conserver.

Question 31

Quels sont des termes de la théorie de la décision?

Answer 31

Résultat approprié (hit), faux/vrai positif, faux/vrai négatif
L’effet du déplacement du point de coupure
L’effet du taux de base

Question 32

La théorie de la décision porte sur quoi?

Answer 32

Sur la décision que l’on prend à partir du lien que l’on connaît entre deux variables?

Question 33

Comment s’expriment la sensibilité et la spécificité?

Answer 33

En pourcentages.

Question 34

Est-ce que la validité est le seul facteur pour juger de l’utilité d’un test pour prendre une décision?

Answer 34

Non.

Ex: - L’utilité relative d’uneméthode pour prendre une décision :
Est-ce qu’une entrevue ne serait pas plus pertinente qu’un questionnaire?

• Le coût de la passation du test

Question 35

Dans la théorie de la décision, de quoi faut-il tenir compte?

Answer 35

De l’impact relatif des deux types de décision.

• L’évaluation positive erronée de candidats (ou de clients) dont la performance au critère sera insatisfaisante -> les cas de faux positifs
• L’évaluation négative de candidats (ou de clients) dont la performance au critère serait satisfaisante -> les cas de faux négatifs

Question 36

Donnez un exemple de la théorie de la décision?

Answer 36

Je peux situer le seuil au-delà duquel je veux prédire le succès à l’école, mettons à 65, si je suis intéressé par les meilleurs éléments (ex: je bouge la ligne rouge à droite). On a les meilleurs, ici. On commence à avoir des faux positifs ici, en déplaçant la ligne. Plusieurs points plus faibles que le seuil, mais qui auraient été des bons pilotes quand même (dans le cas d’un test pour être pilote).

Question 37

Pouvez-vous donner un exemple de tableau de distributions de sensibilité/spécificité?

Answer 37

4 exemples, dont 2 où il y a des chevauchements dans la série de scores. - S’il y a chevauchement, c’est difficile de déterminer à partir de quel score il y aura suicide. Le meilleur test ici est celui de 88%. 88% des personnes qui ont été dépisté se sont suicidées.

Question 38

Est-ce que la validité de construit est une information de qualité?

Answer 38

Oui

Question 39

Validité de construit

Answer 39

• Peu d’informations de validité portent sur la validité de construit.
• Il faut qu’une analyse factorielle soit faite.
• Aujourd’hui, on dit que ce type de validité est une terme parapluie. Que cela recoupe différents types de validité.
• Exemple avec une variété d’objects, qui représentent différents items d’un test. Le test serait composé de 3 dimensions, selon la théorie du test. Et on veut mesurer ces dimensions de manière indépendante (ex: quand je mesure une information, cela ne doit pas en mesurer une autre… Cela ne doit pas être redondant. Pas intéressant au plan clinique). Dimensions orthogonales = indépendantes les unes des autres. Ex: les items qui mesurent l’anxiété sont distincts de ceux qui mesurent la dépression. Le fait que les items correspondent à la dimension que l’on souhaite mesurer = validité de structure ou théorique. Car on mesure bien ce que l’on veut mesurer.
• Corrélations des réponses obtenues par des milliers de participants. Ex: les gens ont tendance à répondre de la même façon aux différents items. L’ordinateur met ensemble les items qui semblent aller ensemble (ils vont dans le même sens (ex: les deux ont comme réponse «Tojours»)). L’ordinateur n’a aucune idée de la théorie du test et fonctionne de façon empirique.
• C’est à posteriori que l’on nomme les facteurs. On peut supprimer des items. L’analyse factorielle sert à valider l’instrument. On peut aussi changer les items pour les clarifier, au besoin.

Question 40

Comment l’ordinateur procède-t-il pour rassembler les items sous la même dimension?

Answer 40

Corrélations des réponses obtenues par des milliers de participants. Ex: les gens ont tendance à répondre de la même façon aux différents items. L’ordinateur met ensemble les items qui semblent aller ensemble (ils vont dans le même sens (ex: les deux ont comme réponse «Tojours»)). L’ordinateur n’a aucune idée de la théorie du test et fonctionne de façon empirique.

Question 41

Dans la validité de construit, quand nomme-t-on les facteurs du construit que l’on mesure?

Answer 41

Après l’analyse factorielle, on nomme les facteurs qui qui ont été rassemblés comme appartenant à la même dimension.

Question 42

Qu’est-ce qui est important quand on parle de validité de construit?

Answer 42

Validité de sructure interne

Question 43

Avec quoi la validité de construit est confondue?

Answer 43

Avec la cohérence interne. À ne pas confondre.

Question 44

Comment procède-t-on avec la matrice factorielle pour déterminer les facteurs qu’un construit?

Answer 44

Solution factorielle: permet de déterminer la structure (appartient à quel facteur). On a retenu toutes les solutions factorielles au-dessus de 0,30. Ce qui a été encadré fait partie d’un facteur.

Question 45

Dans la validité de construit, veut-on des items qui se chevauchent?

Answer 45

Non, on veut des items indépendants (orthogonaux). On peut même laisser tomber les items qui se chevauchent.

Question 46

Thurstone pensait quoi de l’intelligence?

Answer 46

Qu’elle était composé de plusieurs facteurs. Facteurs multiples (intelligence = multifactorielle).

Depuis 100 ans, on conclut que l’intelligence est le facteur g, qui est composé de sous-dimensions (Spearman).

• Intelligence = unidimensionnel selon la plupart des observateurs, mais bi-dimensionnelle selon Spearman)
• L’intelligence c’est général. L’analyse factorielle contribue au développement des tests.
• Aujourd’hui, le WISC est composé de 5 sous-construits. Il convient que c’est 1 facteur principal. Cette structure se maintient.

Question 47

Les autres types de validité.

Answer 47

Processus de réponse (ex: la façon qu’a les gens de répondre constitue un type de personne (ex: ingénieur, littéraire), etc. Très peu utilisé.

Changements développementaux (Changements développementaux: si on pense que les enfants de 7 ans vont mieux réussir que les enfants de 5 ans, on passe le test aux deux.)

Validité de conséquence

Biais et validité