Cours 6 - validité

Question 1

Validité

Answer 1

• sa capacité (à l’instrument) à mesurer ce qu’il prétend mesurer
• constitue, avec la fidélité, la propriété la + importante d’un test (première chose à aller vérifier)
• quand on construit un nouvel instrument, il faut présenter des preuves suffisantes qu’il mesure bien ce qu’il prétend mesurer

Question 2

Un instrument peut-il être valide dans l’absolu (100%)?

Answer 2

NON
- valide pour des situations particulière et non pour d’autres
- théorie sous-jacente aux construits évalués est relative

On l’évalue donc en terme de degré

Question 3

Dans l’évaluation de la validité, sous-représentation d’un construit (SC)

Answer 3

Partie d’un construit qui n’est pas couverte par l’instrument

Question 4

Variance non reliée au construit (VNRC)

Answer 4

Mesure de caractéristiques autres que celles souhaitées

Question 5

3 grands types de validité

Answer 5

• validité de contenu
• validité critériée
• validité de construit

Question 6

Autres types de validité

Answer 6

• validité apparente
• validité différentielle
• validité incrémentale
• validité de conséquence

Question 7

Validité de contenu

Answer 7

Dès le moment où on commence à bâtir un test = 1ere chose à faire
- évalue dans quelle mesure les divers aspects d’un instrument sont représentatifs du concept mesure
- dans quelle mesure les items sont des indicateurs valides su concept mesuré

Nécessite une définition précise du concept visé et de toutes ses facettes

Question 8

De quoi on a besoin pour avoir une bonne validité de contenu?

Answer 8

• les items doivent couvrir tous les aspects principaux du concept (éviter les sous-représentation)
• items doivent couvrir ces aspects de manière proportionnelle (pas de sous/sur-représentation)
• ne pas contenir de variables non pertinentes

Aussi… Évaluer
- instructions données
- modalités de présentation des stimuli
- contrainte de temps
- modalités de réponse
- critères de cotation

Question 9

Validité critériée

Answer 9

Relation entre les résultats de l’instrument et un autre critère considéré comme un important indicateur de construit à l’étude
EST-CE QUE ÇA CORRÈLE AVEC UNE CARACTÉRISTIQUE VOISINE?

• vérifier le degré d’association entre l’instrument et une variable que l’on souhaite prédire ou expliquer
• validité critériée = est-ce utile

On VEUT que les résultats corrèlent avec une caractéristiques voisine (sinon la mesure ne serait pas vraiment valide)

Question 10

2 sous-types de validité critériée (temporalité)

Answer 10

• validité concomitante : les résultats de l’instrument sont associés à la valeur actuelle d’un critère externe
  (la mesure est simultanée)
• validité prédictive : les résultats de l’instrument permettent de prédire un critère externe futur
  (la mesure est effectuée à intervalle +/- long)

La différence entre ces 2 types de validité réside dans le moment d’évaluation du critère

Question 11

2 sous-types de validité (corrélation)

Answer 11

• corrélation entre l’instrument à valider et d’autres instruments dont les caractéristiques psychométriques sont bien établies
• validité convergente : corrélation élevée entre l’instrument à valider et un autre instrument qui mesure le même construit qu’on veut mesurer (ex: 2 tests mesurant les intérêts professionnels) (on veut que ce soit associé)
• validité divergente (discriminante) : corrélation relativement faible entre l’instrument à valider et un instrument qui mesure des construits autres que ce qu’on veut mesurer (ne veut pas que ce soit associé)

Question 12

Validité d’un instrument s’exprime avec quoi ?

Answer 12

Coefficient de corrélation (Pearson) = coefficient de validité

Question 13

Relation fidélité-validité

Answer 13

• la validité d’un instrument dépend de sa fidélité
• si la fidélité du critère est limités = validité de l’instrument limitée

Question 14

Validité du critère

Answer 14

L’autre critère considéré comme important doit aussi être valide

Question 15

La validité critériée repose sur la capacité de l’instrument à distinguer quoi?

Answer 15

Capacité à distinguer les gens entre eux

• permet de prédire comportement/caractéristiques (si pas trop facile ou trop difficile)

Question 16

Seuil recherché pour la validité critériée

Answer 16

N’existe pas de seuil prédéterminé, il s’agit d’une appréciation relative de la validité

Ex : prédiction du risque suicidaire VS prédiction perfo sportive = pas la même importance de validité

Question 17

Validité concomitante seuils

Answer 17

au moins 0,7 pour être élevé
en bas de 0,3-0,4 pour être faible

Question 18

Théorie de la décision

Answer 18

Un bon instrument doit être en mesure d’identifier correctement les cas qui possèdent une caractéristique X, ainsi que d’être en mesure d’identifier les personnes ou les cas qui ne possèdent pas la caractéristique X.

Question 19

Sensibilité

Answer 19

Capacité à identifier les “cas” parmi les personnes évaluées
- évaluée par la proportion de cas correctement identifiés (VP) parmi les cas

Question 20

Spécificité

Answer 20

Capacité à identifier les non-cas parmi les personnes évaluées
- évaluée par la proportion de non-cas correctement identifiée (VN) parmi les non-cas

Question 21

La sensibilité et la spécificité sont-ils des attributs dépendants?

Answer 21

Non, il sont indépendants, un instrument peut avoir une bonne sensibilité et une mauvaise spécificité = il détecte presque tous les cas, mais identifierait comme cas des personnes qui n’en sont pas

On veut maximiser les 2

Question 22

Validité de construit

Answer 22

= validité théorique

C’est le degré de certitude qu’on a que l’instrument reflète les composantes théoriques du concept visé

Elle “comprend” les autres types de validité

Question 23

Les 3 indices de validité de construit

Answer 23

• les corrélations avec d’autres versions du même instrument
• les corrélations convergentes et divergentes
• analyse factorielle

Question 24

Indice 1 de la validité de construit
Corrélations avec d’autres versions du même instrument

Answer 24

• corrélation avec une version antérieure
• corrélation avec un version auto-rapportée pour valider une version par entrevue
• corrélation entre version papier crayon et version informatisée
• r = >0,8

Question 25

Indice 2 de validité de construit
Corrélations convergentes et divergentes

Answer 25

Un instrument devrait corréler avec des variables similaires (convergence) et ne devrait pas corréler avec des variables plus éloignées (divergence)

Question 26

Indice 3 de validité de construit
Analyse factorielle

Answer 26

Sert à relever les facteurs composant un instrument = permet de confirmer ou infirmer sa structure théorique
Sert aussi à vérifier le poids de chacun des items pour chaque dimension retenue

• permet d’extraire des composantes (facteurs) de variance commune
• permet de vérifier le nombre de concepts mesurés = si l’instrument est en accord avec la théorie
• permet de vérifier l’appartenance des items à chaque facteur

Question 27

Une mauvaise validité de construit nous dit quoi?

Answer 27

• Théorie non adéquate
• Instrument n’est pas une bonne opérationnalisation des concepts de la théorie

Question 28

Autres types de validité (ne faisant pas parties des 3 principaux)

Answer 28

Validité apparente
Validité différentielle
Validité incrémentale
Validité de conséquence

Question 29

Validité apparente

Answer 29

à première vue, qu’est-ce que l’instrument à l’aire de mesurer?

Sentiment subjectif qu’ont les évaluateurs potentiels et les personnes évaluées de la validité de l’instrument

donc pas une “preuve” scientifique de la validité

Question 30

Validité différentielle

Answer 30

Un instrument est biaisé s’il fonctionne différemment selon les groupes

Nous devons donc évaluer la validité pour les différents groupes auxquels nous souhaitons l’appliquer

Question 31

Validité différentielle pour les 3 grands types de validité

Answer 31

Contenu : vérification du contenu : est-ce que le sens est le même pour toute la population?

Critériée : vérif de la validité prédictive, analysa spécificité/sensibilité

Construit : vérif validité du modèle théorique

Question 32

Validité incrémentale

Answer 32

Concerne la quantité de données nouvelles et uniques qu’ajoute un instrument à un corpus de données existant

Est-ce que ça augmente la précision? Obtient plus d’informations?

Question 33

Validité de conséquences

Answer 33

S’intéresse aux conséquences souhaitées et non souhaitées de l’usage de l’instrument sur les personnes

• utilité
• effets indésirables
• réactions de la personne évaluée

Question 34

Degré de validité recherché

Answer 34

RELATIF
r > o,5 = élevé
r plus petit que 0,5 = faible

Question 35

Questions à se poser lors du choix d’un instrument

Answer 35

• est-ce que l’instrument est plus ou moins valide qu’un autre
• est-il préférable d’utiliser cet instrument comme source d’information ou de ne pas l’utiliser?

S’assurer de suivre les normes