Cours 5-6 - La validité

Question 1

Que faut-il absolument pour qu’un test soit valide ?

Answer 1

Le test doit corrélé avec un critère.

Question 2

Vrai ou faux : un test peut être parfaitement valide ?

Answer 2

Faux, il ne sera jamais parfaitement valide

Question 3

Quelle est la définition de la validité ?

Answer 3

Est-ce qu’un test mesure ce qu’il devrait mesurer ?

Question 4

Quelles sont les précisions à apporter à la validité ?

Answer 4

Un score dans un but précis : c’est valide pour quelque chose

Une question de degré et non pas de tout ou rien (pas de validité parfaite - p.ex. je prédis mieux que les autres tests)

Validité vs exactitude des normes : ce n’est pas parce que votre test est valide qu’il prédit l’exactitude des normes

Question 5

Qu’est-ce que ça prend pour avoir une mesure valide ?

Answer 5

Superposition du test et du construit

Question 6

Qu’est-ce qu’un construit sous-représenté ?

Answer 6

Exemple si on ne mesure pas la dimension comportementale de la dépression

Question 7

Qu’est-ce que la variance non-pertinente ?

Answer 7

Le test mesure des caractéristiques non souhaitées.

Question 8

Comment avoir une bonne adéquation du test de construit ?

Answer 8

Partir avec une bonne définition

Question 9

Que faut-il tester avec le contenu dans le nouveau système de la validité ?

Answer 9

Relations avec d’autres variables (convergente ou discriminante, test-critère)

structure interne

conséquences

Question 10

Qu’est-ce qu’une relation convergente ?

Answer 10

Corrélation avec un test

Question 11

Qu’est-ce qu’une relation discriminante/divergente ?

Answer 11

L’absence de corrélation avec un test non lié

Question 12

Qu’est-ce que la structure interne ?

Answer 12

ce qu’on test avec l’analyse factorielle

Question 13

Qu’est-ce que les conséquences dans le concept de validité ?

Answer 13

Qu’est-ce que le test apporte de plus par rapport à une information déjà existante

o Incrémentale ; Quel % de variance supplémentaire mon test ajoute ? si je n’ai pas de variance supplémentaire, pas de validité incrémentale, donc t’apporte rien sauf de t’avoir fait perdre du temps

o Doit démontrer que ta sélection apporte une sélection qui n’était pas obtenable avant

Il s’agit de déterminer si l’ajout d’un nouvel instrument apporte une valeur ajoutée à la prédiction ou à l’évaluation d’un certain résultat.

Question 14

Qu’est-ce que la validité d’apparence ?

Answer 14

Est-ce que le test “paraît” valide ? Est-ce qu’il a l’air de mesure ce qu’il prétend mesurer ?

Question 15

Comment est-ce que la validité d’apparence peut s’avérer utile ?

Answer 15

o Parfois utile d’en avoir ex: contexte d’emploi

 Si utilise MMPI va peut-être faire fuir, ce à quoi un s’attend d’un commis de bureau serais de répondre au téléphone p.ex., plus en lien avec le contexte d’emploi et maintient l’intérêt/la motivation du participant

Question 16

Qu’est-ce que la validité de contenu ?

Answer 16

La validité de contenu concerne la relation existant entre le contenu d’un test et certains domaines bien définis de la connaissance et du comportement

Pour que le contenu d’un test soit valide, il doit bien correspondre au contenu du domaine étudié. Le contenu du test doit couvrir un échantillon représentatif de tous les éléments possibles du domaine.

Doit bien mesurer le concept.

Question 17

Qu’est-ce que la validité de critère ?

Answer 17

Relation du test avec un critère externe :

On tente de définir la relation entre les résultats au test et la position par rapport à un autre critère.

Question 18

Quelles sont les 2 catégories de prédiction pour la validité de critère ?

Answer 18

o Concomitante
 En même temps : le test et le critère sont administré au même moment

o Predictive
 Plus tard : le critère est plus tard, plus dur au point de vue logistique, car doit retrouver nos participants, les gens ont le temps de changer entre l’administration du test et le critère

Question 19

Quelles sont les 3 approches principales de la validité de critère ?

Answer 19

• Critère externe et réaliste p.ex. un critère en lien avec un test p.ex. pour tester anxiété, le critère serait le nb d’attaques de paniques ou bien les présentations orales
• Contrastes entre les groupes
• Corréler avec un autre test

Question 20

Vrai ou faux : le coefficient de corrélation correspond au bêta standardisé de la régression

Answer 20

VRAI

Question 21

Qu’est-ce que les groupes contrastés ?

Answer 21

Sont établies avec les différences de moyennes. Plus la distance entre les deux moyennes est grande, plus le test discrimine plus entre les groupes. Quand le d de Cohen est assez grand, le test discrimine bien entre les deux groupes

 Les deux groupes ne devraient pas avoir le même score, si on faisait un test-t, nous dirais qu’il y a une différence entre les deux groupes

Question 22

Qu’est-ce que le d de Cohen ?

Answer 22

Le d de Cohen est la différence des moyennes divisée par l’ÉT, mesure l’ampleur de la différence entre vos deux groupes en termes ÉT.

Question 23

Vrai ou faux : le bêta non standardisé ne tient pas compte des unités de mesure ?

Answer 23

Faux, c’est le bêta standardisé qui ne tient pas compte des unités de mesure

Question 24

Vrai ou faux : quand votre corrélation est parfaite, vous n’avez pas d’erreur de prédiction face à Y.
Plus votre corrélation est forte, moins vous aurez d’erreur face à Y.

Answer 24

Vrai

Question 25

Vrai ou faux : il est anormal qui si deux groupes sont différents qu’ils se chevauchent

Answer 25

Faux , Arrive parfois que même si on essaie de contrasté, qu’il y ait du chevauchement même s’ils sont distincts. S’ils se ressemblent, il va y avoir une certaine superposition p.ex. patients psychiatriques et personnes qui font des tentatives de suicide. C’est toujours relatif au standard.

Chevauchement des deux groupes, j’ai une petite partie qui serait p.ex. moins agressif qu’une partie du groupe contraste i.e. étudiants en psycho

Question 26

Vrai ou faux : plus la moyenne des groupes est rapprochée, plus le test discrimine entre les deux groupes.

Answer 26

Faux, Plus la distance entre les deux moyennes est grande, plus le test discrimine entre les groupes. Quand le d de Cohen est assez grand, le test discrimine bien entre les deux groupes

Question 27

S’il y a un test qui mesure déjà un concept, pourquoi en faire un autre ?

Answer 27

Pour viser des populations différentes ou pour apporter une définition différente p.ex. la jalousie conjugal (anciens questionnaires ne comportent pas les avancés technologiques comme les médias sociaux)

Faire un test plus court et/ou accessible

Question 28

Quelles sont les conditions qui affectent le r dans la validité de critère ?

Answer 28

o Linéarité : sinon ça ne marche pas pour faire régression

o Homoscédascité ou non : votre erreur de prédiction est constante tout au long de la droite

o Homogénéité du groupe : les participants sont identiques dans le groupe – restriction de la variance qui affaiblit

Question 29

Quelle est la relation entre la fidélité et la validité ?

Answer 29

Très important : si votre mesure manque de fidélité, très problématique pour faire de la validité, la fidélité n’est pas un absolu mais une question de degré. Est-ce que le score observé est proche du vrai score ?

Si pas bcp de fidélité, j’essaie de corréler avec un critère mais je ne corrèle peut-être pas la bonne valeur ;
- je corrèle avec un critère et je corrèle avec la bonne valeur, puisque j’ai une bonne fidélité.

Question 30

Quelle est la question qui sous-tend la validité de critère ?

Answer 30

Jusqu’à quel point le critère est-il bon ? (autres influences)

Question 31

Qu’est-ce que la contamination de critère ?

Answer 31

À éviter dans la mesure du possible.

• Renvoie à une situation dans laquelle le résultat au test influe sur la valeur du critère
• Se produit lorsque le critère utilisé est influencé par d’autres facteurs qui ne devraient pas être pris en compte

Examen psychométrie et corrèle avec la moyenne général en fin de bac
- Dit que valide, car fortement corrélé
- Problème : le critère est contaminé, car Nic Plante donne bcp de cours

Question 32

Quelles sont les fonction de la contamination de critère ?

Answer 32

Fonctionnement et prévention

Question 33

Qu’est-ce que la validité convergente ?

Answer 33

est-ce que votre test est corrélé avec un test golden

Question 34

Qu’est-ce que la validité discriminante ?

Answer 34

test n’est pas corrélé avec un construit ou moins corrélé avec qq chose d’autre

Question 35

Qu’est-ce que la matrice multitrait-multiméthode ?

Answer 35

Veut corréler à la fois à un test objectif de dépression et avec un test projectif de dépression = validité convergente.

Et si ton test corrèle avec plus faiblement avec une mesure objective et projective d’anxiété = validité divergente.

Donc tu veux démontrer que ta corrélation de ton nouveau test est toujours plus élevé avec tes mesures de dépression que celles de l’anxiété.

o Exception : D1 p.121 est corrélé avec D1 à .84 coefficient de fidélité test-retest (ne sera pas parfait)

o Porte aussi sur la fidélité, si c’était validité, ça serait de 1

Question 36

Qu’est-ce qui prévaut et pourquoi : la prédiction statistique ou la prédiction clinique ?

Answer 36

o Résultat habituel = supériorité statistique

 Pour prédire y, formule basé sur un test sera toujours meilleur qu’un jugement clinique.

 Prédiction clinique à faire avec prudence p.ex. voici les raisons pourquoi je crois que le MMPI se trompe. 95% donc ne devrait pas arriver souvent.

Question 37

Qu’est-ce qui se produit lorsque j’ajoute une variable lors d’une régression multiple ?

Answer 37

À chaque fois que vous rajouter une variable, vous diviser toujours la somme des carrés par les degrés de liberté du modèle. Plus je rajoute de V1, plus mes degrés sont augmenté, puis je les divise ensemble – doit apporter qq chose comme dans le cas présent.

Question 38

Quelles sont les caractéristiques d’une variable/prédicteur ajouté lors d’une régression multiple ?

Answer 38

La variance ou les prédicteurs ajoutés, doivent toujours diminuer l’erreur et augmenter la variance du modèle – viser un r élevé pour faire une meilleure prédiction.

Question 39

Qu’est-ce que la théorie de la décision ?

Answer 39

quand vous faites passer un test, c’est souvent pour prendre une décision : mon client a-t-il une dépression ou non.

Question 40

Qu’est-ce que les « hits » ?

Answer 40

 Vrai positifs : vous avez le sida et le test dit que vous avez le sida.
 Vrai négatifs : vous n’avez pas le sida et le test dit que vous n’avez pas le sida.

Question 41

Qu’est-ce qu’un faux positif en utilisant l’exemple du sida ?

Answer 41

 Faux positifs
* Vous passez un test de dépistage du sida. Vous n’avez pas le sida mais le test affirme que oui.

Question 42

Qu’est-ce qu’un faux négatif en utilisant l’exemple du sida ?

Answer 42

 Faux négatifs
* Vous passez un test de dépistage du sida. Vous avez le sida mais le test affirme que non.

Question 43

Comment peut-on jouer sur la sensibilité et la spécificité ?

Answer 43

o Modifier le point de coupure pour jouer sur la sensibilité vs spécificité
 Meilleur des mondes (100% sensibilité et 100% spécificité) vs réalité

Question 44

Qu’est-ce que la sensibilité ?

Answer 44

• Sensibilité
  o Identifier correctement les membres du groupe critère
  o P.ex. 2 bières = alcooliques – très grande sensibilité, car inclus bcp de gens, pas assez spécifique.
  o Je détecte où il y a une problème.

Question 45

Qu’est-ce que la spécificité ?

Answer 45

• Spécificité
  o Degré auquel le test détermine ou non les membres du groupe constraté
  o 42 consommations : trop spécifique, mais peu sensible
  o Classe seulement les alcooliques et non les autres personnes

Question 46

Pourquoi est-ce que 100% de sensibilité et 100% de spécificité n’arrivera jamais ?

Answer 46

quand augmente en sensibilité, je perds en sensibilité ; j’augmente en spécificité et je perds en sensibilité.

Question 47

Comment savons-nous quand maximiser la sensibilité ou bien la spécificité ?

Answer 47

Contexte

o Risque suicidaire = vaut mieux être plus sensible pour détecter le suicide, garder en tête la validité de conséquences
o Poids du diagnostic = vaut mieux être plus spécifique (à mon avis), on a bcp tendance à donner des dx sans se poser la question : quel est l’impact de donner un dx à un individu.

Question 48

Qu’est-ce que le taux de base ?

Answer 48

fréquence d’un événement à l’intérieur d’une population

• 25 % gestion et 75% maths : plus de probabilité qu’un étudiant croisé soit en gestion, car il y a plus de gens en gestion qu’en maths

Question 49

Pourquoi faire des statistiques bayésiennes ?

Answer 49

probabilité de la présence d’un dx en fonction du taux de base

Question 50

Qu’est-ce que la validité de construit ?

Answer 50

Un test vise à mesurer un certain construit. Parfois, ce construit n’a pas de point de référence évident. Néanmoins, divers types de preuves peuvent être rassemblées pour étayer la proposition selon laquelle le test mesure le construit. La validité de construit englobe toutes ces méthodes.

Question 51

Comment détermine-t-on la validité de construit ?

Answer 51

• Structure interne
• Analyse factorielle

Question 52

Qu’est-ce que l’analyse factorielle ?

Answer 52

Les items correspondant à une dimension devraient corrélé ensemble, plutôt qu’avec les items d’une autre dimension.

Renseigne sur la structure interne

Question 53

Quelles sont les 2 types d’analyses factorielles ?

Answer 53

Exploratoire
Confirmatoire

Question 54

Qu’est-ce que la validité différentielle ?

Answer 54

Est-ce qu’un test prédit également (aussi bien ou aussi mal) pour différents groupes ?

Question 55

Vrai ou faux : dans la validité différentielle, une différence de moyenne signifie la présence de biais.

Answer 55

Faux, pas automatiquement une présence de biais

P.ex. Les détenus d’un pénitencier obtiennent un score moindre à l’échelle d’agressivité que les étudiants en psychologie. Le test d’agressivité n’est pas automatiquement biaisé. C’est peut-être le reflet de la réalité quand on n’a pas de bais donne fig. 5.11.

Question 56

Quels sont les 2 types de biais qui peuvent être observés lors de la validité différentielle ?

Answer 56

• Biais de la pente
• Biais de l’ordonnée

Question 57

Quels sont les critères pour une généralisation de la validité (votre test, pour qu’il soit valide, doit…) ?

Answer 57

o Utiliser cette source d’information (test) ou une autre source (autre test) – golden standard ou pas

o Utiliser cette source d’information (test) ou rien

o Faire (au moins) mieux que pile ou face (50%)
 Méthode de la courbe ROC – si votre test ne bas pas quelqu’un qui tire à pile ou face, devrait au minimum le battre

Question 58

Qu’est-ce que le biais de la pente ?

Answer 58

Il peut y avoir une différence dans la manière dont le test prédit la performance pour différents sous-groupes (par exemple, en fonction du sexe, de l’âge ou de l’origine ethnique).

Pour un même score sur le test, la performance attendue peut être plus élevée ou plus basse selon le groupe

Vous prédisez différemment pour les membres du groupe A et du groupe B

Question 59

Comment peut-on éviter le biais de la pente ?

Answer 59

Le standard est qu’on doit utiliser les test avec la même validité prédicatrice.

p.ex. gens modestes et introvertis – est-ce que les entrevus prédisent bien le rendement vs les gens plus extravertis ; probablement pas car sous-estime leur rendement.

Question 60

Qu’est-ce que le biais de l’ordonnée à l’origine ?

Answer 60

Fait référence à une situation où le point de départ (l’ordonnée à l’origine) d’une relation entre deux variables n’est pas le même pour tous les groupes. Autrement dit, même lorsque les scores d’un test sont à zéro, la performance prévue peut varier selon les sous-groupes d’individus (par exemple, sexe, origine ethnique).

Concrètement, cela signifie que pour un même score sur un test, certains groupes peuvent avoir une performance initiale plus élevée ou plus basse que d’autres.

Pas le même bêta standardisé/r de Pearson pour les deux groupes.

Question 61

Pourquoi est-ce que le biais de l’ordonnée à l’origine peut porter à confusion ?

Answer 61

Les pentes parallèles suggèrent le même coefficient de corrélation, mais le problème réside à l’ordonné à l’origine des groupes.

Question 62

Vrai ou faux : plus le taux de base est élevé, plus la probabilité d’avoir le diagnostic est élevée.

Answer 62

Vrai