La validité

Question 1

Qu’est-ce que la validité?

Answer 1

Est-ce qu’un test mesure ce qu’il devrait mesurer ?
Un score dans un but précis
Une question de degré et non pas de tout ou rien
Et surtout comparativement aux autres tests…
Validité vs exactitude des norms
Pensées délinquantes et nombre de crimes faits
Ces ados ne sont pas comme les ados qui font parties de la population

Question 2

Qu’est-ce qu’une mesure valide?

Answer 2

Superposition du test et du construit

Question 3

Qu’est-ce qu’un construit sous-représenté?

Answer 3

Quand la définition est trop vague
ex. : dépression est qqch d’émotif, comportemental… (trop vague), partie du construit qui n’est pas représentée

Question 4

Qu’est-ce qu’une variance non-pertinente?

Answer 4

Variance pas attribuée à ce qu’on mesure

Question 5

Qu’est-ce que la validité d’apparence?

Answer 5

Est-ce que le test “paraît” valide ?

Contraste avec des études empiriques
MMPI n’a pas de validité d’apparence (ex. Malhonnête)

Divergences d’opinion à propos de la validité d’apparence
Parfois utile ex: contexte d’employ, car maintient l’intérêt de la personne qui applique
La moins scientifique
Est-ce qu’il a l’air de mesuré ce qu’il est censé mesurer?

Question 6

Qu’est-ce que la validité de contenu?

Answer 6

Concerne la relation existant entre contenu d’un test et certains domaines bien définis de la connaissance et du comportement
Utilisation typique: Tests en éducation et tests en emploi
Analyse de poste
Un problème d’opérationnalisation
Alcoolisme=dépendant (50%)+boire consequences negatives(50%)
Pas parce qu’on a une validité convergente qu’on a une validité de construit.

Question 7

Qu’est-ce que la validité de critère?

Answer 7

Relation du test avec un critère externe
Test agressivité devrait avoir correlation avec comportement d’agressivité (peine de prison, nb d’arrestations…)

Question 8

Qu’est-ce que la validité de critère concomitante?

Answer 8

Concomitante
En même temps : test et critère administrés en même temps

Question 9

Qu’est-ce que la validité de critère prédictive?

Answer 9

Prédictive
Plus tard : plus difficile, car doit s’assurer de retrouver nos participants

Question 10

Quelles sont les 3 approches communes à la validité de critère?

Answer 10

Utilisation de :
Critère externe et réaliste
Peine de prison, tentative de suicide, montant des ventes, notes, presentations orales évitées pour phobie sociale, nb de conso pour abus de substance…
Contrastes entre les groupes : par exemple, étudiants uds vs personnes en désintox
Parfois difficile d’obtenir un contraste significatif dépendamment des groupes utilisés
Clients atteints d’un Trouble anxieux généralisé
Étudiants en psycho à UdeS 
Discriminer ou distinguer nos groups s’il est valide
Autre test: corréler avec un aure test qui mesure un construit similaire

Question 11

Quelle est l’unité de mesure pour le contraste?

Answer 11

D de cohen

Question 12

Pourquoi corréler avec un autre test dans la validité de critère?

Answer 12

Pourquoi et quand ?
Simple application des méthodes corrélationnelles
S’il y a déjà un test qui mesure ce qu’on veut mesurer, pourquoi tu le fais? Ça peut être pour renouveler les tests et les mettre dans l’ère du temps, test plus court, plus accessible

Question 13

Quelles sont les conditions affectant r dans la validité de critère?

Answer 13

Linéarité (correlation doit être linéaire)
Homoscédascité ou non (erreur constante tout le long de la droite ou pas)
Homogénéité du groupe (participants sont pareils dans le groupe)

Question 14

Sur quoi travaille-t-on en premier, la fidélité ou la validité?

Answer 14

On travaille sur la fidélité en premier et après la validité

Question 15

Qu’est-ce que la contamination du critère?

Answer 15

Contamination du critère :
Le résultat au test influe sur la valeur du critère. Ex. : on veut déterminer la validité d’une grille de dépression en montrant sa forte corrélation avec les évaluations des cliniciens. Ceux-ci ont accès aux scores obtenus à la grille, donc la corrélation entre le critère et le test est augmentée.
on veut faire test de validité avec examen de psychométrie et on va checker la moyenne générale en fin de bac-> critère est affecté par le test qu’on essaie de valider, contaminé parce que nic donne bcp de cours au bac, devrait aller le corréler avec tous les cours qu’ils ne donnent pas au bac, pas un critère indépendant

Question 16

Quelles sont les considérations particulières pour l’interprétation de la validité de critère?

Answer 16

Conditions affectant r
Relations fidélité validité
Validité du critère - Jusqu’à quel point est-il bon ?
Contamination du critère (à éviter)
Validité convergente et discriminante
Matrice Multitrait-multiméthode

Question 17

Qu’est-ce que la validité convergente?

Answer 17

test corrélé avec un golden standard déjà, corrélation élevée entre le test et un certain critère devant mesurer le même construit que celui du test

Question 18

Qu’est-ce que la validité divergente?

Answer 18

test n’est pas corrélé avec un test qui ne mesure pas le même construit

Question 19

Qu’est-ce que la matrice multi trait multi méthode?

Answer 19

Plus théorique que réellement utilize
Ex : depression : depression est un trait, anxiété est un autre -> multitrait, donc dans la matrice on a une mesure de depression et d’anxiété (au moins).
Inventaire de depression projectif et inventaire d’anxiété projectif
Mesure 1 va toujours être plus corrélé avec les mesures de dépression tant objectives que projectives que les mesures d’anxiété tant projectives qu’objectives
Matrice multitrait méthode porte sur la fidélité et sur la validité

Question 20

Comment se compare la prédiction clinique à statistique?

Answer 20

Cas spécial où de l’information est combinée provenant de plusieurs sources
Résultat habituel = supériorité statistique
Prédiction clinique : on a souvent des erreurs qui viennent de nos biais personnels
Sur l’ensemble des clients, le MMPI fonctionne mieux que le jugement clinique
Pour prédire y, la prédiction statistique sera toujours meilleure que clinique

Question 21

Qu’est-ce qu’un faux positif?

Answer 21

Vous passez un test de dépistage du sida. Vous n’avez pas le sida mais le test affirme que oui.

Question 22

Qu’est-ce qu’un faux négatif?

Answer 22

Vous passez un test de dépistage du sida. Vous avez le sida mais le test affirme que non.

Question 23

Comment peut-on éviter les faux positifs/négatifs?

Answer 23

Modifier le point de coupure pour jouer sur la sensibilité vs spécificité
Meilleur des mondes (100% sensibilité et 100% spécificité) vs réalité
100 sensibilité et spécificité : tout le monde dans le groupe est vraiment alcoolique, sensibilité -> je trouve le niveau à partir duquel c’est un problème

Question 24

Qu’est-ce que la sensibilité?

Answer 24

Identifier correctement les membres du groupe critère

Question 25

Qu’est-ce que la spécificité?

Answer 25

Degré auquel le test détermine ou non les membres du groupe constraté

Question 26

Comment peut-on maximiser la sensibilité ou la spécificité?

Answer 26

Risque suicidaire = vaut mieux être plus sensible
Poids du diagnostic = vaut mieux être plus spécifique (à mon avis) -> tendance à donner diagnostic sans se demander quel est l’impact qu’il a sur la personne
Si trop sensible, pas assez spécifique et vice-versa

Question 27

Qu’est-ce que la courbe ROC?

Answer 27

Courbe ROC : diagonale coupe le carré en 2, 50% d’un côté, 50% de l’autre. La ligne de test doit être au-dessus de la diagonale, car sinon ça veut dire que quelqu’un qui ferait pile ou face pour diagnostiquer prédirait mieux que votre test. SE RAPPELER DE 1-SPÉCIFICITÉ DANS TABLEAU DE COORDONNÉES DE LA COURBE.

Question 28

Qu’est-ce que le taux de base?

Answer 28

Taux de base : fréquence d’un événement/pathologie à l’intérieur d’une population

Question 29

Quelles sont les méthodes pour évaluer la validité de construit?

Answer 29

Structure Interne
Analyse Factorielle

Question 30

Qu’est-ce que la validité de construit?

Answer 30

Nous dit si la validité de contenu est bonne avec analyse factorielle
Si on dit que la dépression touche les comportements, les cognitions et les affects, le test qu’on fait devrait contenir des items pour les comportements, les cognitions et les affects (items des affects devraient corrélés entre eux…)
(donc dit soit que ton questionnaire ou certains items sont mauvais ou bien ta validité de contenu est mauvaise)

Question 31

Qu’est-ce que l’analyse factorielle exploratoire?

Answer 31

La première qu’on fait

Question 32

Qu’est-ce que l’analyse factorielle confirmatoire?

Answer 32

une fois qu’on a exploré et qu’on a décidé de garder les meilleures parties de notre test, on la fait avec un autre échantillon, pas le même que l’analyse exploratoire, peut être un échantillon similaire, on veut voir si la structure de notre questionnaire est encore la même. Cercles sont les variables, rectangles sont les items

Question 33

Qu’est-ce que la validité différentielle?

Answer 33

Est-ce qu’un test prédit également (aussi bien ou aussi mal) pour différents groupes ?
Une différence de moyenne ne signifie pas automatiquement un biais
Quelques exemples…
Les détenus d’un pénitencier obtiennent un score moindre à l’échelle d’agressivité que les étudiants en psychologie. Le test d’agressivité n’est pas automatiquement biaisé.

Question 34

Quelles sont les deux biais?

Answer 34

Biais de la pente : corrélation entre test et critère n’est pas la même pour les deux groupes, le test prédit différemment pour le groupe b que le groupe a

Biais de l’ordonnée : Quand 2 groupes ont exactement la même corrélation, mais n’ont pas le même point de départ sur l’ordonnée à l’origine, le test peut sous-estimer la force réelle du patient dans la vie de tous les jours. Pour le corriger, un met un bonus de x points au groupe qui est sous-estimé.
Il y a 1 question dans le test qui vaut 10 points que tous les hommes ratent, mais dans la vraie vie, ça ne changerait rien

Question 35

Qu’est-ce que la généralisation de la validité?

Answer 35

valide avec un groupe, mais valide avec le nôtre aussi?

Question 36

Qu’est-ce que l’analyse finale?

Answer 36

Analyse finale : standard relatif
Utiliser cette source d’information (test) ou une autre source (autre test)
Utiliser cette source d’information (test) ou rien
Faire (au moins) mieux que pile ou face (50%)
Méthode de la courbe ROC
Notre test doit être absolument valide et c’est un standard relatif, car on va comparer notre test avec d’autres tests (si il est similaire aux autres tests, ça devient un test parmi tant d’autres, alors que si elle est très bonne, devient le golden standard)