Cours 5 validité

Question 1

Qu’est-ce que la validité

Answer 1

permet de savoir si un istrument mesure vraiment ce qu’il prétend ou devrait mesurer
On veut svaoir si l’échantillon d’items de l’échelle représente bien le construit
le degré de validité détermine l’interprétation et les inférences que l’on peut faire à partir des scores

Question 2

Quels sont les trois aspects relatifs à la validité qui doivent etre évalués?

Answer 2

1. Est-ce qu’il mesure bien le construit qu’il prétend mesurer?
2. Est-ce qu’il mesure bien ce construit pour la popu ciblée?
3. est-ce qu’il mesure bien ce construit pour une application particulière?

Question 3

Quels sont les trois points clés à propos de la validité des tests?

Answer 3

1. la validité concerne l’interprétation des scores procurés par un test pour un construit spécifiques ; ce nest pas une caractéristiques du test
2. la validité est une question de degré; ce n’est pas une question absolue de tout ou rien
3. la validité d’un test repose sur de solides bases théoriques et empiriques

Question 4

Quelles sont les différentes sources de validité?

Answer 4

Contenu
Construit (factorielle, convergente, discriminante)
Critère (concomitante, prédictive, incrémentielle)

Question 5

Qu’est-ce que la vraisemblance (validité d’apparance)?

Answer 5

n’est PAS une forme ou une source de validité

degré auquel une mesure semble adéquate et relié à un construit spécifique selon le jugement de (a)les personnes qui sont évaluées avec le test et\ou les personnes qui utilisent le test

une bonne vraisemblance est lorsque ces perosnnes jugenr que le test semble pertinent et adéquat pour mesurer le construit

si non, cela peut etre UNE MENACE à la validité

Question 6

Qu’est-ce que la validité de contenu?

Answer 6

degré de représentativité des items
établie de facon déductive
les auteurs demandent à un groupe d’experts indépendants de se prononcer sur la pertinence des items

on demande:
1. chaque item individuel correspond bien au construit?
2. Tous les items d’une échelle considérés comme un groupe constituent un échantillon représentatif de tous les domaines et sous-domaines du construit d’intérêt?

Question 7

Quelle est l’importance de la représentativité dans la validité de contenu?

Answer 7

Est-ce que tous les domaines et sosu-domaines du construits sont représentés?
Eviter la sur ou sous représentation des différnets sous domaines

Question 8

selon la validité de contenu, que doivent faire les auteurs avant de construire une échelle?

Answer 8

Doivent décrire en détails et facon compréhensive les différents domaines et sous-domaines du construit d’intérêt?

Question 9

À partir de quoi(3) les chercheurs définissent-ils un construit (le contenu)?

Answer 9

1) cadre théorique
2) recherches empiriques (recension)
3) Connaissances et expériences professionelles\pratiques

Question 10

Quels sont les deux types de validité de contenu?

Answer 10

nominale: auteurs du test
Consensuelle: groupe de spécialistes indépendants

Question 11

Comment peut-on estimer le degré de validité de contenu empiriquement?

Answer 11

On demande à des experts indépendants d’estimer:
a. à quel point (degré) chacun des items d’un est est pertinent et représentatif du construit d’intérêt
b. à quel point (degré) l’ensemble des items constitue un bon échantillon représentatif du contenu du construit

choix de réponse avec gradation
donne un indice de validité de contenu (IVC)
IVC-I = nombre d’experts qui ont jugés l’item représentatif, divisé par le nb total d’experts
IVC-É = proportion d’items jugés représentatifs (moyenne des IVC-I) divisé par le nombre total d’experts

Question 12

Quelles sont les deux grandes menaces à la validité de contenu?

Answer 12

1. inclusion de contenu conceptuellement non pertinent
2. Sous-représentation conceptuelle de certains domaines du construit

Question 13

Qu’est-ce que la validité de construit? quelles sont les deux façons de la vérifier?

Answer 13

Réfère au degré de reproductibilité de la structure interne théorique et aux relations du construit d’intérêt avec d’autres construit externes

2 facons de vérifier:
validité factorielle et validité convergente\discriminante

Question 14

Qu’est-ce qu’il faut connaitre avant d’entamer l’évaluation de la validité de construit?

Answer 14

la théorie sous-jacente au construit d’intérêt

Question 15

Qu’est-ce que le réseau nomologique?

Answer 15

théorie expliquant le construit par le biais de ces interrelations avec d’autres construits

Le RN représente donc la structure interne et les interrelations entre les domaines importants du construit et des construits externes théoriquement importants

peut inclure des facteurs étiologiques et les conséquences dév

devrait TOUJOURS etre dans le manuel de test

Question 16

Qu’est-ce que la validité factorielle?
Qu’est-ce qu’un facteur?

Answer 16

(validité de construit)
Vérifie si la structure factorielle théorique qui représente le construit est reproduite sur le plan empirique

factorielle–> facteurs

facteur: reduction parcimonieuse de plusieurs variables expliquées par une variable latente

dans les instruments multidimensionnels, les items se regroupent en plusieurs facteurs

Question 17

Quels sont les deux aspects inter-reliés de structure factorielle que veut verifier la validité factorielle?

Answer 17

1. Les items sont-ils significativement associés au facteur (construit)?
2. Dans le cas d’un instrument multidimensionnel:
   a) les items sont-ils significativement associés au bon facteur et non-associés aux autres facteurs?
   b) Dans le cas d’une structure hiérarchique, est-ce que les sous-domaines sont significativement associés au domaine général?

Question 18

Qu’est-ce que l’analyse factorielle exploratoire? (validité factorielle)

Answer 18

on identifie des regroupements d’items inter-corrélés, signifiant que les individus tendent à y répondre de façon similaire

-aucune restrictions- imposés à la matrice de corrélation

critere classique: on devrait avoir des saturations factorielles de 0,4 ou plus pour les items associés à un facteur

Question 19

Qu’est-ce l’analyse factorielle confirmatoire? (validité factorielle)

Answer 19

le chercheur impose une structure stricte a la matrice de corrélation et teste si elle correspond aux données

on programme des 0 aux items non corrélés aux facteurs

methode qui devriat etre employé pusique la structure devrait etre connue

Question 20

Qu’est-ce que la validité convergente\divergente?
Quelle est la meilleur méthode pour la calculer?

Answer 20

Convergente: degré auquel les scores dune echelle sont corrélés avec ceux d’une autre échelle existante qui mesure le meme construit

Discriminante: degré auquel les scores d’une échelle ne sont pas associés avec une échelle qui ne mesure pas le meme construit

Méthode: matrice multitraits-multiméthodes

Question 21

Qu’est-ce que la validité de critère? Quels sont les deux types?

Answer 21

Réfère au degré auquel les scores à une échelle sont associés à l’adaptation ou la performance des individus

Les scores d’une échelle sont comparés à ceux d’un critère externe

Le critère devrait etre une mesure objective et indépendante de l’instrument , mais relié conceptuellement au construit d’intérêt (RN)

Types: concomitante ou predictive

Question 22

Quelles sont les deux facons d’estimer la validité de critère concomitante?

Answer 22

1. Corrélation avec un critère indépendant (significative)
2. Méthode des groupes contrastés
   (on teste les différences de scores moyens entre des groupes dont un a deja le diagnostic identifié et l’autre non)

Question 23

Qu’est-ce que la validité de critère prédictive?

Answer 23

Degré auquel une mesure est capable de prédire un critère externe prospectivement (plus trad dans le temps)
Besoin d’une étude longitudinale prospective

Question 24

Qu’est-ce que la validité incrémentielle?

Answer 24

Forme spécifique de la validité de critère

À quel point les scores d’un test ont une valeur ajoutée pour prédire un critère externe, au-delà de la capacité d’autres facteurs prédictifs importants?

liée à l’idée de controle statistique en analyse de regression

peut s’appliquer a la classification pour savoir si echelle est meilleure quune autre

peut s’appliquer à la révision d’un test pour savoir si nouvelle version prédient mieux et est plus sensible et spécifique

Question 25

Qu’est-ce que la théorie de la décision?

Answer 25

Vise analyse des effets quantitatifs des decsiions prises avec des tests

liée a validité de critère

Il s’agit de determiner à quel point les scores d’une échelle peuvent classifier adéquatement les personnes dans des groupes

Question 26

Qu’est-ce que la sensibilité?

Answer 26

capacité d’une échelle de procurer un résultat positif pour les personnes présentant le statut (statut déjà connu)

capacité de détection

Tableau 2x2 –> vrai positif\tous ceux qui ont le statut

Question 27

Qu’est-ce que la spécificité?

Answer 27

Capacité d’une échelle de procurer un résultat négatif pour les personnes ne présentant pas le statut (statut déjà connu)

capacité de discrimination

tableau 2x2 –> vrais nég\ tous ceux qui nont pas reelement le statut

Question 28

les indices de sensibilité\spécificité sont des observations de la _________________ dun test
on estime la proportion dindividus dont le statut est ___________ qui obtiennent un score au dessus ou au dessous d’un ________________ determinés par ______________

Answer 28

performance retrospective

connu

score critère

auteurs

Question 29

VRAI ou FAUX
on cherche un plus haut score de sensibilité que spécificité

Answer 29

faux: on cherche une balance entre les deux

Question 30

Qu’est-ce que le pouvoir préctif?

Answer 30

niveau de confiance qui peut etre accordé à un résultat positif

probabilité qu’un individu présente réellement le trouble , étant donné le résultat positif à un test

pouvoir prédictif positif:
probabilité qu’un individu avec un résultat positif ai réelement le statut prédit

pouvoir prédictif négatif:
probabilité qu’un individu avec un résultat négatif n’ait reellement pas le satut prédit

Question 31

le ppp et le ppn sont des _______________ d’un test, ils dépendent de _________________ ET ________________________

Answer 31

indices de performance extrinsèques
la prévalence dun trouble
score critère

Question 32

VRAI ou FAUX
une faible prévalence egale souvent un faible ppp mais un fort ppn

Answer 32

Vrai

Question 33

Quels sont les 2 problèmes potentiels avec les indices de sensibilité\spécificité et de pouvoir prédictif?

Answer 33

1. l’estimation de ces indices statistiques dépend de la validité et de la fidélité du critère utilisé
2. L’estimation de la prévalence réelle dans différnets contextes cliniques peut etre difficile

Question 34

VRAI ou FAUX :
les estimés imprécis de la prévalence n’ont pas un impact important sur les estimés du pouvoir prédictif pour les echelles qui ont une sensibilité et spécificité élevées

Answer 34

VRAI

Question 35

Comment la fidélité et la validité sont-elles interreliées?

Answer 35

1. la validité est un préalable à la fidélité
2. La fidélité est une condition nécessaire à la validité
3. reliées empiriquement: indices de validité directeemnt influencés par degré de fidélité