Cours 6 Flashcards

1
Q

Qu’est- ce que la validité?

A

On veut savoir si l’instrument de mesure, mesure vraiment ce qu’il prétend mesurer.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Vrai ou faux, le degré de validité détermine l’interprétation et les inférences que l’on peut faire à partir des scores d’une échelle

A

Vrai, on veut savoir si l’échantillon d’items (les questions) de l’échelle représente bien le construit qu’on veut mesurer.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

La validité d’un test ou d’une mesure doit être évaluée à 3 aspects:

A
  1. Est-ce qu’il mesure bien le construit qu’il prétend mesurer?
  2. Est-ce qu’il mesure bien ce construit pour la population ciblée
  3. Est-ce qu’il mesure bien ce construit pour une application particulière?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

3 points clés à propos de la validité des tests

A

1) La validité concerne l’interprétation des scores procurés par un test pour un construit spécifique, ce n’est pas une caractéristiques du test

2) La validité est une question de degré ce n’est pas une question absolue, de “ tout ou rien”

3) La validité d’un test repose sur de solides bases théoriques et empiriques

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Quels sont les 3 types de validité (CCC)

A
  • Contenu
  • Construit
  • Critère
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Vraisemblance (validité d’apparence)

Le degré auquel une mesure semble adéquate et reliée à un construit spécifiques selon le jugement de…
a)
b)

A

a) les personnes qui sont évaluées avec le test

b) les personnes qui utilisent le test

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Validité de contenu

A

Degré de représentativité des items (questions) utilisés pour mesurer un construit

*la plupart du temps établie de façon déductive

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Validité de contenu, on demande… (2 choses)

A

Est-ce que…

  1. Chaque item individuellement correspond bien au construit
  2. Tous les items d’une échelle considérés comme un groupe constituent un échantillon représentatif de tous les domaines du construit d’intérêt
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Vrai ou faux, la représentativité est centrale?

A

Vrai! tous les domaines du construit doivent être représentés

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Les chercheurs définissent un construit à partir… (CRC)

A

1) Cadre théorique

2) Recherches empiriques (recension)

3) Connaissances et expériences professionnelles/pratiques

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

2 types de validité de contenu

A

Nominale: auteurs du test

Consensuelle: groupe spécialistes indépendant

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Il y a une façon d’estimer le degré de validité de contenu empiriquement

Avec une échelle de mesure quantitative, on demande à des experts indépendants…

A

A. d’estimer à quel degré chacun des items d’un test est pertinent + représentatif

B. d’estimer à quel degré l’ensemble des items constitue un bon échantillon représentatif

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Qu’est-ce qu’on fait afin de quantifier le degré de validité de contenu?

A

On donne aux experts un choix de réponse avec une gradation à propos de chaque item afin de systématiser le tout

puisque nous avons des données numériques, on peut donc calculer un indice de validité de contenu pour chaque items et pour l’échelle totale

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

2 grandes menaces à la validité de contenu

A
  1. Inclusion de contenu conceptuellement non pertinent
  2. Sous représentation conceptuelle de certains domaines du construit
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

La validité de construit réfère…
au degré a) et b)

A

a) reproductibilité de la structure interne

b) relations du construit d’intérêt avec d’autres construits externes

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

2 grandes façons de vérifier la validité de construit

A

1) Validité factorielle
2) Validité convergente/discriminante

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Réseau nomologique

Nomologie = …

A

Théorie expliquant le construit par le biais de ses interrelations avec d’autres construits

Nomologie = étude des lois

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Validité factorielle

A

On veut vérifier si la structure factorielle théorique qui représente le construit est reproduite sur le plan empirique

Facteur: une réduction parcimonieuse de plusieurs variables (items ou questions) expliquées par une variable latente

19
Q

L’objectif est de vérifier 2 aspects inter-reliés de la structure factorielle théorique

A
  1. Les items sont-ils significativement associés au facteur
  2. Dans le cas d’un instrument multidimensionnel
20
Q

Analyse factorielle exploratoire

A

On identifie des regroupements d’items inter-corrélés, signifiant que les individus tendent à y répondre de façon similaire

Critère classique: on devrait avoir des saturations factorielles de 0,40 ou plus pour les items associé à un facteur

21
Q

Analyse factorielle confirmatoire

A

Le chercheur impose une structure stricte a priori à la matrice de corrélation (ou de covariances) et teste si elle correspond aux données

22
Q

Validité convergente

A

Degré auquel les scores d’une échelle existante qui mesure le même construit théorique

23
Q

Validité discriminante

A

Degré auquel les scores d’une échelle ne sont pas associés avec une échelle qui ne mesure pas le même construit

24
Q

Validité de critère (pragmatique)

A

Réfère au degré auquel les scores à une échelle sont associés à l’adaptation (ou performance des individus)

25
Q

Dans la validité de critère, les scores à l’échelle sont comparés à ceux d’un critère externe DONC…

A

Le critère devrait être une mesure objective et indépendante de l’instrument, mais reliée conceptuellement au construit d’intérêt

26
Q

Validité de critère concomitante 2 façons de l’estimer

A

1) Corrélation avec un critère indépendant (ex: test d’intelligence avec réussite académique, notes)

2) Méthode des groupes contrastés (ex: on teste différences de scores moyens entre des groupes)

27
Q

Validité de critère prédictive

A

Le degré auquel une mesure est capable de prédire un critère externe prospectivement plus tard dans le temps

28
Q

Validité incrémentielle

A

Forme de validité pas toujours présente dans les livres de psychométrique, mais dans les faits, est une forme spécifique de validité de critère

À quel point les scores à un test ont une valeur ajoutée pour prédire un critère externe “ contrôle statistique” régression

29
Q

Validité incrémentielle, exemple en contexte de classification…

A

Les scores d’une échelle de dépistage qui procurent une meilleure sensibilité et spécificité que ceux d’une autre échelle similaire (meilleures décision avec une nouvelle échelle)

30
Q

Validité incrémentielle qui s’applique à la révision d’un test

Les scores de la nouvelle version

A

a) prédisent mieux que l’ancienne version un critère au-delà de facteurs de contrôle, ou encore

b) procure une meilleure sensibilité et spécificité que l’ancienne version

31
Q

Vrai ou faux, il y a toujours de l’erreur dans n’importe quel instrument?

A

Vrai!!!

32
Q

Théorie décision

A

Comprend une série de concepts visant l’analyse des effets quantitatifs des décisions prises avec des tests (pertinent contextes classification)

Il s’agit de déterminer à quel point les scores d’un test peuvent classifier adéquatement les personnes dans des groupes

33
Q

Sensibilité (capacité de détection)

A

Capacité d’une échelle de procurer un résultat positif pour les personnes présentant le statut qu’elle prétend identifier (capacité de détection)

34
Q

Spécificité (capacité de discrimination)

A

Capacité d’une échelle de procurer un résultat négatif pour les personnes ne représentant pas le statut qu’elle prétend identifier (capacité de discrimination)

35
Q

Les indices de sensibilité et de spécificité sont des observations empiriques de la…

A

Performance rétrospective d’un test calculé à partir d’une classification de différents groupes diagnostiques

36
Q

On estime la proportion des individus dont le statut est connu en regard du trouble mesuré qui obtiennent un score au dessus ou en dessous d’un score critère

Ces indices sont déterminés par le score critère

A
  • Si le score critère suggéré pour identifier le trouble est changé, les indices de sensibilité et de spécificité de l’échelle vont aussi changer
  • Ces indices renseignent sur la capacité de classification d’une échelle ou d’un test lorsque ce dernier est utilisé avec des personnes sont le statut est connu
37
Q

Pouvoir prédictif

A

En clinique, la tâche de l’évaluateur est de déterminer le niveau de confiance qui peut être accordé à un résultat positif (ou un résultat négatif) pour un individu classifié

La probabilité qu’un individu présente réellement le trouble, étant donné un résultat positif à un test

38
Q

Pouvoir prédictif positif (PPP)

A

La probabilité qu’un individu avec un résultat positif sur une échelle ait réellement le statut prédit

39
Q

Pouvoir prédictif négatif (PPN)

A

La probabilité qu’un individu avec un résultat négatif sur une échelle n’ait réellement pas le statut prédit

40
Q

Les PPP et PPN sont…

A

des indices de performance extrinsèques d’un test et ils dépendent de la prévalence d’un trouble / ils varient selon la prévalence, ils sont des paramètres d’un test et de la prévalence du trouble

41
Q

Échelle Dépis-Dép

A

Avec une prévalence de 10%, Dépis-Dép classifie correctement 78 personnes, alors que 22 sont mal classifiés

24 personnes sont identifiées avec dépression mais seulement 6 étaient vraiment dépressives. Le PPP est donc 6/24 = 0,25

76 personnes sont identifiées sans dépression dont 72 étaient vraiment non dépressives. Le PPN est donc 72/76

*Clairement on peut avoir davantage confiance aux résultats négatifs qu’aux résultats positifs

42
Q

Conclusion sur la sensibilité, la spécificité et PP

2 problèmes potentiels avec les indices de sensibilité, spécificité et de pouvoir prédictive

A
  1. L’estimation de ces indices statistiques dépend de la validité et de la fidélité du critère utilisé (ex: est-ce que les diagnostics du DSM sont suffisamment valides et fiables?)
  2. L’estimation de la prévalence réelle dans différents contextes cliniques peut être difficile
43
Q

Validité et fidélité interreliées

A
  • La validité est un préalable à la fidélité
  • La fidélité est une condition nécessaire à la validité
  • Les 2 sont interreliées empiriquement: les indices de validité sont directement influencés par le degré de fidélité
44
Q

2 types de validité de critère

A

2 types: concomitante et prédictive