Ppt.5

Question 1

Que détermine le degré de validité d’un instrument de mesure ?

Answer 1

Il détermine l’interprétation et les inférences que l’on peut faire à partir des scores d’une échelle

Question 2

La validité d’un test ou d’une mesure doit être évaluée relativement à trois aspects, nommez-les.

Answer 2

1. Est-ce qu’il mesure bien le construit qu’il prétend mesurer ?
2. Est-ce qu’il mesure bien ce construit pour la population ciblée (e.g., groupe d’âge, niveau académique, groupe clinique particulier, etc.) ?
3. Est-ce qu’il mesure bien ce construit pour une application particulière (e.g., classifier dans des groupes diagnostiques, donner une valeur quantitative sur continuum, etc.) ?

Question 3

Vrai ou Faux
La vraisemblance, aussi appelée validité d’apparence, est une source de validité.

Answer 3

Faux
La vraisemblance est le degré auquel une mesure SEMBLE adéquate

Une mesure détient une bonne vraisemblance lorsque les personnes évaluées ou celles qui l’utilisent jugent qu’elle « semble pertinente et adéquate » pour mesurer le construit

Question 4

À quoi réfère la validité de contenu ?

Answer 4

Réfère au degré de représentativité des items (questions) utilisés pour mesurer un construit

Question 5

Vrai ou faux
Dans la validité de contenu, il n’est pas nécessaire que tous les items d’une échelle considérés comme un groupe constituent un échantillon représentatif de tous les domaines (et sous-domaines) du construit d’intérêt.

Answer 5

FAUX!
L’élément de la représentativité est centrale.

Question 6

Nommez deux types de validité de contenu

Answer 6

Nominale
Consensuelle

Question 7

Comment pouvons-nous estimer le degré de validité de contenu empiriquement ?

Answer 7

Avec une échelle de mesure quantitative, on demande à des experts.es indépendants.es d’estimer
1. à quel point (degré) chacun des items d’un test est pertinent et représentatif du construit d’intérêt
2. à quel point (degré) l’ensemble des items constitue un bon échantillon représentatif du contenu du construit

Question 8

Nommez les deux grandes menaces à la validité de contenu.

Answer 8

1. Inclusion de contenu conceptuellement non pertinent : doit seulement contenir des items que nous avons besoin de mesurer.
   intégrés dans une échelle d’inattention
2. Sous-représentation conceptuelle de certains domaines du construit

Question 9

À quoi réfère la validité de construit ?

Answer 9

Réfère au degré de (a) reproductibilité de la structure interne théorique sous-jacente à l’instrument ainsi que les (b) relations du construit d’intérêt avec d’autres construits externes

Question 10

Vrai ou faux
Nous pouvons vérifier la validité de construit à l’aide de la validité consensuelle.

Answer 10

Faux
Les deux grandes façons de la vérifier sont :
* Validité factorielle
* Validité convergente / discriminante

Question 11

Que devons-nous connaître avant d’entamener les vérifications de la validité de construit ?

Answer 11

Il faut bien connaitre la théorie sous-jacente au construit

Question 12

Que veux-dire le réseau nomologique ?

Answer 12

Le réseau nomologique est la théorie expliquant le construit par le biais de ses interrelations avec d’autres construits

Question 13

Que doit représenter le réseau nomologique ?

Answer 13

Il devrait donc représenter la structure interne et les interrelations (ordonnées et prévisibles) entre les domaines (ou sous-domaines) importants du construit et des construits externes théoriquement importants

Question 14

Que veut-on vérifier avec la validité factorielle et quel est son objectif ?

Answer 14

On veut vérifier si la structure factorielle théorique qui représente le construit est reproduite sur le plan empirique (i.e., avec des données).
L’objectif est de vérifier deux aspects inter-reliés de la structure factorielle théorique

Question 15

Quelle est la différence entre l’analyse factorielle exploratoire et l’analyse factorielle confirmatoire ?

Answer 15

Dans l’analyse factorielle exploratoire, le chercheur.euse n’impose aucune restriction à la matrice de corrélations (ou de covariances) entre les items.
Dans l’analyse factorielle confirmatoire, le chercheur.euse impose une structure stricte a priori à la matrice de corrélations (ou de covariances) et teste si elle correspond aux données

Question 16

Quelle est la différence entre une validité convergente et une validité discriminante ?

Answer 16

Validité convergente : Degré auquel les scores d’une échelle sont associés avec ceux d’une autre échelle existante qui mesure le même construit théorique
Validité discriminante : Degré auquel les scores d’une échelle ne sont pas associés avec une échelle qui ne mesure pas le même construit

Question 17

Identifiez les corrélations convergentes et discriminantes dans la Matrice Multitrait-Multiméthodes

Answer 17

Convergentes :
- Extériorisés/Extériorisés : 0.65
- Intériorisés/Intériorisés : 0.61

Discriminantes :
- Intériorisés/Extériorisés : 0.11
- Intériorisés/Extériorisés : 0.12

Question 18

Vrai ou faux
Dans la validité de critère, les scores à l’échelle sont comparés à un critère externe.

Answer 18

Vrai
Pour que ce soit de la validité de critère, le critère doit TOUJOURS être externe, donc qui ne se trouve pas dans l’instrument.

Question 19

Quelles sont les deux types de validité de critère ?

Answer 19

Concomitante et prédictive

Question 20

Quel type de validité vient vérifier à quel point les scores à un test ont une « valeur ajoutée » pour prédire un critère externe, au-delà de la capacité d’autres facteurs (autres tests) prédictifs importants ?

Answer 20

Validité incrémentielle

Question 21

Quel type de validité peut s’appliquer à la révision d’un test ?

Answer 21

La validité incrémentielle
Elle va entre autre vérifier si les scores de la nouvelle version (a) prédisent mieux que l’ancienne version un critère au-delà de facteurs de contrôle, ou encore (b) procurent une meilleure sensibilité et spécificité que l’ancienne version

Question 22

Qu’est-ce que la théorie de la décision ?

Answer 22

La théorie de la décision comprend une série de concepts visant l’analyse des effets quantitatifs des décisions prises avec des tests
- Il s’agit essentiellement de déterminer à quel point les scores d’un test peuvent classifier adéquatement les personnes dans des groupes

Question 23

À quoi réfère le niveau de sensibilité d’une échelle ?

Answer 23

Capacité d’une échelle de procurer un résultat positif pour les personnes présentant le statut (e.g., un trouble) qu’elle prétend identifier

Question 24

À quoi réfère le niveau de spécificité d’une échelle ?

Answer 24

Spécificité : Capacité d’une échelle de procurer un résultat négatif pour les personnes ne présentant pas le statut (ex., un trouble) qu’elle prétend identifier

Question 25

Interprétez le taux de sensibilité de cette échelle

Answer 25

Sensibilité à 83 % veut dire que l’échelle est capable de détecter 83% des personnes qui ont réellement le trouble.

Question 26

Qu’est-ce que le pouvoir prédictif ?

Answer 26

La probabilité qu’un individu présente réellement le trouble, étant donné un résultat positif à un test

**On cherche à savoir à quel point on peut se fier au résultat et non à l’échelle

Question 27

Qu’est-ce que la différence entre un pouvoir prédictif positif et un pouvoir prédictif négatif ?

Answer 27

Pouvoir prédictif positif (PPP) : La probabilité qu’un individu avec un résultat positif sur une échelle ait réellement le statut prédit
- i.e., proportion d’individus ayant un trouble qui obtiennent un résultat positif, parmi tout ceux qui ont obtenu un résultat supérieur au score critère

Pouvoir prédictif négatif (PPN) : La probabilité qu’un individu avec un résultat négatif sur une échelle n’ait réellement pas le statut prédit
- i.e., proportion d’individus n’ayant pas de trouble qui obtiennent un résultat négatif, parmi tout ceux qui ont obtenu un résultat inférieur au score critère

Question 28

Vrai ou faux
Les PPN et PPP dépendent de la prévalence du trouble

Answer 28

Vrai
Autrement dit, pour une sensibilité et spécificité données, les PPP et PPN vont varier selon la prévalence
Sensibilité et spécificité sont des paramètres d’un test – ils sont seulement influencés par le score critère choisi (la prévalence est fixe, puisqu’elle est connue), si le critère change, les paramètres changent.

Question 29

Quelle est la règle générale pour l’ensemble des tests de dépistage ?

Answer 29

Lorsque la prévalence est faible, le PPN > PPP – et c’est l’inverse lorsque prévalence élevée

Question 30

Quels sont les deux problèmes potentiels avec les indices de sensibilité, spécificité et de pouvoir prédictif ?

Answer 30

1. L’estimation de ces indices statistiques dépend de la validité et de la fidélité du critère utilisé (e.g., est-ce que les diagnostics du DSM sont suffisamment valides et fiables ?)
   - On doit toujours les considérer selon la validité du critère étalon
2. L’estimation de la prévalence réelle dans différents contextes cliniques peut être difficile
   - Néanmoins, des estimés imprécis (sans être grossièrement incorrects) n’ont pas un impact important sur les estimés du pouvoir prédictif pour les échelles qui ont une sensibilité et spécificité élevées (e.g., Griner et al., 1981)
   - On doit se retrouver dans un intervalle de prévalence raisonnable