Cours 5 Flashcards
Qu’est-ce qu’on veut savoir, généralement, lorsqu’on évalue la validité d’un instrument de mesure?
S’il mesure vraiment ce qu’il prétend mesurer ou devrait mesurer
On veut savoir si l’échantillon d’items (i.e., les questions) de l’échelle représente bien le construit qu’on veut mesurer
Que permet de déterminer le degré de validité?
L’interprétation et les inférences que l’on peut faire à partir des scores d’une échelle
Est-ce que le nom d’un test ou d’une échelle constitue un indice adéquat du construit mesuré?
Non, pas toujours
La vraie question n’est pas «est-ce que ce test est valide ou pas», mais quoi?
«Est-ce que ce test est une mesure valide de ce construit, pour cette population particulière et pour cette application particulière»
La validité d’un test ou d’une mesure doit être évaluée relativement à trois aspects, lesquels?
- Est-ce qu’il mesure bien le construit qu’il prétend mesurer?
- Est-ce qu’il mesure bien ce construit pour la population ciblée?
- Est-ce qu’il mesure bien ce construit pour une application particulière?
Les organisations professionnelles soulignent trois points clés à propos de la validité des tests (AERA, APA, NCME), lesquels?
- La validité concerne l’interprétation des scores procurés par un test pour un construit spécifique; ce n’est pas une caractéristique du test
- La validité est une question de degré; ce n’est pas une question absolue, de tout ou rien
- La validité d’un test repose sur de solides bases théoriques et empiriques
Quelles sont les différentes sources de validité?
Contenu
Construit:
- Factorielle
- Convergente
- Discriminante
Critère
- Concomitante
- Prédictive
- Incrémentielle
Qu’est-ce que la vraisemblance?
Aussi appelée validité d’apparance
Le degré auquel une mesure semble adéquate et reliée à un construit spécifique selon le jugement de
A. les personnes qui sont évaluées avec le test
B. Les personnes qui utilisent le test
Est-ce que la vraisemblance est une forme ou une source de validité?
Non
Quand est-ce qu’une mesure détient une bonne vraisemblance?
Lorsque les personnes évaluées ou celles qui l’utilisent jugent qu’elle «semble pertinente et adéquate» pour mesurer le construit
Avec quoi est parfois confondue la vraisemblance?
La validité de contenu
Qu’est-ce qui peut devenir une menace à la validité?
Si l’instrument ne paraît pas valide ou vraisemblable pour les personnes évaluées/utilisatrices dans les situations concrètes d’évaluation
Plusieurs facteurs peuvent influencer la vraisemblance. Lesquels?
- Format de présentation de l’instrument
- Contexte d’évaluation
- Capacités cognitives des répondants
- Santé mentale et état psychologique des répondants
- Personnalité des répondants
- Motif de l’évaluation (désirabilité sociale + ou -)
Qu’est-ce que la validité de contenu?
Réfère au degré de représentativité des items (questions) utilisés pour mesurer un construit
Comment est-ce que la validité de contenu est-elle établie?
La plupart du temps, de façon déductive
(Les auteurs du test demandent à un groupe d’experts indépendants de se prononcer sur la pertinence des items)
On demande est-ce que:
1. Chaque item individuellement correspond bien au construit?
2. Tous les items d’une échelle considérés comme un groupe constituent un échantillon représentatif de tous les domaines (et sous-domaines) du construit d’intérêt?
Est-il facile ou difficile de faire un bon échantillonnage de contenu pour des construits psychologiques complexes?
Difficile - et ici, les méthodes statistiques ne sont d’aucune aide… ou presque
Qu’est-ce qui est central dans la validité de contenu?
La représentativité (tous les domaines et sous-domaines du construit sont-ils représentés?)
En lien avec la validité de contenu, qu’est-ce que les auteurs doivent faire avant de construire une échelle?
Doivent toujours décrire en détails et de façon compréhensive les différents domaines et sous-domaines du construit d’intérêt
À partir de quoi les chercheurs définissent-ils un construit (et donc, son contenu?)
1) Cadre théorique
2) Recherches empiriques (recension de la littérature)
3) Connaissances et expériences professionnelle/pratiqus
Quels sont les deux types de validité de contenu?
- Nominale: auteurs du test
- Consensuelle: groupe de spécialistes indépendants
Comment estimer le degré de validité de contenu empiriquement?
Avec une échelle de mesure quantitative, on demande à des experts indépendants d’estimer
A. À quel point (degré) chacun des items d’un test est pertinent et représentatif du construit d’intérêt
B. À quel point (degré) l’ensemble des items constitue un bon échantillon représentatif du contenu du construit
Comment quantifier le degré de validité de contenu?
On donne aux experts un choix de réponse avec une gradation à propos de chaque item afin de systématiser le tout
Comment est-il possible de calculer un Indice de validité de contenu (IVC)?
Avec les données numériques
On calcule un indice pour chaque item (IVC-I) et pour l’échelle totale (IVC-É)
- IVC-1 = Nombre d’experts qui ont jugé l’item représentatif, divisé par le nombre total d’experts
- IVC-É = Somme des IVC-I, divisée par le nombre total d’experts
Quelles sont les deux grandes menaces à la validité de contenu?
- Inclusion de contenu conceptuellement non pertinent (e.g., des items d’hyperactivité sont intégrés dans une échelle d’inattention)
- Sous-représentation conceptuelle de certains domaines du construit
À quoi réfère la validité de construit?
Réfère au degré de (a) reproductibilité de la structure interne théorique sous-jacente à l’instrument ainsi que les (b) relations du construit d’intérêt avec d’autres construits externes
Quelles sont les deux grandes façons de vérifier la validité de construit?
- Validité factorielle
- Validité convergente/discriminante
Que faut-il bien connaitre avant d’entamer ces évaluations?
La théorie sous-jacente au construit
Qu’est-ce que le réseau nomologique?
La théorie expliquant le construit par le biais de ses interrelations avec d’autres construits
Nomologie = Étude des lois, donc bien plus qu’une liste de domaines ou sous-domaines
Devrait donc représenter la structure interne et les interrelations (ordonnées et prévisibles) entre les domaines (ou sous-domaines) importants du construit et des construits externes théoriquement importants
Concerne souvent relations concurrentes, mais peut inclure des facteurs étiologiques (précurseurs, facteurs de risque, conséquences développementales)
Dans la littérature, quelle source de validité est souvent la plus négligée?
Validité de contenu
Où devrait toujours être le réseau nomologique?
Dans le manuel du test, mais y est rarement
Qu’est-ce que la validité factorielle?
On veut vérifier si la structure factorielle théorique qui représente le construit est reproduite sur le plan empirique
Le terme facteur est généralement utilisé pour représenter quoi?
Qu’est-ce qu’un facteur?
Une dimension latente
Facteur: Une réduction parcimonieuse de plusieurs variables (items ou questions) expliquées par une variable latente
Comment se regroupent les items dans les instruments multidimensionnels?
En plusieurs facteurs
Quel est l’objectif de la validité factorielle?
Vérifier deux aspects inter-reliés de la structure factorielle théorique
1. Les items sont-ils significativement (statistiquement) associés au facteur (construit)?
2. Dans le cas d’un instrument multidimensionnel,
A) Les items sont-ils significativement associés au bon facteur et non associés aux autres facteurs?
B) Dans le cas d’une structure hiérarchique, est-ce que les sous-domaines sont significativement associés au domaine général?
Qu’est-ce que l’analyse factorielle exploratoire (validité factorielle)?
On identifie des regroupements d’items inter-corrélés, signifiant que les individus tendent à y répondre de façon similaire
Les chercheurs n’impose aucune restriction à l matrice de corrélations (ou de covariance) entre les items
Critère classique: on devrait avoir des saturations factorielles de 0,40 ou plus pour les items associés à un facteur
Qu’est-ce que l’analyse factorielle confirmatoire (validité factorielle)?
Le chercheur impose une structure stricte a priori à la matrice de corrélations et teste si elle correspond aux données (i.e., on programme quels items sont associés à un facteur, tout en leur imposant une corrélation de 0 avec les autres facteurs)
C’est la méthode qu’il faudrait normalement employer à l’étape de la validation puisque la structure est supposée être connue (encore trop peu employée en psychométrie, en partie parce que les analyses statistiques sont plus complexes)
Qu’est-ce que la validité convergente?
Degré auquel les scores d’une échelle sont associés avec ceux d’une autre échelle existante qui mesure le même construit théorique
Qu’est-ce que la validité discriminante?
Degré auquel les scores d’une échelle ne sont pas associés avec ceux d’une échelle qui ne mesure pas le même construit
Quel est l’idéal pour tester rigoureusement la validité convergente et la validité discriminante?
Employer la méthode de la matrice multitraits-multiméthodes
Qu’est-ce que la validité de critère?
Aussi appelée validité pragmatique ou validité critériée
Réfère au degré auquel les scores à une échelle sont associés à l’adaptation (ou la performance) des individus
Les scores à l’échelle sont donc comparés à ceux d’un critère externe
Le critère devrait être une mesure objective et indépendante de l’instrument, mais reliée conceptuellement au construit d’intérêt (réseau nomologique)
Quels sont les deux grands types de validité de critère?
- Concomitante
- Prédictive
Quelles sont les deux façons d’estimer la validité de critère concomitante?
- Corrélation avec un critère indépendant
- Test d’intelligence avec réussite académique (notes)
- Test d’empathie avec conduites délinquantes - Méthode des groupes contrastés
- On teste les différences de scores moyens entre des groupes
Qu’est-ce que la validité de critère prédictive?
Le degré auquel les scores d’une mesure sont capables de prédire un critère externe prospectivement (plus tard dans le temps)
Besoin d’une étude longitudinale prospective
Qu’est-ce que la validité incrémentielle?
À quel point les scores à un test ont une «valeur ajoutée» pour prédire un critère externe, au-delà de la capacité d’autres facteurs (ou autres tests) prédictifs importants?
Liée à l’idée de «contrôle statistique» en analyse de régression (e.g., quel est l’effet d’un prédicteur important après que le SSE ait été contrôlé?)
Forme de validité pas toujours présente dans les livres de psychométrie, mais dans les faits, est une forme spécifique de validité de critère
Dans quel contexte peut s’appliquer la validité incrémentielle?
- En contexte de classification (ex: les scores d’une échelle de dépistage qui procurent une meilleure sensibilité et spécificité que ceux d’une autre échelle similaire) (sur le plan clinique, ceci signifie qu’on prend possiblement de meilleures décisions avec la nouvelle échelle)
- Peut aussi s’appliquer à la révision d’un test (les scores de la nouvelle version (a) prédisent-ils mieux que l’ancienne version un critère au-delà de facteurs de contrôle? Ou encore (b) procurent-ils une meilleure sensibilité et spécificité que l’ancienne version?)
Qu’est-ce que la théorie de la décision?
Comprend une série de concepts visant l’analyse des effets quantitatifs des décisions prises avec des tests
Pertinent dans différents contextes de classification tels que pour le dépistage, le diagnostic, la sélection du personnel, la certification, la dérogation scolaire, etc.
Intimement lié à la validité de critère!
Il s’agit essentiellement de déterminer à quel point les scores d’un test peuvent classifier adéquatement les personnes dans des groupes
Qu’est-ce que la sensibilité?
Capacité d’une échelle de procurer un résultat positif pour les personnes présentant le statut qu’elle prétend identifier
Se rapporte donc à la capacité de détection
Vrais positifs divisés par tous ceux qui ont vraiment le statut
Qu’est-ce que la spécificité?
Capacité d’une échelle de procurer un résultat négatif pour les personnes ne présentant pas le statut qu’elle prétend identifier
Se rapporte donc à sa capacité de discrimination
Vrais négatifs divisés par tous ceux qui n’ont réellement pas le statut
Que sont les indices de sensibilité et de spécificité?
Observations empiriques de la performance rétrospective d’un test calculés à partir d’une classification de différents groups diagnostiques (ou d’attributs autres)
On estime la proportion des individus dont le statut est connu en regard du trouble mesuré qui obtiennent un score au dessus ou au dessous d’un score critère
Ces indices sont déterminées par le score critère établi par les auteurs du test
Renseignent sur la capacité de classification d’une échelle ou d’un test lorsque ce dernier est utilisé avec des personnes dont le statut est connu (pas toujours le cas en pratique, par exemple pour le dépistage)
Qu’arrive-t-il aux indices de sensibilité et de spécificité si le score critère suggéré pour identifier le trouble est changé?
Les indices vont aussi changer
En clinique, quelle est la tâche de l’évaluateur?
De déterminer le niveau de confiance qui peut être accordé à un résultat obtenu (positif ou négatif) pour un individu classifié
- Autrement dit, on veut savoir la probabilité qu’un individu présente réellement le trouble, étant donné un résultat positif au test
-Inversement, on veut savoir la probabilité qu’un individu ne présente réellement pas le trouble, étant donné un résultat négatif au test
Comment faire pour obtenir des indices probabilistes?
Calculer le pouvoir prédictif d’une échelle
Qu’est-ce que le pouvoir prédictif positif (PPP)?
La probabilité qu’un individu avec un résultat positif sur une échelle ait réellement le statut prédit
i.e., proportion d’individus ayant un trouble qui obtiennent un résultat positif, parmi tout ceux qui ont obtenu un résultat supérieur au score critère
Qu’est-ce que le pouvoir prédictif négatif (PPN)?
La probabilité qu’un individu avec un résultat négatif sur une échelle n’ait réellement pas le statut prédit
i.e, proportion d’individus n’ayant pas de trouble qui obtiennent un résultat négatif, parmi tout ceux qui ont obtenu un résultat inférieur au score critère
Que sont les PPP et PPN?
Des indices de performance extrinsèques d’un test et ils dépendent de la prévalence du trouble.
Autrement dit, pour une sensibilité et spécificité données, les PPP et PPN vont varier selon la prévalence
Sensibilité et spécificité sont des paramètres d’un test - ils sont seulement influencés par le score critère choisi (la prévalence est fixe, puisqu’elle est connue)
PPP et le PPN sont quant à eux des paramètres d’un test ET de la prévalence du trouble
Quelle est la règle générale pour l’ensemble des tests de dépistage quant au PPP et au PPN?
Lorsque la prévalence est faible, le PPN > PPP - et c’est l’inverse lorsque la prévalence est élevée
Quels sont les deux problèmes potentiels avec les indices de sensibilité, spécificité et de pouvoir prédictif?
- L’estimation de ces indices statistiques dépend de la validité et de la fidélité de critère de statut utilisé (e.g., est-ce que les diagnostics du DSM sont suffisamment valides et fiables?)
- L’estimation de la prévalence réelle dans différents contextes cliniques peut être difficile (néanmoins, des estimés imprécis n’ont pas un impact important sur les estimés du pouvoir prédictif pour les échelles qui ont une sensibilité et spécificité élevées)
Diapo 59
