Diapo 5 Flashcards
Qu’est-ce qu’on évalue avec la validité?
On évalue si l’instrument mesure vraiment ce qu’il prétend ou devrait mesure
ou plus précisément
Est-ce que ce test est une mesure valide de ce construit, pour cette population et pour cette application particulière
Le _____ de validité détermine l’interprétation et les ___________ que l’on peut faire
degré
inférences
Quels sont les 3 aspects d’une mesure ou d’un test lorsqu’on évalue la validité?
- Est-ce qu’il mesure bien le construit qu’il prétend mesurer?
- Est-ce qu’il mesure bien ce construit pour la population ciblée
- Est-ce qu’il mesure bien ce construit pour une application
Quels sont les 3 points que soulignent les organisations professionnelles à propos de la validité?
- La validité concerne l’interprétation des scores procurés par un test pour un construit spécifique; ce n’est pas une caractéristique d’un test
- la validité est une question de degré; ce n’est pas une question absolue, de tout ou rien
- La validité d’un test repose sur de solides bases théoriques et empiriques
Quelles sont les 3 différentes sources de validité?
de contenu
de construit
de critère
Quelles sont les sous-catégories de la validité de construit?(3)
factorielle
convergente
discriminante
Quelles sont les sous-catégories de la validité de critère?
concomitante
prédictive
incrémentielle
Vrai ou faux. La vraisemblance (validité d’apparence) est une forme ou une source de validité.
Faux, aucun des deux
Qu’est-ce que la vraisemblance?
Le degré auquel une mesure semble adéquate et reliée à un construit selon le jugement des personnes qui sont évaluées avec le test et/ou les personnes qui utilisent le test
Avec quelle type de validité la vraisemblance est souvent confondue?
La validité de contenu
Nommez quelques facteurs qui peuvent influencer la vraisemblance
.format de présentation de l’instrument
.contexte d’évaluation
.capacités cognitives des répondants.es
.santé mentale et état psychologique des répondants.es
.personnalité des répondants.es
.motif de l’évaluation (désirabilité sociale)
À quoi réfère la validité de contenu?
Au degré de représentativité des items utilisés pour mesurer un construit
Vrai ou faux. La validité de contenu est souvent établie de façon déductive
Vrai
Quelles sont les questions à se poser pour la validité de contenu?
- Chaque item individuellement correspond bien au construit?
- Tous les items d’une échelle considérés comme un groupe constituent un échantillon représentatif de tous les domaines du construit d’intérêt?
Vrai ou faux. Il est plutôt facile de faire un bon échantillonnage de contenu pour des construits psychologiques complexes
Faux, contraire
Quel est l’élément centrale de la validité de contenu?
La représentativité
(ex : impulsivité cognitive, impulsivité émotionnelle, impulsivité comportementale, etc.)
Avant de construire une échelle, les auteurs.trices doivent toujours décrire en détails et de façon compréhensive les différents _______ et ___________ du construit d’intérêt
domaine
sous-domaine
À partir de quoi les cheucheurs.euses définissent un construit?
- cadre théorique
- recherches empiriques
- connaissances et expériences professionnelles
Quels sont les 2 types de validité de contenu?
Nominale : auteurs du test
consensuelle : groupe de spécialistes indépendants
Afin de quantifier le degré de validité de _______, on donne aux experts un choix de réponse avec une _________ à propos de _______ ________ afin de systématiser le tout
contenu
gradation
chaque item
Que signifie IVC-I?
Nombres d’experts qui ont jugé l’item représentatif, divisé par le nombre total d’experts
Que signifie IVC-É?
Proportion d’items jugés représentatifs, soit la moyenne des IVC-I divisée par le nombre total d’experts.es
Quelles sont les grandes menaces de la validité de contenu?
- Inclusion de contenu conceptuellement non pertinent
- sous-représentation conceptuelle de certains domaines du construit
À quoi quoi réfère la validité de construit?
Au degré de reproductibilité de la structure interne théorique sous-jacente à l’instrument ainsi que les relations du construit d’intérêt avec d’autres construits externes
Comment vérifie-t-on la validité de construit?
La validité factorielle
la validité convergente / discriminante
Qu’est-ce que le réseau nomologique?
La théorie expliquant le construit par le biais de ses interrelations avec d’autres construits
Il représente donc la structure interne et les interrelation entre les domaines importants du construits externes théoriquement importants
Qu’est-ce que la nomologie?
L’étude des lois, donc bien plus q’une liste de domaines ou sous-domaines
Que veut-on vérifier avec la validité factorielle?
Lorsqu’on veut vérifier si la structure factorielle théorique qui représente le construit est reproduites sur le plan empirique
Qu’est-ce qu’un facteur?
Une réaction parcimonieuse de plusieurs variables expliquées par une variable latente
Quelles sont les questions à se poser qui permettent de vérifier la validité factorielle?
- Les items sont-ils significativement (statistiquement) associés au facteur (construit)?
- Dans le cas d’un instrument multidimensionnel,
a) Les items sont-il significativement associés au bon facteur et non-associés aux autres facteurs?
b) Dans le cas d’une structure hiérarchique, est-ce que les sous-domaines sont significativement associés au domaine général?
Expliquer comment l’analyse factorielle exploratoire prouve ou non la validité de contenu.
On identifie des regroupements d’items inter-corrélés, signifiant que les individus tendent à y répondre de façon similaire
ex : les répondants répondent oui à Q#5 et Q#8, ces items seront regroupés dans un même facteur
Quel est le critère classique de la validité factorielle?
On devrait avoir des saturations factorielles de 0,40 ou plus pour les items associés à un facteur
Quelle est la différence entre l’analyse factorielle exploratoire et l’analyse factorielle confirmatoire?
On impose une structure stricte pour l’analyse factorielle confirmatoire à la matrice de corrélations et teste si elle correspond aux données (imposition d’une corrélation de 0 entre certains facteurs), ce qui n’est pas le cas pour l’analyse factorielle exploratoire
Vrai ou faux. L’analyse factorielle confirmatoire est encore très peu utilisée en psychométrie
Vrai
Qu’est-ce que la validité convergente?
Degré auquel les scores d’une échelle sont associés avec ceux d’une autre échelle existante qui mesure le même construit théorique
Qu’est-ce que la validité discriminante?
Degré auquel les scores d’une échelle ne sont pas associés avec une échelle qui ne mesure pas le même construit
Quel est le meilleur moyen de tester la validité convergente et discriminante?
La méthode de la matrice multitraits-multiméthodes
À quoi réfère la validité pragmatique(validité de critère)?
Réfère au degré auquel les scores à une échelle sont associés à l’adaptation des individus
Concernant la validité de critère, les score à l’échelle sont comparés à ceux d’un _______ ________
critère externe
Concernant la validité de critère, le critère devrait être une mesure _______ et __________ de l’instrument
objective
indépendante
Quelles sont les façons d’estimer la validité de critère concomitante?
- corrélation avec un critère indépendant
(test d’intelligence avec réussite académique) - méthode des groupes contrastés
(on teste les différences de scores moyens entre des groupes)
À quoi réfère la validité de critère prédictive?
Le degré auquel une mesure est capable de prédire un critère externe prospectivement
La validité de critère prédictive nécessite une étude ________ __________
longitudinale
prospective
Qu’est-ce que la validité incrémentielle?
Forme de validité pas toujours présente dans les livres, mais signifie à quel point les scores à un test ont une valeur ajoutée pour prédire un critère externe, au-delà de la capacité d’autres facteurs prédictifs importants
La validité incrémentielle est liée à l’idée de ________ ________ en analyse de régression
contrôle statistique
Que comprend la théorie de la décision et dans quels contextes est-elle pertinente?
Comprend une série de concepts visant l’analyse des effets quantitatifs des décisions prises avec des tests
pertinent dans différents contextes de classification tels que pour le dépistage, le diagnostic, la sélection du personnel, la certification, etc.
Vrai ou faux. Les concepts de la théorie de la décision sont intimement liés à la validité de critère.
Vrai
En quoi consiste la théorie de la décision?
Déterminer à quel point les scores d’un test peuvent classifier adéquatement les personnes dans des groupes
Qu’est-ce que la sensibilité?
Capacité d’une échelle de procurer un résultat positif pour les personnes présentant le statut (vrai positif)
La sensibilité se rapporte à la ____________ de __________
capacité
détection
Qu’est-ce que la spécificité?
Capacité d’une échelle de procurer un résultat négatif pour les personnes ne représentant pas le statut (vrai négatif)
La spécificité se rapporte à la __________ de _________
capacité
discrimination
Les indices de sensibilité et de spécificité sont des observations empiriques de la _________ _________ d’un test calculés à partir d’une classification de différents groupes diagnostiques
performance rétrospective
Vrai ou faux. La sensibilité et la spécificité ne varie pas en fonction du score critère d’une même échelle.
Faux, contraire
Qu’est-ce que le pouvoir prédictif?
calcul d’une échelle qui permet de savoir la probabilité qu’un individu présente réellement le trouble, étant donné un résultat positif à un test, soit le niveau de confiance accordé à un résultat positif
Qu’est-ce que le pouvoir prédictif positif (PPP)?
la probabilité qu’un individu avec un résultat positif sur une échelle ait réellement le statut prédit
Qu’est-ce que le pouvoir prédictif négatif (PPN)?
La probabilité qu’un individu avec un résultat négatif sur une échelle n’ait réellement pas le statut prédit
Les PPP et PPN sont des indices de ___________ ____________ d’un test et ils dépendent de la prévalence d’un trouble
performances extrinsèques
Quelle est la différence entre la sensibilité et la spécificité et les PPN et PPP?
PPN et PPP sont à eux des paramètre d’un test ET de la prévalence d’un trouble contrairement aux autres qui sont seulement des paramètres d’un test
Va relire sur l’échelle Dépis-Dép
ok
Quelle est la règle générale pour l’ensemble des tests de dépistage? (concernant les PPP et PPN)
Lorsque la prévalence est faible, PPN > PPP et c’est l’inverse lorsque la prévalence est élevée
Quels sont 2 problèmes sur la sensibilité, la spécificité et les PP?
- estimation de ces indices statistiques dépend de la validité et de la fidélité du critère utilisé
- estimation de la prévalence réelle dans différents contextes cliniques peut être difficile
La validité est un _______ de la fidélité
préalable
La fidélité est une ________ nécessaire à la validité
condition
La validité et la fidélité sont __________ empiriquement : les indices de validité sont ________ ________ par le degré de fidélité
interreliées
directement influencés
On valide un instrument pour une _________ particulière et/ou une _________ particulière
population
utilisation
