Cours 5 + Flashcards
Comment estimer le degré de validité de contenu empiriquement?
Avec une échelle de mesure quantitative, on demande à des experts indépendants d’estimer
A. À quel point (degré) chacun des items d’un test est pertinent et représentatif du construit d’intérêt
B. À quel point (degré) l’ensemble des items constitue un bon échantillon représentatif du contenu du construit
Comment quantifier le degré de validité de contenu?
On donne aux experts un choix de réponse avec une gradation à propos de chaque item afin de systématiser le tout
À quoi réfère la validité de construit?
Réfère au degré de (a) reproductibilité de la structure interne théorique sous-jacente à l’instrument ainsi que les (b) relations du construit d’intérêt avec d’autres construits externes
Qu’est-ce que le réseau nomologique?
La théorie expliquant le construit par le biais de ses interrelations avec d’autres construits
Nomologie = Étude des lois, donc bien plus qu’une liste de domaines ou sous-domaines
Le réseau nomologique devrait donc représenter quoi?
Devrait donc représenter la structure interne et les interrelations (ordonnées et prévisibles) entre les domaines (ou sous-domaines) importants du construit et des construits externes théoriquement importants
Qu’est-ce qui concerne le réseau nomologique?
Concerne souvent relations concurrentes, mais peut inclure des facteurs étiologiques (précurseurs, facteurs de risque, conséquences développementales)
Qu’est-ce qu’on veut vérifier avec la validité factorielle?
Si la structure factorielle théorique qui représente le construit est reproduite sur le plan empirique
Quel est l’objectif de la validité factorielle?
Vérifier deux aspects inter-reliés de la structure factorielle théorique
1. Les items sont-ils significativement (statistiquement) associés au facteur (construit)?
2. Dans le cas d’un instrument multidimensionnel,
A) Les items sont-ils significativement associés au bon facteur et non associés aux autres facteurs?
B) Dans le cas d’une structure hiérarchique, est-ce que les sous-domaines sont significativement associés au domaine général?
Qu’est-ce que l’analyse factorielle exploratoire (validité factorielle)?
On identifie des regroupements d’items inter-corrélés, signifiant que les individus tendent à y répondre de façon similaire
Les chercheurs n’impose aucune restriction à la matrice de corrélations (ou de covariance) entre les items
Critère classique: on devrait avoir des saturations factorielles de 0,40 ou plus pour les items associés à un facteur
Qu’est-ce que l’analyse factorielle confirmatoire (validité factorielle)?
Le chercheur impose une structure stricte a priori à la matrice de corrélations et teste si elle correspond aux données (i.e., on programme quels items sont associés à un facteur, tout en leur imposant une corrélation de 0 avec les autres facteurs)
C’est la méthode qu’il faudrait normalement employer à l’étape de la validation puisque la structure est supposée être connue (encore trop peu employée en psychométrie, en partie parce que les analyses statistiques sont plus complexes)
Qu’est-ce que la validité convergente?
Degré auquel les scores d’une échelle sont associés avec ceux d’une autre échelle existante qui mesure le même construit théorique
Qu’est-ce que la validité discriminante?
Degré auquel les scores d’une échelle ne sont pas associés avec ceux d’une échelle qui ne mesure pas le même construit
Qu’est-ce que la validité de critère?
Réfère au degré auquel les scores à une échelle sont associés à l’adaptation (ou la performance) des individus
Les scores à l’échelle sont donc comparés à ceux d’un critère externe
Le critère devrait être une mesure objective et indépendante de l’instrument, mais reliée conceptuellement au construit d’intérêt (réseau nomologique)
Comment est aussi appelée la validité de critère?
Validité pragmatique ou critériée
Quelles sont les deux façons d’estimer la validité de critère concomitante?
- Corrélation avec un critère indépendant
- Test d’intelligence avec réussite académique (notes)
- Test d’empathie avec conduites délinquantes - Méthode des groupes contrastés
- On teste les différences de scores moyens entre des groupes
Qu’est-ce que la validité de critère prédictive?
Le degré auquel les scores d’une mesure sont capables de prédire un critère externe prospectivement (plus tard dans le temps)
Besoin d’une étude longitudinale prospective
Qu’est-ce que la validité incrémentielle?
À quel point les scores à un test ont une «valeur ajoutée» pour prédire un critère externe, au-delà de la capacité d’autres facteurs (ou autres tests) prédictifs importants?
Liée à l’idée de «contrôle statistique» en analyse de régression (e.g., quel est l’effet d’un prédicteur important après que le SSE ait été contrôlé?)
Forme de validité pas toujours présente dans les livres de psychométrie, mais dans les faits, est une forme spécifique de validité de critère
Dans quel contexte peut s’appliquer la validité incrémentielle?
- En contexte de classification (ex: les scores d’une échelle de dépistage qui procurent une meilleure sensibilité et spécificité que ceux d’une autre échelle similaire) (sur le plan clinique, ceci signifie qu’on prend possiblement de meilleures décisions avec la nouvelle échelle)
- Peut aussi s’appliquer à la révision d’un test (les scores de la nouvelle version (a) prédisent-ils mieux que l’ancienne version un critère au-delà de facteurs de contrôle? Ou encore (b) procurent-ils une meilleure sensibilité et spécificité que l’ancienne version?)
Qu’est-ce que la théorie de la décision?
Comprend une série de concepts visant l’analyse des effets quantitatifs des décisions prises avec des tests
La théorie de la décision est pertinente dans quels contextes?
Pertinent dans différents contextes de classification tels que pour le dépistage, le diagnostic, la sélection du personnel, la certification, la dérogation scolaire, etc.
À quoi est liée intimement la théorie de la décision? Il s’agit essentiellement de déterminer quoi?
Intimement lié à la validité de critère!
Il s’agit essentiellement de déterminer à quel point les scores d’un test peuvent classifier adéquatement les personnes dans des groupes
Qu’est-ce que la sensibilité?
Capacité d’une échelle de procurer un résultat positif pour les personnes présentant le statut qu’elle prétend identifier
Se rapporte donc à la capacité de détection
Vrais positifs divisés par tous ceux qui ont vraiment le statut
Qu’est-ce que la spécificité?
Capacité d’une échelle de procurer un résultat négatif pour les personnes ne présentant pas le statut qu’elle prétend identifier
Se rapporte donc à sa capacité de discrimination
Vrais négatifs divisés par tous ceux qui n’ont réellement pas le statut
Les indices de sensibilité et de spécificité sont des observations empiriques de quoi?
Observations empiriques de la performance rétrospective d’un test calculés à partir d’une classification de différents groups diagnostiques (ou d’attributs autres)
