Cours 5 : Propriétés psychométriques - validité Flashcards
La validité d’un test ou d’une mesure doit être évaluée relativement à trois aspects. Lesquels?
- Est-ce qu’il mesure bien le construit qu’il prétend mesurer ?
- Est-ce qu’il mesure bien ce construit pour la population ciblée ?
- Est-ce qu’il mesure bien ce construit pour une application particulière (e.g., classifier dans des groupes diagnostiques) ?
La validité c’est une question de ______.
degré (est-ce que l’instrument est valide, pas oui ou non, mais plutôt à quel degré est-il fiable)
Les organisations professionnelles soulignent trois points à propos de la validité des tests?
- La validité concerne l’interprétation des scores procurés par un test pour un construit spécifique; ce n’est pas une caractéristique du test
- La validité est une question de degré ; ce n’est pas une question absolue, de «tout ou rien»
- La validité d’un test repose sur de solides bases théoriques et empiriques
Quelles sont les 3 grandes sources de validité?
Validité de contenu, validité de construit et validité de critère
Quelques facteurs peuvent venir influencer la vraisemblance, lesquels?
Format de présentation de l’instrument
Contexte d’évaluation
Capacités cognitives du répondant
Santé mentale et état psycho. du répondant
Personnalité du répondant
Motif de l’évaluation
C’est quoi la vraisemblance?
Ce n’est pas une forme ou une source de validité
Mais plutôt le degré auquel une mesure semble adéquate et reliée à un construit spécifique selon le jugement :
- des personnes qui sont évaluées avec le test
- des personnes qui utilisent le test
La validité de contenu réfère au degré de __________.
représentativité des items (questions) pour mesure un certain construit (impulsivité par exemple)
«Est-ce que tous les domaines et les sous-domaines sont bien représentés?»
On se pose cette question dans quelle source de validité?
La validité de contenu (pour rendre compte de la représentativité)
On peut quantifier la validité de contenu au lieu de juste prendre verbatim les informations
À partir de quoi les chercheurs définissent ils un construit ?
- Cadre théorique
- Recherches empiriques (recension de la littérature)
- Connaissances et expériences professionnelles/pratiques
Quels sont les deux types de validité de contenu ?
- Nominale : définie par les auteurs du test
- Consensuelle : définie par un groupe de spécialistes indépendants
Quelles sont deux grandes menaces à la validité de contenu?
- Inclusion de contenu conceptuellement non pertinent
–> ex: des items d’hyperactivité sont intégrés dans une échelle d’inattention - Sous-représentation conceptuelle de certains domaines du construit
–> ex: Théoriquement, le construit Extraversion inclue les domaines de l’activité, la sociabilité, la dominance sociale et la recherche de sensation, mais une échelle ne contient que des items de sociabilité et de dominance sociale
Comment estimer empiriquement le degré de validité de contenu?
Demander à des experts.es indépendants.es d’évaluer :
- La pertinence et la représentativité de chaque item du test
- La représentativité globale de l’ensemble des items
C’est quoi la validité de construit?
Réfère au degré de :
1. reproductibilité de la structure interne théorique sous-jacente à l’instrument
2. relations du construit d’intérêt avec d’autres construits externes
Quelles sont les deux grandes manières de vérifier la validité de construit?
- validité factorielle
- validité convergente
Quelle est la théorie sous-jacente à la validité de construit?
Le réseau nomologique : la théorie expliquant le construit par le biais de ses interrelations avec d’autres construits –> devrait donc représenter la structure interne et les interrelations (ordonnées et prévisibles) entre les domaines (ou sous-domaines) importants du construit
Nomologie : l’étude des lois, donc bien plus qu’une liste de domaines ou sous-domaines
C’est quoi la validité factorielle? Et c’est quoi un facteur?
Validité factorielle fait partie de la validité de construit.
L’objectif de la validité factorielle est de vérifier deux choses :
- les items (questions) sont-ils significativement associés au construit?
- dans le cas d’un instrument multidimensionnel
–> Les items sont-ils significativement associés au bon facteur et non associés aux autres facteurs ?
–> Dans le cas d’une structure hiérarchique, est-ce que les sous-domaines sont significativement associés au domaine général (ex: traits spécifiques associés à trait général) ?
C’est quoi une analyse factorielle exploratoire VS. une analyse factorielle confirmatoire en quelques mots?
Analyse factorielle exploratoire (AFE) :
Sert à identifier la structure sous-jacente d’un ensemble de variables sans hypothèse préalable. Elle aide à déterminer combien de facteurs existent et comment chaque variable y contribue.
Analyse factorielle confirmatoire (AFC) :
Sert à tester si un modèle factoriel défini à l’avance correspond aux données observées. Elle permet de vérifier si les relations entre les variables et les facteurs sont conformes aux attentes théoriques.
- Validité convergente
Définition : Degré auquel les scores d’une échelle sont associés à ceux d’une autre échelle qui mesure le même construit.
- Validité discriminante
Définition : Degré auquel les scores d’une échelle ne sont pas associés à ceux d’une échelle mesurant un autre construit (corrélation faible attendue).
- Matrice multitraits-multiméthodes
Utilité : Test rigoureux des validités convergente et discriminante.
Particularité : La diagonale contient une estimation de la fidélité et non des corrélations égales à 1.
Zones de la matrice :
🟦 Cases bleues : Validité convergente (corrélation entre deux échelles mesurant le même construit).
🟩 Cases vertes et 🟧 cases oranges : Validité discriminante (corrélations entre deux construits différents : extériorisés et intériorisés).
- Validité de critère
Définition : Degré auquel les scores d’une échelle sont associés à l’adaptation ou la performance des individus, comparés à un critère externe.
Critère externe : Doit être objectif, indépendant et conceptuellement lié au construit évalué.
- Types de validité de critère
✅ Concomitante : Mesure simultanée des variables X et Y chez une même personne.
Méthodes :
Corrélation avec un critère indépendant.
Méthode des groupes contrastés (différences de scores moyens entre groupes).
⏩ Prédictive : Prédiction des résultats futurs sur un critère externe.
- Validité incrémentielle
Définition : Valeur ajoutée des scores d’un test pour prédire un critère externe au-delà d’autres facteurs prédictifs.
- Théorie de la décision et validité de critère
Objectif : Analyser l’effet quantitatif des décisions prises avec des tests.
But : Déterminer si les scores permettent une classification adéquate des individus.
- Tableau de prédiction (2x2)
But : Évaluer la capacité d’un test à classer correctement les individus.
Axes :
Lignes : Statut réel (présente ou non le trouble).
Colonnes : Résultat du test (positif ou négatif).
- Sensibilité et Spécificité
🔍 Sensibilité : Capacité d’identifier positivement les personnes ayant le trouble.
🚫 Spécificité : Capacité d’identifier négativement les personnes n’ayant pas le trouble.
Calcul : Proportion des individus correctement classés par rapport au score critère établi par les auteurs du test.
- Pouvoir prédictif
But : Évaluer la confiance à accorder à un résultat obtenu pour un individu.
Deux types :
✅ PPP (Pouvoir Prédictif Positif) : Probabilité qu’un individu ayant un résultat positif ait réellement le trouble.
❌ PPN (Pouvoir Prédictif Négatif) : Probabilité qu’un individu ayant un résultat négatif n’ait pas le trouble.
- Différence Sensibilité/Spécificité vs. Pouvoir Prédictif
Sensibilité et spécificité : Paramètres internes au test, influencés par le score critère.
PPP et PPN : Indices extrinsèques, dépendants de la prévalence du trouble.
⚠️ Attention : Si la prévalence est très faible, la fiabilité du pouvoir prédictif diminue.
