Cours 5 Flashcards
V ou F? Le degré de fidélité détermine l’interprétation et les inférences que l’on peut faire à partir de scores d’une échelle.
Faux, degré de validité
V ou F? Le nom d’un test ou d’une échelle est un bon indice du construit mesuré.
Faux
Définit la validité d’un instrument de mesure.
S’il mesure vraiment ce qu’il prétend ou devrait mesurer, ce construit pour cette population et pour cette application particulière.
Quels sont les 3 aspects à évaluer lorsqu’on évalue la validité d’une mesure?
Mesure bien le construit qu’il prétend mesurer
Mesure bien ce construit pour la population ciblée
Mesure bien le construit une application particulière
Quels sont les 3 points clés que les organisations professionnelles soulignent vis-à-vis la validité des tests?
Caractéristique de l’interprétation des scores procurés par un test, pas une caractéristique du test
Validité est une question de degré ; pas une question absolue (de tout ou rien)
Repose sur de solides bases théoriques et empiriques
Quelles sont les 3 différentes sources de validité?
De contenu
De construit
De critère
V ou F? La vraisemblance est une source de validité.
Faux
Avec quelle source de validité la vraisemblance est-elle confondue?
Validité de contenu
Quel est l’autre nom donné à la vraisemblance?
Validité d’apparence
Pour avoir un bon degré de vraisemblance, qui doit trouver adéquat la mesure lié à un construit spécifique?
- Personnes qui sont évaluées avec le test
- Personnes qui utilisent le test/
Quels sont les facteurs pouvant influencer la vraisemblance?
Contexte d’évaluation
Capacités cognitives des répondants
Santé mentale et état psychologique des répondants
Personnalité des répondants
Motif de l’évaluation (désirabilité sociale +/-)
etc.
À quoi réfère la validité de contenu?
Au degré de représentativité des items (questions) utilisés pour mesurer un construit
Quelle source de validité est mesurée de manière déductive? Qu’est-ce que cela signifie?
De contenu ; les auteurs du test demandent à un groupe d’experts indépendants de se prononcer sur la pertinence des items.
Quelles sont les questions demandées au groupe d’experts indépendants pour mesurer la validité de contenu?
Chq item individuellement correspond bien au construit
Tous les items de l’échelle considérés comme un groupe constituent un échantillon représentatif de tous les domaines et sous-domaines expliqués par le construit d’intérêt
Comment obtenir la meilleure représentativité?
Tous les domaines du construits représentés
Éviter la sur- ou sous- représentation d’items
À partir de quoi les chercheurs définissent un construit (son contenu)?
- Cadre théorique
- Recherches empiriques (recensions)
- Connaissances et expériences professionnelles/pratiques
Quels sont les 2 types de validité de contenu?
Nominale (auteur du test)
Consensuelle (groupe de spécialistes indépendants)
Même si de façon déductive, comment les experts estiment le degré de validité de contenu empiriquement?
En quantifiant le degré de validité de contenu par la gradation ; indice de validité de contenu
- À quel point chacun des items est pertinent et représentatif du construit d’intérêt (IVC-I)
- À quel point l’ensemble des items constitue un échantillon représentatif du contenu du construit d’intérêt (IVC-É)
Quelles sont les 2 grandes menaces à la validité de contenu?
- Inclusion de contenu conceptuellement non pertinent
- Sous-représentation conceptuelle de certains domaines du construit
À quoi réfère la validité de construit?
Degré de reproductibilité de la structure interne sous-jacente à l’instrument ainsi que les relations du construits d’intérêt avec d’autres construits externes
Quelles sont les deux façons de vérifier la validité de construit?
Validité factorielle
Validité convergente/discriminante
Avant d’entamer l’évaluation de la validité de construits, que faut-il bien connaître?
Théorie sous-jacente au construit
Qu’est-ce que le réseau nomologique?
Théorie expliquant le construit par le biais de ses interrelations avec d’autres construits
Que devrait représenter le réseau nomologique?
la structure interne et les interrelations (ordonnées et prévisibles) entre les domaines ou sous-domaines importants du construit et des construits externes théoriquement importants
V ou F? Le réseau nomologique concerne seulement les relations concurrentes.
Faux, peut inclure des facteurs étiologiques et des conséquences développementales plus distales
Qu’est-ce que la validité factorielle?
Permet de vérifier si la structure factorielle théorique qui représente le construit est reproduite sur le plan empirique (avec des données)
Quelles sont les 2 analyses factorielles?
Analyse factorielle exploratoire
Analyse factorielle confirmatoire
Quel est le critère classique de l’analyse factorielle ?
Saturations factorielles de 0,4 ou plus pour les items associés à un facteur
Quel est l’objectif de vérifier 2 aspects inter-reliés de la structure factorielle théorique (validité factorielle)?
- Items sont significativement (statistiquement) associés au facteur (construit)
- Dans le cas d’un instrument multidimensionnel : items sont-ils significativement associés au bon facteur et non-associés aux autres facteurs?
Dans le cas d’une structure hiérarchique, est-ce que les sous-domaines sont significativement associés au domaine général (traits spécifiques associés à trait général)
Quand est-ce qu’on utilise l’analyse factorielle confirmative?
À l’étape de la validation puisque la structure est supposée être connue.
Définit la validité convergente.
Degré auquel les scores d’une échelle sont associés avec ceux d’une échelle existante qui mesure le même construit théorique.
Définit la validité discriminante.
Degré auquel les scores d’une échelle ne sont pas associés avec ceux d’une échelle existante qui mesure pas le même construit théorique.
Quelle est la méthode à utiliser pour évaluer la validité convergente/discriminante?
Matrice multitraits-multiméthodes
Quel est l’autre nom donné à la validité de critère?
Validité pragmatique
À quoi réfère la validité de critère?
Degré auquel les scores à une échelle sont associés à l’adaptation (ou la performance) des individus
Quels sont les deux types de validité de critères?
Concomitante et prédictive
Quelles sont les 2 façons d’estimer les validité de critère concomitante?
- Corrélation avec un critère indépendant
- Méthode des groupes contrastés
Dans la validité de critère, les scores à l’échelle comparés à ceux d’un ____________________.
Critère externe
En quoi consiste la validité de critère prédictive?
Degré auquel une mesure est capable de prédire un critère externe prospectivement i.e plus tard dans le temps. (besoin d’une étude longitudinale prospective)
À quelle forme de validité se réfère la validité incrémentielle?
Validité de critère
Qu’est-ce que la validité incrémentielle?
Il s’agit de la même chose que la validité prédictive mais on se demande si les scores à un test ont une valeur ajoutée pour prédire un critère externe (au-delà de la capacité d’autres facteurs (autres tests) prédictifs importants
À quelle validité est liée à l’idée de “contrôle statistique” en analyse de régression?
Validité incrémentielle
Dans quel contexte peut-on utiliser la validité incrémentielle?
Classification ; scores d’une échelle de dépistage qui procurent une meilleure sensibilité et spécificité que ceux d’une autre échelle similaire.
S’applique aussi à la révision d’un test ; les scores de la nouvelle version prédisent mieux un critère au-delà des facteurs de contrôle, ou encore procurent une meilleure sensibilité et spécificité que l’ancienne version
Qu’est-ce que la théorie de la décision? À quel validité est-elle relié?
Déterminer à quel point les scores d’un test peuvent classifier adéquatement les personnes dans des groupes
Validité de critère
Qu’est-ce que la sensibilité?
Capacité d’une échelle de procurer un résultat positif pour les pers présentant le statut qu’elle prétend identifier. Se rapporte à la capacité de détection. Vrais positifs
Qu’est-ce que la spécificité?
Capacité d’une échelle de procurer un résultat négatif pour les personnes ne présentant pas le statut qu’elle prétend identifier. Se rapporte à sa capacité de discrimination. Vrais négatifs
V ou F? Si on change le critère, la sensibilité et spécificité change.
Vrai
Les indices de sensibilité et de spécificité sont des observations empiriques de la ____________________________ d’un test calculés à partir d’une classification de différents groupes diagnostiques.
performance rétrospective
V ou F? Les indices de sensibilité et de spécificité renseignent sur la capacité de classification d’une échelle ou d’un test lorsque ce dernier est utilisé avec des personnes dont le statut est ___________________.
Connu
En clinique, la tâche de l’évaluateur est plutôt de déterminer le __________________ qui peut être accordé à un résultat positif pour un individu classifié. On veut savoir la ___________ qu’un individu présente réellement le trouble, étant donné un résultat positif à un test. Pour ce faire, il faut calculer le ________________.
niveau de confiance
probabilité
Pouvoir prédictif
Qu’est-ce que le pouvoir prédictif positif?
Probabilité qu’un individu avec un résultat positif sur une échelle ait réellement le statut prédit
Qu’est-ce que le pouvoir prédictif négatif?
Probabilité qu’un individu avec un résultat négatifsur une échelle n’ait pas réellement le statut prédit
Lorsque la prévalence est faible, le PPN est plus _________ que PPP.
grand
Quels sont les 2 problèmes potentiels avec les indices de sensibilité, spécificité et pouvoir prédictif?
- Estimation de ces indices statistiques dépend de la validité et de la fidélité du critère utilisé
- Estimation de la prévalence réelle dans certains contextes cliniques peut être difficiles.
Quels sont les 3 postulats à se rappeler de la fidélité/validité?
Validité est un préalable à la fidélité
La fidélité est une condition nécessaire à la validité
Les deux sont interreliées: les indices de validité sont directement influencés par le degré de fidélité
