Cours 6 - validité Flashcards
Validité
- sa capacité (à l’instrument) à mesurer ce qu’il prétend mesurer
- constitue, avec la fidélité, la propriété la + importante d’un test (première chose à aller vérifier)
- quand on construit un nouvel instrument, il faut présenter des preuves suffisantes qu’il mesure bien ce qu’il prétend mesurer
Un instrument peut-il être valide dans l’absolu (100%)?
NON
- valide pour des situations particulière et non pour d’autres
- théorie sous-jacente aux construits évalués est relative
On l’évalue donc en terme de degré
Dans l’évaluation de la validité, sous-représentation d’un construit (SC)
Partie d’un construit qui n’est pas couverte par l’instrument
Variance non reliée au construit (VNRC)
Mesure de caractéristiques autres que celles souhaitées
3 grands types de validité
- validité de contenu
- validité critériée
- validité de construit
Autres types de validité
- validité apparente
- validité différentielle
- validité incrémentale
- validité de conséquence
Validité de contenu
Dès le moment où on commence à bâtir un test = 1ere chose à faire
- évalue dans quelle mesure les divers aspects d’un instrument sont représentatifs du concept mesure
- dans quelle mesure les items sont des indicateurs valides su concept mesuré
Nécessite une définition précise du concept visé et de toutes ses facettes
De quoi on a besoin pour avoir une bonne validité de contenu?
- les items doivent couvrir tous les aspects principaux du concept (éviter les sous-représentation)
- items doivent couvrir ces aspects de manière proportionnelle (pas de sous/sur-représentation)
- ne pas contenir de variables non pertinentes
Aussi… Évaluer
- instructions données
- modalités de présentation des stimuli
- contrainte de temps
- modalités de réponse
- critères de cotation
Validité critériée
Relation entre les résultats de l’instrument et un autre critère considéré comme un important indicateur de construit à l’étude
EST-CE QUE ÇA CORRÈLE AVEC UNE CARACTÉRISTIQUE VOISINE?
- vérifier le degré d’association entre l’instrument et une variable que l’on souhaite prédire ou expliquer
- validité critériée = est-ce utile
On VEUT que les résultats corrèlent avec une caractéristiques voisine (sinon la mesure ne serait pas vraiment valide)
2 sous-types de validité critériée (temporalité)
- validité concomitante : les résultats de l’instrument sont associés à la valeur actuelle d’un critère externe
(la mesure est simultanée) - validité prédictive : les résultats de l’instrument permettent de prédire un critère externe futur
(la mesure est effectuée à intervalle +/- long)
La différence entre ces 2 types de validité réside dans le moment d’évaluation du critère
2 sous-types de validité (corrélation)
- corrélation entre l’instrument à valider et d’autres instruments dont les caractéristiques psychométriques sont bien établies
- validité convergente : corrélation élevée entre l’instrument à valider et un autre instrument qui mesure le même construit qu’on veut mesurer (ex: 2 tests mesurant les intérêts professionnels) (on veut que ce soit associé)
- validité divergente (discriminante) : corrélation relativement faible entre l’instrument à valider et un instrument qui mesure des construits autres que ce qu’on veut mesurer (ne veut pas que ce soit associé)
Validité d’un instrument s’exprime avec quoi ?
Coefficient de corrélation (Pearson) = coefficient de validité
Relation fidélité-validité
- la validité d’un instrument dépend de sa fidélité
- si la fidélité du critère est limités = validité de l’instrument limitée
Validité du critère
L’autre critère considéré comme important doit aussi être valide
La validité critériée repose sur la capacité de l’instrument à distinguer quoi?
Capacité à distinguer les gens entre eux
- permet de prédire comportement/caractéristiques (si pas trop facile ou trop difficile)
Seuil recherché pour la validité critériée
N’existe pas de seuil prédéterminé, il s’agit d’une appréciation relative de la validité
Ex : prédiction du risque suicidaire VS prédiction perfo sportive = pas la même importance de validité
Validité concomitante seuils
au moins 0,7 pour être élevé
en bas de 0,3-0,4 pour être faible
Théorie de la décision
Un bon instrument doit être en mesure d’identifier correctement les cas qui possèdent une caractéristique X, ainsi que d’être en mesure d’identifier les personnes ou les cas qui ne possèdent pas la caractéristique X.
Sensibilité
Capacité à identifier les “cas” parmi les personnes évaluées
- évaluée par la proportion de cas correctement identifiés (VP) parmi les cas
Spécificité
Capacité à identifier les non-cas parmi les personnes évaluées
- évaluée par la proportion de non-cas correctement identifiée (VN) parmi les non-cas
La sensibilité et la spécificité sont-ils des attributs dépendants?
Non, il sont indépendants, un instrument peut avoir une bonne sensibilité et une mauvaise spécificité = il détecte presque tous les cas, mais identifierait comme cas des personnes qui n’en sont pas
On veut maximiser les 2
Validité de construit
= validité théorique
C’est le degré de certitude qu’on a que l’instrument reflète les composantes théoriques du concept visé
Elle “comprend” les autres types de validité
Les 3 indices de validité de construit
- les corrélations avec d’autres versions du même instrument
- les corrélations convergentes et divergentes
- analyse factorielle
Indice 1 de la validité de construit
Corrélations avec d’autres versions du même instrument
- corrélation avec une version antérieure
- corrélation avec un version auto-rapportée pour valider une version par entrevue
- corrélation entre version papier crayon et version informatisée
- r = >0,8
Indice 2 de validité de construit
Corrélations convergentes et divergentes
Un instrument devrait corréler avec des variables similaires (convergence) et ne devrait pas corréler avec des variables plus éloignées (divergence)
Indice 3 de validité de construit
Analyse factorielle
Sert à relever les facteurs composant un instrument = permet de confirmer ou infirmer sa structure théorique
Sert aussi à vérifier le poids de chacun des items pour chaque dimension retenue
- permet d’extraire des composantes (facteurs) de variance commune
- permet de vérifier le nombre de concepts mesurés = si l’instrument est en accord avec la théorie
- permet de vérifier l’appartenance des items à chaque facteur
Une mauvaise validité de construit nous dit quoi?
- Théorie non adéquate
- Instrument n’est pas une bonne opérationnalisation des concepts de la théorie
Autres types de validité (ne faisant pas parties des 3 principaux)
Validité apparente
Validité différentielle
Validité incrémentale
Validité de conséquence
Validité apparente
à première vue, qu’est-ce que l’instrument à l’aire de mesurer?
Sentiment subjectif qu’ont les évaluateurs potentiels et les personnes évaluées de la validité de l’instrument
donc pas une “preuve” scientifique de la validité
Validité différentielle
Un instrument est biaisé s’il fonctionne différemment selon les groupes
Nous devons donc évaluer la validité pour les différents groupes auxquels nous souhaitons l’appliquer
Validité différentielle pour les 3 grands types de validité
Contenu : vérification du contenu : est-ce que le sens est le même pour toute la population?
Critériée : vérif de la validité prédictive, analysa spécificité/sensibilité
Construit : vérif validité du modèle théorique
Validité incrémentale
Concerne la quantité de données nouvelles et uniques qu’ajoute un instrument à un corpus de données existant
Est-ce que ça augmente la précision? Obtient plus d’informations?
Validité de conséquences
S’intéresse aux conséquences souhaitées et non souhaitées de l’usage de l’instrument sur les personnes
- utilité
- effets indésirables
- réactions de la personne évaluée
Degré de validité recherché
RELATIF
r > o,5 = élevé
r plus petit que 0,5 = faible
Questions à se poser lors du choix d’un instrument
- est-ce que l’instrument est plus ou moins valide qu’un autre
- est-il préférable d’utiliser cet instrument comme source d’information ou de ne pas l’utiliser?
S’assurer de suivre les normes
