Cours 5 Flashcards
Qu’est-ce que la validité?
On veut savoir si l’instrument de mesure mesure vraiment ce qu’il prétend ou devrait mesurer.
- Validité des scores
- L’échantillon d’item de l’échelle représente bien le construit qu’on veut mesurer.
- Degré de validité détermine l’interprétation et les inférences que l’on peut faire à partir des scores d’une échelle
Vraie question pour mesurer la validité
Est-ce-que le ce test est une mesure valide de ce construit, pour cette population et pour cette utilisation en particulier?
3 aspects de la validité à être évalués
- Est-ce qu’il mesure bien le construit qu’il prétend mesurer?
- Est-ce qu’il mesure bien ce construit pour la population ciblée?
- Est-ce qu’il mesure bien ce construit pour une application particulière?
3 points clés que les organisations professionnelles soulignent à propos de la validité des tests (IDB)
- La validité concerne l’interprétation des scores d’un test (pas une caractéristique du test)
- La validité est une question de DEGRÉ (pas noir ou blanc)
- La validité repose sur des bases théoriques et empiriques
Différentes sources de validité (3)
- Contenu
- Construit : factorielle, convergente, discriminante
- Critère : concomitante, prédictive, incrémentielle
Qu’est-ce que la vraisemblance?
Aussi appelé “validité d’apparence”.
- Pas une source de validité!!!
- Degré auquel une mesure semble adéquate pour les personnes qui sont évaluées avec le test ET/OU les personnes qui utilisent le test.
- Bonne vraisemblance quand la majorité des personnes (évaluées ou qui évaluent) jugent qu’elle semble pertinente et adéquate.
- Parfois confondu avec validité de contenu : mais ce ne l’est pas.
- Si pas vraisemblable pour les personnes, peut être une menace à la validité.
Validité de contenu
Réfère au degré de représentativité des items (questions)
La validité de contenu est pour la plupart du temps établie de façon …(D)
Déductive : auteur.trice demande à des experts indépendants de se prononcer sur la pertinence des items
2 questions posées aux experts indépendants sur la validité de contenu
- Chaque item individuellement correspond bien au construit? (est-ce que chaque question individuellement est représentative du concept)
- Est-ce que tous les items dans leur ensemble sont un échantillon représentatif du construit?
Quelle est la forme de validité la plus négligée?
Validité de contenu
La représentativité dans la validité de contenu
Est-ce que tous les domaines et sous-domaines du contruit sont représentés?
- Évite sur ou sous représentation de certains contenu.
Ex. 15 item qui mesure 1 concept et 2 items seulement qui représentent un autre concept.
Validité de contenu : Avant de construire une échelle, les auteur.trices doivent toujours…
Décrire en détails et de façon compréhensive les différents domaines (sous-domaines) du construit d’intérêt
- Important de bien définir le concept qui est mesuré.
Validité de contenu : à partir de quoi les chercheur.euses définissent un construit? (3)
- Cadre théorique
- Recherche empirique (recension) : des études qui montrent c’est quoi les caractéristiques
- Connaissances et expériences professionnelle
Deux types de validité de contenu
- Nominale : auteur.trices du test
- Consensuelle : groupes de spécialistes indépendants
Comment estimer le degré de validité de contenu empiriquement?
Avec une échelle de mesure quantitative, on demande à des experts indépendants d’estimer
1. À quel point chacun des items d’un test est pertinent et représentatif du construit d’intérêt
2. À quel point l’ensemble des items constitue un bon échantillon représentatif du contenu du construit
Afin de quantifier le degré de validité de contenu…
On donne aux expert.es un choix de réponse avec une gradation à propos de chaque item afin de synthétiser le tout
- Quand on quantifie, on peut calculer les indice de validité de contenu.
Deux grandes menaces à la validité de contenu
- Inclusion du contenu conceptuellement non pertinent : items hyperactivité sont intégrés dans échelle inattention.
- Sous-représentation de certains domaines du construit
Validité de construit : réfère à quoi? (r-r)
A. Au degré de reproductibilité de la structure interne théorique de l’instrument : est-ce que je peux reproduire la structure théorique que les auteurs proposent de l’instrument?
B. Au degré de les relations du construit d’intérêt avec d’autres construits externes: relation avec construits et avec concepts indépendants.
Deux grandes façons de vérifier la validité de construit
- Validité factorielle
- Validité convergente/discriminante
Théorie sous-jacente à la validité de construit : Réseau nomologique
Théorie expliquant…
Théorie expliquant le construit par le biais de ses interrelations avec d’autres construits de façon CLAIRE
- Peut inclure facteurs étiologiques et conséquences développementales
- Devrait tjrs se retrouver dans le document expliquant l’instrument mais y est rarement
Qu’est-ce que la nomologie?
Étude des lois
Validité de construit : validité factorielle
Vérifier si la structure factorielle théorique qui représente le construit est reproduite sur le plan empirique
- Multidimensionnel : plus d’une dimension (ex. EDC)
Validité factorielle : L’objectif est de vérifier deux aspects inter-reliés de la structure factorielle théorique
- Les items sont-ils associés au bon facteur (construit)?
- Si instrument multidimensionnel :
a) Items sont-ils associés au bon facteur et non associés aux autres facteur?
b) Si hiérarchique, est-ce que les sous-domaines sont significativement associés au domaines général?
* Ex. problème extériorisé (dom général) - hyperactivité, opposition, agressivité (dom spécifique)
Validité factorielle : Analyse factorielle exploratoire
On cherche les items inter-corrélés (individus tendent à répondre de façon similaire)
- Critère classique : saturation factorielle de 0,40 et plus (équivalent à une corrélation entre un item et un score total)
- Matrice de corrélation
Validité factorielle : analyse factorielle confirmatoire
- Chercheur impose une structure stricte a priori à la matrice de corrélation et teste si elle correspond aux données
- Méthode normalement employée à l’étape de validation (structure supposée être connue)
- Corrélation peut avoir tendance à augmenter
Validité de construit : validité convergente et discriminante
Les 2 souvent testés en même temps
- Convergente : degré auquel les scores de mon instrument sont fortement corrélés avec un autre instrument qui mesure le même construit.
- Divergente : degré auquel les scores de mon instrument ne corrèlent pas avec un instrument qui mesure le même construit.
Matrice multitraits-Multiméthodes
- Pour tester la validité convergente et discriminante
- Diagonale est la fidélité
- Multitraits : construits différents
- Multiméthode : méthodes différentes
- Discriminante : corrélation entre deux traits différents
- Convergente : corrélation entre deux traits semblables
Validité de critère
- Validité pragmatique
- Prédire l’adaptation sur des choses externes et indépendantes
- Voir si les score de l’insturment sont liés à quelque chose qui N’EST PAS dans l’instrument
- Si vient du même instrument : ce n’est pas de la validité de critère.
Validité de critère concomitante : quoi et 2 façon de l’estimer
La corrélation entre 2 choses mesurées au même moment
1. Corrélation avec un critère indépendant. Ex. Corrélation entre test empathie et conduite délinquantes.
2. Méthode des groupes contrasté : on teste les différences de scores moyens entre 2 groupe
Validité de critère prédictive
À quel point une mesure est capable de prédire un critère dans le temps ? (prospectivement)
* Pas mesuré en même temps.
* Plus l’intervalle est loin, moins on s’attend à une corrélation forte.
Ex. Score d’une échelle d’impulsivité à l’enfance peuvent-ils prédire abus de psychotropes à l’adolescence?
Validité de critère : validité incrémentielle
Est-ce que les score obtenus ont une valeur ajoutée (meilleure prédiction) avec d’autres instruments?
- Forme spécifique de la validité de critère
- Meilleur ou pas
Théorie de la décision et validité de critère
- Série de concepts visant l’analyse des effets quantitatifs des décisions prises avec des tests
- Déterminer à quel point les scores d’un test peuvent classifier adéquatement les personnes des groupes
- Liée à la validité de critère
Validité et prédiction : tableau 2 par 2
Verticale : Statut de l’individu
Horizontale : résultat de l’évaluation
Si résultat vrai : bien identifié
Si résultat faux : mal identifié
Sensibilité
Échelle est capable d’identifier % des gens qui ont la condition clinique
- Capacité de procurer un résultat positif pour les personnes qu’on sait qui présentent le statut (condition clinique)
- Capacité de détection
Nombre de vrai + / (Nombre vrai + + Nombre faux -)
Spécificité
Échelle qui identifie le % des individus qui n’ont pas la condition clinique
- Procurer un résultat négatif pour les personnes qu’on sait qui ne présentent pas le statut (condition clinique)
- Capacité de discrimination
Nombre vrai - / (Nombre faux + + Nombre vrai -)
Sensibilité et spécificité : perfomance rétrospective
Rétrospective parce qu’on connaît déjà le statut des personne!
- Déterminés par le score critère
Sensibilité et spécificité : varient en fonction…
- Varient en fonction du critère.
- Si je change le critère ( Score T) = les valeurs de sensibilité et spécificité changent
Pouvoir prédictif
- Niveau de confiance qui peut être accordée à un résultat positif ou négatif.
- À quel point la personne présente réellement le trouble ou ne le présente pas.
PPP
Probabilité que l’individu avec un résultat positif ait réellement le statut.
- Statut : a le trouble - à quel point l’individu à réellement le trouble.
Nombre vrai + / (Nombre vrai + + Nombre faux +)
PPN
À quel point je peux me fier à un résultat négatif
- Probabilité que l’individu avec un résultat négatif n’ait réelleement pas le statut prédit
- Statut : pas le trouble - à quel point il n’a réellement pas le trouble.
Nombre vrai - (Nombre faux - + Nombre vrai -)
PPP et PPN : indices de performances extrinsèques. Varient selon…
- Varient selon la prévalence du trouble
Comment choisir le PPP et PPN?
Choisir la prévalence où ils se croisent à leurs optimum.
PPP et PPN : prévalence faible ou grande
Prévalence faible = PPN > PPP
Prévalence grande = PPP > PPN
Deux problèmes potentiels avec les indices de sensibilité, spécificité et pouvoir prédictif
- Estimations des indices statistiques dépendent de la validité et fidélité du critère utilisée
- L’estimation de la prévalence réelle dans certains contextes cliniques peut être difficile.
Validité et fidélité : cible
- Validité : les points seront autour du centre
- Fidélité : les points seront près l’un des autres.
Validité et fidélité : interreliées
- Validité : préalable à la fidélité. Pourquoi ne pas faire d’erreur de mesure si je ne sais pas ce que je mesure?
- Fidélité : nécessaire à la validité. Est-ce que je mesure vraiment le concept que je souhaite mesurer si je fais plein d’erreur de mesure?
Ne jamais oublier : validité et fidélité
- Validité : pour une population particulière et/ou une utilisation particulière
- Toujours question de degré!
