cours 4 : validité Flashcards
Validité convergente vs divergente
Validité convergente = échelle estime de soi devrait être corrélée avec une échelle déjà validée
faux positifs et faux négatifs
- Faux positif = test pour la covid mais seulement le rhume mais test dit que covid oui
- Faut négatif = tu as la covid mais test le détecte pas
–> sensibilité vs spécificité
*Spécifique = détecte qqch de précis
Validité de construit
- Analyse factorielle (pour voir si validité de construit)
—> Exploratoire (SPSS)
—> Confirmatoire (AMOS/Mplus+)
Validités de conséquences
Validité de conséquences = test sauve plusieurs tentatives de suicide; conséquences pour les gens de passer ce test là
Quelques exemples validité
- Admissions à l’Université de Drummondville
—> Cote R - Inventaire de dépression et diagnostic
—> Inventaire de depression de Beck - Dépistage des problèmes scolaires
- Inventaire de personnalité
- Test de rendement
Définition validité
(3 précisions)
Est-ce qu’un test mesure ce qu’il devrait mesurer ?
Trois précisions supplémentaires
1. Un score dans un but précis
- Entrevue valide prédire la performance au travail 1 an plus tard
- MMPI validité pour différencier entre gens attaint depression et gens bipolaires
- MMPI validité pour distinguer les “prisonniers” recidivists vs non récidivistes
2. Une question de degré et non pas de tout ou rien
- Et surtout comparativement aux autres tests…
3. Validité vs exactitude des normes
- Ado détenus: 2 semaines vs 2 ans
- Pensées délinquantes et le nombre de crimes 0.5
Adéquation test construit (3)
(test idéal)
- Mesure valide
- Superposition du test et du construit - Construit sous-representé
- exemples - Variance non pertinente
- Exemples
—> Règle générale: partir avec une bonne définition
*Test idéal: test qui mesure la variance propre au construit et qui ne rajoute pas variance impertinente
*Pour décrire deuil
- «je pleure souvent» peut être dépression vs «je pleure souvent mon proche»
Quels sont les 4 types de validité?
- Contenu
- Critère
- Concomitante
—> Je corrèle mon test avec un critère qui est present (le nb de coups de poing)
——> Test r aggressivité coups de poing
- Prédictive
—> Test r prison majeur
——> Test agressivité puis test prison majeur
*Plus difficile à faire mais plus de retombé - Construit
- Validité d’apparence
C’est quoi la validité de contenu (3)
- Relations avec d’autres variables
- Convergente (correlation avec un test) et discriminante/divergente (absence correlation avec un test non lié)
- Test-critère - Structure interne
- Conséquences
- Incrémentale (% variance supplémentaire mon test ajoute)
*Questionnaire d’estime de soi devrait corrélé avec un autre questionnaire d’estime de soi donc convergente mais pas avec un test de narcissisme donc divergente
Si fais juste corréler test entre eux trop sur test papier crayon et donc trop détaché de la vraie vie et ainsi de la mesure d’un comportement
*Importance d’un critère comportemental avec lequel corréler
*Validité incrémentale pas vraiment présente si pas grande différence entre bulletin et test pour école privé; procédure de sélection t’apporte strictement rien donc pas validité incrémentale
C’est quoi la validité d’apparence?
- Est-ce que le test “paraît” valide ?
- Contraste avec des études empiriques
MMPI(premier test à contourner validité d’apparence) - Divergences d’opinion à propos de la validité d’apparence
- Parfois utile ex: contexte d’emploi
*la moins scientifique
C’est quoi l’utilisation typique de la validité de contenu?
mais problème de?
- Utilisation typique: Tests en éducation et tests en emploi
—> Analyse de poste - Un problème d’opérationnalisation
–> Alcoolisme = dépendant (50%) + boire consequences negatives (50%)
*Fait avec définition des variables (genre émotionnelle/comportementale/cognitif; donc évalue chacun de ces éléments)
C’est quoi la validité de critère?
principe de base?
généralement 2…?
Principe de base :
- Relation du test avec un critère externe
—> Aggressivité r comportements agressivité/arrestation/peine prison etc…
Généralement 2 catégories de prédiction
1. Concomitante
- En même temps
2. Predictive
- Plus tard (doit retrouver participants et gens ont le temps de changer entre temps)
C’est quoi les 3 approches de validité de critère?
- Critère externe et réaliste
- Peine de prison… tentatives de suicide… montant des ventes… notes… - Contrastes entre les groups
- Si test valide il va réussir à discriminer/distinguer vos groups
—-> Dépression (devrait avoir distinction entre groupe dépressif et groupe qui ont gagné lotterie) - Autre test
*Il y en a qui mette validité de convergence avec validité de critères
Validité de critère: critère externe
Régression (prédiction)
- Distributions bivariées Fig. 5.3, 5.4
- Formules 5-1, 5-2, 5-3
- Parfois variables dichotomiques : avoir le diagnostic (oui ou non)
- Test résultat: conclu depression ou absence
- Chi-carré
C’est quoi des groupes contrastés dans la validité de critère?
Groupes contrastés
- Exemples
—> Création d’un test évaluant l’abus d’alcool
—–> Étudiants à UdeSherbrooke vs
—–> Clients à un centre de désintoxication
Figure 5.5
—> Parfois difficile d’obtenir un contraste significatif dépendamment des groupes utilisés
—–> Clients atteints d’un Trouble anxieux généralisé
—–> Étudiants en psycho à UdeS
*L’unité de mesure du contraste = d de cohen
Exemple:
Moyenne = 100 (écart type = 15)
70 (15)
Donc d de cohen = 2 (0,8 = large)
Groupes contrastés par rapport graphique (validité de critère)
- Plus distance est grande plus test discrimine bien les groupes
- Quand d de cohen (exemple b) est grand test discrimine bien entre les groupes; chevauchement entre les 2 groupes veut dire que petite partie des délinquants qui est moins agressif que les étudiants en psychologie
D de cohen = différence des moyennes/écart type
- Dit la différence en écart type entre les 2 groupes
Validité de critère: corrélations avec d’autres tests
Dépression/inventaire depression Beck
Exemples:
- Pourquoi et quand ?
- Simple application des méthodes corrélationnelles
- Test depression r = IDB
*Pourquoi on continue: Viser des populations différentes et emmener changements; test plus court et plus accessible
Validité de critère: Nomme 8 considérations spéciales
- Conditions affectant r
- Relations fidélité validité
- Validité du critère
- Contamination du critère
- Validité convergente et discriminante/divergente
- Matrice multitrait-multiméthode
- Combiner de l’information : Plusieurs coefficients ‘’r’’
- Prédiction Statistique vs. Prédiction Clinique
Validité de critère
Considérations spéciales: C’est quoi les conditions affectant r? (3)
- Linéarité
- Homoscédascité ou non
*Homoscédascité : erreur de prédiction est constante tout le long de la droite
*Hétéroscédascticité : erreur de prédiction est pas constante à travers tous les points de la droite - Homogénéité du groupe
*Homogénéité du groupe : restriction de la variance donc affaiblie corrélation
*Toujours même coeffcient de corrélation ici
Validité de critère
Considérations spéciales: C’est quoi qu’il faut savoir par rapport à la relation fidélité validité?
Très important
- Si mesure manque fidélité = deviant très problématique pour faire validité
Validité de critère
Considérations spéciales: C’est quoi la validité du critère?
Jusqu’à quel point est-il bon ?
- Exemple How I Think Questionnaire et critère juridique
- Autres influences
*À l’époque: garçon faisant crime = délinquant
VS Fille faisant crime = victime
Validité de critère
Considérations spéciales: C’est quoi la contamination du critère?
Exemple
- Examen de psychométrie
—> R Moyenne Générale en fin bac
—> Dépression diagnostics cliniciens
- Fonctionnement
- Prévention
*Questionnaire sur dépression: autre critère que beck, critère comportemental
Validité de critère
Considérations spéciales: C’est quoi la validité convergente et discriminante?
Est-ce que votre test est corrélé avec … discriminante = golden
Validité de critère
Considérations spéciales: C’est quoi la matrice multitrait-multiméthode?
- Plus théorique que réellement utilisé
- dépression
*Veut créer inventaire de dépression (corrélé avec Inventaire de Dépression de Beck; pourrait aussi avec Inventaire d’Anxiété de Beck)
*Si dépression et anxiété = multitraits
*Donc une mesure de dépression au moins et une mesure d’anxiété
*Mesure quantitative
*Questionnaires objectif (IDB et IAB)
*Pourrait avoir inventaire dépression projectif/anxiété = multiméthode
Valeur de critère
Considérations spéciales: C’est quoi combiner de l’informations?
Combiner de l’information : Plusieurs coefficients ‘’r’’
- Idée de base et exemples
- Formules (5-8, 5-9)
*Premier coefficient validité si fidélité c’est 1
*2e variable vient enlever erreur de prédiction de la première
Valeur de critère
Considérations spéciales: c’est quoi prédiction statistique vs prédiction clinique?
- Cas spécial où de l’information est combinée provenant de plusieurs sources
- Résultat habituel = supériorité statistique
—> Voir Dawes (1994) pour une revue détaillée des études à ce sujet
*Dawes = prédiction clinique vs prédiction statistique
*Tous les psychotiques brossent leurs dents
*Formule factorielle fait moins erreur que opinion
—> Université texas
Théorie de la décision: C’est quoi hits? faux positifs? faux négatifs?
’Hits’’, faux positifs, faux négatifs
- Faux positifs = Vous passez un test de dépistage du sida. Vous n’avez pas le sida mais le test affirme que oui.
- Faux négatifs= Vous passez un test de dépistage du sida. Vous avez le sida mais le test affirme que non.
- Faux positifs et faux négatifs en clinique
*Dans meilleur des cas vous avez juste des hits : vrai positif et vrai négatif
Théorie de la décision: Tu modifie quoi pour jouer sur la sensibilité vs spécificité?
Modifier le point de coupure pour jouer sur la sensibilité vs spécificité
- Meilleur des mondes (100% sensibilité et 100% spécificité) vs réalité
Théorie de la décision: C’est quoi la sensibilité vs la spécificité?
Sensibilité
- Identifier correctement les membres du groupe critère
Spécificité
- Degré auquel le test détermine ou non les membres du groupe constraté
Théorie de la décision: C’est quoi le point de coupure?
Point coupure = je te classe alcoolique quand tu as eu 42 consommations la semaine passée (trop spécifique et pas assez sensible)
- Modifier le point de coupure pour jouer sur la sensibilité vs spécificité
Théorie de la décision: Pourquoi maximiser sensibilité et spécificité?
Maximiser la sensibilité ou la spécificité
- Risque suicidaire = vaut mieux être plus sensible
- Poids du diagnostic = vaut mieux être plus spécifique (à mon avis)
*Meilleur des mondes (100% sensibilité et 100% spécificité)
—> Donc tous les alcooliques sont réellement tous alcooliques
*Mais arrive pas parce que quand plus spécifique, moins sensible
—> Bcp tendance de donner diagnostic sans ce demander c’est quoi l’impact de donner un diagnostic à un individu
*Trop haute sensibilité = 2 bières c’est sur que c’est un alcoolique
Pour examen: tentative de suicide (c’est clair que tentative de suicide c’est pire que passer fds en psychiatrie)
Théorie de la décision: C’est quoi le lien entre sensibilité/spécificité et les stats bayésiennes?
Taux de base et leurs effets (faire des stats bayésiennes)
*Facteur de bays permet de tester l’hypothèse nulle
Taux de base = fréquence d’une pathologie ou d’événement à l’intérieur d’une population
C’est quoi les 2 méthodes liées à la validité de construit?
- Structure Interne
- Analyse Factorielle
*Analyse factorielle pour évaluer le questionnaire
*Items qui mesurent affects devraient être ensembles, cognitions devraient être ensemble (donc corréler entre eux), comportement devraient être ensemble
Donne 1 exemple de la matrice des corrélations
Ex: note pour français écrit et note pour compréhension du français
Compréhension du français corrélait tlm avec production du français = ça c’est un facteur
C’est quoi l’analyse factorielle?
- Chaque item va corrélé (saturer sur différentes dimensions)
- Quand analyse factorielle fonctionne bien; vos items vont corrélé dans une certaine dimension
- Longueur du bras très fortement corrélé avec longueur du torse
- Saturation = chacun des coefficients de régression sur la corrélation
- Plus coefficient de corrélation est élevé mieux s’est
- Analyse factorielle confirmatoire =
- Pour publier, prend absolument une confirmatoire
- Quand confirme tu change pu (pour changer tu fais exploratoire)
C’est quoi la méthode de base de la validité différentielle?
- Est-ce qu’un test prédit également (aussi bien ou aussi mal) pour différents groupes ?
- Une différence de moyenne ne signifie pas automatiquement un biais
—> Quelques exemples…
—–> Les détenus d’un pénitencier obtiennent un score moindre à l’échelle d’agressivité que les étudiants en psychologie. Le test d’agressivité n’est pas automatiquement biaisé.
—> Biais de la pente
—> Biais de l’ordonnée
*Ch.6 p.170
C’est quoi le biais de l’ordonnée à l’origine?
- Quand pas biais
- Test corrélé au critère pour groupe a et groupe b
- test doit être valide
- Standard relatif
2 pentes parallèles
C’est quoi le biais de la pente?
- Priorisé membres gr a que membre gr b
- Doit utiliser tests avec même validité prédictive pour 2 groupes
Nomme 2 préoccupations pratiques
1.Généralisation de la validité
2.Analyse finale : standard relatif
- Utiliser cette source d’information (test) ou une autre source (autre test)
- Utiliser cette source d’information (test) ou rien
- Faire (au moins) mieux que pile ou face (50%)
—> Méthode de la courbe ROC (doit battre courbe ROC)
