Cours 4 : Validité Flashcards
Pour qu’un test soit valide, il doit corréler absolument avec un ______. Si le test est valide, il doit être corrélé positivement avec quelque chose ________ dans la vie de tous les jours ou avec un _______________ qui a déjà été _______
Critère, d’observable, questionnaire, validé
Qu’est-ce que la validité d’apparence
Jusqu’à quel point le questionnaire a l’air de mesurer ce qu’il prétend mesurer
Qu’est-ce que la validité convergente?
Test corrèle avec un test qui est déjà valide
Validité divergente
Faut que le test ne corrèle pas avec un construit qui est non pertinent
Qu’est-ce qu’un test qui est sensible
Un test qui détecte des choses, au risque d’en prendre trop
Qu’est-ce qu’un test qui est spécifique
Un test qui détecte seulement quand c’est nécessaire au risque de trop discriminer
Avant d’utiliser un test, le test doit avoir prouvé qu’il est _________, sinon on pourrait tirer de mauvaises conclusions
Valide
Explique le principe de “score dans un but précis”
Dans le fond, les test évalue quelque chose de précis. Le test peut être bon pour différencier les prisonniers du reste des gens, mais pas des prisonniers récidivistes de ceux non récidivistes
Si notre test prédit à 0,7 et les autres à 0,3 notre test devient donc __________
Le golden standard
Est-ce que lorsqu’un test est valide, il garantis l’exactitude des normes?
Non
Donne un exemple de variance non pertinente
Un test de math qui exige une bonne aptitude en lecture, pas pertinent pcq on essaie d’évaluer la compétence en mathématique
Donne un exemple de construit sous représenté
Puisque la dépression a des composantes émotives, cognitives et comportementale, de n’avoir aucun item sur le comportement nous empêche d’avoir une validité de contenu
Le test ne doit pas ou mesurer le moins possible de la ____________________________
Variance qui est non liée au construit
Qu’est-ce qu’un test ideal en terme de variance
Un test qui mesure la variance propre au construit et qui n’ajoute pas de variance non pertinente
Validité de critère concomitante et exemple
Je corrèle mon test avec un critère qui est présent
je regarde le nbre de coup de poing dans la cours d’école. Comme le test et le critère sont passé en même temps = validité concomitante.
Je fais remplir un questionnaire sur le stress et je mesure les impacts physiologiques en même temps = concomitante.
Validité prédictive et exemple
Critère vient plus tard
test de l’agressivité et je regarde qui se retrouve en prison une fois majeur.
Plus difficile de la déterminer. Mais elle a plus de retombées pcq on ne veut pas tant savoir comment le client est, on veut surtout savoir comme le client sera dans le futur.
Validité de construit
Méthode est l,analyse factorielle pour le faire
Explique l’importance de la validité test-critère
si on fait juste corrélées 2 tests entre eux = on est trop sur les tests papier-crayon, trop détaché de la vraie vie.
On devrait tjrs avoir un critère comportemental avec lequel corréler.
Explique la validité de conséquence
qu’est-ce que ça donne de passer le test? Qu’est-ce que le test apporte de plus par rapport à une info qui est déjà existante?
Qu’est-ce que la validité incrémentale
se demander quel pourcentage de variance supplémentaire mon test ajoute? (Ex : test pour entre au privé VS bulletin scolaire; si on a pas vrm de variance supp = validité incrémentale n’est pas démontrée)
Est-ce tjs bon d’avoir de la validité d’apparence? Explique
Non
MMPI : 1er test à contourner la validité d’apparence. Des fois, la validité d’apparence c’est bon, mais d’autres fois non.
Ex : je suis un menteur = plus de chances que tu ne dises pas la vérité.
Au lieu de demander directement si tu es une personne malhonnête, on va te demander : mon père était une personne mauvaise; si tu dis vrai = gagne un point sur l’échelle d’antisociabilité. Permettait d’aller mesure l’antisociabilité sans avoir le problème de désirabilité sociale. On s’est dégagé de la validité d’apparence pour aller vers des items qui en on pas.
Quelles sont les 3 approches principales/ caractéristiques importantes de la validité de critère
- Externe et réaliste
- Contraste entre les gr
- Autres tests
Quelle est l’unité de mesure du contraste
Le d de cohen
Donne un exemple où il y a l’importance des groupes contrastés
Création d’un test évaluant l’abus d’alcool
Étudiants à UdeSherbrooke vs
Clients à un centre de désintoxication
2 groupes ne devraient pas avoir le même score
Plus la distance entre les deux moyennes de deux groupes sont grandes, plus le test __________
Discrimine bien les groupes
Veut un d de cohen grand ou petit
Grand
Si j’ai un d de cohen de 2 qu’est-ce que cela signifie ?
Que il y a 2 écarts types de différence entre les 2 groupes
S’il y a déjà un test qui mesure un concept, à quoi servirait d’en faire un autre?
Permet d’amener des changements au niv de la définition
Si les participants sont trop homogènes, comment la corrélation sera affectée
Restriction de la variance, affaiblit la corrélation
Explique la contamination du critère qui est une menace à la validité de critère
Ex : on veut faire un test de validité sur l’exam de psychométrie. On va aller le corréler avec la moyenne générale en fin de bacc ; forte corrélation positive, donc on se dit que l’exam est valide. Problème potentiel : le critère est contaminé pcq il donne bcp de cours au bac. Pour aller valider, je pourrais aller corréler l’exam avec toutes les autres cours que je n’enseigne pas = le critère n’est plus contaminé.
Ex : je veux créer un inventaire de dépression et mon critère est le diagnostique des cliniciens. Si mon test dit dépression = tu devrais avoir le diagnostic. Mais les cliniciens utilisent le test pour les aider dans leur processus de diagnostique = critère est contaminé par le test, il n’est plus détâché du test à valider.
Explique ce que c’est la matrice multitrait-multiméthode
Pour créer un inventaire de dépression, je devrais aller le corréler avec l’inventaire de dépression de Beck logiquement. Même si la dépression est liée à l’anxiété, ça devrait tjrs être plus faiblement lié à l’anxiété qu’à la dépression. Pour faire une validité divergente, on pourrait prendre l’inventaire d’anxiété de Beck. Anxiété = trait, dépression = trait donc multitrait. Matrice multitrait = on a une mesure de dépression et une mesure d’anxiété. Inventaire de dépression = mesure avec des choix multiples, quantitative, test objectif, questionnaire de dépression que je crée = questionnaire objectif, et questionnaire anxiété = questionnaire objectif (3 questionnaires, mais 1 méthode). On pourrait ajouter un inventaire de dépression projectif et un inventaire d’anxiété projectif pour ajouter une autre méthode = multiméthode.
Qu’est-ce qui est meilleur pour prédire les cpts futur, le psy ou les prédiction statistique?
Les stats
Qu’est-ce que la prédiction actuarielle et donne un exemple
Prédiction actuarielle (permet d’éviter les biais) : quand on paie des assurances, on paie différemment selon les hommes et les femmes. Pcq les hommes prennent plus de risques = plus de réclamations. Quand ils font une équation de régression, le sexe sort très fortement significatif. On devrait se fier davantage à ce que l’échelle dit vs ce qu’on peut observé. Formule actuarielle fait moins d’erreur que l’avis de quelqu’un. (Ça peut arriver que le MMPi se trompe, mais sur l’ensemble des clients, il performe mieux sur sa manière de prédire Y que le jugement clinique)
Donne un exemple d’un test trop sensible
Ex : tu déclares des gens alcooliques à partir de 2 bières consommées = trop sensible et pas assez spécifique. Tu classifies trop de gens comme étant alcoolique.
Donne un exemple d’un test trop spécifique
Classer alcoolique à partir de 42 conso ds la semaine = trop spécifique et pas assez sensible.
La relation entre la sensibilité et la spécificité est comment?
Inversement proportionnée, quand l,un monte l’autre diminue
Que faut-il faire p/r à la sensibilité/spécificité d’un test.
Il faut choisir, selon ce que l’on évalue, si on serait mieux d’être plus sensible ou spécifique. Exemple dans la détermination du risque de suicide, vaudrait mieux être plus sensible que pas assez
Explique la courbe de roc
On joue avec les différents points de coupure au niveau de la sensibilité et de la spécificité
Donne un exemple où il vaudrait mieux être plus spécifique
Le diagnostique
Qu’est-ce que le taux de base?
Probabilité d’un évenement dans la population
