Cours 4 Flashcards
Qu’est-ce que le degré de validité détermine?
détermine les inférences que l’on peut faire à partir des scores d’une échelle
Est-ce que le nom d’un test ou d’une échelle constitue toujours un indice adéquat du construit mesuré ?
Non
Au lieu de demander si un test «mesure vraiment ce qu’il prétend ou devrait mesurer», que devrait-on demander?
est-ce que ce test est une mesure valide de ce construit, pour cette population et dans cette application particulière
La validité d’un test ou d’une mesure doit donc être évaluée relativement à trois choses, lesquelles?
- Est-ce qu’il mesure bien le construit qu’il prétend mesure ?
- Est-ce qu’il mesure bien ce construit pour la population ciblée (e.g., âge, niveau académique, groupe clinique particulier, etc.) ?
- Est-ce qu’il mesure bien ce construit, pour cette population et pour une application particulière (e.g., classifier dans des groupes diagnostiques, donner une valeur quantitative, etc.) ?
Quels sont les 4 différents types de validité?
- Vraisemblance
- Validité de contenu
- Validité de construit
- Validité de critère
Lequel des différents types de validité évalue la représentativité?
Validité de contenu
Nommez des facteurs pouvant influencer la vraisemblance?
- Contexte d’évaluation
- Capacité cognitives des répondants
- État psychologique et santé mental des répondants
- Personnalité des répondants
Quel types de validité porte un jugement sur la représentativité des items ?
Validité de contenu
Comment s’établie la validité de contenu?
De façon déductive
Quelles sont les 2 questions posées en ce qui attrait à la validité de contenu?
Chaque item individuellement correspond au construit ?
Tous les items d’une échelle considérés dans l’ensemble constituent un échantillon représentatif de tous les domaines (ou sous-domaines) expliqués par le construit d’intérêt ?
Qu’est-ce qui permet de déterminer si la vraisemblance est bonne?
Une mesure détient une bonne vraisemblance lorsque ceux qui l’utilisent jugent qu’elle semble pertinente pour mesurer ce qui doit être mesuré
Que veut-on dire lorsque l’on affirme que dans la validité de contenu, la représentativité est centrale?
- Tous les sous-domaines représentés
2. Éviter la sur- ou sous-représentation d’items des différents sous-domaines du construit
À partir de quoi les chercheurs définissent un construit (et donc, son contenu) ?
Théories
Recherches empiriques (recension des écrits)
Connaissances et expériences professionnelles
Expériences personnelles
Quels sont les 2 types de validation de contenu?
Nominale et consensuelle (groupe de spécialistes indépendants)
Les personnes validant la validation de contenu sont-elles indépendant ou dépendante? Comment s’organise-t-on pour systématiser leur réponse?
Indépendant
On systématise leur réponse en leur demandant de répondre entre 0,1,2,3
(pas du tout pertinent / représentatif = 0
un peu pertinent / représentatif = 1
assez pertinent / représentatif = 2
très pertinent / représentatif = 3
Dans la validité de contenu, puisqu’on a des données numériques, on peut donc calculer un …?
Indice de validité de contenu
Peut calculer un indice pour chaque item (IVC-I) et pour l’échelle (IVC-É)
IVC-I = nombre d’experts qui ont jugé l’item représentatif (2 ou 3) divisé par le nbr d’experts
IVC-É = la proportion d’items jugés représentatifs (2 ou 3) – ou dit autrement, la moyenne des IVC-I – divisée par le nbr d’experts
Que vérifie la validité de construit?
Il s’agit d’abord de vérifier la validité de la structure théorique sous-jacente à l’instrument ainsi que les relations du construit d’intérêt avec d’autres construits
Quels sont les 2 grandes façons de vérifier la validité du construit?
Validité factorielle
Validité convergente-discriminante
Que faut-il savoir avant de commencer la validation du construit?
Avant d’entamer ces évaluations, il faut connaitre la théorie sous-jacente au construit
Qu’est-ce que le réseau nomologique?
La théorie expliquant le construit par le biais des interrelations avec d’autres construits (nomologie=étude des lois du cmpt)
Est-ce que le réseau nomologique devrait représenter toutes les interrelations (ordonnées et prévisibles) entre les domaines ou sous-domaines à la base du construit?
Oui
Que permet de vérifier la validité factorielle?
On veut vérifier si la structure factorielle théorique est reproduite sur le plan empirique
Dans la validité factorielle, que veut dire facteur?
une réduction parcimonieuse de plusieurs variables (items, questions) en une variable latente ou hypothétique
Quelles sont les 2 questions associées à la validité factorielle?
- Les items sont-ils significativement (statistiquement) reliés au trait (construit) auquel ils devraient être reliés ?
- La structure hiérarchique est-elle reproduite (items liés aux sous domaines, sous-domaines liés aux domaines, traits primaires et traits d’ordre supérieur) ?
Quelles sont les 2 type de validité factorielle?
Analyse factorielle exploratoire (aucune restriction)
Analyse factorielle confirmatoire (Imposte une structure stricte)
Qu’est-ce qu’identifie l’analyse factorielle exploratoire?
On identifie des regroupements d’items pour lesquels les individus donnent des réponses similaires
Quelle est le critère classique concernant l’analyse factorielle exploratoire?
Critère classique: on devrait avoir des saturations de 0,40 ou plus pour les items associés à un trait
Quel méthode il faudrait normalement employer à l’étape de la validation d’un instrument de mesure puisqu’on est supposé connaitre sa structure ?
Analyse factorielle confirmatoire
Qu’est-ce que la validité convergente?
Mettre en relation notre échelle avec une autre (ou des) échelle existante qui se rapporte au même construit théorique
Qu’est-ce que la validité discriminante?
Il faut aussi démontrer que notre échelle ne corrèle pas avec une (ou des) échelle qui ne se rapporte pas au même construit
Quel outil est l’idéal pour calculer la validité convergente/discriminante?
L’idéal pour tester la validité C/D est d’employer une matrice multitraits-multiméthodes
Quelle question doit-on se poser en ce qui concerne la validité de critère?
Est-ce que les scores à l’échelle peuvent prédire l’adaptation (ou la performance) des individus?
Dans la validité de critère, les scores à l’échelle sont donc comparés à un critère interne ou externe?
Externe
Quelle sont les caractéristiques que doit posséder un critère?
Le critère devrait être une mesure objective et indépendante, mais reliée conceptuellement au construit d’intérêt (réseau nomologique)
Quelles sont les 3 grand type de validité de critère?
Concomitante, prédictive et postdictive
Quelle sont les 2 méthode pour faire un test de validité de critère concomitant?
- Corrélation avec un critère indépendant
2. Méthode des groupes contrastés
Quelle question doit-on se poser si l’on veut faire un test de validité de critère prédictif?
Est-ce que notre échelle est capable de prédire un critère externe prospectivement, i.e. plus tard dans le temps ?
Quelle question doit-on se poser si l’on veut faire un test de validité de critère postdictif?
Est-ce que notre échelle est capable de prédire un critère externe qui s’est passé avant l’évaluation ?
Dans le test de validité de critère, qu’est-ce que la sensibilité?
Sensibilité: Capacité d’une échelle de procurer un résultat positif pour les personnes présentant le trouble qu’elle prétend identifier
Dans le test de validité de critère, qu’est-ce que la spécificité?
Capacité d’une échelle de procurer un résultat négatif pour les personnes ne présentant pas le trouble qu’elle prétend identifier
Les indices de sensibilité et de spécificité sont des observations empiriques de quoi?
De la précision rétrospective d’un test calculés à partir d’une classification de différents groupes diagnostiques (ou d’attributs autres)
Dans le test de sensibilité/spécificité, le statut des individus est-il connu?
Oui (sauf en clinique)
Par qui est déterminé les indices associées au test sensibilité/spécificité?
Ces indices sont déterminés par le score critère établi par les auteurs du test
En clinique et lors d’un test de validité de critère de type spécificité/sensibilité, quel est la tâche de l’évaluateur?
la tâche de l’évaluateur est plutôt de déterminer le niveau de confiance qui peut être accordé à des résultats positifs ou négatifs pour les individus qu’il évalue
Lors d’un test de validité de critère de type spécificité/sensibilité, que veut savoir l’évaluateur?
la probabilité qu’un individu présente réellement le trouble, étant donné un résultat positif à un test
