Semaine 4

Question 1

Que cherche-t-on a évaluer lorsqu’on évalue la validité?

Answer 1

Si l’instrument mesure vraiment ce qu’il prétend ou devrait mesurer.

Question 2

Que veut-on savoir sur l’échantillon d’items?

Answer 2

On veut savoir si l’échantillon d’items (i.e., les questions)de l’échelle représente bien le construit qu’on veut mesurer

Question 3

Est-ce que le nombre de question d’une échelle a une influence sur la validité?

Answer 3

Non.

Question 4

Que détermine le degré de validité?

Answer 4

Le degré de validité détermine les inférences que l’on peut faire à partir des scores d’une échelle

Question 5

Est-ce que le titre d’une échelle est un indice fiable du construit mesuré?

Answer 5

Le nom d’un test ou d’une échelle ne constitue pas toujours un indice adéquat du construit mesuré

Question 6

Quelle est la vrai question lorsqu’on test la validité d’un test?

Answer 6

«est-ce que ce test est une mesure valide de ce construit, pour cette population et dans cette application particulière»

Question 7

On évalue la validité relativement à 3 choses. Que sont-elles?

Answer 7

Est-ce qu’il mesure bien le construit qu’il prétend mesure ?
Est-ce qu’il mesure bien ce construit pour la population ciblée (e.g., âge, niveau académique, groupe clinique particulier, etc.) ?
Est-ce qu’il mesure bien ce construit, pour cette population et pour une application particulière (e.g., classifier dans des groupes diagnostiques, donner une valeur quantitative, etc.) ?

Question 8

Que sont les différents types de validités?

Answer 8

Vraisemblance (validité apparente; «face validity»)
pas une forme de validité en soit, mais est tout de même considérée importante par certains auteurs
Validité de contenu
Validité de construit
Validité de critère (ou pragmatique)

Question 9

Qu’est-ce que la vraisemblance?

Answer 9

Le degré auquel une mesure semble adéquate et reliée à un construit spécifique selon le jugement de ceux qui sont évalués (i.e., non-experts qui sont évalués, ou représentants cliniques ou légaux reliés à la population ciblée, etc.)

Question 10

Comme sait-on qu’une mesure détient une bonne vraisemblance?

Answer 10

Une mesure détient une bonne vraisemblance lorsque ceux qui l’utilisent jugent qu’elle semble pertinente pour mesurer ce qui doit être mesuré

Question 11

Avec quoi la vraisemblance est souvent confondu?

Answer 11

la validité de contenu

Question 12

Pour le manque de vraisemblance peut devenir une menace à la validité?

Answer 12

Si l’instrument ne paraît pas valide ou vraisemblable pour ceux qui l’utilisent dans les situations concrètes d’évaluation, cela peut devenir une menace à la validité

Question 13

Nommer des facteurs qui peuvent influencer la vraisemblance.

Answer 13

Contexte d’évaluation (incluant l’endroit physique de l’administration, les consignes, l’apparence physique de l’évaluateur, etc.)
Capacités cognitives des répondants
État psychologique et santé mentale des répondants
Personnalité des répondants
Motif de l’évaluation (désirabilité sociale [+ ou -])
etc.

Question 14

Qu’est-ce que la validité de contenu?

Answer 14

Il s’agit de porter un jugement sur la représentativité des items (questions) utilisés pour mesurer un construit (c’est l’auteur qui porte le jugement)
Est-ce que cela mesure vraiment ce qu’on cherche à mesurer (ex. un test qui mesure la chaleur maternelle la mesure il vraiment?)

Question 15

La validité de contenu est établit la plupart du temps de façon inductive.

Answer 15

La plupart du temps établie de façon déductive

Question 16

Quelles questions peut-on se poser lorsqu’un évalue la validité de contenu?

Answer 16

Chaque item individuellement correspond au construit ?
Tous les items d’une échelle considérés dans l’ensemble constituent un échantillon représentatif de tous les domaines (ou sous-domaines) expliqués par le construit d’intérêt ?

Question 17

Qu’est-ce qui est centrale lorsqu’on évalue la validité de contenu?

Answer 17

La représentativité est centrale:
Tous les sous-domaines représentés
Éviter la sur- ou sous-représentation d’items des différents sous-domaines du construit

Question 18

Que faut-il faire avant de construire une échelle pour assurer la validité de contenu?

Answer 18

Avant de construire une échelle, il faut toujours décrire en détails et de la façon la plus compréhensive possible les différents domaines et sous-domaines du construit d’intérêt
Quels sont les domaines inclus?
Quelle est l’importance relative de chacun?
Y a-t-il des sous-domaines selon la théorie?
Quelle est leur importance relative?
Avec quels items peut-on bien représenter ces domaines et/ou sous-domaines?

Question 19

À partir de quoi les chercheurs définissent un construit (et donc, son contenu) ?

Answer 19

Théories scientifiques
Recherches empiriques (recension des écrits)
Connaissances et expériences professionnelles
Expériences personnelles
Rappelez-vous de l’effet des théories implicites de l’évaluateur – s’applique aux chercheurs aussi!

Question 20

Quels sont les deux types de validité de contenu?

Answer 20

Nominale et consensuelle (groupe de spécialistes indépendants qui n’ont pas participé à l’élaboration de l’instrument et qui sont reconnus dans le domaine (verbatim généralement))

Question 21

Comment estime-t-on empiriquement la validité de contenu?

Answer 21

On demande à des experts indépendants d’estimer si chacun des items de la mesure est pertinent et représentatif du construit d’intérêt
On leur donne généralement un choix de réponse pour systématiser et quantifier le tout :
pas du tout pertinent / représentatif = 0
un peu pertinent / représentatif = 1
assez pertinent / représentatif = 2
très pertinent / représentatif = 3

Question 22

Est-il possible de calculer un indice de validité de contenu et si oui pourquoi?

Answer 22

Puisqu’on a des données numériques, on peut donc calculer un Indice de validité de contenu

Question 23

Qu’est-ce que la validité de construit?

Answer 23

Il s’agit d’abord de vérifier la validité de la structure théorique sous-jacente à l’instrument ainsi que les relations du construit d’intérêt avec d’autres construits

Question 24

Quels sont les deux façons de la vérifier?

Answer 24

Validité factorielle (structure factorielle)

Validité convergente-discriminante

Question 25

Que doit-on faire avant d’entamer l’évaluation de la validité de construit?

Answer 25

Avant d’entamer ces évaluations, il faut connaitre la théorie sous-jacente au construit

Question 26

Qu’est-ce qu’un réseau nomologique?

Answer 26

La théorie expliquant le construit par le biais des interrelations avec d’autres construits

Question 27

Que devrait-faire un réseau nomologique?

Answer 27

RN devrait donc représenter toutes les interrelations (ordonnées et prévisibles) entre les domaines ou sous-domaines à la base du construit

Question 28

Est-ce que le réseau nomologique peut contenir des spécification des facteurs étiologiques et des conséquences développementales.

Answer 28

Oui. Concerne surtout le construit, mais peut inclure une spécification des facteurs étiologiques (de risques) et des conséquences développementales (aide à faire une hypothèse pronostic)

Question 29

Qu’est-ce que la validité factorielle?

Answer 29

On veut vérifier si la structure factorielle théorique est reproduite sur le plan empirique (i.e., avec des données)

Question 30

Q’utilise-t-on en général comme terme pour représenter une dimension?

Answer 30

On utilise généralement le terme «facteur» (ou trait latent) pour représenter une dimension

Question 31

Qu’est-ce qu’un facteur?

Answer 31

une réduction parcimonieuse de plusieurs variables (items, questions) en une variable latente ou hypothétique (Dans les instruments multidimensionnels, les items se regroupent évidemment en plus d’un facteurs)

Question 32

Que veut-t-on vérifier dans la validité factorielle?

Answer 32

On veut vérifier deux aspects interreliés de la structure factorielle théorique

Question 33

Que sont les deux aspects interrelié que l’on veut vérifier dans la validité factorielle?

Answer 33

Les items sont-ils significativement (statistiquement) reliés au trait (construit) auquel ils devraient être reliés ?
La structure hiérarchique est-elle reproduite (items liés aux sous domaines, sous-domaines liés aux domaines, traits primaires et traits d’ordre supérieur) ? (Pas là s’il n’y a pas de structure hiéarchique)

Question 34

Qu’est-ce que l’analyse factorielle exploratoire?

Answer 34

On identifie des regroupements d’items pour lesquels les individus donnent des réponses similaires (est-ce qu’on est capable de mettre une étiquette au regroupement)
On impose aucune restriction à la matrice de corrélations (ou de covariances) entre les items
Critère classique: on devrait avoir des saturations de 0,40 ou plus pour les items associés à un trait

Question 35

Qu’est-ce que l’analyse factorielle confirmatoire?

Answer 35

Le chercheur impose une structure stricte a priori à la matrice de corrélations (ou de covariances) et teste si elle correspond aux données
C’est la méthode qu’il faudrait normalement employer à l’étape de la validation d’un instrument de mesure puisqu’on est supposé connaitre sa structure
Encore trop peu employée en psychométrie, en partie parce que les analyses statistiques sont beaucoup plus complexes

Question 36

Qu’est-ce que la validité convergente?

Answer 36

Mettre en relation notre échelle avec une autre (ou des) échelle existante qui se rapporte au même construit théorique (corrélation significative, mais pas parfaite entre es 2 échelles)

Question 37

Qu’est-ce que la validité discriminante?

Answer 37

Il faut aussi démontrer que notre échelle ne corrèle pas avec une (ou des) échelle qui ne se rapporte pas au même construit (corrélation non-significative)

Question 38

Qu’est-ce qui est idéal pour tester la validité convergente-discriminante?

Answer 38

L’idéal pour tester la validité C/D est d’employer une matrice multitraits-multiméthodes

Question 39

Qu’est-ce que la validité de critère?

Answer 39

Est-ce que les scores à l’échelle peuvent prédire l’adaptation (ou la performance) des individus?

Question 40

Comment évaluons-nous la validité de critère?

Answer 40

Les scores à l’échelle sont donc comparés à un critère externe (Il ne faut pas que cela soit un critère qui fait partie de la mm mesure)
Le critère devrait être une mesure objective et indépendante (pas sous-échelle du mm instrument), mais reliée conceptuellement au construit d’intérêt (réseau nomologique) cela nous aide à faire un hypothèse pronostic plus solide)

Question 41

Que sont les trois grands types de validité de critère?

Answer 41

Concomitante, prédictive et postdictive

Question 42

Comment on évalue la validité de critère concomitante?

Answer 42

Corrélation avec un critère indépendant
Intelligence  avec  réussite académique
Empathie  avec  conduites délinquantes
Méthode des groupes contrastés
Différences de scores entre des groupes
Par ex., Pour EDC (qui évalue les PC), on prend un échantillon d’enfants déjà identifiés PC (soit par psychologues scolaires, soit par psychiatres avec diagnostics du DSM) et on les compare avec un groupe d’enfants sans PC afin de déterminer si les scores à l’EDC peuvent distinguer les groupes

Question 43

Que veut-on dire par validité de critère prédictive?

Answer 43

Est-ce que notre échelle est capable de prédire un critère externe prospectivement, i.e. plus tard dans le temps ?
e.g., les scores à une échelle d’impulsivité à l’enfance peuvent-ils prédire l’abus de psychotropes ultérieur lorsque les individus sont au début de l’adolescence ?
e.g., les scores sur une échelle d’attachement aux parents permettent-ils de prédire un diagnostic d’anxiété de séparation ultérieurement ?
On veut prédire des construits conceptuellement distinct, mais relié empiriquement

Question 44

Que veut-on dire par validité de critère postdictive?

Answer 44

Est-ce que notre échelle est capable de prédire un critère externe qui s’est passé avant l’évaluation ?
e.g., les scores à une échelle de problèmes extériorisés à l’adolescence sont-ils corrélés avec la supervision parentale alors que l’individu était enfant, cette dernière évaluée rétrospectivement?
e.g., les scores sur l’échelle de dépression de Beck d’un adulte peuvent-ils être corrélés avec le niveau de timidité et de peur quand il était enfant (rétrospectif)?
Forme la moins étudiée en raison des limites des informations rétrospectives (e.g., mémoire)

Question 45

Qu’est-ce que la sensibilité?

Answer 45

Capacité d’une échelle de procurer un résultat positif pour les personnes présentant le trouble qu’elle prétend identifier
e.g., proportion d’enfants qui obtiennent un score égal ou supérieur à un score critère donné (ex., T = 60) parmi tous les enfants qui présentent réellement le trouble (i.e., taux de cas positifs valides)

Question 46

Qu’est-ce que la spécificité?

Answer 46

Capacité d’une échelle de procurer un résultat négatif pour les personnes ne présentant pas le trouble qu’elle prétend identifier
e.g., proportion d’enfants qui obtiennent un score inférieur à un score critère donné (ex., T = 59 et moins) parmi tous les enfants qui n’ont pas le trouble TC (i.e., taux de cas négatifs valides)

Question 47

Que sont les indices de sensibilité et de spécificité?

Answer 47

Les indices de sensibilité et de spécificité sont des observations empiriques de la précision rétrospective d’un test calculés à partir d’une classification de différents groupes diagnostiques (ou d’attributs autres)

Question 48

Quel est le statut des individu dans la spécificité et la sensibilité?

Answer 48

Il est CONNU.

Question 49

Comment sont déterminés les indices de spécificité et de sensibilité?

Answer 49

Ces indices sont déterminés par le score critère (ex. score T) établi par les auteurs du test

Question 50

Qu’arrive-t-il lorsque le score critère suggéré pour identifier un trouble est changé?

Answer 50

la valeur des indices de sensibilité et de spécificité de l’échelle va aussi changer

Question 51

Sur quoi renseignent les indices de spécificité et de sensibilité?

Answer 51

Ces indices renseignent sur la validité de critère d’une échelle ou d’un test lorsque ce dernier est utilisé avec des personnes dont le statut est connu

Question 52

En clinique, quel est la tache de l’évaluateur en raport avec la spécificité et la sensibilité?

Answer 52

En clinique, la tâche de l’évaluateur est plutôt de déterminer le niveau de confiance qui peut être accordé à des résultats positifs ou négatifs pour les individus qu’il évalue
Autrement dit, l’évaluateur veut savoir la probabilité qu’un individu présente réellement le trouble, étant donné un résultat positif à un test