Cours 5

Question 1

Validité

Answer 1

Validité (validity) : degré auquel un test mesure ce qu’il prétend mesurer.

Question 2

Trois précisions

Answer 2

-> L’interprétation d’un score se fait selon un usage particulier.

La question n’est pas si le test est valide, c’est plutôt si le test est valide pour… un objectif en particulier (p.ex. déterminer la gravité de l’anxiété).

-> La validité n’est pas une question de tout ou rien, elle est une question de «degré» (faible, modérée, élevée).

L’objectif est de déterminer si le test est suffisamment valide pour justifier son utilisation.

-> Validité VS. Exactitude des normes.
Un test peut être valide, mais ses normes déficientes (ou l’inverse)

Question 3

Construit

Answer 3

trait ou variable psychologique – construction théorique

Question 4

Sous-représentation du construit

Answer 4

partie du construit qui n’est pas couverte par les tests

Question 5

Variance non reliée au construit

Answer 5

mesure de caractéristiques autres que le construit

Question 6

L’enjeu fondamental en validité

Answer 6

L’enjeu fondamental en validité : fournir des preuves que les scores obtenus à un test sont révélateurs du trait ou du construit d’intérêt.

• Les méthodes existantes pour évaluer la validité essaient d’apporter différents types de preuves démontrant la validité.

 La validité est la propriété psychométrique la plus importante d’un test.

 Même si un test a des bonnes normes et une fidélité élevée, cela n’a pas d’importance si le test n’a pas une bonne validité.

Question 7

Classement traditionnel

Answer 7

• Validité de contenu
• Validité critériée
   Validité concomitante
   Validité prédictive
• Validité de construit

Question 8

Nouveau classement

Answer 8

• Validité de contenu
• Relations avec les autres variables
   Validités convergente et divergente (ou discriminante)
   Relations avec les critères du test
• Processus de réponse
• Structure interne
• Conséquence

Question 9

Validité d’apparence

Answer 9

le fait qu’un test « semble » mesurer le construit choisi

Question 10

Différents points de vue concernant ce type de validité.

Answer 10

 La validité d’apparence ne doit jamais se substituer à la validité empirique.
 Cependant, la validité d’apparence peut être utile.

Question 11

Validité de contenu

Answer 11

degré auquel le contenu du test couvre un échantillon représentatif de tous les éléments possibles du domaine/construit à mesurer.

Question 12

En tests de rendement et d’aptitude professionnelle

Answer 12

relation existante entre le contenu d’un test et certains domaines de la connaissance et du comportement.

P.ex. degré dans lequel le contenu d’un cours est bien représenté dans les questions de l’examen de fin de session.

Question 13

En tests cliniques

Answer 13

relation existante entre le contenu d’un test et les éléments théoriques qui sont pertinents à être mesurés.

P.ex. degré dans lequel un test d’anxiété généralisée mesure les éléments les plus importants selon les critères diagnostiques du DSM-5.

Question 14

Quel type de validité est généralement considéré comme le type de validité le plus important dans les tests de rendement ?

Answer 14

La validité de contenu

Question 15

Établissement de la validité de contenu :

Answer 15

o Définition rigoureuse du contenu à couvrir.
o Élaboration d’un tableau de spécifications ou un modèle.
o Détermination de la validité de contenu en comparant le contenu du test avec les informations du tableau.
o On décide si la validité de contenu du test est « suffisante » ou non (rarement utilisé : un chiffre numérique pour l’indiquer).
o La documentation écrite (p.ex. guides de programmes scolaires) sert de base au tableau de spécifications. o Le modèle le plus connu est la taxonomie de Bloom (lien entre les thèmes et les processus intellectuels
impliqués).
o Ce qu’on compare est le % du tableau avec le % du test. P.ex. si dans le tableau 20% du contenu est dédié au Thème « A », le test devrait se dédier aussi à 20% des items au thème « A ».

Question 16

Validité didactique

Answer 16

c’est un type de validité de contenu ; permet de savoir si le contenu a été enseigné.

 S’applique aux tests de rendement scolaire.
 Coïncidence entre les thèmes qui ont été abordés lors du cours, et les thèmes qui devaient être abordés selon le programme de l’école.

Question 17

Analyse de poste

Answer 17

élaboration d’une liste des connaissances et des compétences requises pour le poste.

 Les spécifications du poste sont établies pour un groupe d’experts.
 Après l’analyse de poste, on fait une comparaison entre le contenu du test est le contenu du poste.
 L’utilisation d’un % final indiquant la validité de contenu est plus commune (proportion entre le contenu d’un test et le contenu établi par le groupe d’experts).

Question 18

Validité de contenu
Application dans d’autres domaines

Answer 18

o L’application de la validité de contenu dans d’autres domaines est limitée, parce que peu d’autres domaines sont susceptibles d’avoir des spécifications claires concernant le contenu à évaluer (p.ex. test de personnalité et cliniques).
o Différents modèles théoriques vont donner plus d’importance à certains « contenus » qu’à d’autres.
o Cependant, si une théorie en particulière est choisie, il serait possible d’évaluer le degré auquel le contenu du test aborde les éléments considérés comme importants par ladite théorie.
o De toute façon, d’autres méthodes pour évaluer la validité sont utilisées pour ces types de tests.

Question 19

Validité de contenu
Difficultés associées

Answer 19

 Il est souvent très difficile de définir clairement le contenu des items.
(p.ex. même en consultant les programmes scolaires, ils peuvent être différents selon la province)

 Difficultés à déterminer le degré auquel les items couvrent les spécifications du contenu. (p.ex. quel item mesure mieux le contenu à évaluer, l’item « A » ou l’item « B » ?)

 La validité de contenu ne fait pas référence aux résultats réels du test.
(p.ex. la note obtenue lors d’un examen –résultat réel, n’est pas prise en compte pour déterminer la validité de contenu)

Question 20

Validité critériée

Answer 20

relation entre les résultats au test et un autre critère considéré comme un important indicateur du construit.

Question 21

2 contextes applications de la validité critériée

Answer 21

• validité prédictive
• validité concomitante

Question 22

Validité prédictive

Answer 22

le test vise à prédire la valeur de certains critères à l’avenir

Question 23

Validité concomitante

Answer 23

concordance entre les résultats à un test et la valeur actuelle d’autres variables

Question 24

Quelle est la différence entre les deux ?

Answer 24

La différence entre ces 2 contextes est le « moment » de l’évaluation du critère (dans le futur ou dans le présent)

Question 25

3 méthodes de la validité critériée

Answer 25

Critère réaliste externe Groupes contrastés Corrélations avec d’autres tests

Question 26

Critère externe

Answer 26

critère qui donne une définition réaliste du construit ; sujet sur lequel on souhaite vraiment avoir de l’information. L’information du critère externe peut ne pas être facile à obtenir. L’objectif est de voir si le test fournit de l’information utile sur la position de la personne par rapport au critère externe. On peut considérer le test que l’on valide comme un substitut possible au critère externe.

Question 27

Groupes contrastés

Answer 27

méthode où le critère est la composition des groupes ; comparaison de deux groupes avec des caractéristiques différentes. On souhaite démontrer que le test permet de différencier un groupe d’un autre. Plus la différentiation entre les groupes est élevée, meilleure est la validité du test.

Question 28

Corrélation avec d’autres tests

Answer 28

fait avec l’objectif de démontrer une corrélation entre le test à valider et un autre test dont la validité de la mesure est déjà établie.  L’autre test (déjà validé) devient le critère.  L’hypothèse est que ce critère mesure un construit semblable au nouveau test (à valider).  Méthode simple et très utilisée.  La validité critériée est déterminée par la corrélation entre le nouveau test et le test utilisé comme critère.

Question 29

Il existe 2 types de validité liés à la corrélation avec d’autres tests

Answer 29

validité convergente et validité divergente.

Question 30

Jingle fallacy (sophisme inductif de fausse analogie)

Answer 30

croire que l’utilisation des mêmes mots ou mots semblables pour désigner 2 choses, signifie que ces choses sont la même (P.ex., penser que 2 questionnaires avec de noms similaires mesurent le même construit).

Question 31

Jangle fallacty (sophisme déductif d’opposition)

Answer 31

croire que 2 choses sont vraiment différentes, parce que leurs noms contiennent des mots différents (P.ex., penser que 2 questionnaires mesurent des construits différents, parce qu’ils se nomment de façon différente).

Question 32

La linéarité (et la curvilinéarité)

Answer 32

Si la relation entre le test et le critère est non linéaire, la corrélation sous-estimera le degré de la relation.

Question 33

L’hétérogénéité (et l’homogénéité)

Answer 33

variabilité du groupe (dispersion des scores à l’intérieur d’un groupe)  Un groupe très homogène (avec une dispersion « égale ») produit une corrélation réduite.  Un groupe très hétérogène (avec une dispersion « différente ») produit une corrélation élevée.

Question 34

L’homoscédasticité (et l’hétéroscédasticité) :

Answer 34

variabilité des valeurs réelles autour des valeurs prédites (dispersion de l’erreur de mesure).  Généralement, ce n’est pas un problème lors de la validité d’un test.

Question 35

Validité critériée Relation fidélité-validité

Answer 35

o La validité d’un test dépend dans une certaine mesure de sa fidélité. o Si la fidélité du test ou du critère est limitée, cela limitera la validité critériée du test.  Si la fidélité d’un test est nulle, sa validité sera nulle également (pour mesurer ce qu’on est censé mesurer, il faut d’abord le mesurer avec précision). Il est possible que la fidélité d’un test soit parfaite, alors que sa validité soit nulle (mesurer avec précision une autre chose que ce qu’on est censé mesurer).

Question 36

Atténuation

Answer 36

limite imposée à la validité par une fidélité imparfaite  À partir du coefficient de validité obtenu, il est possible de calculer le coefficient de validité corrigé (correction pour diminuer l’effet de la fidélité sur la validité).  Cette correction donne le coefficient de validité si la fidélité était parfaite ( r = +1.00).

Question 37

Validité du critère

Answer 37

déterminer si le critère utilisé est approprié ; définition opérationnelle du critère (comment le critère utilisé est mesuré et conceptualisé)

Question 38

Contamination du critère

Answer 38

situation où le résultat au test influe sur la valeur du critère

Question 39

Validité convergente

Answer 39

corrélation relativement élevée entre le test et un critère qui est supposée mesurer le même construit

Question 40

Validité divergente ou discriminante

Answer 40

corrélation relativement faible (ou négative) entre le test et un critère qui mesure un construit diffèrent.

Question 41

Matrice multitraits multiméthodes

Answer 41

matrice de corrélations contenant plusieurs traits (multitraits), au moyen de différentes méthodes d’évaluation (multiméthodes).  L’objectif est de démontrer que les corrélations relatives à un trait (2 mesures du même construit) sont plus élevées que les corrélations de différents traits (2 mesures de différents construits).

Question 42

Corrélation multiple

Answer 42

relation entre une variable (critère) et la combinaison de deux ou plusieurs autres variables (tests dans notre cas)

Question 43

Régression multiple (objectifs) :

Answer 43

 Fournir la meilleure prédiction possible sur une variable, à partir de plusieurs autres variables.  Connaître théoriquement les variables qui contribuent efficacement à la prédiction de cette variable

Question 44

Qu'est-ce qui permet de déterminer la validité incrémentale ?

Answer 44

La corrélation multiple

Question 45

Validité incrémentale

Answer 45

quantité de données nouvelles et uniques qu’ajoute un test (ou d’autres sources d’information) à un corpus de données existant.  La corrélation multiple est la technique statistique la plus fréquemment utilisée dans le processus de combinaison de données provenant de différents tests.

Question 46

Prédiction statistique VS. prédiction clinique

Answer 46

 Il y a des études qui indiquent que les prédictions statistiques sont au moins équivalentes et parfois supérieures aux prédictions cliniques.  Mais s’il n’y a pas une base de données adéquate, on doit forcément s’en remettre à la prédiction clinique.

Question 47

Validité de construit

Answer 47

ensemble de méthodes utilisées pour appuyer la proposition selon laquelle le test mesure effectivement le construit d’intérêt.  Toute preuve qui appuie le fait que le test mesure le construit est pertinente.

Question 48

Structure interne

Answer 48

degré auquel les items d’un test sont corrélés les uns aux autres

Question 49

2 sous-catégories de structure interne : cohérence interne et analyse factorielle

Answer 49

o Une cohérence interne élevée (p.ex., un alpha de Cronbach) contribue à confirmer que la proposition selon laquelle le test mesure un construit en particulier. o Cependant, la cohérence interne ne fournit qu’une preuve ambiguë et faible pour évaluer la validité. o Il est préférable de la considérer comme un préalable de la validité, au lieu d’une preuve définitive.

Question 50

Analyse factorielle

Answer 50

famille de techniques statistiques qui aident à déterminer les dimensions (facteurs) sous-jacentes d’un test.  En termes simples, une analyse factorielle aide à identifier les items qui ont tendance à se regrouper (corréler) entre eux.  Analyse factorielle exploratoire VS. Analyse factorielle confirmatoire.

Question 51

Matrice de corrélations des items

Answer 51

des items fortement corrélés suggèrent la présence d’un facteur.

Question 52

La matrice indique quoi ?

Answer 52

La matrice indique le « poids » de chaque item selon la présence de différents facteurs.  Un poids supérieur à 0.30 est considéré comme significatif (l’item ferait partie du facteur).  L’item ferait partie du facteur dans lequel il a le poids le plus élevé.

Question 53

Processus de réponse

Answer 53

analyse de la manière dont les sujets répondent à un test.  P.ex. savoir quelles sont les étapes que suit une personne au moment de répondre à une tâche complexe lors d’un test.  Le processus suivi peut indiquer des éléments de preuve quant à la validité du test.

Question 54

Effet des variables expérimentales

Answer 54

administrer une variable expérimentale à un groupe, pour observer s’il y a la présence du changement attendu théoriquement  P.ex. donner une thérapie pour l’anxiété, et observer si le questionnaire (d’anxiété) est capable de refléter la diminution de l’anxiété chez les personnes.

Question 55

Changements développementaux

Answer 55

administrer un test à différents moments, pour observer des changements développementaux

Question 56

Validité de conséquence

Answer 56

après avoir administré le test, conséquences de ses usages et ses interprétations

Question 57

Généralisation de la validité

Answer 57

le fait de soupeser toutes les preuves et de déterminer la pertinence des études existantes selon un usage prévu

Question 58

Méta-analyse

Answer 58

technique consistant à résumer les données statistiques de plusieurs études distinctes portant sur un sujet donné.  Le résultat est une statistique (chiffre ou coefficient) qui représente une généralisation de toutes les études réalisées sur le sujet.  La méta-analyse est la technique de choix pour résumer un ensemble d’information scientifique (incluant les propriétés psychométriques d’un test à partir de plusieurs études)