Cours 5 Flashcards
Validité
Validité (validity) : degré auquel un test mesure ce qu’il prétend mesurer.
Trois précisions
-> L’interprétation d’un score se fait selon un usage particulier.
La question n’est pas si le test est valide, c’est plutôt si le test est valide pour… un objectif en particulier (p.ex. déterminer la gravité de l’anxiété).
-> La validité n’est pas une question de tout ou rien, elle est une question de «degré» (faible, modérée, élevée).
L’objectif est de déterminer si le test est suffisamment valide pour justifier son utilisation.
-> Validité VS. Exactitude des normes.
Un test peut être valide, mais ses normes déficientes (ou l’inverse)
Construit
trait ou variable psychologique – construction théorique
Sous-représentation du construit
partie du construit qui n’est pas couverte par les tests
Variance non reliée au construit
mesure de caractéristiques autres que le construit
L’enjeu fondamental en validité
L’enjeu fondamental en validité : fournir des preuves que les scores obtenus à un test sont révélateurs du trait ou du construit d’intérêt.
- Les méthodes existantes pour évaluer la validité essaient d’apporter différents types de preuves démontrant la validité.
La validité est la propriété psychométrique la plus importante d’un test.
Même si un test a des bonnes normes et une fidélité élevée, cela n’a pas d’importance si le test n’a pas une bonne validité.
Classement traditionnel
- Validité de contenu
- Validité critériée
Validité concomitante
Validité prédictive - Validité de construit
Nouveau classement
- Validité de contenu
- Relations avec les autres variables
Validités convergente et divergente (ou discriminante)
Relations avec les critères du test - Processus de réponse
- Structure interne
- Conséquence
Validité d’apparence
le fait qu’un test « semble » mesurer le construit choisi
Différents points de vue concernant ce type de validité.
La validité d’apparence ne doit jamais se substituer à la validité empirique.
Cependant, la validité d’apparence peut être utile.
Validité de contenu
degré auquel le contenu du test couvre un échantillon représentatif de tous les éléments possibles du domaine/construit à mesurer.
En tests de rendement et d’aptitude professionnelle
relation existante entre le contenu d’un test et certains domaines de la connaissance et du comportement.
P.ex. degré dans lequel le contenu d’un cours est bien représenté dans les questions de l’examen de fin de session.
En tests cliniques
relation existante entre le contenu d’un test et les éléments théoriques qui sont pertinents à être mesurés.
P.ex. degré dans lequel un test d’anxiété généralisée mesure les éléments les plus importants selon les critères diagnostiques du DSM-5.
Quel type de validité est généralement considéré comme le type de validité le plus important dans les tests de rendement ?
La validité de contenu
Établissement de la validité de contenu :
o Définition rigoureuse du contenu à couvrir.
o Élaboration d’un tableau de spécifications ou un modèle.
o Détermination de la validité de contenu en comparant le contenu du test avec les informations du tableau.
o On décide si la validité de contenu du test est « suffisante » ou non (rarement utilisé : un chiffre numérique pour l’indiquer).
o La documentation écrite (p.ex. guides de programmes scolaires) sert de base au tableau de spécifications. o Le modèle le plus connu est la taxonomie de Bloom (lien entre les thèmes et les processus intellectuels
impliqués).
o Ce qu’on compare est le % du tableau avec le % du test. P.ex. si dans le tableau 20% du contenu est dédié au Thème « A », le test devrait se dédier aussi à 20% des items au thème « A ».
Validité didactique
c’est un type de validité de contenu ; permet de savoir si le contenu a été enseigné.
S’applique aux tests de rendement scolaire.
Coïncidence entre les thèmes qui ont été abordés lors du cours, et les thèmes qui devaient être abordés selon le programme de l’école.
Analyse de poste
élaboration d’une liste des connaissances et des compétences requises pour le poste.
Les spécifications du poste sont établies pour un groupe d’experts.
Après l’analyse de poste, on fait une comparaison entre le contenu du test est le contenu du poste.
L’utilisation d’un % final indiquant la validité de contenu est plus commune (proportion entre le contenu d’un test et le contenu établi par le groupe d’experts).
Validité de contenu
Application dans d’autres domaines
o L’application de la validité de contenu dans d’autres domaines est limitée, parce que peu d’autres domaines sont susceptibles d’avoir des spécifications claires concernant le contenu à évaluer (p.ex. test de personnalité et cliniques).
o Différents modèles théoriques vont donner plus d’importance à certains « contenus » qu’à d’autres.
o Cependant, si une théorie en particulière est choisie, il serait possible d’évaluer le degré auquel le contenu du test aborde les éléments considérés comme importants par ladite théorie.
o De toute façon, d’autres méthodes pour évaluer la validité sont utilisées pour ces types de tests.
Validité de contenu
Difficultés associées
Il est souvent très difficile de définir clairement le contenu des items.
(p.ex. même en consultant les programmes scolaires, ils peuvent être différents selon la province)
Difficultés à déterminer le degré auquel les items couvrent les spécifications du contenu. (p.ex. quel item mesure mieux le contenu à évaluer, l’item « A » ou l’item « B » ?)
La validité de contenu ne fait pas référence aux résultats réels du test.
(p.ex. la note obtenue lors d’un examen –résultat réel, n’est pas prise en compte pour déterminer la validité de contenu)
Validité critériée
relation entre les résultats au test et un autre critère considéré comme un important indicateur du construit.
2 contextes applications de la validité critériée
- validité prédictive
- validité concomitante
Validité prédictive
le test vise à prédire la valeur de certains critères à l’avenir
Validité concomitante
concordance entre les résultats à un test et la valeur actuelle d’autres variables
Quelle est la différence entre les deux ?
La différence entre ces 2 contextes est le « moment » de l’évaluation du critère (dans le futur ou dans le présent)
3 méthodes de la validité critériée
Critère réaliste externe
Groupes contrastés
Corrélations avec d’autres tests
Critère externe
critère qui donne une définition réaliste du construit ; sujet sur lequel on souhaite vraiment avoir de l’information.
L’information du critère externe peut ne pas être facile à obtenir.
L’objectif est de voir si le test fournit de l’information utile sur la position de la
personne par rapport au critère externe.
On peut considérer le test que l’on valide comme un substitut possible au critère externe.
Groupes contrastés
méthode où le critère est la composition des groupes ; comparaison de deux groupes avec des caractéristiques différentes.
On souhaite démontrer que le test permet de différencier un groupe d’un autre.
Plus la différentiation entre les groupes est élevée, meilleure est la validité du test.
Corrélation avec d’autres tests
fait avec l’objectif de démontrer une corrélation entre le test à valider et un autre test dont la validité de la mesure est déjà établie.
L’autre test (déjà validé) devient le critère.
L’hypothèse est que ce critère mesure un construit semblable au nouveau test (à valider).
Méthode simple et très utilisée.
La validité critériée est déterminée par la corrélation entre le nouveau test et le test utilisé comme critère.
Il existe 2 types de validité liés à la corrélation avec d’autres tests
validité convergente et validité divergente.
Jingle fallacy (sophisme inductif de fausse analogie)
croire que l’utilisation des mêmes mots ou
mots semblables pour désigner 2 choses, signifie que ces choses sont la même
(P.ex., penser que 2 questionnaires avec de noms similaires mesurent le même construit).
Jangle fallacty (sophisme déductif d’opposition)
croire que 2 choses sont vraiment différentes, parce que leurs noms contiennent des mots différents
(P.ex., penser que 2 questionnaires mesurent des construits différents, parce qu’ils se nomment de façon différente).
La linéarité (et la curvilinéarité)
Si la relation entre le test et le critère est non linéaire, la corrélation sous-estimera le degré de la relation.
L’hétérogénéité (et l’homogénéité)
variabilité du groupe (dispersion des scores à l’intérieur d’un groupe)
Un groupe très homogène (avec une dispersion « égale ») produit une corrélation réduite.
Un groupe très hétérogène (avec une dispersion « différente ») produit une corrélation élevée.
L’homoscédasticité (et l’hétéroscédasticité) :
variabilité des valeurs réelles autour des valeurs prédites (dispersion de l’erreur de mesure).
Généralement, ce n’est pas un problème lors de la validité d’un test.
Validité critériée
Relation fidélité-validité
o La validité d’un test dépend dans une certaine mesure de sa fidélité.
o Si la fidélité du test ou du critère est limitée, cela limitera la validité critériée du test.
Si la fidélité d’un test est nulle, sa validité sera nulle également (pour mesurer ce qu’on est censé mesurer, il faut d’abord le mesurer avec précision).
Il est possible que la fidélité d’un test soit parfaite, alors que sa validité soit nulle (mesurer avec précision une autre chose que ce qu’on est censé mesurer).
Atténuation
limite imposée à la validité par une fidélité imparfaite
À partir du coefficient de validité obtenu, il est possible de calculer le coefficient de validité corrigé (correction pour diminuer l’effet de la fidélité sur la validité).
Cette correction donne le coefficient de validité si la fidélité était parfaite ( r = +1.00).
Validité du critère
déterminer si le critère utilisé est approprié ; définition opérationnelle du critère (comment le critère utilisé est mesuré et conceptualisé)
Contamination du critère
situation où le résultat au test influe sur la valeur du critère
Validité convergente
corrélation relativement élevée entre le test et un critère qui est supposée mesurer le même construit
Validité divergente ou discriminante
corrélation relativement faible (ou négative) entre le test et un critère qui mesure un construit diffèrent.
Matrice multitraits multiméthodes
matrice de corrélations contenant plusieurs traits (multitraits), au moyen de différentes méthodes d’évaluation (multiméthodes).
L’objectif est de démontrer que les corrélations relatives à un trait (2 mesures du même construit) sont plus élevées que les corrélations de différents traits (2 mesures de différents construits).
Corrélation multiple
relation entre une variable (critère) et la combinaison de deux ou plusieurs autres variables (tests dans notre cas)
Régression multiple (objectifs) :
Fournir la meilleure prédiction possible sur une variable, à partir de plusieurs autres variables.
Connaître théoriquement les variables qui contribuent efficacement à la prédiction de cette variable
Qu’est-ce qui permet de déterminer la validité incrémentale ?
La corrélation multiple
Validité incrémentale
quantité de données nouvelles et uniques qu’ajoute un test (ou d’autres sources d’information) à un corpus de données existant.
La corrélation multiple est la technique statistique la plus fréquemment utilisée dans le processus
de combinaison de données provenant de différents tests.
Prédiction statistique VS. prédiction clinique
Il y a des études qui indiquent que les prédictions statistiques sont au moins équivalentes et parfois supérieures aux prédictions cliniques.
Mais s’il n’y a pas une base de données adéquate, on doit forcément s’en remettre à la prédiction clinique.
Validité de construit
ensemble de méthodes utilisées pour appuyer la proposition selon laquelle le test mesure effectivement le construit d’intérêt.
Toute preuve qui appuie le fait que le test mesure le construit est pertinente.
Structure interne
degré auquel les items d’un test sont corrélés les uns aux autres
2 sous-catégories de structure interne : cohérence interne et analyse factorielle
o Une cohérence interne élevée (p.ex., un alpha de Cronbach) contribue à confirmer que la proposition selon laquelle le test mesure un construit en particulier.
o Cependant, la cohérence interne ne fournit qu’une preuve ambiguë et faible pour évaluer la validité.
o Il est préférable de la considérer comme un préalable de la validité, au lieu d’une preuve définitive.
Analyse factorielle
famille de techniques statistiques qui aident à déterminer les dimensions (facteurs) sous-jacentes d’un test.
En termes simples, une analyse factorielle aide à identifier les items qui ont tendance à se regrouper (corréler) entre eux.
Analyse factorielle exploratoire VS. Analyse factorielle confirmatoire.
Matrice de corrélations des items
des items fortement corrélés suggèrent la présence d’un facteur.
La matrice indique quoi ?
La matrice indique le « poids » de chaque item selon la présence de différents facteurs.
Un poids supérieur à 0.30 est considéré comme significatif (l’item ferait partie du facteur). L’item ferait partie du facteur dans lequel il a le poids le plus élevé.
Processus de réponse
analyse de la manière dont les sujets répondent à un test.
P.ex. savoir quelles sont les étapes que suit une personne au moment de répondre à une tâche
complexe lors d’un test.
Le processus suivi peut indiquer des éléments de preuve quant à la validité du test.
Effet des variables expérimentales
administrer une variable expérimentale à un groupe, pour observer s’il y a la présence du changement attendu théoriquement
P.ex. donner une thérapie pour l’anxiété, et observer si le questionnaire (d’anxiété) est capable de refléter la diminution de l’anxiété chez les personnes.
Changements développementaux
administrer un test à différents moments, pour observer des changements développementaux
Validité de conséquence
après avoir administré le test, conséquences de ses usages et ses interprétations
Généralisation de la validité
le fait de soupeser toutes les preuves et de déterminer la pertinence des études existantes selon un usage prévu
Méta-analyse
technique consistant à résumer les données statistiques de plusieurs études distinctes portant sur un sujet donné.
Le résultat est une statistique (chiffre ou coefficient) qui représente une généralisation de toutes les études réalisées sur le sujet.
La méta-analyse est la technique de choix pour résumer un ensemble d’information scientifique (incluant les propriétés psychométriques d’un test à partir de plusieurs études)
