cours 4 Flashcards
Qu’est-ce que la validité ?
La validité quantifie la façon avec laquelle un test mesure ce qu’il est censé mesurer.
Attention! La validité est propre à l’interprétation et l’usage qui sont faits d’un test.
La validité n’est pas tout ou rien : c’est sur un continuum.
Différence entre validité et exactitude des normes. (les normes d’interprétation ne sont pas toujours à jour même si le test est valide)
Qu’est-ce que L’enjeu fondamental de la validité ?
Prouver que les scores obtenus suite à la passation de l’instrument sont révélateurs du construit que l’on tente de mesurer.
Il faut donc prouver, par un processus scientifique, que les inférences faites avec l’instrument sont vraies.
(L’interprétation du test et non le score brut)
Quels sont les types de validité ?
D’apparence : Degré avec lequel un test semble mesurer ce qu’il vise à mesurer. (opinions experts)
De contenu (moins utile en psycho) :Degré avec lequel le contenu du test correspond au contenu du concept étudié.
Critériée : Degré avec lequel le résultat du test est lié à un autre critère.
De construit : Degré avec lequel le test mesure le construit tel que défini.
Comment déterminer la validité de contenu ?
Contenu d’un instrument : Proportion représentative d’un domaine fini de connaissances et de comportements.
Pour déterminer la validité de contenu, on doit débuter avec une solide définition du construit mesuré.
On tente de vérifier que tous les contenus de notre construit sont représentés dans l’instrument, ou qu’un échantillon représentatif de son contenu soit représenté (notion d’échantillonnage).
On peut faire un tableau détaillant le nombre d’items portant sur chaque dimension du construit. Si une dimension possède moins d’items que les autres (voire aucun), elle peut-être sous-représentée.
Très importante dans les tests de rendement et les tests d’aptitude professionnelle, moins dans d’autres domaines.
Quelles sont les Limites de la validité de contenu ?
Difficile d’établir clairement le domaine des items.
Avec quel degré chaque item couvrent-ils les spécifications du contenu?
Aucune référence aux résultats du test.
Qu’est-ce que la validité critériée ?
Quantifier la relation entre le résultat du test et un autre critère considéré comme étant un indicateur important du concept mesuré.
Validité prédictive : Utiliser le test pour prédire la valeur que prendront certains critères à l’avenir.
Validité concomitante : Utiliser le test pour prédire la valeur que prennent actuellement d’autres variables liées.
Qu’est-ce que le Critère réaliste externe ?
Un critère réaliste externe est un critère qui donne une définition réaliste du construit mesuré par l’instrument.
La validité s’exprime sous forme d’un coefficient de corrélation (dépend selon le type de critère).
On peut aussi utiliser la régression (et l’erreur-type d’estimation) pour la validité.
Validité critère
On a une mesure très claire de ce que notre test veut mesurer et on l’a met en relation avec le score de notre instrument
Que sont les groupes contrastés ?
L’objectif est de démontrer la validité de l’instrument en reliant la composition de groupes à leurs scores à celui-ci.
Si des groupes diffèrent sur le trait mesuré, la séparation des scores à l’instrument devrait réfléter ceux-ci (p.ex., test t, régression, ANOVA).
Il doit y avoir assez de différence entre les groupes pour que ce soit utile dans la pratique.
Liée à la méthode de critère réaliste.
Comment fct la validité avec les Corrélations avec d’autres tests ?
Démontrer la corrélation entre le test à valider et une mesure établie ou présumée.
L’autre test devient le critère.
Utilisation de la corrélation de Pearson.
Validité convergente : Degré d’accord entre l’instrument évalué et un instrument établi mesurant le concept à l’étude.
La corrélation entre le résultat à l’instrument et le critère sera positive et (modérément) élevée.
Validité divergente : Degré de désaccord entre l’instrument évalué et un instrument établi mesurant le concept à l’étude.
La corrélation entre le résultat à l’instrument et le critère sera négative et (modérément) élevée.
Qu’est-ce qu’une Matrice multitraits multiméthodes ?
Utilisée pour vérifier la validité convergente et discriminante.
Objectif :
Démontrer que les corrélations relatives à un trait, mais couvant plusieurs méthodes sont similaires entre elles.
Les corrélations couvrant les mêmes traits et méthodes sont les plus élevées.
Cette méthode permet de démontrer la validité convergente et discriminante.
Peu utilisée dans la pratique.
mesure traits différents à l’aide de méthodes différentes et on s’attend à ce que les corrélations les plus fortes sont entre deux méthodes différentes qui mesurent le même trait
Qu’est-ce qu’un Système hypothético-déductif ?
Un système hypothético-déductif est un ensemble de d’hypothèses portant sur ce que l’on devrait observer si l’instrument est valide.
Si l’instrument est valide, on devrait pouvoir confirmer les hypothèses, car on retrouverait les relations ou les différences attendues.
La confirmation d’une hypothèse est une bonne démonstration de la validité, mais la confirmation de plusieurs hypothèses apporte de plus solides arguments.
Les relations attendues entre tous les instruments sont toutes nécessaires!
Si toutes les relations attendues sont trouvées : Preuve de validité.
Si certaines relations attendues ne sont pas trouvées : Où se trouve le problème? Dans l’instrument testé ou dans les critères?
Quelles sont les tailles d’effet ?
Petite : 0,10 (-30)
Moyenne : 0,30 (-50)
Grande : 50+
À quoi devons nous faire attention pour les critères ?
Un critère doit être indépendant:
De l’instrument testé.
Des concepteurs de l’instrumenttesté.
Des administrateurs de l’instrument testé.
Lorsque le critère est l’information que fournit un/une juge
Le/la juge ne doit pas reproduire ce que l’instrument testé vise à faire.
Le/la juge ne doit pas connaître les résultats que obtenus à l’instrument testé.
Qu’est-ce que l’Effet d’atténuation ?
Une mauvaise fidélité atténue la validité de l’instrument testé.
On prend pour acquis qu’il n’y a pas d’erreur de mesure dans les critères, mais il y en a toujours!
Pour tester l’effet d’atténuation, nous avons besoin de la stabilité temporelle de l’instrument testé, celle du critère et la corrélation entre l’instrument et le critère.
Qu’est-ce que le Coefficient de validité désatténué ?
Le coefficient de validité désatténué théorique montre l’effet des erreurs de mesure sur le coefficient de validité observé.
La correction pour l’atténuation ne donne pas un nouveau coefficient de validité.
Le coefficient de validité désatténué correspond à limite supérieure théorique de la validité pouvant être atteinte avec les instruments s’ils n’avaient pas d’erreur.
Qu’est-ce que l’Atténuation et désatténuation ?
La fidélité de l’instrument et la fidélité du critère affectent négativement le coefficient de validité
La pertinence et les moyens à prendre pour corriger l’erreur de mesure
L’importance de choisir un critère :
Valide (et fidèle)
Avec des propriétés psychométriques connues
Les formules sont utilisables seulement avec les coefficients de fidélité sous forme de corrélations.
Comment combiner différents tests ?
Combiner différent tests pour prédire le plus précisément une variable dépendante.
Déterminer la relation entre l’instrument et un critère, si l’on contrôle pour d’autres facteurs.
Contrôler : Retirer de l’équation l’effet d’autres variables pour voir si en ajoutant d’autres variables, on peut quand même détecter un effet.
La corrélation multiple et la régression multiple sont utilisées.
La combinaison de l’information de différents tests permet de départager les instruments avec une valeur prédictive unique de ceux qui n’en apportent pas plus.
Validité incrémentielle
Qu’est-ce que la validité incrémentielle ?
Degré avec lequel un nouvel instrument (ou autre source d’information) ajoute à la compréhension ou la prédiction d’un phénomène.
Si notre mesure améliore la prédiction, elle a de la validité incrémentielle (et critériée). On peut donc être confiant dans notre capacité à l’utiliser pour mesurer ce construit.
L’instrument mesure quelque chose d’unique qui n’est pas mesuré par les autres instruments (raison de plus de l’utiliser).
Qu’est-ce que la validité de construit ?
Un construit est le phénomène que l’on tente de comprendre. En psychologie, les construits ne sont souvent pas observables directement (cachés, latents), il faut les inférer.
La validité de construit est parfois vue comme faisant partie de la validité de contenu et la validité critériée, car elle démontre que l’instrument mesure ce qu’il est censé mesurer.
Démontrer la relation avec un critère ou un contenu.
Démontrer que l’instrument mesure le construit ciblé.
Comment vérifier la validité de construit ?
Il faut inférer la validité de construit avec ce que l’on a, même s’il y a des possibilités de sous représentation du construit.
On utilise des méthodes statistiques qui nous permettent de déterminer si l’instrument semble mesurer le construit devant être mesuré:
Structure interne;
Analyse factorielle.
Qu’est-ce que la structure interne ?
Même processus que la structure interne dans la fidélité.
Vérifier si les items d’un instrument ou d’une dimension se tiennent bien ensemble. En d’autres termes, si les mesures à l’intérieur d’un test sont toutes cohérentes.
Si les réponses «vont toutes dans le même sens», il y a des preuves que ça mesure une seule et même chose.
Qu’est-ce que l’analyse factorielle ?
L’analyse factorielle est un type d’analyse statistique qui permet de déterminer les dimensions communes aux résultats obtenus à des mesures (p.ex., réponses à un ensemble de questions).
La technique est issue du domaine de la mesure des aptitudes intellectuelles.
Les items d’un test sont regroupés en facteurs. Chaque facteur résume l’information provenant de plusieurs items.
Les items sont censés mesurer une dimension seulement :
Fortement corrélés entre eux;
Faiblement corrélés avec les autres items.
Saturation : Corrélation entre un item et un facteur.
Quels sont les Types d’analyse factorielle ?
Exploratoire :
Tous les items d’un instrument sont entrés en même temps dans l’analyse.
Utilisée quand on n’a pas vraiment d’hypothèses relatives à la structure du concept.
Confirmatoire :
Les items sont reliés aux dimensions posées en hypothèse (quels items devraient appartenir à quelle dimension).
Utilisée quand on a des hypothèses claires relatives à la structure du concept.
Les résultats de l’analyse indiquent si oui ou non la structure posée en hypothèse représente bien ce qui est observé dans les données.
Quelle est l’Utilité de l’analyse factorielle ?
Vérifier que notre instrument mesure bien le construit comme nous l’avons établi lors de la conceptualisation.
On peut utiliser les résultats d’une analyse factorielle pour identifier les items ayant beaucoup d’erreur de mesure. On peut ainsi les retirer ou les reformuler.
On peut utiliser les résultats d’une analyse factorielle pour déterminer si un item ne mesure pas adéquatement l’une des dimensions. On peut les remplacer, les éliminer ou les déplacer les items d’une dimension à l’autre (rare).
Cependant :
Ne donnent pas une réponse absolue.
S’effectuent en plusieurs étapes.
Interprétation.
