Cours 4 - La validité Flashcards
Que doit-on vérifier lorsqu’on regarde la validité de notre instrument?
-L’instrument mesure-t-il tout ce qu’il doit mesurer?
-Vérifier la quantification et l’organisation des concepts (penser aux dimensions de notre théorie et à quel point on veut que nos items soient reliés à chaque dimension)
-Dans quelle mesure les hypothèses relatives aux concepts sont elles corroborées? (ex: si je mesure la dépression on sait qu’elle est reliée à des comportements néfastes, donc est ce que les résultats du tests confirment ce qu’on pense?)
Qu’est ce que la validité? Et ses caractéristiques?
-La validité quantifie la façon avec laquelle un test mesure ce qu’il est censé mesurer
-La validité est propre à l’interprétation et l’usage qui sont faits d’un test, donc il peut être valide pour un certain usage, mais ne pas l’être pour un autre
-Un test peut être valide, moyennement valide ou très valide, mais jamais 100% valide, c’est un continuum
-Différence entre validité et exactitude des normes**
*La validité quantifie la façon avec laquelle l’utilisation d’un test permet de faire des inférences valides
Qu’est ce que l’effet flynn?
Désigne accroissement des scores aux tests calculant un quotient intellectuel. Ne veut pas dire que le test n’est pas valide (intelligence évolue à travers le temps), peut le comparer à d’autres tests qui mesurent aussi l’intelligence
Est-ce difficile d’aller chercher tout ce qu’on a besoin d’aller chercher et de mesurer uniquement ce qu’on veut mesurer?
Oui, car par ex, dans un test mathématique, on doit lire des énoncés donc habiletés de lecture aussi ‘‘testées’’, pas juste habileté en maths (variance non-reliée au construit)
Qu’est ce que la sous-représentation du construit vs variance non reliée au construit?
-Sous-représentation du construit: degré avec lequel notre test omet des infos importantes qu’on aurait dû mesurer, ne mesure pas toutes les dimensions de notre construit
-Variance non-relié au construit: Exemple avec le test de maths + si réponse socialement acceptable ou non ex: un des items est je pleure souvent, mais pour l’homme pas tant accepté de pleurer donc ne répondront pas bien ce qui est considéré comme une variance non relié au construit
Quel est l’enjeu fondamental de la validité?
-Prouver que les scores obtenus suite à la passation de l’instrument sont révélateurs du construit que l’on tente de mesurer
-Il faut donc prouver, par un processus scientifique, que les inférences faites avec l’instrument sont vraies.
*Possible d’avoir test fidèle et bonnes normes, mais qui ne reflète pas vraiment la réalité (donc invalide)
4 types de validité:
- Validité d’apparence: Degré avec lequel un test semble mesurer ce qu’il vise à mesurer. Semble mesurer la personnalité des gens par ex, pas de manière de la quantifier. Si on a plusieurs tests, peut aider à choisir quel test utiliser.
- Validité de contenu: Degré avec lequel le contenu du test correspond au contenu du concept étudié. À quel point il couvre l’ensemble des choses qu’on cherche à mesurer
- Validité critériée: Degré avec lequel le résultat du test est lié à un autre critère. Relations auxquels je m’attends si je mets mon test de dépression en relation avec un autre test de dépression.
- Validité de construit: Degré avec lequel le test mesure le construit tel que défini, avec les différentes dimensions
Expliquez la validité d’apparence:
-Juger du degré avec lequel chacun des items d’un test représente bien le construit que l’on cherche à mesurer
Expliquez la validité de contenu et ce qu’elle englobe:
-Contenu d’un instrument: Proportion représentative d’un domaine fini de connaissances et de comportements
-Pour déterminer la validité de contenu, on doit débuter avec une solide définition du construit mesuré
-On tente de vérifier que tous les contenus de notre construit sont représentés dans l’instrument, ou qu’un échantillon représentatif de son contenu soit représenté ex: le test inclut-il tous les sujets de mathématiques enseignés?
-On peut faire un tableau détaillant le nb d’items portant sur chaque dimension du construit. Si une dimension possède moins d’items que les autres (voire aucune), elle peut être sous-représentée
*Très importante dans les tests de rendement et les tests d’aptitude professionnelle (contenue très clair, on sait ce qu’on doit y retrouver/habiletés), moins dans d’autres domaines (sauf si critères diagnostics très clairs)
Quelles sont les limites de la validité de contenu?
-Difficile d’établir clairement le domaine des items (sauf si contenu universellement acceptée, mais plutôt rare)
-Avec quel degré chaque item couvrent-ils les spécification du contenu? (ex: couvre juste les multiplications faciles)
-Aucune référence aux résultats du test (ne peut pas prendre cette validité pour nous dire su les résultats du test font du sens)
Expliquez la validité critériée et quels sont les deux autres validités incluses?
-Quantifier la relation entre le résultat du test et un autre critère considéré comme étant un indicateur important du concept mesuré.
1. Validité prédictive: utiliser le test pour prédire la valeur que prendront certains critères à l’avenir. Ex: Test aptitude au travail prédit ma performance au travail
2. Validité concomitante: Utiliser le test pour prédire la valeur que prennent actuellement d’autres variables liées. Ex: corrélation positive entre state-trait anxiety inventory et le rythme cardiaque
Qu’est ce qu’un critère réaliste externe?
-Critère qui donne une définition réaliste du construit mesuré par l’instrument (sous-échelle de la validité critériée)
-La validité s’exprime sous forme d’un coefficient de corrélation. On peut aussi utiliser la régression (et l’erreur type d’estimation) pour la validité.
-Les critères externes peuvent être utilisés pour établir la validité prédictive (capacité à prédire des résultats futurs) ou la validité concomitante (correspondance avec des mesures prises simultanément).
Quel est l’objectif des groupes contrastés?
-Démontrer la validité de l’instrument en reliant la composition de groupes à leur scores à celui-ci.
Si des groupes diffèrent sur le trait mesuré, la séparation des scores à l’instrument devraient refléter ceux-ci
-Il doit y avoir assez de différences entre les groupes pour que ce soit utile dans la pratique
*Liée à la méthode de critère réaliste
À quoi sert la corrélation avec d’autres tests?
-Démontrer la corrélation entre le test à valider et une mesure établie ou présumée.
L’autre test devient le critère
Utilisation de la corrélation de Pearson
Dans la corrélation avec d’autres tests, quelles sont les deux validité impliquées?
-Validité convergente: Degré d’accord entre l’instrument évalué et un instrument établi mesurant le concept à l’étude. La corrélation entre le résultats à l’instrument et le critère sera positive et (modérément) élevée
-Validité divergente: Degré de désaccord entre l’instrument évalué et un instrument établi mesurant le concept à l’étude. La corrélation entre le résultat à l’instrument et le critère sera négative et (modérément) élevée.
*Plus de dépression = moins de bien-être (validité divergente)
Deux tests qui disent mesurer l’intelligence ne la mesure pas nécessairement de la même manière ou deux test qui ont deux noms de critère différents ne veux pas dire qu’ils ne mesurent pas la même chose
