Cours 4: Validité Flashcards
Qu’est-ce que l’erreur type de mesure (ETM)?
Une autre façon de tirer parti des informations sur la fiabilité est de combiner ce que nous savons sur la fiabilité avec ce que nous savons sur les écarts types et les distributions normales
L’ETM peut être utilisée pour calculer un intervalle de confiance pour un score individuel au test.
L’ETM est une propriété du test.
On peut en quelque sorte considérer qu’il s’agit d’un moyen de mesurer la “précision” d’un test en raison de sa fiabilité.
ETM = 𝐸𝑇√1−𝑟𝑥𝑥
Comment interpréter un ETM? par exemple, si j’ai un ETM de 0.89 avec un score observé de 10, qu’est-ce que ça veut dire au niveau pratique?
Si je passais ce test plusieurs fois, l’erreur introduite dans mon score observe par la fiabilité du test aurait pour consequence que mon score serait de 10+/- 0.89
Nomme quel % des scores se situent à +/- 1, 2 et 3 écart type si la distribution est normale?
1 ET = 68%
2 ET = 95%
3 ET = 99.7%
Si 68% des scores se situent à 1 écart type, qu’est-ce que ça veut dire dans mon interprétation pratique?
étant donné que nous calculons l’ETM en utilisant 1-ET et que nous l’appliquons de part et d’autre du score observé, nous pouvons dire que 68% du temps, le score observé se situera dans cette intervalle.
Nous pouvons faire la même chose et produire des intervalles de confiance autour du score observé pour 2ET(95%) des scores et 3ETs (99,7%) des scores.
Comment voir visuellement si une distribution est fiable?
Plus de fiabilité = distribution plus mince = courbe plus étroite = plus de précision
Comment la fiabilité élevée vs faible fait varier l’ETM?
lorsque la fiabilité du test est élevée, vous aurez des valeurs ETM très faibles et produirez une distribution étroite, car vos scores comporteront moins d’erreurs
lorsque la fiabilité du test est faible, vous obtiendrez une distribution plus étendue, car l’erreur dans le score est beaucoup plus importante en raison de la fiabilité, et vous aurez donc un éventail plus large de scores possibles pour un individu.
Qu’est-ce que la validité?
la validité fait référence aux preuves qui nous indiquent si nos tests mesurent ou non ce qu’ils sont censés mesurer.
Une question de degré; pas de tout ou rien. Par conséquent, nous discutons de la question de savoir s’il existe ou non des preuves en faveur de la validité du test
chaque “type” de validité contribue à la validité dans son ensemble. Il y a un chevauchement entre tous les types de validité - La validité est un concept unitaire
Quand on parle de validité dans une interprétation, qu’est-ce qu’il est important de spécifier?
Il est quelque peu inapproprié de dire “un test est valide” ou “un test n’est pas valide”.
Nous sommes censés faire référence à l’interprétation du score et à son utilisation dans une situation particulière.
Par exemple : les scores du test de personnalité de l’HEXACO sont valides pour être utilisés dans la sélection des employés
Nomme un type de validité liée au contenue
la validité d’apparence: Est-ce que le test semble mesure ce qu’il est censé mesurer ?
Évaluer la validité du contenu d’un test, c’est évaluer si votre test pose des questions sur toutes les différentes parties du sujet que vous évaluez.
Il n’y a pas d’évaluation statistique formelle de la validité du contenu.
Qu’est-ce que la validité d’apparence?
la validité d’apparence
Par exemple, vous demander de résoudre des questions de mathématiques ne semble pas faire partie d’un test d’extraversion.
Toutefois les questions ayant une faible validité apparente peuvent être utiles dans des situations de test où vous ne voulez pas révéler l’objectif du test. Ce peut être le but aussi. Ex: “J’apprécierais le travail d’un boucher”. Peut évaluer l’agressivité
Quelles sont les 2 menaces liées à la validité de contenu?
Les tests qui ne couvrent pas le contenu d’un domaine peuvent être appelés “déficients en termes de critères “ (sous-représentation du construit)”.
Les tests peuvent également contenir des chevauchements avec des sujets que vous n’essayez pas d’évaluer, ou des éléments qui ne sont pas uniquement pertinents pour le sujet qui vous intéresse. Ce chevauchement indésirable est appelé variance non liée au construit.
Nomme le principe de validité critériée et les 2 types de validité liée au critère
Concomitant/Concurrente/ validation simultanée
Prédictive : validation prédictive
Les scores des tests que nous effectuons devraient nous renseigner sur les scores des critères (scores des mesures/résultats d’intérêt).
La relation entre les résultats de nos tests et les choses qu’ils sont censés prédire est appelée validité critèriée. Ex: Les scores au SAT devraient permettre de prédire les notes à l’université
Qu’est-ce que la validité prédictive?
La validité prédictive est le processus d’évaluation de la capacité des résultats de votre test à prédire les résultats d’un futur test.
Exemple: Les résultats du test SAT pour prédire la moyenne générale après qu’un étudiant a obtenu son diplôme.
Les données relatives au prédicteur sont EN GÉNÉRAL collectées à un moment, ou au cours de sessions, différents de ceux des données associées au critère/résultat.
Qu’est-ce que la validité concurrente?
la validité concurrente fait référence à la corrélation entre les résultats de votre test et ceux d’un autre test collecté au même moment.
Par exemple, il s’agit d’évaluer si votre test sur les troubles de l’apprentissage peut prédire les scores d’une tâche que vous demandez aux participants d’accomplir en même temps que votre test sur les troubles de l’apprentissage.
Nomme 2 types de validité lié au construit
dans quelle mesure un test ou une mesure évalue réellement le concept théorique (le construit) qu’il est censé mesurer,
validité convergente
Validité discriminant
Qu’est-ce que la validité convergente?
Ce type de validité nous demande si les informations produites par notre test « convergent » avec les informations produites par d’autres tests.
Cela signifie que nous voulons observer que notre test possède des corrélations élevées avec des tests d’autres concepts qui DEVRAIENT lui être liés - ou d’autres versions de tests qui mesurent le même concept.
Par Example: nous voulons voir des corrélations élevées entre des concepts qui devraient être liés - Extraversion et bien-être Ou des tests du même concept - Test d’extraversion1 et Test d’extraversion2
Qu’est-ce que la validité discriminante?
Ce type de validité nous demande d’évaluer si notre test est lié ou non à des choses auxquelles il ne devrait pas être lié.
par exemple, notre test d’extraversion ne devrait PAS être corrélé avec les résultats d’un test de mathématiques, car il n’y a aucune raison théorique de s’attendre à ce qu’ils soient liés.
Comment est appelée la relation entre votre score au test et un test externe d’intérêt et comment est-elle mesurée?
coefficient de validité.
Mathématiquement, il s’agit généralement d’une simple corrélation, mais il peut également s’agir d’un coefficient de régression (multiple).
Comment interpréter les valeurs données par un coefficient de validitié?
r ou R = .3-.4 est typique
plus de .7 indique une relation forte – MAIS un coefficient supérieur à 0,7 pose «problème» car il signifie que vos tests se chevauchent trop
plus la corrélation est proche de 1, plus votre NOUVEAU test est similaire à un test existant.
C’est une bonne chose dans la mesure où votre nouveau test mesure le concept que vous souhaitez qu’il mesure.
mais ce n’est pas bon parce qu’il peut être redondant par rapport à un test existant si le coefficient est trop élevé.
Nomme 7 choses qui peuvent influencer (négativement) les coefficients de validité que vous obtenez dans une étude
1) La mesure du critère elle-même est-elle bonne
2) L’échantillon que vous utilisez est-il représentatif de l’échantillon avec lequel vous voulez utiliser le test - ceci est très pertinent pour les tests cliniques
3) les personnes qui quittent l’étude en cours de route - peuvent constituer un gros problème, en particulier pour les études de critères prédictifs.
4) Taille suffisante de l’échantillon
5) Restriction de l’étendue- Le GRE, un test utilisé pour l’admission aux études supérieures, en est un bon exemple
6) Critère déficient — il est également important de choisir un critère qui soit complet et auquel il ne manque rien.
7) contamination du critère — un critère est contaminé s’il contient des informations non pertinentes pour la construction, par exemple si un test de mathématiques contient des questions de géographie.
Quelle est la relation entre la fiabilité et la validité?
Un test qui est valide DOIT être fiable
Un test qui est fiable n’est pas nécessairement valide
La fiabilité est une condition préalable nécessaire à la validité. Cela signifie qu’un test doit être fiable avant d’être valide. Il en résulte qu’un test ne peut être valide que s’il est fiable.
Comment est opérationnalisé la relation entre la validité et la fiabilité? (calcul)
La corrélation MAXIMALE (le coefficient de validité maximal) qu’un test peut avoir avec un test à la fiabilité parfaite est la racine carrée de la fiabilité du test.
Maximum rxy = √(rxx)
Dans une réponse on dit: “Si la fiabilité de mon test est de rxx, la corrélation maximale qu’il peut avoir avec une autre variable est de rxy”
Par conséquent, nous pouvons dire, et montrer, que la fiabilité d’un test plafonne la validité observée d’un test ou sa relation avec une autre variable.
Explique concisement la différence entre les validités liées au construit, celles liées au contenu vs celles liées au critère.
Validité de contenu
Vérifie si le test couvre tous les aspects du construit. Se concentre sur la représentativité des items.
Exemple : Un test de mathématiques doit inclure l’arithmétique, l’algèbre et la géométrie.
Validité de critère
Évalue la relation entre les scores du test et un critère externe pertinent. Deux sous-types : concomitante (critère actuel) et prédictive (critère futur).
Exemple : Un test de réussite scolaire prédit les notes futures.
Validité de construit
Vérifie si le test mesure le concept théorique ciblé (et non autre chose). S’appuie sur la validité convergente, divergente
Exemple : Un test d’intelligence émotionnelle doit corréler avec d’autres tests similaires (convergente) et non avec un test de logique (divergente).
Qu’est-ce que la validité incrémentielle?
La validité incrémentale se produit lorsqu’un nouveau prédicteur améliore significativement la prédiction d’un critère, au-delà de ce que peut offrir un prédicteur existant.
Exemple : Pour prédire la performance au travail, le QI explique déjà une part de la variance. En ajoutant un autre prédicteur, comme la personnalité, on augmente l’explication de la variance totale de la performance. Si la personnalité représente 16 % de variance supplémentaire, elle offre une validité incrémentale.
Visuellement:
Variance partagée : Représente ce qui est expliqué par les deux prédicteurs (le croisement des deux cercle)
Variance unique : Représente ce qui est expliqué uniquement par un prédicteur (aucun croisement)
Validité incrémentale : C’est la variance unique du nouveau prédicteur qui améliore la prédiction globale (La partie du second cercle qui ne croise pas le premier (ce qu’il ajoute de nouveau pour expliquer la performance))
on peut l’utiliser pour examener de l’influence unique d’une variable au-delà de celle d’autres variables
Qu’est-ce que le MTMM [multitrait-multimethod matrix]?
outil que les chercheurs peuvent utiliser pour évaluer la validité convergente et discriminante dans une seule étude (validité de construit)
L’idée ici est que nous avons x traits mesurés à l’aide de y méthodes différentes
nous avons une corrélation entre l’évaluation des x traits par votre patron et l’évaluation des x traits par votre patron.
Le long de la diagonale, nous avons les fiabilités pour cette MÉTHODE y
ou peut-on trouver les validités convergentes sur la MTMM?
les validités convergentes se trouvent dans les corrélations entre les mêmes traits mesurés par différentes méthodes. Ce sont les cases diagonales hors du bloc principal (mais pas la diagonale centrale).
Validité convergente : Les corrélations élevées entre la même caractéristique mesurée par différentes méthodes. Inversement, les corrélations négatives avec des concepts non liés représentent des validités divergentes.
Si cette corrélation est forte (positive et significative), cela confirme que les deux méthodes mesurent bien le même construit (Sérieux).
