cours 4 validité Flashcards
quelles sont les différences entre les modèles exploratoires et confirmatoires?
exploratoires:
pour créer un questionnaire sur épuisement étudiant, variables prédicatrices de l’épuisement, on bâtit alors un modèle explicatif
confirmatoires:
on veut savoir si ce modèle est valable pour tous les étudiants de sherbrooke, on compare alors avec d’autres étudiants, si résultats confirment les autres résultats alors c’est confirmatoire
quelques exemples de validité:
admission à l’université de sherbrooke
- cote r est reliée à nos notes et qui est corrélé à nos notes universitaires, peut toujours y avoir une erreur de prédiction (si ont niaisé au cegep) = erreur d’estimation
(y = a+b(x)+e)
inventaire de dépression et diagnostic de dépression
dépistage des problèmes scolaires
meilleur prédicateur = comportement qui a été fait dans le passé
inventaire de personnalité (corréler extraversion et nombre d’amis)
test de rendement (score permis de conduire corrélé avec nombre d’accidents/contraventions)
quelle est la définition de la validité et les 3 précisions supplémentaires?
- est-ce qu’un test mesure ce qu’il devrait mesurer?
- un score dans un but précis (on veut prédire une variable en particulier) ex: entrevue = évalue habiletés sociales
- une question de degré et non pas de tout ou rien = se calcul avec coefficient de corrélation (r), plus la prédiction est valide, plus la corrélation est élevée
- la validité ne garantie pas l’exactitude des normes
(validité de l’échantillon ne garantit pas la validité de la population)
quels éléments sont nécessaires pour que le test construit soit adéquat?
- bonne définition du construit (variable) pour pouvoir bien le développer
- mesure valide (superposition du test et du construit)
- jusqu’à quel point le test est cohérent avec ma variable
- variable sous-représentée ou variance sous-pertinente (ex si les items ne représentent qu’une partie du construit)
ex: mesurer quantité alcool chez européens = prendre du vin à tous les jours est normal, donc variance peu pertinente
qu’est-ce que la validité d’apparence?
est-ce que le test paraît valide?
donc, à l’oeil est-ce que le test mesure ce qu’il est sensé mesurer
divergences d’opinion à propos de la validité d’apparence
parfois suscite de la désirabilité sociale
ex: je ment souvent, la plupart vont dire faux
peut être utile en contexte d’emploi, car ça prépare la personne au travail et aux exigences de celui-ci
quelles sont les 3 éléments à établir à ce qui attrait à la validité?
- est-ce que les scores d’un test sont valides à une fin particulière, ou encore de l’interprétation d’un test à une fin particulière
ex: on ne dit pas: le test de Rorschach est-il valide? mais plutôt l’indice de dépression du test de Rorschach est-il valide pour déterminer le degré de gravité d’une dépression? - déterminer le degré de validité (faible, modérée ou élevée), donc si le test est assez valide pour justifier son utilisation (grâce au coefficient de corrélation (r))
- doit faire la distinction entre la validité et l’exactitude des normes pour un test, un test peut être valide alors que c’est ses normes qui sont déficientes (l’inverse peut aussi être vrai)
la validité représente la partie du construit qui est bien représentée, quels sont les deux autres instances que la validité ne couvre pas?
- sous-représentation du construit (donc des parties du construit étudié qui ne sont pas mesurés par le test)
- variance non-reliée au construit (lorsque le test mesure aussi d’autres caractéristiques qui ne sont pas associées au construit étudié)
qu’est-ce que le classement traditionnel de validité?
- validité de contenu
- validité de critères
- validité concomitante
- validité prédictive
- validité de construit
qu’est-ce que le nouveau système de classification de la validité?
- validité de contenu
- relations avec les autres variables
- convergente et discriminante
- test-critères
- processus de réponse
- structure de réponse
- conséquences
qu’est-ce que la validité de contenu?
pour que le contenu d’un test soit valide, il doit bien correspondre au contenu du domaine étudié.
l’application de la validité de contenu implique souvent la notion d’échantillonnage (doit couvrir un échantillon représentatif de tous les éléments possibles du domaine)
la validité de contenu à deux applications principales: les tests de rendement scolaire et les tests d’aptitudes professionnels
l’objectif est de déterminer le degré auquel le contenu du test correspond au contenu de la matière scolaire ou de l’emploi visé
quelles sont les deux applications principales de la validité de contenu?
- tests de rendement scolaire
- le contenu doit être proportionnel au temps aloué aux différents éléments vu dans le cadre de l’apprentissage ex: dans l’examen de psychométrie, l’histoire de la psychométrie et la validité n’auront pas le même nombre de questions (part de subjectivité) - tests d’aptitudes professionnels
- le domaine de contenu est composé des connaissances et compétences nécessaires pour occuper un poste en particulier
- analyse de poste = élaboration de la liste des connaissances et compétences nécessaires à un poste
problématique au niveau de l’opérationnalisation
par quoi débute l’établissement de la validité de contenu?
par une définition rigoureuse du contenu à couvrir
quelle est la fonction essentielle de la validité de critère?
définir la relation entre les résultats au test et un autre critère considéré comme un important indicateur du construit à l’étude (critère externe)
quels sont les deux contextes généraux liés à la validité de critère?
- validité prédictive
- vise à prédire la valeur que prendront certains critères à l’avenir
ex: un inventaire de personnalité peut servir à prédire la probabilité d’une tentative de suicide dans l’avenir - validité concomitante
- concerne la concordance entre les résultats à un test et la valeur actuelle d’autres variables au même moment
ex: évaluation de la relation entre les résultats à un test de dépression et les évaluations que font les cliniciens de la gravité actuelle de la dépression
en générale, les deux se ressemblent, la différence réside essentiellement dans le moment de l’évaluation de la variable critère
quelles sont les trois applications courantes de la validité de critère?
- utilisation d’un critère externe et réaliste
- utilisation de groupes contrastés
- utilisation d’un autre test
qu’est-ce qui caractérise l’utilisation d’un critère externe lié à la validité de critère?
- critère externe donne une définition réaliste du construit à l’étude
- on peut considérer le test que l’on valide comme un substitut possible au critère externe
ex: au lieu d’une interrogation d’une heure d’un patient par trois cliniciens afin de déterminer la gravité de la dépression, on pourrait faire passer un test de 15 min - la validité du test s’exprime sous la forme de coefficient de corrélation = coefficient de validité
Y: valeur prédite du critère
X: le résultat au test
Y = a + b(x)
- lorsqu’on connait la corrélation entre deux variables, on peut l’utiliser pour prédire la valeur de Y à partir de X
- il y aura une forte corrélation positive si le test prédit bien le comportement
- r(au carré) = nous donne le pourcentage de la variance de la vd expliquée par la vi
ex: 0.6 (r) -> au carré = 0.36 = 36% de la vd expliquée par la vi (forte corrélation)
qu’est-ce qui caractérise la méthode de groupes contrastés lié à la validité de critère?
- le critère est la composition du groupe
- on veut démontrer que le test permet de différencier un groupe d’un autre
- le composition du groupe est considéré comme une bonne définition du critère
- plus la différenciation est élevée, meilleure est la validité du test
ex: création d’un test évaluant l’abus d’alcool = étudiants udes vs clients d’un centre de désintoxication - parfois difficile d’obtenir un contraste significatif dépendamment des groupes utilisés
ex: patients atteints d’un trouble anxieux généralisé vs étudiants en psycho udes
groupe contraste = point de comparaison
groupe critère = groupe évalué
dans quel cas on utilise l’erreur type d’estimation?
lié aux prédictions concernant le critère externe
on utilise alors la droite de prédictions et dispersion
erreur type d’estimation = écart type des véritables scores critères autour des scores prédits
permet d’estimer les probabilités que les cas aient des valeurs supérieures ou inférieures d’une certaine valeur aux prédictions concernant le critère externe
on présume que cette erreur est distribué normalement (explique la courbe normale dans le diagramme de nuage)
vrai ou faux?
en lien avec l’erreur type d’estimation, si on fait en x la même chose qu’on fait en y, alors il ne devrait pas y avoir de différences entre les deux, car les deux sont fortement associés?
faux
ex: lorsqu’on ment dans notre entrevue sur nos compétences requises pour le poste (erreur d’estimation)
quel est le lien entre la validité critère avec groupes contrastes et la taille d’effet (D de Cohen)?
plus le D de Cohen est élevé, plus la distinction est grande et moins les deux courbes se chevauchent = ce qui veut dire qu’il y a beaucoup de différences entre les deux groupes
D cohen = (moyenne 1 - moyenne 2)/écart type
qu’est-ce que la validité critère avec corrélations avec d’autres tests?
- consiste à démontrer la corrélation entre le test à valider et un autre test dont la validité est établie ou présumée pour le construit à l’étude
- on cherche à déterminer la similitude des construits mesurés par les deux tests (corrélation positive)
- pour éviter confusion avec validité de critère, on l’appelle validité convergente pour exprimer la relation de concordance
- mesure étalon = meilleure test critère dans le domaine pour aller corrélé avec notre test
pourquoi faire validité critère avec autres tests si on a déjà ces autres tests pour mesurer notre construit?
- le nouveau test pourrait être plus court et moins dispendieux que le test critère
- les normes du nouveau test pourraient être meilleures ou les processus d’établissement des scores pourraient être plus efficaces (donc amélioration ou mise à jour du test critère)
- trop théorique, on veut quelque chose de concret (veut voir vrai comportement)
comment on nomme le meilleur test critère dans le domaine à corrélé avec notre nouveau test (validité convergente)?
mesure étalon (golden standard)
quelles sont les conditions affectant le coefficient de relation (r) pour la validité critère?
- la linéarité:
- doit être linéaire et non curvilinéaire, facilement observable dans une distribution bivariée - l’homoscédascité:
- l’erreur type d’estimation doit être constante à tous les niveaux de la droite (répartition égale du nuage) - homogénéité:
- homogénéité du groupe crée de la restriction de la variance, un groupe plus hétérogène permet une meilleure validité prédictive