Cours 5 Flashcards
probleme de validité de contenu
a quel point la question est tough n’est pas pris en compte.
fait aps référence au résultats réel du test
on ne regarde pas si les résultat cumulé sur l’interaction entre la personne et le test. donc ne permet pas de déterminer a quel point la personne réagis a la question. si question est frustrante pour un groupe de personne.
faire analyse du type d’erreurs commises
questionnaire de 1 a 10 et la question est comment tu te sens.
apres tu lui demande pourquoi il a repondu ca.
il a mis 8 sur 10 parce qu’il ne comprends pas la question.
teta
calcul indicie de difficulter de la classe et dira aux gens a quel point ils sont bon
détermine si question est réussi par les plus fort ou non.
si par les plus fort seulement, question est trop tough
si par un peu de tous, question trop tough mais pas ensiegné car hasard.
Validité critériée
s’applique à tous les cas où il existe une mesure indépendante et directe de la caractéristique que le test est supposé mesurer.
On appelle cette mesure un critère (externe)
Elle a pour fonction de définir la relation entre les résultats au test et un autre critère externe.
Il est important de noter que l’on présuppose ici que le test ne mesure pas un construit purement théorique, mais a plutôt pour but de prédire ou diagnostiquer où se situe l’examiné par rapport à ce critère.
De plus, il est important de noter que le critère est souvent considéré comme une mesure directe de la caractéristique, c’est-à-dire que le critère est souvent
considéré comme le « vrai score ».
ATTENTION, ça ne veut pas dire que la mesure du critère est insensible aux sources d’erreurs.
S’il y a de l’erreur de mesure, le coefficient de validité
critériée sera affecté à la baisse.
vrai, si on mesure activation sns, et la personne qui passe test est attractive selon nous, notre sns sera plus activé. validité biaisé
diapo 36, ce qui faut savoir : le critère on essaie qu’il doit leplus proche du construit.
si je fais/crée un test sur le sommeil, je ferai un test comparé au meilleur test qui existe pour avoir meilleur test possible.
validité prédictive
a quel point je peux calculer dans le FUTUR ou la personne sera
ex: en passant les éleve du seocndaire, les fort irons plus de chance au cegep. pourra
def:
Est une validité critériée
pour pronostic (état futur)
Exemple:
◦ Test d’aptitudes au pilotage pour déterminer les meilleurs candidats potentiels (avant l’inscription au
programme de formation)
◦ Critère: habiletés à piloter à la fin du cours
valididté concomitante
immédiat, c’est quoi son statut maintenent
def:
Est une validité critériée
Lorsque l’administration du test et la mesure du critère sont simultanées.
diagnostic: état actuel
Exemple:
◦ Test de connaissances en pilotage d’avions commerciaux.
◦ Critère: ensemble des connaissances en pilotage d’avions commerciaux.
concomitante vs prédictive
- On veut mesurer l’état d’anxiété actuel d’un patient? (concomitante)
- On veut mesurer quel étudiant au baccalauréat sera un bon étudiant au doctorat? (prédictif)
- On veut mesurer les capacités d’un pilote d’avion avant de l’envoyer à son premier vol? (concomitante)
- On veut mesurer quel pilote dans un cours de base sera le meilleur à la fin du cours? (prédictive)
si mon test dit pas anxieux ou peu, je veut que mon critère disent pas ou peu anxieux.
sur graph, a quel point les point son près de la ligne nous dit a quel point c’Est valide ou non. (graphique exemple)
Il est important que les résultats au test n’influencent pas la mesure du critère…Comment?
nous passons un test sur le niveau de fatigue
s’attend a ce qu’on soit plus fatigué mtn que dans 10 minutes.
donc dans 10 minutes il nous trouvera auto moins fatigué.
Prophétie auto-réalisatrice!!
Prophétie auto-réalisatrice!!
La connaissance des résultats au test fait que les examinés reçoivent des cotes au critère qui tendent à se conformer aux résultats obtenus au test.
◦ Ce biais aura tendance à augmenter artificiellement la valeur des coefficients de validité.
Pour éviter ce type de problèmes, il faut garantir la confidentialité des résultats au test pendant
toute la période de validation.
La validité critériée est la méthode la plus simple pour établir la validité d’un test, mais elle n’est réalisable que sous certaines conditions:
comparer le nmbr de cheveux sur tete. pas 2 tests qui calcul ca,
- Qu’il existe un «critère», c’est-à-dire une mesure directe de la caractéristique que le test
est supposé mesurer. - Que la définition opérationnelle du critère soit valide
- Que cette mesure du critère est peu sensible (ou même pas du tout) aux différentes
formes d’erreurs de mesure.
théorie de la décision
décision qui est a prendre des que j’ai un seuil.
ex: bai, a partir de 10, considéré sx anxieux
test de sommeil, si tu score plus haut que 10, t’es considéré insomniaque.
quand il y a un seuil, on a une décision a prendre.
résultat dans la relation entre le test et le critère
si on bouge la barre du faux positif vers le centre, moins de faux négatif mais plus de faux positif. ainsi de suite.
pour test diagnostic ou préventif,
on aime mieux un test plus stricte que quand c’est oui, c’est oui.
slide 50 plus importante
sensibilité
si j’ai des test sur le suicide, je veux etre super sensible.
le met vers le 12 ar on veut moin de faut positif et plus de faut négatif.
spécifique
pour test diagnostic, cherche a etre spécifique, on veut pas dire oui a qqn que c’est non.
- diagnostiqué schizo a qqn qui l’a pas. = prob
on veut pas de faut négatif on veut des faut positif. on le emt a 8 (plus proche de la gauche)
sensibilité et spécifiqcité sont invresement proportionnelle
si augmente sensibilité je perds spécificité et vice -versa
validité de construit
accumulation progressive de donné (crée test ensuite, on analyse test pour avoir meilleure question puis a force faire étapes, on accumule le test) plein de méthode que tu fait en meme temps.
Nécessite une définition claire et explicite du construit qu’on prétend mesurer.
◦ Implique donc plus que la qualité de la mesure, elle implique également la qualité de la
construction théorique sous-jacente.
Il est donc nécessaire d’avoir des bases théoriques ou un modèle théorique auquel se référer.
◦ Elle s’établit en montrant la correspondance entre la théorie et certains faits qu’elle prédit.
La théorie devrait spécifier:
◦ La signification du construit.
◦ Comment ce construit est relié (ou non) à d’autres construits.
◦ Comment ce construit est relié à certains comportements mesurables.
Nous verrons 6 de ces méthodes de validation de construit
Pourquoi est-ce important d’avoir une haute fidélité?
Lorsqu’elle est élevée, elle indique que la mesure prise au moyen du test est effectuée de manière
constante.
Donc pour la validité, cela contribue à confirmer que le test mesure un construit ou un trait particulier.
Attention: Il s’agit d’un préalable à la validité et non une preuve de celle-ci.
cohérence demander rose diapo 55
analyse factorielle (validité de construit)
C’est l’analyse factorielle qui nous a donné le fameux Big Five
Il s’agit d’une méthode statistique sophistiquée qui permet de
comparer un ensemble d’items dans les tests qui semblent mesurer à peu près le même construit et de distinguer les tests qui mesurent des construits distincts (i.e. peu corrélés).
Elle est donc utilisée lorsque plusieurs tests sont administrés à peu près simultanément.
Compte tenu que le nombre de coefficients de corrélation calculés est très élevé, elle permet d’extraire des « facteurs » communs à certains tests et simplifie donc l’interprétation.
Qu’est-ce que ça veut dire?
ca fait des groupes avec tout les types de questions
processus de quesiton
décelé les tricheurs
stroop (dire verts quand le mots est vert mais ca dit rouge) si on cache les mots suf la premiere letttre
manipulations experimentales
Même logique que le groupe contrasté vs critère dans la validité critériée
La vérification expérimentale d’une hypothèse à propos d’un construit contribue à la
validité de construit du test.
À l’inverse, l’absence de vérification de l’hypothèse peut remettre en cause autant la
validité du test que le modèle théorique qui a engendré l’hypothèse…
Exemple : la validité de construit d’un test de dépression sera renforcée si l’on montre que les résultats à ce test changent radicalement pour ceux qui suivent un certain traitement de la dépression, alors qu’ils ne
changent pas pour les membres du groupe contrôle.
Changements développementaux
Lorsque le construit mesuré est intrinsèquement relié à
une ou plusieurs caractéristiques associées au développement de l’individu, la mesure du construit (le test) se doit d’être sensible à cette caractéristique.
Un exemple est celui de la mesure de l’intelligence:
Un test d’intelligence devrait normalement montrer une corrélation avec l’âge puisque le construit mesuré (l’intelligence) subi des changements développementaux.
Par conséquent, pour appuyer la validité de construit d’un test d’intelligence, il faudrait démontrer que la performance au test est corrélée avec l’âge des examinés.
Corrélations avec d’autres tests
Elle consiste à démontrer la corrélation entre le test à valider et un autre test ou un ensemble de tests dont la validité de la mesure est
établie (pour le construit de l’étude).
Appelé validité convergente
Le critère est le test déjà validé
Utilité: vouloir un test équivalent moins cher ou moins long ou faire
une mise à jour d’un test.
Validité convergente
Corrélation relativement élevée entre un test et d’autres mesures visant à évaluer
des construits similaires
Validité divergente
PAS
Corrélation relativement faible (ou négative) avec des construits autres que celui que l’on souhaite mesurer
Pour avoir une bonne validité, il faut que les coefficients de validité convergente soient plus élevés que les coefficients de validité divergente.
premiere ligne verticale importante diapo 67
Validité de conséquence
fait référence aux conséquences de l’usage d’un test et de ses
interprétations.
◦ Conséquences désirées et non désirées
◦ Implications liées à l’usage d’un test
Problématiques associées à ce monde de validation:
- La formulation explicites des auteurs au sujet des conséquences du test. Donc si les auteurs identifient des conséquences de l’utilisation de son test, la preuve de validité liée à ces énoncées doit être faite.
- Aucune déclaration des auteurs faces aux conséquences du test.
ex: demander a militaire s’il prennent pilule pour dormir a été annulé parce qu’on veut pas leur donné l’idée.
Validité différentielle
a quel point on connais tout les rapper a détroit vs a chelsea.
La validité différentielle s’intègre dans la mesure des biais des tests.
Le biais des tests signifie qu’un test fonctionne différemment selon le groupe soumis à l’évaluation.
Il y a biais seulement lorsque les moyennes sont différentes et qu’elles ne peuvent pas être
expliquées par une différence réelle dans le trait ciblé par le test. Il faut alors approfondir la
recherche des sources possibles de biais
VSLIDITÉ DIFFERE ENTRE LES GROUPES
quel degré de validité cherche-t-on?
Questions à se poser:
◦ Un test vs un autre test?
◦ Prendre le plus valide
◦ Si les deux ont une faible validité : opter pour le relativement meilleur
◦ Un test vs aucun test? Est-ce que ça correspond à faire pile ou face (hasard)?
Le degré de validité est donc très relatif. Il faut choisir le meilleur possible en fonction des
besoins, des connaissances empiriques et du jugement clinique (1:29:00)
CONSTRUIT > CONTENU SI .80 (MEME SI UN PEU PLUS FAIBLE)
COURS 6!!!!
DIAPO 3 PAS EXAM
DEJA milliers test sur anxiété (construits) vaut pas la peine anx en général mais sur super spcifique sur anx peut etre utile
vrai
diapo 5-6 pas exam
Items à choix de réponse
- Le plus populaire
- Autres noms: Questions à choix multiples, Items à réponses
choisies, Questions fermées. - Cotées de façon rigide. Souvent avec un score par item, selon
celui choisi. - Pourquoi utiliser des questions fermées?
- Répondons ensemble
quand je fais test, je peux faire a développement ou choix de reponse
choix de réponse est plus populaire a cause pas d’Erreur . si pesonne a mis 2/5 (échelle linkert) c’est 2/5.
dicté peut etre scoré différemment.
avantage et désaventage de chaque
échelle linkert et choix multiples, correction plus rigide et facile.
désavantage: permet pas de dire chose qui sorte un peu de la question pour le répondant.
solution: pose plus questions
Items à développement
- Autres noms: Question ouverte; Réponse longue; Réponse
construite; Réponse libre - Associations de mots, Questions à répondre, Questions
ouvertes. - Cotation: Demande presque toujours une dose de jugement.
- Cotation globale: Lecteur pose un jugement sur la qualité du texte
- Cotation analytique: Définition détaillée des dimensions qui déterminent
la qualité de la réponse - Méthode de qualification par points: Coté selon la présence ou absence
de points particuliers.
inconvénients: plus dur a coté et corriger, plus de risque entre les diffférente administrateur
avantage: allé chercher plus infos, permet répondant etre plus spécifique.
solution: grille doit etre super clair et précise car ca enleve les erreur de correction d’un correcteur a l’aute.
diapo 15 pas exam
quand tu crée un test, tu a besoin d’une courbe noramle, 5 c’Est tu bon? je sais pas. tu dois pouvoir dire la norme est ou dans ton test. si t’es a 7 t’Es en haut de la moyenne.
diapo 17-18 pas exam
validité dépend de fidélité ?
oui mais pas inverse
validité def
Le DEGRÉ auquel un test mesure ce qu’il prétend mesurer. (peut être valide pour un autre construit)
objectif validité
Elle a pour objectif de préciser ce que le test mesure et avec quel degré d’exactitude
construit def
construit est un trait ou
une variable psychologique, donc une construction théorique.
ex: dépression, aptitude, maths
pas ce qu’on peut maus ce qu’on veut.
validité d’apparence
➢La validité d’apparence tient au fait qu’un test semble mesurer le construit souhaité (sans preuve empirique).
➢La validité d’apparence ne doit JAMAIS se substituer à la validité empirique. Il est impossible de déterminer un degré de validité simplement en regardant un test.
validité apparence quand utilisée
- La validité d’apparence peut être utile lorsque deux tests offrent les mêmes données empiriques.
prob validité contenu
Difficulté à définir clairement le contenu des items
Variation des compétences requises pour des items d’une catégorie
Ne fait pas référence aux résultats réels du test
solu: demander pro participer rédaction test
- faire analyse type erreur commises
validité didactique
la matière évaluée a réellement été enseignée? (tests de
rendement scolaire)
Si ça n’a pas été enseigné, faible validité didactique
résumé validité critérié, prédictive et concomitante
La validité critériée est donc la capacité d’un test à être en accord avec un critère externe, soit en prédire des résultats futurs (validité prédictive), soit en étant corrélé avec un autre test qui mesure la même chose au même moment (validité concourante).
