Cours03-validité Flashcards
validité vs fidélité
validité: a quel point un test mesure ce qu’il prétend mesurer
fidélité: constance des résultat d’un test
Qu’est-ce qu’on tente de valider dans un test?
on valide l’utilisation qu’on fait d’un test, dans son contexte, et non le test lui même
Que-ce que la sous-représentation du construit vs la variance non reliée au construit?
Sous-Rep. du construit: l’ensemble du construit non capté par le test
variance non reliée au construit: tout ce que capte le test qui n’est pas associé au construit
(diagramme de venn: milieu = mesure valide)
Point de départ pour avoir une bonne validité?
ses deux éléments? (2)
La conceptualisation: comprendre le concept qu’on veut mesurer
- la définition: on doit definir le concept en une phrase.
- La structure: Identifier et presenter les different elements composant le concept
Doit faire attention a quoi dans la conceptualisation?
le jingle-jangle fallacy.
Jingle: Sophisme INDUCTIF de fausse analogie
Quand deux tests ont un nom similaire, mais mesure pas la meme chose
Jangle: Sophisme déductif d’opposition
Quand deux tests ont un nom différent, mais mesurent des choses tres semblable
Quelles sont les 4 types de validité?
- Validité d’apparence:
La perception qu’un test semble mesurer ce qu’il doit mesurer. (la + subjective. une faible validité d’app. peut etre utile quand on veut tester le racisme) - Validité de contenu:
Le fait que le contenu (items) d’un test représente bien le concept que l’on veut mesurer (améliore la sous-représentation du construit) - validité de construit:
Les indices de validités qui se basent sur la nature de ce que l’on mesure (le construit). (+ par rapport au stats, +flou, se base bcp sur la conceptualisation) - validité critériée:
le fait que les résultats au test soient reliés à d’autres critères considérés comme des indicateur importants au construits à l’étude. (ex.: test sur motivation doit mesurer motivation et personnalité proactive)
Validité de contenu:
deux source possible?
Indice de validité de contenu? (2)
sources: les experts, et la population visée par le test
Indice:
- l’échantillonnage: le test doit comprendre un échantillon représentatif de tous les éléments possibles du domaine. pas juste 1 ou 2.
- Adéquation: les items ne doivent pas porter sur des éléments non pertinents
Validité de construit:
quels sont ses indices? (3)
- Structure factorielle:
Est-ce que les réponses au test se rassemblent en facteur cohérents avec sa conceptualisation?
-—-> Analyse factorielle: Déterminer quels items (ou groupe d’items) varient davantage ensemble. - Effet de variables expérimentales: mesurer le construit, puis administrer une intervention pertinente, puis remesurer le construit
- Changements développementaux: La progression des résultats au test reflete un processus de developpement normal
Validité critériée:
validité convergente vs divergente?
validité concomitante vs prédictive?
Convergente: Corrèle positivement à une mesure attendue
Divergente: Corrèle faiblement ou négativement à une mesure attendue
Concomitante: le test et le critère sont évalués en mm temps
Prédictive: le test est évalué avant le critère
Validité critériée
Qu’est-ce que le coefficient de validité?
Trois application courantes?
coefficient de corrélation: un indicateur de la relation entre le test et le critère
- Critère réaliste externe:
Variable sur laquelle on souhaite réellement avoir de l’information. (parfoir difficile d’obtenir directement info sur le critère, ou faudrait attendre pour avoir info) - groupes contrastés:
methode visant à déterminer si le test peut différencier un groupe d’un autre. (ici le critère est l’appartenance a un groupe ou un autre) - Relation avec d’autres tests:
la validité est determinée par le fait que le test a valider est relié a un autre test dont la validité a dejà été étayée. (test deja étayé est le critère) (utile pour mise a jour des tests, actualisation sociale/culturelle, dev. scientifique)
Validité critériée:
INTERPRÉTATITON:
attention aux facteurs influençant la corrélation? (3)
et ? (2)
(LECTURE)
- facteur:
1. linéarité
2. Heteroscédasticité
3. Limitation de l’étendue de variation - validité du critère
- Contamination du critère
validité critériée:
Qu’Est-ce que la matrice multitrait multiméthode?
pour soutenir la validité?
Matrice présentant les corrélations entre plusieurs traits (construit) mesurés par différentes methode.
Il faut que les corr. entre les meme trait mesurés par diff. methode soient SUPÉRIEURS aux corr. entre différent trait mesurés par la meme méthode
Qu’est-ce que l’atténuation de la validité?
Solution?
la fidélité du test et du critère limite la validité critériée obtenue.
Formule pour calculer la validité dans le cas hypothétique où la fidelité serait parfaite: coefficient de validité corrigé pour l’atténuation
Qu’est-ce que la théorie de la décision?
ses trois cas de figure?
qu’est-ce que le taux de base?
Lorsque qu’on prend une décision pratique sur la base d’un résultat à un test. (ex. seuil à 95. <95 = échec/ >95 égal réussite)
- Résultat approprié: La décision est la bonne
- Faux positif: Déduire la présence d’une caractéristique alors qu’elle est absente
- Faux négatif: Deduire l’absence d’une caractéristique alors qu’elle est présente
taux de base:
proportion de personnes qui présente une caractéristique donnée dans une pop. donnée. (+ c’est proche de 50%, plus la prédiction est facile)
(ex.: % de personne appliquant au poste de programmeur (pop) qui pourrait reussir la période de probation (caract.))
théorie de la décision:
sensibilité vs spécificité?
Qu’est-ce qui arrive si on déplace le seuil?
Sensibilité: La proportion de personnes pour laquelles on prédit la présence d’une caractéristique sur le nb total de personne qui l’ont réellement
Spécificité: proportion de personnes pour lesquelles on prédit l’absence d’une caractéristique sur le nb total de personne qui ne l’on réellement pas
Si on augmente le seuil (ex. 95 à 105): On augmente la spécificité mais on sacrifie la sensibilité
