cours 3 Flashcards
Qu’est-ce que la validité en général?
Est-ce que mon instrument mesure
ce qu’il est censé mesurer ? C’est le degré auquel un test mesure ce qu’il prétend mesurer. Réfère aux inférences que les résultats d’un test nous
permettent de faire: Ce qui doit être valide c’est l’interprétation des scores issus de l’instrument, et non «l’instrument» lui-même.
Qu’est-ce que la validité de la phase de préparation à l’étape de la conceptualisation?
« Qu’est-ce que je veux mesurer ? »
Qu’est-ce que l’opérationnalisation des variables?
Rendre des construits abstraits en variables mesurables concrètement.
Quelles sont les étapes de la conceptualisation?
- Connaître et différencier les différentes définitions du
phénomène - Positionnement de l’auteur sur la définition qu’il utilisera :
* Énoncé général ;
* Positionnement sur la structure du phénomène ;
* Indicateurs et exemples clairs de la définition. - Positionnement du phénomène avec d’autres variable
Qu’est-ce que l’énoncé général?
1 ou 2 phrases qui donnent la définition choisie pour le construit. Chaque référence futur au construit fera référence à cette définition précise (pas à d’autres vues ailleurs).
Qu’est-ce qu’un indicateur clair de la définition?
Manifestations observables
Qu’est-ce que la validation?
La validation est le processus par lequel on prouve de manière scientifique
que les inférences sont vraies (à l’étape 5 de la cible
Quels sont les 4 types de validité?
Validité d’apparence, validité critériée, validité de contenu et validité de construit.
Qu’est-ce que la validité d’apparence?
Est-ce que le questionnaire semble
mesurer ce qu’il doit mesurer? Quelles
impressions l’instrument laisse-t-il sur
les participants?
* Preuve non-empirique (la plupart du
temps)
* Jugement subjectif
* Professionnalisme
Qu’est-ce que consiste la validité critériée?
Quelles sont les autres manifestations concrètes qui seraient liées aux résultats que mon instrument génèrera ?
Connaître et différencier les différentes définitions du phénomène
Positionnement de l’auteur sur la définition qu’il utilisera:
* Énoncé général ;
* Positionnement sur la structure du phénomène ;
* Indicateurs et exemples clairs de la définition.
Positionnement du phénomène avec d’autres variable
Qu’est-ce qu’un critère?
Point de référence déjà validé dans la littérature. Manifestation externe au phénomène qui informe sur la nature ou l’intensité du phénomène de façon indépendante du nouvel instrument (ecq on s’attend à un lien + ou - (nature) et fort ou faible (intensité)?) et génère un chiffre ou une classification au sujet de chacun des participants à l’étude de
validation. C’est n’importe quoi
qui est relié au phénomène
mesuré par notre instrument.
À quoi servent les critères?
À créer un système hypothético-déductif,
qui servira à démontrer la validité de notre
instrument à l’étape 5 (congruence). Si on s’attend à une certaine relation avec un autre item et que l’on obtient autre chose, cela veut peut-être dire que l’instrument ne mesure pas exactement la bonne chose.
Quels sont les 3 types de critères?
Critère réaliste externe, autres tests et groupes contrastés.
Qu’est-ce qu’un critère réaliste externe?
Un instrument mesurant déjà exactement le même phénomène. Habituellement, le test est conçu pour remplacer le critère externe dans le futur. Le nouvel instrument est créé pour venir modifier la manière dont l’information est récupérée (test trop long, dispendieux à passer, etc.)
Qu’est-ce que les autres tests?
N’importe quel test qui est relié au phénomène par mon instrument qui permet de formuler une hypothèse propre à une
étude de validation. Le critère doit être fiable et valide. Habituellement, il doit permettre permette de démontrer un lien entre les résultats que l’instrument en cours de validation génère (la réalité que l’instrument tente de décrire) et la réalité (représentée par le critère)
Qu’est-ce que la caractéristique basée sur le délai de la validité concomitante?
Passation du nouvel instrument et du
critère en même temps
Qu’est-ce que la caractéristique basée sur le délai de la validité prédictive?
Passation du nouvel instrument, puis du
critère après un délai. Délai entre la mesure du construit et du critère.
Quel est le type de validité (concomitante ou prédictive) représenté dans cette situation:
Instrument: Entrevue de sélection
Critère: Rendement au travail
Prédictive
Quel est le type de validité (concomitante ou prédictive) représenté dans cette situation:
Instrument: Questionnaire sur la dépression des étudiants en psychologie
Critère: Jugement d’un clinicien
Concomitante car les 2 auraient été fait au même moment où ça l’aurait été possible.
Quel est le type de validité (concomitante ou prédictive) représenté dans cette situation:
Instrument: Suicidal Ideation questionnaire
Critère: Tentative de suicide
Prédictive
Quel est le type de validité (concomitante ou prédictive) représenté dans cette situation:
Instrument: State-Trait Anxiety Inventory
Critère: Pulsations cardiaques
Concomitante car c’est un critère réaliste externe (les deux mesurent l’anxiété)
Quelle est la caractéristique basée sur la direction de la validité divergente?
Les phénomènes mesurés par le nouvel
instrument et le critère vont dans des
directions opposées
Quelle est la caractéristique basée sur la direction de la validité convergente?
Les phénomènes mesurés par le nouvel
instrument et le critère vont dans le même
sens
Qu’est-ce que les groupes contrastés?
Permet de démontrer que le test permet de différencier un groupe d’un autre. Plus la différenciation est grande, plus le test est valide. Il faut que la différence soit statistiquement significative, mais ait aussi une taille d’effet importante.
Qu’est-ce que ça veut dire lorsqu’il y a une faible différenciation dans les groupes contrastés?
Validité critériée de groupe contrasté FAIBLE
Qu’est-ce que ça veut dire lorsque les groupes contrastés ont une forte différenciation?
Validité critériée de groupe contrasté ÉLEVÉE
Qu’est-ce que la validité de contenu?
La correspondance entre le contenu d’un test et le domaine défini de connaissances / comportements que l’on veut mesurer. Le domaine doit être concret et être fini. Il est presqu’impossible de tout couvrir, donc l’instrument est considéré valide lorsqu’il couvre au minimum l’essentiel.
Quelles sont les utilisations principales de la validité de contenu?
Dans le milieu éducatif et dans le milieu du travail.
Quelles sont les utilisations principales de la validité de contenu dans le milieu éducatif?
En se basant sur le contenu d’un cours,
d’un programme, d’un manuel, etc.
Quelles sont les utilisations principales de la validité de contenu dans le milieu du travail?
Dans un contexte d’analyse d’emploi
définissant les tâches constituant cet
emploi
Quelle question doit-on se poser rendu à l’étape du positionnement de l’auteur sur la définition qu’il utilisera dans la validité de contenu et conceptualisation?
Quel est le domaine et quels en sont les thèmes particuliers que je veux représenter par les résultats que mon instrument génèrera ?
Quelles sont les implications de la validité de contenu?
- Définir clairement tous les domaines du concept à l’étude
- Connaître le niveau de connaissance des concepts qu’on veut évaluer (niveau de difficulté)
*Pouvoir déterminer à quel point les questions correspondent réellement au contenu défini
Qu’est-ce que la validité de construit?
On tente de se représenter le construit et de le mesurer pour pouvoir mieux le comprendre
Qu’est-ce qu’un construit?
Un construit est un concept abstrait
qui tente de représenter la réalité. En psychologie, les concepts sont
bien souvent abstraits (ou latents)
À quoi vise l’étape 2 de la conceptualisation?
Elle vise à définir de façon claire et concise le construit et ses dimensions. Chaque dimension doit être conceptuellement reliée au construit et être relativement indépendante des autres dimensions
Quelle question doit-on se poser rendu à l’étape du positionnement de l’auteur sur la définition qu’il utilisera dans la validité de construit et conceptualisation?
« Quelle est la définition du
phénomène que je veux
mesurer ? »
Qu’est-ce que la sous-représentation du construit?
Degré auquel un test omet d’importants aspects du construit
Qu’est-ce qu’une variance non-reliée au construit?
Degré auquel les résultats du test subissent l’influence d’éléments extérieurs au construit
Quelles questions faut-il se poser à l’étape 5 (congruence) de la conceptualisation
Les items « appartiennent-ils » à
leur dimension?
Les 3 dimensions « appartiennent-elles » au construit global?
À quelle étape de la conceptualisation se font les analyses factorielles?
À l’étape 5 de congruence.
Comment différencier la validité de contenu et la validité de construit?
Dans la validité de contenu, la variable est concrète tandis que dans la validité de construit, la variable est abstraite. Dans la validité de contenu, on peut identifier tous les éléments faisant partie du concept (domaine fini) tandis que dans la validité de construit, il peut y avoir plusieurs définitions du concept, c’est plus abstraits et diffus. Dans la validité de contenu, l’approche est généralement qualitative (voir si le contenu correspond au concept selon des experts) tandis que dans la validité de construit, l’approche est statistique (analyses factorielles).
Quoi faire pour vérifier la validité à l’étape de la conceptualisation?
Il faut connaître, comprendre et bien définir
le phénomène d’intérêt (en faisant des
lectures théoriques, en faisant la synthèse du
phénomène et des aspects conceptuels des
instruments et en effectuant des consultations)
* Une fois le construit défini :
*Il faut préparer les hypothèses qui nous
serviront à vérifier les preuves de validité
