Cours 3 - Conceptualisation Flashcards
Quelle est la différence entre la validité en général et la validité à l’étape de la conceptualisation?
Validité en général
o « Est-ce que mon instrument mesure ce qu’il est censé mesurer ? »
À l’étape de la conceptualisation
o « Qu’est-ce que je veux mesurer ? » On définit ce qu’on veut étudier
Quels sont les objectifs dans la conceptualisation?
- Définir le phénomène
- Catégoriser et organiser les composantes du phénomène à mesurer (sous-dimensions, opérationnalisation)
- Positionnement avec d’autres concepts
Quels sont les moyens dans la conceptualisation?
- Synthèse du phénomène (Car les auteurs peuvent avoir des définitions qui divergent)
- Synthèse des aspects conceptuels des instruments
- Lectures théoriques et empiriques (Lien positionnement avec autres concepts, on prend des mesures menant à des résultats. ≠ article de synthèse)
- Consultations d’experts
Quelles sont les 3 étapes de la conceptualisation?
A. Connaître et différencier les différentes définitions du phénomène
B. Positionnement de l’auteur sur la définition qu’il utilisera :
* Énoncé général ;
* Positionnement sur la structure du phénomène ;
* Indicateurs et exemples clairs de la définition.
C. Positionnement du phénomène avec d’autres variables
Qu’est-ce que la validité?
- C’est le degré auquel un test mesure ce qu’il prétend mesurer
- Précision : réfère aux inférences permettent de faire que les résultats d’un test nous
o Ce qui doit être valide c’est l’interprétation des scores issus de l’instrument, et non « l’instrument
» lui-même
o Ex. inférence : score de 100 QI et inférer qu’elle a une intelligence moyenne : est-ce valide de dire ça? - La validation est le processus par lequel on prouve de manière scientifique que les inférences sont vraies (à l’étape 5 de la cible)
Quels sont les différents types de validité?
- Validité d’apparence
- Validité critériée
- Validité de contenu
- Validité de construit
Qu’est-ce que la validité d’apparence?
- Est-ce que le questionnaire semble mesurer ce qu’il doit mesurer? Quelles impressions l’instrument laisse-t-il sur les participants?
o Preuve non-empirique (la plupart du temps se base sur nos perceptions personnelles)
o Jugement subjectif
o Professionnalisme perçu - Dans certains cas, il n’est pas désirable que le test semble mesurer le réel concept qu’il prétend mesurer
o Cas de tromperie
o Ex. test sur TP, désirabilité sociale, psychopathie
Ex. si on demande en entretien d’embauche « si tu étais un légume, lequel serais-tu? » = ne fait pas de sens
Qu’est-ce que la validité critériée?
C. Positionnement du phénomène avec d’autres variables : « Quelles sont les autres manifestations concrètes qui seraient liées aux résultats que mon instrument génèrera ? »
La validité du critère
Qu’est-ce qu’un critère?
- Informe sur la nature (Positive ou négative) ou l’intensité (faible, moyenne,
élevée) du phénomène de façon indépendante du nouvel instrument ; - Génère un chiffre ou une classification au sujet de chacun des participants à
l’étude de validation (Stats) - !!! Le critère doit être fiable et valide (= point de référence déjà établi, on trouve
les liens dans la littérature) - En bref : c’est tout autre mesure qui est relié au phénomène mesuré par notre
instrument!
À quoi servent les critères?
- À créer un système hypothético-déductif, qui servira à démontrer la validité de notre
instrument à l’étape 5 (congruence).
Ce sont des hypothèses qu’on valide/invalide après
Quels sont les 3 types de critères?
- Critère réaliste externe (2 tests d’une même mesure)
- Autres tests (2 mesures différentes)
- Groupes contrastés
Qu’est-ce qu’un critère réaliste externe? À quoi devons-nous faire attention?
- Un instrument mesurant déjà exactement le même phénomène.
- Habituellement, le test est conçu pour remplacer le critère externe dans le futur.
- ATTENTION! Dans le cas d’un critère réaliste externe et d’un nouveau test qui sont tous les deux composés d’items : si ces deux mesures corrèlent à plus de 0,90 cela reflète une redondance dans le
contenu des items.
o Pas utile d’en faire un autre si identique, donc instrument fonctionne peut-être aussi bien et n’a pas besoin d’être remplacé
Qu’est-ce qu’un autre test dans les types de critère?
Toute mesure d’un autre phénomène qui est reliée au phénomène évalué par mon instrument
o Qui permet de formuler une hypothèse propre à une étude de validation
o Habituellement, il doit permette de démontrer un lien entre les résultats que l’instrument en cours de validation génère (la réalité que l’instrument tente de décrire) et la réalité (représentée par le critère).
o Possibilité d’une corrélation neutre, tous les cas de figure sont valides
Qu’est-ce que la validité concomitante vs la validité prédictive?
Validité concomitante
Passation du nouvel instrument et du critère en même temps (Donc au même moment ou théoriquement possible)
Validité prédictive
Passation du nouvel instrument, puis du critère après un délai
Si notre instrument est: entrevue de sélection et notre critère: rendement au travail, est-ce concomitante ou prédictive?
Prédictive car pas accès au rendement dans l’embauche
Si notre instrument est: questions dépression étudiants psycho et notre critère: jugement d’un clinicien, est-ce concomitante ou prédictive?
Concomitante
Qu’est-ce que la validité convergente vs divergente?
Validité convergente
Les phénomènes mesurés par le nouvel instrument et le critère vont dans le même sens
Validité divergente
Les phénomènes mesurés par le nouvel instrument et le critère vont dans des directions opposées
Qu’est-ce que le critère des groupes contrastés?
- Permet de démontrer que le test permet de différencier un groupe d’un autre
- Plus la différenciation est grande, plus le test est valide
- Il faut que la différence soit statistiquement significative, mais ait aussi une taille d’effet importante
Qu’est-ce que la validité de contenue?
- La correspondance entre le contenu d’un test et le domaine défini de connaissances / comportements que l’on veut mesurer.
- Le domaine doit :
o Être concret
o Être fini - Est-ce que le domaine est bien couvert par notre instrument?
o Ex. un examen intra à créer basé sur le contenu d’un cours. On sait ce qui a été vu ou non, donc quelles questions poser pour couvrir l’ensemble de la matière
Quelles sont les 2 utilisations principales de la validité de contenue?
Milieu éducatif
En se basant sur le contenu d’un cours, d’un programme, d’un manuel, etc.
Milieu du travail
Dans un contexte d’analyse d’emploi définissant les tâches constituant cet emploi
Comment se déroule la validité de contenu à la conceptualisation?
B. Positionnement de l’auteur sur la définition qu’il utilisera :
* Énoncé général ;
* Positionnement sur la structure du phénomène ;
* Indicateurs et exemples clairs de la définition.
« Quel est le domaine et quels en sont les thèmes particuliers que je veux représenter par les résultats que mon instrument génèrera ? »
Quelles sont les implications dans la validité de contenue?
- Définir clairement tous les domaines du concept à l’étude
- Connaître le niveau de connaissance des concepts qu’on veut évaluer (niveau de difficulté) (Ex. pour 1 question, on la rend difficile ou facile)
- Pouvoir déterminer à quel point les questions correspondent réellement au contenu défini
Qu’est-ce que la validité de construit?
- Un construit est un concept abstrait qui tente de représenter la réalité.
- En psychologie, les concepts sont bien souvent abstraits (ou latents)
- On tente de se représenter le construit et de le mesurer pour pouvoir mieux le comprendre
Ex. intelligence, personnalité, bien-être. Ce sont des concepts pas tangibles et abstraits. Pas concret.
Comment se passe la validité de construit à l’étape de la conceptualisation?
B. Positionnement de l’auteur sur la définition qu’il utilisera :
* Énoncé général ;
* Positionnement sur la structure du phénomène ;
* Indicateurs et exemples clairs de la définition.
« Quelle est la définition du phénomène que je veux mesurer ? »
L’étape 2 vise à définir de façon claire et concise le construit et ses dimensions. Chaque dimension doit être conceptuellement reliée au construit et être relativement indépendante des autres dimensions.
Qu’est-ce que la variance non-reliée au construit et la sous-représentation du construit?
- Variance non-reliée au construit :
o Degré auquel les résultats du test subissent l’influence d’éléments extérieurs au construit - Sous-représentation du construit :
o Degré auquel un test omet d’importants aspects du construit
Quelles sont les principales différences entre la validité de contenu vs de construit?
Validité de contenu:
Variable concrète
On peut identifier tous les éléments
faisant partie du concept (domaine fini)
Approche généralement qualitative
(voir si le contenu correspond au concept selon des experts)
Validité de construit:
Variable abstraite
Il peut y avoir plusieurs définitions du
concept, c’est plus abstrait et diffus
Approche statistique (analyses factorielles)
