Cours 3 Flashcards
Validité en général
“Est-ce que mon instrument mesure ce qu’il est censé mesurer?”
Validité à l’étape de la conceptualisation
“Qu’est-ce que je veux mesurer?”
Avant de savoir si on mesure bien ce qu’on veut mesurer, il faut se demander ce qu’on veut mesurer.
objectifs conceptualisation
- Définir le phénomène (caractéristiques dans la littérature)
- Catégoriser et organiser les composantes des phénomènes à mesurer (squelette du phénomène, comment il se divise, les composantes, ce à quoi il est relié).
Moyens conceptualisation
- Lectures théoriques
- Synthèse du phénomène
- Synthèse des aspects conceptuels des instruments
- Consultation (avec des experts)
Étapes de conceptualisation : étape A
Connaître et différencier les différentes définitions du phénomène
Étapes de conceptualisation : étape B
Positionnement de l’auteur sur la définition qu’il utilisera :
- Énoncé général (en quelques phrases, nous informe sur le construit qu’on veut définir, pas de dimensions comportementales, vraiment au niveau de la personnalité)
- Positionnement sur la structure du phénomène (sous-dimensions)
- Indicateurs et exemples clairs de la définition (clarification des sous-dimensions, ensuite, exemples de comment tout ça se manifeste)
Étapes de conceptualisation : Étape C
Positionnement du phénomène avec d’autres variables (corrélations positives, négatives)
Validité : précision
Réfère aux inférences (comment on interprète les résultats qu’on a p/r à un instrument) que les résultats nous permettent de faire.
Ce qui doit être valide c’est l’interprétation des scores issus de l’instrument, et non “l’instrument” lui-même.
Validation
La validation est le processus par lequel on prouve de manière scientifique que les inférences sont vraients
Types de validité (4)
1- Validité d’apparence
2- Validité de contenu
3- Validité critériée
4- Validité de construit
Combien de types de validité devons-nous utiliser
On essaye d’utiliser le + de validité possible pour répondre à nos objectifs : on n’utilise pas un seul type de validité, on en utilise le + possible
Validité d’apparence
Est-ce que le questionnaire semble mesurer ce qu’il doit mesurer? Quelles impressions l’instrument laisse-i-il sur les participants?
Validité la moins objective
Est-ce que le test donne l’impression de vérifier ce qu’il est censé.
- Preuve non-empirique (la plupart du temps) Pas de donnée à analyser, jugement subjectif, qui demande du professionnalisme
La validité d’apparence a-t-elle toujours besoin d’être présente?
Dans certain cas, il n’est pas désirable que le test semble mesurer le réel concept qu’il prétend mesurer.
Parfois, par exemple, on veut dissimiler l’intention des questions : parce qu’on veut des réponses honnêtes. Quand ça nuit à l’usage e notre instrument, on peut cacher la validité d’apparence.
Validité critériée (et étape de la conceptualisation)
Étape de la conceptualisation C : positionnement du phénomène avec d’autres variables : quelles sont les manifestations concrètes qui seraient liées aux résultats que mon instrument génèrera?
Critère définition (validité critériée)
Manifestation externe au phénomène qui :
- Informe sur la nature ou l’intensité du phénomène de façon indépendante du nouvel instrument.
- Génère un chiffre ou une classification au sujet de chacun des participants à la recherche de validation.
En bref : c’est n’importe quoi qui est relié au phénomène mesuré par notre instrument!
Comment obtient on corrélation entre construit et critères?
Les variables avec lesquelles on compare le construit sont les critères.
Nos hypothèses = lien entre construit et critère.
Cette relation va être défini en fonction de l’intensité : force de cette relation, aussi p/r à la direction.
Cette relation sera chiffrée : stats.
Avec cette démarche on obtiendra les corrélations.
À quoi servent les critères?
À créer un système hypothético-déductif (générer hypothèses, qu’on va tester), qui servira à démontrer la validité de notre instrument à l’étape 5 (congruence).
Prendre notre construit avec d’autres variables, voir les liens, les tester, avoir des données, on les met en relation et on voit si concorde avec théories. Ceci montre si â mesure ce que ça prétend mesurer.
3 types de critères
- Critère réaliste externe
- Autres tests
- Groupes contrastés
Critère réaliste externe et exemples
- Un instrument mesurant déjà exactement le même phénomène
- Habituellement, le test est conçu pour remplacer le critère externe dans le futur.
Le critère réaliste externe et le construit devrait construire la même mesure.
Exemples : - Questionnaire sur le stress : niveau de cortisol (comment on évalue le stress d’une personne)
- Test de Léger (VO2max) : mesure du VO2max en laboratoire (once again, on devrait avoir les mêmes résultats si l’instrument mesure ce qu’il est censé mesurer)
- Questionnaire sur la dépression : 3 cliniciens experts ayant fait l’évaluation
Critère réaliste externe : pourquoi créer un nouvel instrument si on peut déjà le mesurer?
En revient au but psychométrique
Autres tests
N’importe quel test qui est relié au phénomène évalué par mon instrument
- Qui permet de formuler une hypothèse propre à une recherche de validation
- Le critère doit être fiable et valide
- Habituellement, il doit permettre de démontrer un lien entre les résultats que l’instrument en cours de validation génère (la réalité que l’instrument tente de décrire) et la réalité (représentée par le critère)
Autres tests : validité concomitante
Passation du nouvel instrument et du critère en même temps (exemple : passer un test d’anxiété et un test de dépression au même moment)
Autres tests : validité prédictive
Passation du nouvel instrument, puis du critère, après un délai. (Exemple : passer un test d’habiletés intellectuelles au début de l’année et mesurer la performance à l’emploi après 6 mois)
Autres tests : validité convergente
Les phénomènes mesurés par le nouvel instrument et le critère vont dans le même sens (exemple : H1 : la corrélation entre la dimension “névrosisme” du NEO-PI-R et le questionnaire d’anxiété sera moyenne et positive). Corrélation positive entre les deux
Autres tests : validité divergente
Les phénomènes mesurés par le nouvel instrument et le critère vont dans des directions opposées (Exemple : H2 : la corrélation entre le questionnaire d’épuisement professionnel et la satisfaction à l’emploi sera forte et négative).
Validité critériée : groupes contrastés
- Permet de démontrer que le test permet de différencier un groupe d’un autre
- Plus la différenciation est grande, plus le test est valide
- Il faut que la différence soit statistiquement significative, mais ait aussi une taille d’effet importantes (indices permettant de voir si le groupe est contrasté ou pas)
Exemples :
- Groupe d’enfants ayant un TDAH VS groupe d’enfants ne présentant pas de TDAH
- Groupe atteint d’une déficience intellectuelle VS groupe n’en présentant pas.
(Si les deux groupes ont beaucoup de réponses en commun : indique que mesure pas nécessairement la bonne chose : ils ne sont pas censés avoir les mêmes caractéristiques).
Validité de contenu
La correspondance entre le contenu d’un test et le domaine défini de connaissances/comportements que l’on veut mesurer.
Le domaine doit :
- être concret
- être fini
Validité de contenu : utilisations principales
Milieu éducatif : en se basant sur le contenu d’un cours, d’un programme, d’un manuel, etc. (Exemples : examen de la SAAQ, examens du ministère au secondaire, examen de psychométrie).
Milieu du travail : dans un contexte d’analyse d’emploi définissant les tâches constituant ce dernier. (Exemples : sélection du personnel, établir les besoins de formation examen d’accès à un ordre professionnel)
Validité de contenu et conceptualisation
Étapes de la conceptualisation : étape B : “quel est le domaine et quels en sont les thèmes particuliers que je veux représenter par les résultats que mon instrument génèrera?”
Exemple : le rôle de l’auxiliaire d’enseignement st d’accompagner, de soutenir et de guider les étudiants dans le cadre d’un travail portant sur la construction et la validation d’un instrument de mesure en plus de corriger le travail que les étudiants remettront. Essentiel du rôle qu’on décortique, rien de caché
Validité de contenu : implications
- Définir clairement tous les domaines du concept à l’étude (doit être exhaustif)
- Connaître le niveau de connaissance des concepts qu’on veut évaluer (difficulté)
- Pouvoir déterminer à quel point les questions correspondent réellement au contenu défini
Validité de construit
- Un construit est un concept abstrait qui tente de représenter la réalité (intelligence, bonheur : éléments psychologiques-philosophiques, quelque chose d’intangible)
- En psychologie les concepts sont bien souvent abstraits (ou latents)
- On tente de se représenter le construit et de le mesurer pour pouvoir mieux le comprendre.
Validité de construit et conceptualisation
Étape de la conceptualisation : étape B : “quelle est la définition du phénomène que je veux mesurer?”
On se positionne en tant qu’auteur sur la définition
Variance non-reliée au construit
Degré auquel les résultats du test subissent l’influence d’éléments extérieurs au construit (éléments pas rapport dans notre questionnaire)
Sous-représentation du construir
Degré auquel un test omet d’importants aspects du construit (élément qu’on a mis de côté, qu’on ne mesure pas)
Différencier la validité de contenu et de construit
Validité de contenu :
- Variable concrète
- On peut identifier tous les éléments faisant partie du concept (domaine fini)
- Approche généralement qualitative (voir si le contenu correspond au concept)
Validité de construit :
- Variable abstraite
- Il peut y avoir plusieurs définitions du concept
- approche statistique (analyses factorielles).
