Cours 3 Flashcards
EXERCICE: USAGE ANTICIPÉ
Vous avez été engagé pour réaliser une étude sur la santé psychologique d’étudiant.e.s d’une université québécoise d’environ 40 000 étudiant.e.s. Vous pensez créer un instrument de mesure afin de remplir votre mandat.
Quel pourrait être l’usage anticipé de celui-ci?
But fondamental:
But psychométrique:
Concepteurs:
Bénéficiaires:
Administrateurs:
Utilisateurs:
Contexte:
Exemple de réponse
But fondamental : mesurer la santé psychologique des étudiants de l’université pour les aider à gérer leur anxiété
But psychométrique : pour ajuster un outil déjà existant pour les adultes à la réalité des universitaires
Concepteurs : nous
Bénéficiaires : les étudiants
Admin : les étudiants
Utilisateurs : le personnel de l’université (enseignant, personnel aidant/soutien)
Contexte : Un questionnaire en ligne à choix de réponse (accessible et facile à administrer pour 40 000 personnes) qui sera remis aux mandataires et non aux étudiants directement
LE MODÈLE DE LA CIBLE
Un processus qui décrit:
- Comment construire/modifier un instrument psychométrique.
- Comment vérifier les qualités psychométriques d’un instrument.
Lors de la construction et de la validation, il faut:
- détecter les problèmes ;
- apporter les correctifs requis.
Le modèle de la cible rend ces tâches plus faciles.
ÉTAPE 2: LA CONCEPTUALISATION
Lieu dans le Modèle de la cible :
Concept de la validité (en bleu)
Phase de Préparation (à gauche de la ligne verticale)
La validité de la phase de préparation - Validité en général
« Est-ce que mon instrument mesure ce qu’il est censé mesurer ? »
La validité de la phase de préparation - À l’étape de la conceptualisation
« Qu’est-ce que je veux mesurer ? »
ÉTAPE 2: LA CONCEPTUALISATION - Objectifs
- Définir le phénomène (et le positionner dans son environnement)
- Catégoriser et organiser les composantes des phénomènes à mesurer
ÉTAPE 2: LA CONCEPTUALISATION - Moyens
- Lectures théoriques
o Il y a beaucoup d’auteur qui vont faire des test fondamentaux ex. des texts de 1989 qui définit c’est quoi le concept de l’anxiété, qui on continu a utiliser mm aujourd’hui - Synthèse du phénomène
- Synthèse des aspects conceptuels des instruments
- Consultations
Étapes de conceptualisation (A, B, C)
A. Connaître et différencier les différentes définitions du phénomène ou mon construit théorique
B. Positionnement de l’auteur sur la définition qu’il utilisera :
- Énoncé général ;
- Positionnement sur la structure du phénomène ;
- Indicateurs et exemples clairs de la définition.
C. Positionnement du phénomène avec d’autres variables
Ne pas focus sur les définitions qu’on n’a pas choisis
On explique en une ligne notre choix
Exemple : Engagement envers l’organisation (Étapes A et B)
Exemple d’une définition (Lauzier et Haccoun, 2010)
« L’orientation d’évitement se définit par le désir d’éviter toute forme de désapprobation ou tout jugement négatif à l’endroit de ses propres compétences (VandeWalle, 1997). Ainsi, une orientation d’évitement [peut s’observer par] des stratégies autorégulantes qui visent à échapper à des conséquences négatives pour la personne (par ex., en ne prenant pas part à des activités pouvant résulter en situation d’échec). […] la personne ayant cette orientation aura plutôt tendance à éviter de se mettre dans une situation qui pourrait laisser voir aux participants ou au formateur une quelconque incompétence … »
Indicateur vs Exemple concret
Indicateur : ques ce qui va nous indiquer dans la vie de tout les jours que la personne desire eviter toute sorte de désapprobation, on va voir les stratégies autorégulant qui vise a blah blah
Exemple concret : c’est quoi les stratégies autorégulant qui vise à échapper à ca
Exemple : Engagement envers l’organisation (Étape C)
On choisit la définition la plus importante et pas focus sur les autres définitions
Corrélation positive ou négative
Est-ce que ma variable se comporte comme elle doit se comporter
Important : L’intégration en un tout cohérent !!! Contre exemple
La vulnérabilité…
«Est le fait de s’exposer à l’incertitude, au risque et à leurs émotions. Les personnes vulnérables s’affichent comme étant réellement elles-mêmes, authentiques face aux autres. Les personnes se montrant vulnérables ont tendance à demander de l’aide lorsqu’elles en ont besoin, à exprimer leur ressenti et à exprimer leurs idées, même si elles diffèrent de celles de la majorité. […]
Les personnes vulnérables ont une faible tolérance au stress. Elles ont tendance à paniquer, à être confuses et à se sentir impuissantes dans des situations tendues. »
Cette définition n’est pas représentatif d’un TOUT COHÉRENT
Deux définitions contradictoires de la vulnérabilité:
1. Authenticité, exposition de ses émotions VS
2. Disposition au stress
Les deux définitions ne sont pas cohérentes
VALIDITÉ
*C’est le degré auquel un test mesure ce qu’il prétend mesurer
*Va faire référence a la Précision : réfère aux inférences que les résultats d’un test nous permettent de faire
* Ce qui doit être valide c’est l’interprétation des scores issus de l’instrument, et non « l’instrument» lui-même
- La validation est le processus par lequel on prouve de manière scientifique que les inférences sont vraies (à l’étape 5 de la cible)
- La congruence
C’est nos résultats qu’on interprète, qui doit être valide
Types de validité
Validité d’apparence
Validité critériée
Validité de contenu
Validité de construit
Validité d’apparence
Est-ce que le questionnaire semble mesurer ce qu’il doit mesurer? Quelles impressions l’instrument laisse-t-il sur les participants?
- Preuve non-empirique (la plupart du temps)
- Jugement subjectif sans grosse recherche
- Dépendre du Professionnalisme ex. si on demande qu’il animal est tu, c’est pas professionnel
- Dans certains cas, il n’est pas désirable que le test semble mesurer le réel concept qu’il prétend mesurer
Exemple de validité d’apparence
Insanely Driven
* Projet créé pour Reckitt Benckiser (compagnie de produits d’entretien et pharmaceutiques)
Validité critériée
A. Connaître et différencier les différentes définitions du phénomène
B. Positionnement de l’auteur sur la définition qu’il utilisera:
* Énoncé général ;
* Positionnement sur la structure du phénomène ;
* Indicateurs et exemples clairs de la définition.
C. Positionnement du phénomène avec d’autres variables
« Quelles sont les manifestations concrètes qui seraient liées aux résultats que mon instrument génèrera ? »
Quelles sont les manifestations concrètes qui seraient liées aux résultats de mon test d’anxiété? Ca pourrait être par exemple des resultats de test de dépression, qui vont être lié
On parle de concept séparé a lui mais relié a lui stills
Critère : Définition
Critère: Manifestation externe au phénomène qui
* informe sur la nature ou l’intensité du phénomène de façon indépendante du nouvel instrument ;
* génère un chiffre ou une classification au sujet de chacun des participants à la recherche de validation.
Critère c’est pas des sous-dimensions, c’est des critères a pars entière qui sont relié
Mon instrument veux mesurer l’anxiété, la dépression c’est pas un sous dimensions mais un construit lui-même et relié à l’anxiété, manifestation externe que je vais pouvoir mesurer de manière independante
En bref: c’est n’importe quoi qui est relié au phénomène mesuré par notre instrument!
Critère : Utilité
À quoi servent les critères?
* À créer un système hypothético-déductif, qui servira à démontrer la validité de notre instrument à l’étape 5 (congruence).
Quand on parle de critère, on ne parle pas des items en soit, au contraire nos items, les outils qu’on va créer vont le plus possible refleter le construit que vous avez envie de mesuré et nonles construit aupire
Donc en fait, ex. on a un test sur la dépression, dans ce test on va avoir plusieurs itemset dans chaque item on va avoir notre echelle de likert et ensuite on va avoir un résultat et la on va avoir notre test sur l’anxiété et avoir notre resultat et quand on va mettre les resultat de tout le monde on va avoir une droite de régression qui va mettre en corrélation les gens en depression et en anxiété et c’est la qu’on va aller vérifier la force de la corrélation qui va être notre R
Trois types de critères
- Critère réaliste externe
- Autres tests
- Groupes contrastés
Type 1 : Critère réaliste externe
- Un instrument mesurant déjà exactement le même phénomène. Exactement le même construit, pourquoi on fait le même si ça existe déjà? Pt que lui est plus court, plus facile a passer, moins cher, etc.
- Habituellement, le test est conçu pour remplacer le critère externe dans le futur.
Exemples:
* Questionnaire sur le stress -> Niveau de cortisol dans un lab alors on a fait le questionnaire sur le stress so plus facile
* Test de Léger (V02max) -> Mesure du V02max en laboratoire
* Questionnaire sur la dépression -> 3 cliniciens experts ayant fait l’évaluation
Type 2 : Autres tests
- N’importe quel test qui est relié au phénomène évalué par mon instrument
- Qui permet de formuler une hypothèse propre à une recherche de validation.
- Le critère doit être fiable et valide.
- Habituellement, il doit permettre permette de démontrer un lien entre les résultats que l’instrument en cours de validation génère (la réalité que l’instrument tente de décrire) et la réalité (représentée par le critère)
Types de validité critériée 1 et 2
Validité concomitante et Validité prédictive
Validité concomitante
Passation du nouvel instrument et du critère en même temps
Passer en même temps
Exemple:
* Passer un test d’anxiété et un test de dépression au même moment
Mais si on a passer le test 2 semaines de différence c’est quand même de la validité concomitante
Validité prédictive
Passation du nouvel instrument, puis du critère après un délai
Ex. après un année, est ce que ca prédit la performance, le comportement
Exemple :
* Passer un test d’habiletés intellectuelles au début de l’année et mesurer la performance à l’emploi après six mois
Validité predictive ou concomitante?
Prédictive , Je fais votre entrevue mais c’Est que après que je peux evaluer votre performance au travil
L’entrevue sert a prevenir si tu vas être bon ou pas
Validité predictive ou concomitante?
Concomitante , Le but c’est de lae passer en même temps et du trouver une corrélaion entre les deux
Validité predictive ou concomitante?
Concomitante
Validité predictive ou concomitante?
Prédictive
Quel est le critère réaliste externe?
H1
Quel est le critère divergent?
H2
Quels critères sont prédictifs?
H3, H4, H2
Quels critères sont concomitants?
: H4, H1, parce que je peux passer le SAT en même temps que l’autre instrument
TYPE DE VALIDITÉ: AUTRES TESTS + CRITÈRE RÉALISTE EXTERNE
Type 3 : Groupes contrastés
- Permet de démontrer que le test permet de différencier un groupe d’un autre
- Plus la différenciation est grande, plus le test est valide
- Il faut que la différence soit statistiquement significative, mais ait aussi une taille d’effet importante
Exemples:
* Groupe d’enfants ayant un TDAH VS Groupe d’enfants ne présentant pas de TDAH
* Groupe atteint d’une déficience intellectuelle VS Groupe n’en présentant pas
Exemple : Evaluer les Auxiliaires du PSY2003
Le rôle de l’auxiliaire d’enseignement est d’accompagner, de soutenir et de guider les étudiants dans le cadre d’un travail portant sur la construction et la validation d’un instrument de mesure en plus de corriger le travail que les étudiants remettront.
Validité de construit : Exemple avec le soutien social
L’étape 2 vise à définir de façon claire et concise le construit et ses dimensions.
Chaque dimension doit être conceptuellement reliée au construit et être relativement indépendante des autres dimensions
Validité de construit image
Le construit VS l’instrument image
Validité de construit et conceptualisation image
Variance non-reliée au construit:
Degré auquel les résultats du test subissent l’influence d’éléments extérieurs au construit, contamination, variable quon a pas bien controller
ex :De plus, le test exige une très bonne aptitude à la lecture. Or, il ne s’agit pas d’un test de lecture. Donc, cette partie des résultats, déterminée par la capacité de lecture plutôt que par le raisonnement mathématique, est la variance non reliée au construit.
Sous-représentation du construit:
Degré auquel un test omet d’importants aspects du construit, on ne veux pas omettre des concepts différent
ex: Ces concepts peuvent être employés pour le test de raisonnement mathématique. On s’attend que le raisonnement mathématique se manifeste dans la capacité à résoudre les problèmes, tant traditionnels que nouveaux. Cependant, les items du test ne couvrent que les problèmes traditionnels.
Par conséquent, la partie du construit associée aux problèmes nouveaux est sous-représentée.
quel a meilleur validité de construit
1 a le meilleur validité de construit, la photo démontre la relation entre le construit et le test
La partie du construit qui n’est pas couverte par le test est appelée sous-représentation du construit. En plus de ne pas couvrir complètement le construit à l’étude, le test peut mesurer d’autres caractéristiques que celles souhaitées. Cette «autre» mesure est appelée variance non reliée au construit.
Validité de construit et conceptualisation
* Que les items 1 à 6 se regroupent en une dimension .
* Que les items 7 à 12 se regroupent en une dimension.
* Que les items 13 à 18 se regroupent en une dimension.
* Que les trois dimensions précédentes se regroupent en un construit « soutien social ».
Différencier la validité de contenu et de construit
Les étapes de la définition
La validité de contenu a deux applications principales:
les tests de rendement scolaire et les tests d’aptitude professionnelle,
L’objectif est de déterminer le degré auquel le contenu du test correspond au contenu de la matière scolaire ou de l’emploi visé.
