Cours 3 Flashcards
La validité de la phase de préparation
conceptualisation
Validité en général
«Est-ce que mon instrument mesure ce qu’il est censé mesurer ?»
À l’étape de la conceptualisation
«Qu’est-ce que je veux mesurer ? »
On concrétise ce qu’on veux mesurer
Étape 2: Conceptualisation
Objectifs
l Définir le phénomène (définition)
l Catégoriser et organiser les composantes des phénomènes à mesurer (organiser avec la définition mais aussi positionner avec son environnement)
Moyens
l Lectures théoriques (afin de définir)
l Synthèse du phénomène (peux avoir plusieurs définitions, donc on doit choisir la meilleur/crée une meilleure)
l Synthèse des aspects conceptuels des instruments
l Consultations (expert)
Étapes:
A. Connaître et différencier les différentes définitions du phénomène (énoncer)
B. Positionnement de l’auteur sur la définition qu’il utilisera : (rédiger ce qu’on veut mesurer)
- Énoncé général (amène le phénomène)
- Positionnement sur la structure du phénomène (facette se décline en sous-dimension = on va définir ces sous-dimension)
- Indicateurs et exemples clairs de la définition
C. Positionnement du phénomène avec d’autres variables (hypothèse, on s’attend que notre phénomène réagisse de tel manière avec les autres variables) mettre avec d’autre truc connexe)
Voir notes pour graphique:
(3 définitions de l’engagement) – engagement – ce divise en trois types d’engagement soit l’engagement affectif, normatif et calculé – ce redivise en d’autre explication (ex: engagement affectif = identification, attachement émotif et implication envers l’organisation) – exemple clairs de la définition (ex: implication envers l’organisation: organiser des activités au bureau et participer aux activités sociales de mon organisation)
Exemple d’une définition
(Lauzier et Haccoun, 2010)
«L’orientation d’évitement se définit par le désir d’éviter toute forme de désapprobation ou tout jugement négatif à l’endroit de ses propres compétences (énoncé) (VandeWalle, 1997). Ainsi, une orientation d’évitement [peut s’observer par] des stratégies autorégulantes qui visent à échapper à des conséquences négatives pour la personne (indicateur) (par ex., en ne prenant pas part à des activités pouvant résulter en situation d’échec). […] la personne ayant cette orientation aura plutôt tendance à éviter de se mettre dans une situation qui pourrait laisser voir aux participants ou au formateur une quelconque incompétence …» (exemple)
Exemple : Engagement envers l’organisation
(Étape C)
On positionne l’engagement avec des liens de l’environnement
Relation positive entre l’engagement et les comportements de citoyenneté organisationnelle
Relation positive entre l’engagement et la performance de tâche
Relation négative entre l’engagement et l’intention de quitter
Voir graphique notes
Important : L’intégration en un tout cohérent (important d’avoir une définition cohérente)
Contre exemple
La vulnérabilité…
«Est le fait de s’exposer à l’incertitude, au risque et à leurs émotions. Les personnes vulnérables s’affichent comme étant réellement elles-mêmes, authentiques face aux autres. Les personnes se montrant vulnérables ont tendance à demander de l’aide lorsqu’elles en ont besoin, à exprimer leur ressenti et à exprimer leurs idées, même si elles diffèrent de celles de la majorité. […]
Les personnes vulnérables ont une faible tolérance au stress. Elles ont tendance à paniquer, à être confuses et à se sentir impuissantes dans des situations tendues. »
Incohérence entre les deux car bien-être et détresse
Deux définitions contradictoires de la vulnérabilité:
1. Authenticité, exposition de ses émotions VS
- Disposition au stress
VALIDITÉ
C’est le degré (continuum) auquel un test mesure ce qu’il prétend mesurer
Précision : réfère aux inférences (on a un résultat et on peut tirer des conclusions sur ces résultats) que les résultats d’un test nous permettent de faire
Ce qui doit être valide c’est l’interprétation des scores issus de l’instrument, et non « l’instrument » lui-même
La validation est le processus par lequel on prouve de manière scientifique que les inférences sont vraies (à l’étape 5 de la cible)
-
Validité d’apparence
Types de validité
Est-ce que le questionnaire semble mesurer ce qu’il doit mesurer? Quelles impressions l’instrument laisse-t-il sur les participants? (Quel fruit préférez-vous? Peut-être que je vais être genre ce n’est pas très professionnel comme questionnaire)
- Preuve non-empirique (la plupart du temps)
- Jugement subjectif
- Professionnalisme
Dans certains cas, il n’est pas désirable que le test semble mesurer le réel concept qu’il prétend mesurer (ex. si on veut des réponses honnête)
-
Validité critériée
Types de validité
«Quelles sont les manifestations concrètes qui seraient liées aux résultats que mon instrument génèrera ? »
Critère : Définition
Critère: Manifestation externe au phénomène qui :
- Informe sur la nature ou l’intensité du phénomène de façon indépendante du nouvel instrument ;
- Génère un chiffre ou une classification au sujet de chacun des participants à la recherche de validation.
Ex: mesurer l’anxiété, un critère pourrait être la dépression = autre mesure qui permet d’observer la nature et l’intensité de la corrélation
En bref : c’est n’importe quoi qui est relié au phénomène mesuré par notre instrument
À quoi servent les critères?
À créer un système hypothético-déductif, qui servira à démontrer la validité de notre instrument à l’étape 5 (congruence). (Bref, créer des hypothèses)
Trois types de critères
Type 1 : Critère réaliste externe
Un instrument qui mesure l’autre phénomène de la même façon
- Un instrument mesurant déjà exactement le même phénomène.
- Habituellement, le test est conçu pour remplacer le critère externe dans le futur.
Exemples:
- Questionnaire sur le stress -> Niveau de cortisol (critère réaliste externe)
- Test de Léger (V02max) -> Mesure du V02max en laboratoire
- Questionnaire sur la dépression -> 3 cliniciens experts ayant fait l’évaluation
Type 2 : Autres tests
N’importe quel test qui est relié au phénomène évalué par mon instrument
- Qui permet de formuler une hypothèse propre à une recherche de validation.
- Le critère doit être fiable (fidèle) et valide.
- Habituellement, il doit permettre permette de démontrer un lien entre les résultats que l’instrument en cours de validation génère (la réalité que l’instrument tente de décrire) et la réalité (représentée par le critère)
Validité concomitante (voir photo pour exemple)
Passation du nouvel instrument et du critère en même temps
Exemple:
• Passer un test d’anxiété et un test de dépression au même moment
Validité prédictive
Passation du nouvel instrument, puis du critère après un délai
Exemple:
• Passer un test d’habiletés intellectuelles au début de l’année et mesurer la performance à l’emploi après six mois
Validité convergente
Les phénomènes mesurés par le nouvel instrument et le critère vont dans le même sens
Exemple:
• H1: La corrélation entre la dimension «névrosisme» du NEO-PI-R et le questionnaire d’anxiété sera moyenne et positive
Si l’un augmente, l’autre aussi
Validité divergente
Les phénomènes mesurés par le nouvel instrument et le critère vont dans des directions opposées
Exemple:
• H2: La corrélation entre le questionnaire d’épuisement professionnel et la satisfaction à l’emploi sera forte et négative
Si l’un augmente, l’autre diminue
Hypothèses : Corrélations avec d’autres tests
H1: Une corrélation positive et moyenne (r = 0,33) est attendue entre le soutien perçu du superviseur et l’engagement au travail (Auteur et Auteur, 2023).
H2: Une corrélation négative et moyenne (r = -0,28) est attendue entre le soutien perçu du superviseur et l’intention de quitter (Auteur et Auteur, 2023).
H3: Une corrélation positive et forte (r = 0,61) est attendue entre le soutien perçu du superviseur et la satisfaction envers ce dernier (Auteur et Auteur, 2023).
Ex: Hypothèses : Corrélations avec d’autres tests
Type 3 : Groupes contrastés
- Permet de démontrer que le test permet de différencier un groupe d’un autre
- Plus la différenciation est grande, plus le test est valide (différence entre les groupes)
- Il faut que la différence soit statistiquement significative, mais ait aussi une taille d’effet importante
On veut s’assurer que la différence entre les groupes est importante
Exemples:
- Groupe d’enfants ayant un TDAH VS Groupe d’enfants ne présentant pas de TDAH
- Groupe atteint d’une déficience intellectuelle VS Groupe n’en présentant pas
Si beaucoup de chevauchement = pas beaucoup de différenciation
- Validité de contenu
Types de validité
La correspondance entre le contenu d’un test et le domaine défini de connaissances / comportements que l’on veut mesurer.
Doit couvrir ce qui est essentiel et doit être proportionnel à ce qui a été vu
Le domaine doit:
- Être concret (pas d’ambiguïté, pas abstrait. Ex: intelligence, la personnalité)
- Être fini
Utilisations principales
Milieu éducatif:
En se basant sur le contenu d’un cours, d’un programme, d’un manuel, etc.
Exemples:
• Examen de la SAAQ
• Examens du ministère au secondaire
• Examen de psychométrie
Milieu du travail:
Dans un contexte d’analyse d’emploi définissant les tâches constituant ce dernier
Exemples:
• Sélection du personnel
• Établir les besoins de formation
• Examen d’accès à un ordre professionnel
Validité de contenu et conceptualisation
«Quel est le domaine et quels en sont les thèmes particuliers que je veux représenter par les résultats que mon instrument génèrera ?» donc validité de contenue = positionnement dans la définition
Le rôle de l’enseignante est d’être disponible, qualité de la langue, correction…
Niveau d’accord sur de 1 à 5
Validité de contenu : Implications
- Définir clairement tous les domaines du concept à l’étude
- Connaître le niveau de connaissance des concepts qu’on veut évaluer (difficulté)
- Pouvoir déterminer à quel point les questions correspondent réellement au contenu défini
- Validité de construit
Types de validité
- Un construit est un concept abstrait qui tente de représenter la réalité.
- En psychologie, les concepts sont bien souvent abstraits (ou latents) Concept latent, on ne mesure pas tout de suite
- On tente de se représenter le construit et de le mesurer pour pouvoir mieux le comprendre (concept qui reste caché, plus abstrait, ex: intelligence)
Validité de construit et conceptualisation
«Quelle est la définition du phénomène que je veux mesurer ?»
Ne viens pas d’un manuel/d’un cours
Ce qui change: étape 5
Est-ce que la personne a atteint un certain baïram: un certain niveau de connaissance
Validité de construit : Exemple avec le soutien social
Les 3 sous-dimension doivent être corrélé plus fortement entre elles.
Les concepts sont latents (on le les mesures pas)
Les items qui mesurent le soutien instrumental corrèle plus entre eux vs les items qui mesure le soutien émotionnel
Voir graphique
Le construit VS l’instrument
On veut qu’il y ait le plus grand cheminement possible entre le construit et ce que mon instrument mesure
Plus y’a un chevauchement, plus c’est valide
Variance non-reliée au construit: Degré auquel les résultats du test subissent l’influence d’éléments extérieurs au construit.
Variance non-relié au construit: mesure des trucs qui n’ont pas nécessairement rapport (valeur externe)
Sous-représentation du construit: notre construit n’est pas complètement mesuré (ex: une sou dimension non mesurée)
Sous-représentation du construit : Degré auquel un test omet d’importants aspects du construit
Différencier la validité de contenu et de construit
Voir notes
Corrélation
Une corrélation (positive, négative ou nulle) et (faible, moyenne ou élevée) (r=0,xx) entre (votre facette) et (le critère) est attendue.
Pour juger de la force de la corrélation, utilisez les normes de Cohen (1988) que voici :
Corrélation faible : r= 0,10. (ou -0,10)
Corrélation moyenne : r= 0,30 (ou -0,30)
Corrélation forte : r= 0,50 et plus (ou -0,50)
