Cours # 9 Flashcards
Quelle est la définition générale de la validation?
Le degré avec lequel un test mesure ce qu’il prétend mesurer et cela seulement.
Vrai ou faux: Plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche à étudier
Vrai, il est donc nécessaire de procéder au processus de validation.
Vrai ou faux: Les comportements d’une personne c’est la conséquence de ce qu’il a vécu avant le comportement
Vrai
Vrai ou faux: La validité concerne seulement l’instrument de mesure lui-même
Faux:
- L’interprétation des résultats associés à ses items
- Le contexte de son utilisation
Qu’est-ce que concerne la validation?
- L’interprétation des résultats associés à ses items
- Le contexte de son utilisation (Clientèle et conditions en générale)
Le processus de validation est une façon de déterminer le niveau de ___ qu’on peut avoir, en s’appuyant aux indices obtenus
Certitude
Vrai ou faux: Si un instrument a démontré ses preuves de validités avec une clientèle X, il peut être utilisé pour toute la population
Faux: si le test a été validé pour une population X et pas pour une population Y il ne peut donc pas être utilisé pour la population Y.
L’évaluation de la validité est un processus continu d’_____ de « ___ » ou « d’____»
accumulation
Preuves ou d’évidences
Vrai ou faux : Nous pouvons considérer le nom du test comme une « preuve » ou « évidence» de ce que le test mesure
Faux
Vrai ou faux: Seulement les méthodes statistiques sont utilisé pour étudier le degré de validité des instruments psychométriques (et psychologiques)
Faux: Multiples méthodes statistiques Et quelques un non strictement statistiques
Quels sont les « 5 sources de preuves » de validité? (* = 3 + fondamentaux) ( CPSRC)
- Contenu du test *
- Processus de réponse
- Structure interne (construit) *
- Relations avec d’autres variables *
- Conséquences du test
ÉTUDIER DIAPO #8 …
ÉTUDIER DIAPO # 8
Qu’est-ce que la validité de contenu?
Faire référence à toutes les facettes d’un concept donné (toutes les dimensions)
Qui suis-je? Types de validité qui doit faire référence à toutes les facettes d’un concept donné
Validité de contenu
La validité de contenu est aussi appelé ___
Validité logique
La validité de contenu nécessite le recours à des ____ reconnus en la matière pour évaluer si les items du test évaluent un contenu défini
Experts
Qui suis-je? Personne qui ont une connaissance reconnue du concept à mesurer et préférablement ont aussi une expertise dans l’élaboration d’instrument de mesure.
Experts
Sur quoi les juges experts sont-ils invités à se prononcer sur le contenu de chaque énoncé? (5)
Clarté, représentativité, exhaustivité, dimensionnalité et pertinence des différents items
Quand est-ce que la validité de contenu est la plus souvent abordée?
Dans les tests académiques et professionnels.
À quoi fait référence la validité de contenu dans un contexte clinique?
À la correspondance entre les items (contenus) du test et le contenu des symptômes d’une maladie
Qui suis-je? Type de validité qui fait référence à la manière dont un instrument évalue tous les aspects théoriques du concept qu’il est censé mesurer
Validité de contenu
Pour la validité de contenu, qu’est-ce qui pourrait aider les juges experts à mieux évaluer le contenu des items ?
Présenter une synthèse solide de la théorie du trait latent
Qui suis-je? Type de validité qui est supposée pouvoir évaluer dans quelle mesure un instrument couvre toutes les parties pertinentes du concept qu’il vise à mesurer
Validité de contenu
Quelle est la méthode bien connu pour mesurer la validité de contenu? (Dev par qui et l’expliquer)
Lawshe (1975)
Chaque expert doit répondre à la questions suivante : « Pour chaque item, la connaissance mesureée par cet item est-elle ‘‘essentielle’’, ‘‘Utile, mais pas essentielle’’ ou ‘‘pas nécessaire’’
Si + de la moitié des expert indique d’un item est essentiel = cet item a au moins un certaine validité de contenu.
Comment interpréter la formule de Lawshe pour expliquer le ratio de validité de contenu?
- Les résultats de cette formule varient entre -1 et +1 ;
- Les valeurs positives indiquent qu’au moins la moitié des spécialistes ont jugé l’item comme
essentiel. - Le CVR (Ratio de validité de contenu) moyen pour l’ensemble des items peut être utilisé comme indicateur de la validité globale
du contenu du test
Quand est-ce qu’on étudie la validité de contenu? (Selon Balbinotti)
Lors de la construction de l’instrument de mesure (choix initial des contenus des items)
La validation pragmatique est aussi appelé __.
De critère, critériée, prédictive
Qui suis-je? Capacité d’un instrument à prédire (aussi explicite et invariable que possible) le niveau de performance (comportement) d’un groupe d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement.
Validation pragmatique (ou de critère)
Expliquer la validation pragmatique (Ou de critère)
Capacité d’un instrument à prédire (aussi explicite et invariable que possible) le niveau de performance (comportement) d’un groupe d’individus par rapport à des situations qu’il rencontreront (ou pourraient rencontrer) ultérieurement.
Quel est l’exemple classique de la validation pragmatique (ou de critère)?
L’évaluation du QI et le succès professionnel.
Quel est la procédure pour évaluer la validité pragmatique (ou de critère)?
Calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents.
À partir de quels résultats pouvons-nous faire un corrélation pour mesurer la validité pragmatique? (2 exemples)
- 2 passations de tests au moment présent (virtuellement simultané)
- 2 passations de tests : L’une au moment présent et l’autre au « future »
Quelle approche corrélationnelle pouvons-nous utiliser pour évaluer la validation pragmatique (ou de critère)?
L’analyse de régression
Quel est l’un des objectifs de l’analyse de régression?
Prédire la variance d’une variable (présente ou future) par le biais d’une (ou plusieurs) variable indépendante
Quand utilisons-nous la corrélation r au carré et R au carré?
r = corrélation
R= Régression
Quels sont les 2 types de validité pragmatique?
- Validité concomitante/concourante
- Validité prédictive
Qui suis-je? Degré d’association entre les scores obtenus au test et les scores obtenus à un mesure de référence, ou critère (l’administration du test et de la mesure du critère pratiquement en même temps - temps présent)
Validité pragmatique de type validité concomitante/concourante
Expliquer le type de validité concomitante/concourante (Validité pragmatique ou de critère)
On détermine le degré d’association entre les scores obtenus au test et les scores obtenus à une mesure de référence, ou critère (l’administration du test et de la
mesure du critère pratiquement en même temps – temps présent)
Qui suis-je? La qualité des prédiction faites sur la base des résultats obtenus au test et une réalité future (Administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier)
Validité prédictive (Type de validité pragmatique ou de critère)
Expliquer la validité prédictive (Type de validité pragmatique ou de critère)
On évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier);
Quelles sont les statistiques habituellement utilisées pour évaluer la validation pragmatique?
- Coefficient de Détermination (r au carré)
- Corrélation multiple au carré (R au carré)
Expliquer le coefficient de détermination
% d’explication de la variance entre 2 mesures, sans considérer l’ordre des mesures
Expliquer la corrélation Multiple au carré
% d’explication de la variance entre 2 (ou plusieurs) mesures, en considérant l’ordre des mesures.
Peut être simple (VI + VD, Corrélation de Pearson) ou multiple (Plusieurs VI + VD)
Qui suis-je? Type de validité qui se défini comme étant la justesse/certitude avec laquelle l’ensemble d’items d’un instrument de mesure psychologique permet d’obtenir des résultats conformes aux concepts (ou construits ou traits) définis par son contexte théorique.
Validité de construit
Expliquer la validité de construit
Se définie comme étant la justesse/certitude avec laquelle l’ensemble d’items d’un instrument de mesure psychologique permet d’obtenir des résultats conformes aux concepts (ou construis, ou traits) définis par son contexte théorique
La validité _____ indique dans quelle mesure les énoncés d’un instrument son cohérents (structure interne) avec la théorie.
Validité de construit
Quelles sont les validités qui nous intéresse le plus dans les rapports?
Validité de construit et de contenu
Vrai ou faux : La validation de construit fait des comparaison avec d’autres instruments
Faux: Évalue la structure interne de l’instrument
Qu’est-ce que les entités hypothétiques?
Terme utilisé dans la validité de construit pour nommer les construits ou traits qui résultent d’une élaboration psycho-sociale et théorique qui ne sont pas accessible directement.
Nommer des exemples d’entités hypothétiques
Intelligence,
Personnalité,
Connaissances,
Compétences
Dépression
Motivation
Intérêt,
etc
Dans la validité de construit, les construits peuvent aussi être considérés comme des « ____ » qui expliquent les relations entre différents concepts (ou contenus) évalués directement par les items et les dimensions.
Mini-théories
Qu’est-ce que les « mini-théories » (construits) expliquent-elles?
Les relations entre différents concepts (ou contenus) évalués directement les items et les dimensions.
Comment peuvent être nommé les dimensions dans la validité de construits?
« Facteurs » (ou construits, ou traits latents, ou variables latentes)
Comment sont expliqué les « facteurs » (ou dimensions, ou construits, ou traits latents ou variables latentes)?
Par la combinaison linéaire des contenus des items (L’association entre les concepts, contenus- les variables directement mesurables) ou même la combinaison linéaire d’autres construits.
ÉTUDIER SCHÉMAS DIAPO # 26
ÉTUDIER SCHÉMAS DIAPO # 26
Comment pouvons-nous calculer la validité de construit?
Par l’approche corrélationnelle :
- Par l’analyse multitrait-multiméthode OU
- Par l’analyse factorielle
Expliquer l’analyse multitrait-multiméthode
Une matrice de corrélation entre les résultats obtenus à différents traits (hétérotraits vs monotraits) et à différents méthodes (hétérométhode vs
monométhode)
Quels sont les résultats attendu par l’analyse multitrait-multiméthode?
+ forte corrélation entre « même trait-même méthode »
+ faible corrélation pour les traits différents-méthodes différentes
Quels sont les limites de l’analyse multitrait-multiméthode?
- Demande bcp de temps des sujets (faire plusieurs tests.. 2 temps)
- Difficulté à trouver et faire la passation de plusieurs tests qui évaluent les mêmes traits.
Vrai ou faux: Il y a toujours 2 temps à la validité multitrait-multiméthode
Vrai
Exemples de l’analyse multitrait-multiméthode pour évaluer la validité de construits
- Exemples de traits (A, B, C):
- Dépression (A), Tristesse (B), Désespoir (C)
- Exemples de méthodes (1, 2, 3):
- Observation directe (Méthode 1),
- Questionnaire papier (Méthode 2),
- Entrevue semi-structurée (Méthode 3)
Quel est le rationnel de l’analyse factorielle?
D’avoir minimalement 3 variables observées (préférablement plus) qui soient expliquées par une variable latente (Variable qui retient l’essentiel de la variance commune, variance vraie)
Par quoi est représenté la variable latente dans l’analyse factorielle (Validité de construit)
Par le facteur
Quelles sont les questions typiques d’une analyse factorielle?
(1) Combien de facteurs l’analyse nous propose?
(2) Quel est le pourcentage d’explication de la variance?
(3) Est-ce que tous les items sont valides ou existe-il des items
nécessitant une reformulation/exclusion?
Quelles sont les colonnes importantes pour l’analyse factorielle (Tableau : Total Variance Explained)
Dans la section : Extraction Sums of Squared Loadings :
- % of Variance
- Cumulative %
Que devons-nous comprendre du tableau avec les résultats de l’analyse factorielle?
- Le nbr de ligne indique le nombre de facteurs
- Le % of Variance de écrit ex au facteur 2 est le % de plus qui n’a pas été expliqué par la variance précédente et ainsi de suite ( voir le % de variance cumulative)
- % cumulative qui est considéré comme bon est entre 40 et 60%
ÉTUDIER DIAPO # 33
ÉTUDIER DIAPO # 33
Vrai ou faux : La validation de construit n’amène pas à un indice statistique unique
Vrai: plusieurs résultats qui doivent être interprétés en lien avec les éléments théoriques sur lesquels le test est basé.
Quand est-ce que la validité de construit d’un instrument (ensemble de preuves de validité) sera plus facilement mesurable?
Si la théorie utilisé est claire et bien définie.
Ex: Dans la théorie du BigFive, il y a 5 variables, donc le test doit tester les 5 dimensions pour avoir bonne validité de construit.
Quels sont les 2 types de validité de construit?
- Validité convergente
- Validité discriminante
Qui suis-je? Type de validité de construits où les résultats de l’outil devrait corréler avec les autres outils qui évaluent le même construit
Validité convergente
Qui suis-je? Type de validité de construit où l’outil ne devrait pas corréler de façon importante avec ces autres construits
Validité discriminante
