Cours 9 Flashcards
Quelle est la définition générale de la validité?
La validité est le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement!
Pourquoi est-il nécessaire de procéder au processus de validation?
Plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche étudier; alors, il est nécessaire de procéder au processus de validation!
Vrai ou faux. La validité concerne l’instrument de mesure lui-même.
Faux.
La validité ne concerne pas l’instrument de mesure lui-même (alors, ce n’est pas l’instrument que c’est valide), mais plutôt l’interprétation des résultats associés aux items et le contexte de son utilisation (clientèle et conditions générales)
Le processus de validation est une façon de déterminer _____________ qu’on peut avoir, en s’appuyant _______________
Le niveau de certitude
Aux indices obtenus
Explique comment la validité concerne le contexte d’utilisation de l’instrument de mesure (clientèle et conditions en générales)
- On doit dire qu’on a démontré de preuves de validité avec telle clientèle et avec telles conditions. La validité d’un instrument psychométrique est liée au contexte dans lequel le processus de l’accumulation de preuves a été effectué.
- L’évaluation de la validité est un processus continu d’accumulation de «preuves» ou «d’évidences».
Vrai ou faux. Il faut arrêter de considérer le nom du test comme une « preuve » ou « évidence » de ce que le test mesure.
Vrai
Comment interpréter la validité d’un test? (continuum VS dichotomique)
Un test n’est jamais valide à 100%; la validité n’est pas une affaire de «tout ou rien» (valide ou pas valide), mais plutôt une question de «degré», selon les indices de validité vérifiés.
Vrai ou faux. Il existe de multiples méthodes statistiques (et quelques-uns non strictement statistiques) pour étudier le degré de validité des instruments psychométriques (psychologiques).
Vrai.
Qu’est-ce que les Standards (2014) commence à exiger en ce qui concerne les preuves (évidences)?
«cinq sources de preuves» (p.11)
des preuves de validité basées sur : (a) le contenu du test, (b) les processus de réponse, (c) la structure interne, (d) les relations avec d’autres variables et, (e) les conséquences du test.
Quelles sont les deux sources de preuve fondamentales?
- Indices de contenu ;
- Indices de structure interne [construit, conceptuelle, théorique]
Qu’est-ce que la validité d’un instrument selon Standards (2014)?
Degré de correspondance des évidences et de la théorie à l’interprétation prévue des résultats des tests
Théorie et évidences –> Élaboration d’un test –> Administration et analyses des résultats –> Interprétation des résultats –> Est-ce que les résultats sont valides? –> Théorie et évidences
Quelles conclusions nous pouvons tirer si les résultats sont valides ou si le degré de validité est insatisfaisant?
OUI, les résultats sont valides : L’interprétation des résultats correspond à la théorie et aux évidences selon un DEGRÉ satisfaisant
DEGRÉ insatisfaisant? Pourquoi? :
On suppose que la théorie et les évidences sont bonnes…
Problèmes? Élaboration du test et études de validité du test
entre autres, étude de la validité de contenu
Qu’est-ce que le contenu d’un test?
Le contenu d’un test consiste en tous les éléments qui constituent le test (items, stimuli, consignes, format des items, etc.)
Comment le contenu d’un test influence la validité des résultats?
Toutes ces composantes (du contenu) influencent les résultats et donc, l’interprétation du test et sa validité.
D’ici, la validité de contenu du test contribue aux évidences de validité des résultats.
Que détermine la finalité du test?
La finalité du test détermine le contenu de la mesure (DeVellis & Thorpe, 2021)
Qu’est-ce que la finalité d’un test?
Où je l’utilise, qu’est-ce que je veux tester.
Avec une population cible
Vrai ou faux. La validité de contenu dépend de la finalité du test.
Vrai.
Les évidences de validité d’un test se cumulent selon…
Un processus séquentiel
(mais avec des allers-retours)
Pour avoir du sens, il est prioritaire de tester la _____________ avant de tester la ___________
- Validité de contenu
- Fidélité de la mesure
Quelle est l’une des premières définitions de la validité de contenu?
Le degré auquel les réponses d’un sujet aux items d’un test se considèrent comme un échantillon représentatif de ses réponses à un ensemble réel ou hypothétique de situations qui, ensemble, représentent la sujet d’intérêt (construit cible) de la personne qui interprète le test (Lennon, 1956).
La validité de contenu d’un instrument de mesure informe sur ______________ de la mesure à l’estimation du _____________, retenu pour la mesure (Anastasi, 1988)
- le degré d’adéquation
- construit cible
*** IMPORTANT
–> Comment ma mesure est adéquate pour le construit cible
Vrai ou faux. Contrairement à la finalité du test, la définition du construit cible ne détermine pas le contenu de la mesure.
Faux.
Comme pour la finalité du test, la définition du construit cible détermine le contenu de la mesure (Murphy & Davidshofer, 1994)
Vrai ou faux. La validité de contenu dépend du domaine de définition du contenu.
Vrai
Quels sont les deux domaine de définition de contenu?
- Domaine de définition conceptuelle du construit (contenu théorique) : l’interprétation du construit théorique (ceux que le test mesure)
- Domaine de définition opérationnelle du construit (contenu pratique): opérationnalisation du construit théorique, ou expression du construit théorique au moyen de la mesure
(représentation du construit par les items)
Quels sont les aspects du contenu?
Caractéristiques obligatoires :
* Représentatif théoriquement;
* Relevant théoriquement;
* Pertinent pratiquement;
* Dimensionnel (unidimensionnel ou multidimensionnel);
- Clair (langage);
Ajout de l’étudiante :
* Originale (élaboration créative);
* … Exclusif (sélection des items);
Qu’est-ce que la représentativité théorique?
(ou représentation du domaine [Sireci, 1998] ou complétude théorique [Balbinotti, 2005]) : le degré d’adéquation de la globalité de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique)
Qu’est-ce que la relevance théorique?
(ou représentation du domaine [Sireci, 1998] ou pertinence théorique [Balbinotti, 2005]) : le degré d’adéquation de chaque item de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique)
Qu’est-ce que la pertinence pratique?
(Balbinotti, 2005; ou relevance du domaine [Sireci, 1998]) : le degré d’adéquation de chaque item de la mesure à une certaine représentation socio-culturelle du construit (définition opérationnelle du construit; contenu pratique)
Qu’est-ce que la dimensionnalité?
(Balbinotti, 2005; ou adéquation du processus d’élaboration des tests [Sireci, 1998]) : le degré d’adéquation de chaque item de la mesure à la dimension du construit pour laquelle l’item est représentatif, relevant et pertinent (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)
Qu’est-ce que la clarté du langage?
(Balbinotti, 2005) : le degré d’adéquation du langage de chaque item de la mesure à une représentation claire du construit (définition opérationnelle du construit; contenu pratique)
Qu’est-ce que la procédure de concordance inter-juges?
- Pour déterminer la validité du contenu, les études explorent la concordance inter-juges concernant l’adéquation du contenu de la mesure à l’estimation du construit cible.
- En fonction des objectifs, les procédures se déroulent par groupe de discussion ou par remplissage de questionnaires, dans le but d’établir la concordance des juges (selon leur expertise et leur positionnement)
- Le remplissage de questionnaires implique des analyses quantitatives des données
= Alors, la collaboration des juges (ou mieux des experts!) est requise
Quel est le matériel pour les procédures de remplissage d’un questionnaire dans la concordance inter-juges?
- Le questionnaire reporte tous les items à valider (items du test ou d’une adaptation transculturelle). ATTENTION! Les items du test à valider sont les items du questionnaire MAIS les réponses aux items portent sur les aspects de la validité de contenu pour la globalité du test ou pour chacun des items.
- Une feuille de consignes accompagne le questionnaire et explique aux experts le domaine de définition du contenu (définition conceptuelle et opérationnelle de la mesure)
- Dans le questionnaire: pour la globalité du test ou pour chaque item, chacun des aspects de la validité du contenu est questionné
Vrai ou faux. L’étude explore le degré d’adéquation du test et des items à l’estimation du construit au moins par rapport aux aspects fondamentaux du contenu (représentativité et relevance théoriques, pertinence pratique, dimensionnalité).
Vrai
Quel est le matériel pour les procédures en groupe de discussion dans la concordance inter-juges?
Le domaine de définition du contenu doit être partagé aux experts (consignes) et les aspects de la validité du contenu sont discutés pour la globalité du test ou pour chaque item.
Qui sont les collaborateurs (Subject matter experts) dans la méthode de concordance inter-juges? Pourquoi employer le terme « collaborateur »?
- Les juges, un groupe d’experts dans le sujet (p.ex. psychodynamiciens, psychométriciens, personnes qui travaillent dans le domaine, personnes de la population cible, etc.).
- Le sujet s’étend au-delà du construit et de l’interprétation du construit, qui sont de référence pour l’élaboration du test
- Du point de vue éthique, les experts sont des collaborateurs au processus d’élaboration du test; ils ne sont pas des participants, mais plutôt des évaluateurs qui aident à répondre à la question de recherche.
Qu’est-ce que la consanguinité intellectuelle?
si les collaborateurs proviennent du même milieu professionnel et/ou de formation, leur collaboration à l’étude (évaluation de la validité de contenu) risque d’être davantage homogène, davantage en accord («biais!»).
[accord trop homogène]
Quel est le nombre préférable de collaborateurs dans la méthode de concordance inter-juges?
en fonction des procédures…
* Pour les groupes de discussion: nombre impaire des juges (en fait, un nombre impair permet une application tranchant du critère de la majorité)
- Pour le remplissage des questionnaires: en fonction des analyses…
Comment faire l’analyse quantitative des données par la méthode de remplissage de questionnaire (concordance inter-juges)?
[Les données sont les réponses des juges au questionnaire]
- Calcul de coefficients de concordance inter-juges (p.ex. Kappa de Cohen ou ICC, soit Coefficient de Corrélation Interclasses) : ces coefficients expriment la concordance ou l’association entre les évaluations des juges, voire entre les données
- Coefficients spécifiques à la validité du contenu (Almanasreh et al., 2019) : création des formules; p.ex. ratio de validité de contenu (CVR ; Lawshe, 1975), indice de validité du contenu (CVI), ou coefficient de validité de contenu (CVC; Hernandez-Niéto, 2002; Balbinotti, 2006)
Comment déterminer le nombre de collaborateurs lorsqu’on explore la concordance inter-juges?
consulter la littérature ! - Kappa de Cohen ou ICC: au moins 2 évaluateurs;
- CVC: entre 3 et 5 juges, Likert à 5 points;
- CVR: «work in progress» (Wilson et al., 2012)
Quelle est l’alternative de l’analyse quantitative des données dans l’exploration de la concordance inter-juges?
Malgré les analyses quantitatives, l’opinion des juges demeure subjective !!!
Alternative: conduire des analyses factorielles pour explorer les réponses au test élaboré, pas validé
* p.ex. SEM (Ding & Hershberger, 2002), B-FCVA (Spoto et al., 2023)
Toutes les démarches souhaitées (méthode utilisée) pour explorer la validité de contenu ont été conduites, mais les résultats des analyses montrent une validité de contenu insatisfaisante pour le test élaboré ou adapté :(
Comment le problème peut remonter aux types d’analyses?
Le fait d’individuer si les items représentent le construit ne renseigne pas sur les aspects du construit qui ne sont pas représentés par les items; autrement dit, le fait de quantifier la validité de contenu ne répond pas à la nécessité d’apporter une attention accrue à la selection ou élaboration des items (Gregory, 2004)
Toutes les démarches souhaitées (méthode utilisée) pour explorer la validité de contenu ont été conduites, mais les résultats des analyses montrent une validité de contenu insatisfaisante pour le test élaboré ou adapté :(
Comment le problème peut remonter à l’élaboration des items (item-writing) ?
- Problématique 1 : plusieurs facteurs influencent la rédaction des items et il n’y a pas assez d’études à ce sujet, ni assez des standards/indications communes/guidelines (Haladyna et al., 2002; Hambleton & Zenisky, 2011)
- Problématique 2 : à propos de l’élaboration des items, les auteurs ne partagent pas suffisamment d’informations ou ils ne partagent pas les éléments problématiques (Clifton et al., 2023)
Quelle(s) solution(s) pouvons-nous proposer à la problématique suivante : à propos de l’élaboration des items, les auteurs ne partagent pas suffisamment d’informations ou ils ne partagent pas les éléments problématiques (Clifton et al., 2023).
Solution: standardiser la transmission des informations, tenir un journal d’élaboration du test, open sciences, honnêteté intellectuelle, etc.
- explication détaillée de la méthode de traduction des items à adapter
Quelle(s) solution(s) pouvons-nous proposer à la problématique suivante : plusieurs facteurs d’influence et pas assez d’études à ce sujet ni des «guidelines» (Haladyna et al., 2002; Hambleton & Zenisky, 2011)
- créer un mini-guideline-maison pour accompagner dans la traduction et adaptation de la mesure,
- impliquer des experts en traductologie
Qu’est-ce que la Machine Learning (ML)?
procédure qui se rapproche à l’analyse discriminante et au système d’IA (prédicteurs)
Quelle limite vient avec l’application du ML à la validité de contenu?
Interprétabilité des procédures du ML; de plus, les résultats (topics du contenu) ne sont pas nécessairement les dimensions du test à valider
Dans l’application du ML à la validité de contenu, que faut-il demander aux juges en plus?
Exclusivité de l’item (interpretation; inspire de Gregory, 2004)
Originalité des items (Haladyna et al., 2002)
Qu’est-ce que la validité basée sur la structure interne?
- Représente le type de validité la plus importante
- Fait référence à la manière dont les différents éléments d’un test ou d’une échelle se comportent ensemble pour mesurer le construit théorique visé (Balbinotti, 2005, 2023, 2024).
- Anciennement appelée validité de construit (APA, 1966)
Qu’est-ce qu’examine la validité basée sur la structure interne?
Elle examine la cohérence interne et la correspondance entre la structure théorique d’un instrument et la structure observée dans les données empiriques (AERA, APA, & NCME, 2014).
–> Elle permet de déterminer dans quelle mesure les différents items d’un test mesurent un même construit latent.
Par rapport à la validité basée sur la structure interne, quel est son lien avec l’analyse factorielle?
Si les items ne sont pas cohérents, l’AF (analyse factorielle) ne fonctionne pas et elle n’est pas pertinente
De quoi résulte les construits latents qu’on cherche souvent à étudier en psychologie?
D’une élaboration psychosociale et / ou théorique (p. ex., intelligence, personnalité, dépression, motivation, etc.)
Vrai ou faux. Les construits latents sont directement mesurables.
Faux
Qu’est-ce que représentent les construits latents?
Des « mini-théories » qui expliquent les relations entre différents concepts évalués par les items (comportements mesurables).
- Cela représente les dimensions (ou facteurs) !
Quelles sont les deux façons robustes de calculer la validité de construit?
- L’analyse factorielle
- L’analyse multitrait-multiméthode
Qu’est-ce que la validité convergente?
Tester la force de l’association entre les résultats des items de l’échelle cible et les autres qui mesurent le même construit. En ce sens, les résultats de l’outil devrait corréler avec les autres outils qui évaluent le même construit.
Qu’est-ce que la validité divergente (ou discriminante)?
Vérifier à quel point les résultats des items de l’échelle cible s’écarte d’autres mesures de construits différents. En ce sens, l’outil ne devrait pas corréler de façon importante avec ces autres construits.
Quel est le rationnel de l’analyse factorielle?
D’avoir au moins 3 (ou plus) variables observées (comportements mesurables) qui sont corrélées entre elles sur une nouvelle variable (construit latent) qui retient l’essentiel de la variance commune.
Que permet d’identifier l’analyse factorielle?
Elle permet d’identifier les dimensions principales d’un ensemble d’items et de regrouper les items qui mesurent des aspects similaires d’un concept (Balbinotti, 2005, 2023)
Quels sont les types d’analyse factorielle?
AF Exploratoire : utilisée pour déterminer la structure factorielle d’un instrument.
AF Confirmatoire : permet de tester l’adéquation des données à un modèle prédéfini et d’évaluer la pertinence des dimensions identifiées
La matrice de corrélation sert de base pour :
- Évaluer la pertinence de l’AFE : Elle vérifie les corrélations entre les variables (on souhaite obtenir des corrélations entre 0,25 et 0,85).
- Extraire les facteurs : Permet d’identifier les relations linéaires qui peuvent être expliquées par des facteurs latents.
- Interpréter les résultats : Les charges factorielles dérivées de la matrice de corrélation permettent de donner un sens aux facteurs.
Négliger la matrice de corrélation peu conduire à …
des AF invalides et à des conclusions erronées.
Quels sont les barèmes dans la matrice de corrélation?
0,85 : suggère colinéarité (pas pertinent d’extraire les facteurs)
0,25 : ce ne sera pas possible d’extraire des facteurs
Que permet le déterminant?
- D’évaluer la (multi)colinéarité des variables : Un déterminant proche de 0 indique une forte colinéarité entre les variables, suggérant que certaines variables pourraient être redondantes.
- De vérifier la faisabilité de l’AFE : Un déterminant faible (< 0,0001) montre que les variables partagent beaucoup de variance commune, ce qui rend l’AFE appropriée. Un déterminant élevé (> 0,1) pourrait signifier que l’AFE n’est pas adaptée.
- D’optimiser la qualité du modèle : En ajustant les variables pour réduire la multicolinéarité, on peut améliorer la robustesse des résultats de l’AF.
Le déterminant de la matrice de corrélation est un indicateur clé pour évaluer ____________ et garantir la validité _______________, aidant les chercheurs à mieux comprendre les _______________ entre les _____________.
- la multicolinéarité
- des résultats de l’AFE
- relations complexes
- variables
Que permet l’indice KMO?
- D’évaluer l’adéquation des données - permet de déterminer si les données sont appropriées pour une AF
- D’assurer la pertinence des facteurs - un KMO élevé (proche de 1) indique que les facteurs extraits sont fiables et représentatifs des relations entre les variables
Qu’est-ce que le test Barlett permet?
- D’évaluer la faisabilité de l’AFE - un test significatif (p < 0,05) suggère que les corrélations entre les variables sont suffisamment grandes pour envisager une AF
- De renforcer la validité de l’analyse - en rejetant H0 (absence de corrélation) en obtenant un p < 0,05, le test de Bartlett assure que les données présentent des structures latentes à explorer
Quel sont les barèmes pour l’indice KMO et le test de Barlett?
- En bas de 0,5 : On ne regarde même pas les résultats (la qualité de l’échantillonnage des items n’est pas bonne)
- Entre 0,5 et 0,6 : Regarde les résultats, mais on relativise l’interprétation et les conclusions. Place à améliorer le contenu des items
- Entre 0,6 et 0,7 : C’est acceptable
- Entre 0,7 et 0,8 : Bon, adéquat.
- Entre 0,8 et 0,9 : Très adéquat
- 0,9 et + : C’est merveilleux
Comment on qualifie une absence de corrélation entre les variables dans l’indice KMO et le test de Barlett?
Ici H0 renvoie à une absence de corrélation entre les variables, ce qu’on appelle une matrice identité (r < 20)
Dans l’extraction des facteurs, que permet la variance totale expliquée?
- Déterminer le nombre optimal de facteurs à retenir
- Évaluer l’adéquation du modèle factoriel
- Assurer la validité des conclusions
Vrai ou faux. Dans l’extraction des facteurs [Variance totale expliquée], on peut connaître le pourcentage de la variance commune.
Faux.
Comment interpréter le tracé d’effondrement?
Une ligne verticale : facteur retenu
[Même si le troisième facteur est plus vertical, on ne regarde techniquement pas la ligne puisqu’on s’est arrêté lorsque la deuxième ligne a été considérée comme horizontale.]
Qu’est-ce qu’on cherche à savoir dans la matrice de forme?
On cherche à savoir le point de convergence entre les items qui saturent dans un même facteur
Que permet la matrice de forme?
Elle permet donc de déterminer la saturation factorielle
Permet de connaitre le nombre de dimensions intrinsèques à notre mesure
Quel est le point de rupture de la matrice de forme?
0,3
Qu’est-ce que présente la matrice de forme?
Présente les corrélations brutes entre les variables observées et les facteurs extraits sans tenir compte des relations complexes entre les facteurs
Pourquoi les résultats de la matrice de forme peuvent être à prendre avec parcimonie?
** Les résultats sont à prendre avec parcimonie puisque l’échantillon des participants n’est pas assez gros pour conclure de façon “définitive”.
Qu’est-ce que l’analyse multitrait-multimodale?
Il s’agit d’une matrice de corrélation entre les résultats obtenus à différents traits (hétérotrait VS monotrait) et à différentes méthodes (hétérométhode VS monométhode).
À quoi on s’attend dans l’analyse multitrait-multimodale?
On s’attend à ce que la plus forte corrélation soit trouvé pour un même trait, même méthode; et que la plus faible corrélation soit trouvé pour des traits différents - méthodes différentes.
Quelle est la limite de l’analyse multitrait-multimodale?
Demande beaucoup de temps de la part des sujets (faire plusieurs tests… 2 temps) + difficulté à trouver et faire la passation de plusieurs tests qui évaluent les mêmes traits
Comment y a t-il deux temps à la validité multitrait-multiméthode?
Il y a toujours deux temps à la validité multitrait-multiméthode, qui sont représentés par les axes des abcisses (x) et des ordonnées (y)
Fournis des exemples de traits et de méthodes dans l’analyse multitrait-multiméthode.
- Exemples de traits (A, B, C) :
- Dépression (A), Tristesse (B), Désespoir (C)
- Exemples de méthodes (1, 2, 3)
- Observation directe (Méthode 1),
- Questionnaire papier (Méthode 2),
- Entrevue semi-structurée (Méthode 3)
Comme vous pouvez bien noter, le résultats du processus de la validité basée sur la structure interne n’amène pas à __________________, mais bien à ______________ qui doivent être interprétés en lien avec les _______________ sur lesquels le test est base.
La validité basée sur la structure interne d’un instrument (ensemble de preuves de validité) sera plus facilement mesurable si ____________________________________.
- un indice statistique unique
- plusieurs résultats
- éléments théoriques
- la théorie utilisée est claire et bien définie
