Cours 8 - Validité basée sur le contenu

Question 1

Qu’est ce que la définition générale?

Answer 1

La validité est le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement!

Question 2

Plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche étudier; que doit-on faire alors?

Answer 2

Plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche étudier; alors, il est nécessaire de procéder au processus de validation!

Question 3

Qu’est la validité concerne?

Answer 3

La validité ne concerne pas l’instrument de mesure lui-même (alors, ce n’est pas l’instrument que c’est valide), mais plutôt l’interprétation des résultats associés aux items

- le processus de validation est une façon de déterminer le niveau de certitude qu’on peut avoir, en s’appuyant aux indices obtenus.

Question 4

Vrai ou faux, la validité concerne l’instrument de mesure lui-même

Answer 4

Faux, La validité ne concerne pas l’instrument de mesure lui-même (alors, ce n’est pas l’instrument que c’est valide), mais plutôt l’interprétation des résultats associés aux items.

Question 5

Vrai ou faux, le processus de validation est une façon de déterminer le niveau de certitude qu’on peut avoir, en s’appuyant aux indices obtenus

Answer 5

Vrai

Question 6

Qu’est ce qui est une façon de déterminer le niveau de certitude qu’on peut avoir, en s’appuyant aux indices obtenus?

Answer 6

Le processus de validation

Question 7

Est ce que la validité concerne l’instrument de mesure lui-même?

Answer 7

La validité ne concerne pas l’instrument de mesure lui-même (alors, ce n’est pas l’instrument que c’est valide), mais plutôt le contexte de son utilisation (clientèle et conditions en générales) :

• on doit dire qu’on a démontré de preuves de validité avec telle clientèle et avec telles conditions. La validité d’un instrument psychométrique est liée au contexte dans lequel le processus de l’accumulation de preuves a été effectué.
• l’évaluation de la validité est un processus continu d’accumulation de «preuves» ou «d’évidences».

Question 8

Que comprend le contexte d’utilisation de l’instrument?

Answer 8

• on doit dire qu’on a démontré de preuves de validité avec telle clientèle et avec telles conditions. La validité d’un instrument psychométrique est liée au contexte dans lequel le processus de l’accumulation de preuves a été effectué.
• l’évaluation de la validité est un processus continu d’accumulation de «preuves» ou «d’évidences».

Question 9

Vrai ou faux, la validité d’un instrument psychométrique est liée au contexte dans lequel le processus de l’accumulation de preuves a été effectué.

Answer 9

Vrai

Question 10

Qu’est ce que l’évaluation de la validité?

Answer 10

• l’évaluation de la validité est un processus continu d’accumulation de «preuves» ou «d’évidences».

Question 11

Pourquoi il faut arrêter de considérer le nom du test comme une «preuve» ou «évidence» de ce que le test mesure?

Answer 11

Car un test n’est jamais valide à 100%; la validité n’est pas une affaire de «tout ou rien» (valide ou pas valide), mais plutôt une question de «degré», selon les indices de validité vérifiés.

Question 12

Vrai ou faux, la validité est une affaire de «tout ou rien» (valide ou pas valide)

Answer 12

Faux, un test n’est jamais valide à 100%; la validité n’est pas une affaire de «tout ou rien» (valide ou pas valide), mais plutôt une question de «degré», selon les indices de validité vérifiés.

Question 13

Vrai ou faux, Il existe de multiples méthodes statistiques (et quelques-uns non strictement statistiques) pour étudier le degré de validité des instruments psychométriques (psychologiques);

Answer 13

Vrai

Question 14

En ce qui concerne les preuves (les évidences), actuellement les Standards (2014) commencent à exiger, spécifiquement, «cinq sources de preuves», lesquels?

Answer 14

Des preuves de validité basées sur :
(a) le contenu du test
(b) les processus de réponse
(c) la structure interne
(d) les relations avec d’autres variables
(e) les conséquences du test.

Question 15

Nommer les deux sources les plus fondamentales de la validation?

Answer 15

• Indices de contenu
• Indices de structure interne [construit, conceptuelle, théorique]

Question 16

Qu’est ce que la validité d’un instrument de mesure?

Answer 16

Validité d’un instrument de mesure: degré de correspondance des évidences et de la théorie à l’interprétation prévue des résultats des tests (Standards; 2014)*

Question 17

Quel sont les étapes nécessaire afin qu’on puisse assumer que les résultats sont valide?

Answer 17

1 - Théorie et évidences
2 - Élaboration d’un test
3 - Administration et analyses des résultats
4 - Interprétation des résultats
5 - Est-ce que les résultats sont valides?
Théorie et évidences

Question 18

À quoi correspond l’interprétation des résultats?

Answer 18

L’interprétation des résultats correspond à la théorie et aux évidences selon un DEGRÉ satisfaisant

Question 19

DEGRÉ insatisfaisant? Pourquoi?
On suppose que la théorie et les évidences sont bonnes… ou est le problèmes?

Answer 19

Le problème concerne l’élaboration du test et des études de validité du test entre autres, étude de la validité de contenu

Question 20

En quoi consiste le contenu?

Answer 20

Le contenu d’un test consiste en tous les éléments qui constituent le test.

Le test consiste en (Rusticus, 2023):

Ex. les items, les stimuli, les consignes,…

Toutes ces composantes influencent les résultats et donc, l’interprétation du test et sa validité.

D’ici, la validité de contenu du test contribue aux évidences de validité des résultats.

Question 21

Qu’est-ce que la finalité d’un test?

Answer 21

La finalité du test détermine le contenu de la mesure (DeVellis & Thorpe, 2021)
- Population cible

Quand on élabore un test, je dois penser à la finalité de mon test, on parle alors de population cible. Exemple des filles joueuses de soccer québécoise, c’est un publique cible, qui ne pourrait pas être mis sur une équipe masculine ou une équipe qui provient d’ailleurs.

Question 22

Selon quoi les évidences de validité d’un test se cumulent?

Answer 22

Les évidences de validité d’un test se cumulent selon un processus séquentiel

Question 23

Qu’est-ce qu’un processus séquentiel?

Answer 23

Les évidences de validité d’un test se cumulent selon un processus séquentiel
- Pour “avoir du sens” , il est prioritaire de tester la validité de contenu avant de tester la fidelité de la mesure (Norbeck et al., 1981)

Question 24

Vrai ou faux, Pour “avoir du sens” , il est prioritaire de tester la fidélité de contenu avant de tester la validité de la mesure

Answer 24

Faux, Pour “avoir du sens” , il est prioritaire de tester la validité de contenu avant de tester la fidélité de la mesure

Question 25

Nommez ce qu’était une des premières définitions de la validité des contenus

Answer 25

Le degré auquel les réponses d’un sujet aux items d’un test se considèrent comme un ÉCHANTILLON REPRÉSENTATIF de ses réponses (de ses sujets là) à un ensemble réel ou hypothétique de situations qui, ensemble, représentent la sujet d’intérêt (construit cible) de la personne qui interprète le test (Lennon, 1956).

La validité de contenu d’un instrument de mesure informe sur le degré d’adéquation de la mesure à l’estimation du «construit cible » (target), retenu pour la mesure (Anastasi, 1988).

Question 26

Qu’est-ce qui informe sur le degré d’adéquation de la mesure à l’estimation du «construit cible » (target), retenu pour la mesure (Anastasi, 1988)?

Answer 26

La validité de contenu d’un instrument de mesure

Question 27

Qu’est-ce qui détermine le contenu de la mesure?

Answer 27

La finalité du test et la définition du construit cible

Question 28

Vrai ou faux ? Il faut commencer par la validité du contenu car sans c’est inutile de continuer.

Answer 28

Vrai Il permet d’avoir un échantillon représentatif. Si je ne sais pas ce que je veux mesurer, alors c’est flou. Je n’arriverai pas à le communiquer.

Question 29

La validité de contenu dépend du domaine de définition du contenu, nommer deux domaine.

Answer 29

1 - Domaine de définition conceptuelle du construit (contenu théorique) : l’interprétation du construit théorique (ceux que le test mesure)

2 - Domaine de définition opérationnelle du construit (contenu pratique): opérationnalisation du construit théorique, ou expression du construit théorique au moyen de la mesure (représentation du construit par les items)

Question 30

Qu’est-ce que le domaine de définition conceptuel du construit?

Answer 30

Contenu théorique : - l’interprétation du construit théorique (ceux que le test mesure)

Question 31

Qu’est-ce qui est le domaine de définition opérationnelle du construit?

Answer 31

Contenu pratique : opérationnalisation du construit théorique, ou expression du construit théorique au moyen de la mesure (représentation du construit par les items)

Question 32

Quels sont les aspects du contenu par rapport au construit?

Answer 32

Par rapport au construit, le contenu est :
1- Représentatif théoriquement;

2- Relevant théoriquement;

3- Pertinent pratiquement;

4- Dimensionnel (unidimensionnel ou multidimensionnel);
- narcissisme (tout mes items) coté grandiose (unidimensionnel), coté fierté du narcissisme (plusieurs facettes du construit = multidimensionnel)

5- Clair (langage); (si pas clair vas peut être mal réponde à cause de la formulation

6- Originale (élaboration créative, pas obligatoire);

7- … Exclusif (sélection des items);

Question 33

Je veux mesurer le narcissisme

Answer 33

Domaine Conceptuelle

Question 34

Mise en fonction de ma théorie, utilisation du terme pour le mettre en fonction dans la réalité.

Answer 34

Domaine opérationnel

Question 35

Au niveau de l’aspect du contenu, lorsque l’on arrive devant un examen, on s’attend à certaines choses. Nommez ces certaines choses selon les aspects du contenu

Answer 35

Face à l’examen, on s’attend a des questions liés au cours, on pense que cela vas être cohérent, aspect du contenu, dans le cadre de mesures psychologiques. (4 premiers éléments très important, coulés dans le béton, obligatoire)

Question 36

Quels sont les 4 éléments de l’aspect du contenu qui sont très très très très très très très importants?

Answer 36

1- Représentatif théoriquement;

2- Relevant théoriquement;

3- Pertinent pratiquement;

4- Dimensionnel (unidimensionnel ou multidimensionnel);

Question 37

Qu’est ce qu’elle a représentativité théorique?

Answer 37

Représentativité théorique ou
représentation du domaine ou
complétude théorique

C’est le degré d’adéquation de la globalité de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique)

Question 38

Qu’est-ce que la relevance théorique?

Answer 38

Relevance théorique ou
Représentation du domaine ou
Pertinence théorique

C’est le degré d’adéquation de chaque item de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique) Importance théorique ( 5 items par dimensions, devrait pas avoir 1 item par dimension…)

Question 39

Qu’est-ce que la pertinence pratique?

Answer 39

Pertinence pratique ou
Relevance du domaine

C’est le degré d’adéquation de chaque item de la mesure à une certaine représentation socio-culturelle du construit (définition opérationnelle du construit; contenu pratique) Ex : Chine vs Québec

Question 40

Qu’est-ce que la dimensionnalité?

Answer 40

Dimensionnalité ou
Adéquation du processus d’élaboration des tests

C’est le degré d’adéquation de chaque item de la mesure à la dimension du construit pour laquelle l’item est représentatif, relevant et pertinent (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)

Question 41

Qu’est-ce que la clarté du langage?

Answer 41

Le degré d’adéquation du langage de chaque item de la mesure à une représentation claire du construit (définition opérationnelle du construit; contenu pratique)

Question 42

Nommer une façon de déterminer la validité du contenu.

Answer 42

Pour déterminer la validité du contenu, les études explorent la concordance inter-juges concernant l’adéquation du contenu de la mesure à l’estimation du construit cible.

Question 43

Comment fonctionne la concordance inter-juge?

Answer 43

En fonction des objectifs, les procédures se déroulent par GROUPE DE DISCUSSION ou par REMPLISSAGE DE QUESTIONNAIRES, dans le but d’établir la concordance des juges (selon leur expertise et leur positionnement)
Le remplissage de questionnaires implique des analyses quantitatives des données

Alors, la collaboration des juges (ou mieux des experts!) est requise…

Question 44

Sur quoi porte le questionnaire qui est donné au juge

Answer 44

Le questionnaire reporte tous les items à valider (items du test ou d’une adaptation transculturelle). ATTENTION! Les items du test à valider sont les items du questionnaire MAIS les réponses aux items portent sur les aspects de la validité de contenu pour la globalité du test ou pour chacun des items.

Question 45

Vrai ou faux, les items du test à valider sont les items du questionnaire MAIS les réponses aux items portent sur les aspects de la validité de contenu pour la globalité du test ou pour chacun des items.

Answer 45

Vrai

Question 46

Que faut-il remettre avec le questionnaire pour qu’il y ait un test inter-juge?

Answer 46

Une feuille de consignes accompagne le questionnaire et explique aux experts le domaine de définition du contenu (définition conceptuelle et opérationnelle de la mesure)

Question 47

Vrai ou faux? Dans le questionnaire, la grande majorité des items sont inspectés et questionnés, mais pas tous.

Answer 47

Faux, Dans le questionnaire: pour la globalité du test ou pour chaque item, chacun des aspects de la validité du contenu est questionné

Question 48

Que cherche t on à trouver avec un test interjuge?

Answer 48

l’étude explore le degré d’adéquation du test et des items à l’estimation du construit au moins par rapport aux aspects fondamentaux du contenu (représentativité et relevance théoriques, pertinence pratique, dimensionnalité)

Question 49

Vrai ou faux, le domaine de définition du contenu doit être partagé aux experts (consignes) et les aspects de la validité du contenu sont discutés pour la globalité du test ou pour chaque item.

Answer 49

Vrai

Question 50

Qu’est ce que : Subject matter experts (SMEs) ?

Answer 50

Les juges, un groupe d’experts dans le sujet (p.ex. psychodynamiciens, psychométriciens, personnes qui travaillent dans le domaine, personnes de la population cible, etc.).

Le sujet s’étend au-delà du construit et de l’interprétation du construit, qui sont de référence pour l’élaboration du test

Du point de vue éthique, les experts sont des collaborateurs au processus d’élaboration du test; ils ne sont pas des participants, mais plutôt des évaluateurs qui aident à répondre à la question de recherche.

Question 51

Qu’est-ce que la consanguinité intellectuelle?

Answer 51

Si les collaborateurs proviennent du même milieu professionnel et/ou de formation, leur collaboration à l’étude (évaluation de la validité de contenu) risque d’être davantage homogène, davantage en accord («biais!»). (leurs accord est alors biaisé, même prof, même education, certaines perspective)

Question 52

Combien il doit-il y avoir de collaborateurs?

Answer 52

Nombre de collaborateurs : en fonction des procédures…

Pour les groupes de discussion: nombre impaire des juges (en fait, un nombre impair permet une application tranchant du critère de la majorité)

Pour le remplissage des questionnaires: en fonction des analyses…

Question 53

Qui sont les juges?

Answer 53

Les juges sont des personnes expertes au niveau du sujet, le sujet est plus vaste au niveau du sujet, c’est la psychodynamiques. Expertes selon mon construit ou sur un sujet un peu plus vastes.
Psychométriciennes, personne qui ont travaillé avec des narcissisme, personne expert en narcissismes…

Question 54

Qu’est-ce que le calcul du coefficient de concordance inter-juge?

Answer 54

Calcul de coefficients de concordance inter-juges (p.ex. Kappa de Cohen ou ICC, soit Coefficient de Corrélation Interclasses) :

Ces coefficients expriment la concordance ou l’association entre les évaluations des juges, voire entre les données

Question 55

Qu’est-ce que le coefficient spécifique à la validité du contenu?

Answer 55

Création des formules; p.ex.
1- ratio de validité de contenu (CVR )
2- indice de validité du contenu (CVI)
3- coefficient de validité de contenu (CVC)

Question 56

Combien faut-il d’évaluateurs pour le Kappa de Cohen ou ICC?

Answer 56

Kappa de Cohen ou ICC: au moins 2 évaluateurs; (permet d’évaluation la concordance entre les données)

Question 57

Combien faut-il d’évaluateurs pour le ratio de validité du contenu CVR?

Answer 57

• CVR: «work in progress» (Wilson et al., 2012)

Question 58

Combien faut-il d’évaluateur pour évaluer le coefficient de validité des contenus (CVC)

Answer 58

• CVC: entre 3 et 5 juges, Likert à 5 points;

Question 59

Vrai ou faux? Grâce aux analyses quantitatives, l’opinion des juges est objective?

Answer 59

FAUX, Malgré les analyses quantitatives, l’opinion des juges demeure subjective !!!

Question 60

Quelles alternatives est-ce qu’on peut prendre pour que l’opinion des juges soit davantage objective?

Answer 60

Alternative: conduire des analyses factorielles pour explorer les réponses au test élaboré, pas validé
p.ex. SEM (Ding & Hershberger, 2002), B-FCVA (Spoto et al., 2023)

Question 61

Toutes les démarches souhaitées (méthode utilisée) pour explorer la validité de contenu ont été conduites, mais les résultats des analyses montrent une validité de contenu insatisfaisante pour le test élaboré ou adapté
Ou est donc le problème Sherlock?

Answer 61

1- Peut-être que le problème remonte aux types d’analyses!
Le fait d’individuer si les items représentent le construit ne renseigne pas sur les aspects du construit qui ne sont pas représentés par les items; autrement dit, le fait de quantifier la validité de contenu ne répond pas à la nécessité d’apporter une attention accrue à la selection ou élaboration des items (Gregory, 2004)

2- Peut-être que le problème remonte à l’élaboration des items!
«item-writing» dans la littérature

Problématique 1 : plusieurs facteurs influencent la rédaction des items et il n’y a pas assez d’études à ce sujet, ni assez des standards/indications communes/guidelines

Problématique 2 : à propos de l’élaboration des items, les auteurs ne partagent pas suffisamment d’informations ou ils ne partagent pas les éléments problématiques

Question 62

Pourquoi est-ce que le problème pourrait remonter au type d’analyse?

Answer 62

Car le fait d’individuer si les items représentent le construit ne renseigne pas sur les aspects du construit qui ne sont pas représentés par les items; autrement dit, le fait de quantifier la validité de contenu ne répond pas à la nécessité d’apporter une attention accrue à la selection ou élaboration des items

Question 63

Quelles sont les 2 problématiques dues au fait que le problème remonte à l’élaboration des items?

Answer 63

Problématique 1 : plusieurs facteurs influencent la rédaction des items et il n’y a pas assez d’études à ce sujet, ni assez des standards/indications communes/guidelines

Problématique 2 : à propos de l’élaboration des items, les auteurs ne partagent pas suffisamment d’informations ou ils ne partagent pas les éléments problématiques