Cours 9

Question 1

Quelle est la définition générale de la validité?

Answer 1

La validité est le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement!

Question 2

Pourquoi est-il nécessaire de procéder au processus de validation?

Answer 2

Plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche étudier; alors, il est nécessaire de procéder au processus de validation!

Question 3

Vrai ou faux. La validité concerne l’instrument de mesure lui-même.

Answer 3

Faux.

La validité ne concerne pas l’instrument de mesure lui-même (alors, ce n’est pas l’instrument que c’est valide), mais plutôt l’interprétation des résultats associés aux items et le contexte de son utilisation (clientèle et conditions générales)

Question 4

Le processus de validation est une façon de déterminer _____________ qu’on peut avoir, en s’appuyant _______________

Answer 4

Le niveau de certitude
Aux indices obtenus

Question 5

Explique comment la validité concerne le contexte d’utilisation de l’instrument de mesure (clientèle et conditions en générales)

Answer 5

• On doit dire qu’on a démontré de preuves de validité avec telle clientèle et avec telles conditions. La validité d’un instrument psychométrique est liée au contexte dans lequel le processus de l’accumulation de preuves a été effectué.
• L’évaluation de la validité est un processus continu d’accumulation de «preuves» ou «d’évidences».

Question 6

Vrai ou faux. Il faut arrêter de considérer le nom du test comme une « preuve » ou « évidence » de ce que le test mesure.

Answer 6

Vrai

Question 7

Comment les indices de validité peuvent être présentés?

Answer 7

Un test n’est jamais valide à 100%; la validité n’est pas une affaire de «tout ou rien» (valide ou pas valide), mais plutôt une question de «degré», selon les indices de validité vérifiés.

Question 8

Vrai ou faux. Il existe de multiples méthodes statistiques (et quelques-uns non strictement statistiques) pour étudier le degré de validité des instruments psychométriques (psychologiques).

Answer 8

Vrai.

Question 9

Qu’est-ce que les Standards (2014) commence à exiger en ce qui concerne les preuves (évidences)?

Answer 9

«cinq sources de preuves» (p.11)

des preuves de validité basées sur : (a) le contenu du test, (b) les processus de réponse, (c) la structure interne, (d) les relations avec d’autres variables et, (e) les conséquences du test.

Question 10

Quelles sont les deux sources de preuve fondamentales?

Answer 10

• Indices de contenu ;
• Indices de structure interne [construit, conceptuelle, théorique]

Question 11

Qu’est-ce que la validité d’un instrument selon Standards (2014)?

Answer 11

Degré de correspondance des évidences et de la théorie à l’interprétation prévue des résultats des tests

Théorie et évidences –> Élaboration d’un test –> Administration et analyses des résultats –> Interprétation des résultats –> Est-ce que les résultats sont valides? –> Théorie et évidences

Question 12

Quelles conclusions nous pouvons tirer si les résultats sont valides ou si le degré de validité est insatisfaisant?

Answer 12

OUI, les résultats sont valides : L’interprétation des résultats correspond à la théorie et aux évidences selon un DEGRÉ satisfaisant

DEGRÉ insatisfaisant? Pourquoi? :
On suppose que la théorie et les évidences sont bonnes…

Problèmes? Élaboration du test et études de validité du test
entre autres, étude de la validité de contenu

Question 13

Qu’est-ce que le contenu d’un test?

Answer 13

Le contenu d’un test consiste en tous les éléments qui constituent le test (items, stimuli, consignes, format des items, etc.)

Question 14

Comment le contenu d’un test influence la validité des résultats?

Answer 14

Toutes ces composantes (du contenu) influencent les résultats et donc, l’interprétation du test et sa validité.

D’ici, la validité de contenu du test contribue aux évidences de validité des résultats.

Question 15

Que détermine la finalité du test?

Answer 15

La finalité du test détermine le contenu de la mesure (DeVellis & Thorpe, 2021)

Question 16

Qu’est-ce que la finalité d’un test?

Answer 16

Où je l’utilise, qu’est-ce que je veux tester.

Avec une population cible

Question 17

Vrai ou faux. La validité de contenu dépend de la finalité du test.

Answer 17

Vrai.

Question 18

Les évidences de validité d’un test se cumulent selon…

Answer 18

Un processus séquentiel
(mais avec des allers-retours)

Question 19

Pour avoir du sens, il est prioritaire de tester la _____________ avant de tester la ___________

Answer 19

• Validité de contenu
• Fidélité de la mesure

Question 20

Quelle est l’une des premières définitions de la validité de contenu?

Answer 20

Le degré auquel les réponses d’un sujet aux items d’un test se considèrent comme un échantillon représentatif de ses réponses à un ensemble réel ou hypothétique de situations qui, ensemble, représentent la sujet d’intérêt (construit cible) de la personne qui interprète le test (Lennon, 1956).

Question 21

La validité de contenu d’un instrument de mesure informe sur ______________ de la mesure à l’estimation du _____________, retenu pour la mesure (Anastasi, 1988)

Answer 21

• le degré d’adéquation
• construit cible

*** IMPORTANT
–> Comment ma mesure est adéquate pour le construit cible

Question 22

Vrai ou faux. Contrairement à la finalité du test, la définition du construit cible ne détermine pas le contenu de la mesure.

Answer 22

Faux.
Comme pour la finalité du test, la définition du construit cible détermine le contenu de la mesure (Murphy & Davidshofer, 1994)

Question 23

Vrai ou faux. La validité de contenu dépend du domaine de définition du contenu.

Answer 23

Vrai

Question 24

Quels sont les deux domaine de définition de contenu?

Answer 24

• Domaine de définition conceptuelle du construit (contenu théorique) : l’interprétation du construit théorique (ceux que le test mesure)
• Domaine de définition opérationnelle du construit (contenu pratique): opérationnalisation du construit théorique, ou expression du construit théorique au moyen de la mesure

(représentation du construit par les items)

Question 25

Quels sont les aspects du contenu?

Answer 25

Caractéristiques obligatoires :
* Représentatif théoriquement;
* Relevant théoriquement;
* Pertinent pratiquement;
* Dimensionnel (unidimensionnel ou multidimensionnel);

• Clair (langage);

Ajout de l’étudiante :
* Originale (élaboration créative);
* … Exclusif (sélection des items);

Question 26

Qu’est-ce que la représentativité théorique?

Answer 26

(ou représentation du domaine [Sireci, 1998] ou complétude théorique [Balbinotti, 2005]) : le degré d’adéquation de la globalité de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique)

Question 27

Qu’est-ce que la relevance théorique?

Answer 27

(ou représentation du domaine [Sireci, 1998] ou pertinence théorique [Balbinotti, 2005]) : le degré d’adéquation de chaque item de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique)

Question 28

Qu’est-ce que la pertinence pratique?

Answer 28

(Balbinotti, 2005; ou relevance du domaine [Sireci, 1998]) : le degré d’adéquation de chaque item de la mesure à une certaine représentation socio-culturelle du construit (définition opérationnelle du construit; contenu pratique)

Question 29

Qu’est-ce que la dimensionnalité?

Answer 29

(Balbinotti, 2005; ou adéquation du processus d’élaboration des tests [Sireci, 1998]) : le degré d’adéquation de chaque item de la mesure à la dimension du construit pour laquelle l’item est représentatif, relevant et pertinent (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)

Question 30

Qu’est-ce que la clarté du langage?

Answer 30

(Balbinotti, 2005) : le degré d’adéquation du langage de chaque item de la mesure à une représentation claire du construit (définition opérationnelle du construit; contenu pratique)

Question 31

Qu’est-ce que la procédure de concordance inter-juges?

Answer 31

• Pour déterminer la validité du contenu, les études explorent la concordance inter-juges concernant l’adéquation du contenu de la mesure à l’estimation du construit cible.
• En fonction des objectifs, les procédures se déroulent par groupe de discussion ou par remplissage de questionnaires, dans le but d’établir la concordance des juges (selon leur expertise et leur positionnement)
  • Le remplissage de questionnaires implique des analyses quantitatives des données

= Alors, la collaboration des juges (ou mieux des experts!) est requise

Question 32

Quel est le matériel pour les procédures de remplissage d’un questionnaire dans la concordance inter-juges?

Answer 32

• Le questionnaire reporte tous les items à valider (items du test ou d’une adaptation transculturelle). ATTENTION! Les items du test à valider sont les items du questionnaire MAIS les réponses aux items portent sur les aspects de la validité de contenu pour la globalité du test ou pour chacun des items.
• Une feuille de consignes accompagne le questionnaire et explique aux experts le domaine de définition du contenu (définition conceptuelle et opérationnelle de la mesure)
• Dans le questionnaire: pour la globalité du test ou pour chaque item, chacun des aspects de la validité du contenu est questionné

Question 33

Vrai ou faux. L’étude explore le degré d’adéquation du test et des items à l’estimation du construit au moins par rapport aux aspects fondamentaux du contenu (représentativité et relevance théoriques, pertinence pratique, dimensionnalité).

Answer 33

Vrai

Question 34

Quel est le matériel pour les procédures en groupe de discussion dans la concordance inter-juges?

Answer 34

Le domaine de définition du contenu doit être partagé aux experts (consignes) et les aspects de la validité du contenu sont discutés pour la globalité du test ou pour chaque item.

Question 35

Qui sont les collaborateurs (Subject matter experts) dans la méthode de concordance inter-juges? Pourquoi employer le terme « collaborateur »?

Answer 35

• Les juges, un groupe d’experts dans le sujet (p.ex. psychodynamiciens, psychométriciens, personnes qui travaillent dans le domaine, personnes de la population cible, etc.).
• Le sujet s’étend au-delà du construit et de l’interprétation du construit, qui sont de référence pour l’élaboration du test
• Du point de vue éthique, les experts sont des collaborateurs au processus d’élaboration du test; ils ne sont pas des participants, mais plutôt des évaluateurs qui aident à répondre à la question de recherche.

Question 36

Qu’est-ce que la consanguinité intellectuelle?

Answer 36

si les collaborateurs proviennent du même milieu professionnel et/ou de formation, leur collaboration à l’étude (évaluation de la validité de contenu) risque d’être davantage homogène, davantage en accord («biais!»).

[accord trop homogène]

Question 37

Quel est le nombre préférable de collaborateurs dans la méthode de concordance inter-juges?

Answer 37

en fonction des procédures…
* Pour les groupes de discussion: nombre impaire des juges (en fait, un nombre impair permet une application tranchant du critère de la majorité)

• Pour le remplissage des questionnaires: en fonction des analyses…