cours 9

Question 1

Comment définit-on la validation?

Answer 1

C’est le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement.

Question 2

Si on ne peut pas obtenir la mesure directe d’un phénomène, comment doit-on le nommer?

Answer 2

Construit psychosocial ou variable latente

Question 3

la validité ne concerne pas l’instrument de mesure lui-même, qu’est-ce qu’elle concerne alors?

Answer 3

l’interprétation des résultats associés aux items.

Le contexte de son utilisation (clientèle et conditions générales).

Question 4

Vrai ou faux?
l’évaluation de la validité est un processus continu d’accumulation de «preuves» ou «d’évidences».

Answer 4

vrai

Question 5

Vrai ou faux?
Un test est soit valide ou pas valide, il n’y a pas d’entre deux.

Answer 5

Faux, un test aura un degré de validité et ne sera jamais valide à 100%.

Question 6

Quelles sont les 5 sources de preuves exigées pour la validité?

Answer 6

1. Le contenu du test
2. Les processus de réponse
3. La structure interne
4. Les relations avec d’autres variables
5. Les conséquences du test
   1 et 3 sont fondamentales

Question 7

Quelle est la boucle rétroactive permettant d’avancer les théories et connaissances scientifiques?

Answer 7

Théorie et évidences, élaboration d’un test, administration et analyse des résultats, interprétation des résultats, vérification de la validité des résultats, théories et évidences

Question 8

en quoi consiste le contenu d’un test?

Answer 8

En tous les éléments qui constituent le test (items, stimuli, consignes…)

Question 9

qu’est-ce qui détermine le contenu de la mesure?

Answer 9

la finalité du test

Question 10

Que faut-il tester en premier, la fidélité de mesure ou la validité de contenu?

Answer 10

La validité de contenu

Question 11

la validité de contenu d’un instrument de mesure informe sur quoi selon Anastasi?

Answer 11

Sur le degré d’adéquation de la mesure à l’estimation du construit cible retenu pour la mesure

Question 12

quels sont les éléments qui représentent le sujet d’intérêt (construit cible) de la personne qui interprète le test?

Answer 12

Le degré auquel les réponses d’un sujet aux items d’un test se considèrent comme un échantillon représentatif de ses réponses à un ensemble réel ou hypothétique de situations vont représenter le construit cible.

Question 13

de quoi dépend la validité de contenu?

Answer 13

du domaine de définition du contenu

Question 14

quels sont les deux domaines de définition de contenus et que font-ils?

Answer 14

1. domaine de définition conceptuelle du construit (théorique): l’interprétation du construit théorique (ceux que le test mesure)
2. Domaine de définition opérationnelle du contruit (contenu pratique): opérationnalisation du construit théorique, ou expression du construit théorique au moyen de la mesure (représentation du construit par les items)

Question 15

Par rapport au construit, le contenu est … (7 items)

Answer 15

Représentatif théoriquement;
Relevant théoriquement;
Pertinent pratiquement;
Dimensionnel (unidimensionnel ou multidimensionnel)
(les 4 importants coulés dans le béton)

Clair (langage);
Originale (élaboration créative);
… Exclusif (sélection des items);

Question 16

Qu’est-ce que la représentativité théorique?

Answer 16

le degré d’adéquation de la globalité de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique)

Question 17

Qu’est-ce que la relevance théorique?

Answer 17

le degré d’adéquation de chaque item de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique)

Question 18

Qu’est-ce que la pertinence pratique?

Answer 18

le degré d’adéquation de chaque item de la mesure à une certaine représentation socio-culturelle du construit (définition opérationnelle du construit; contenu pratique).

L’apport de chacun des items doit avoir la même importance au construit selon la pertinence théorique

Question 19

Qu’est-ce que la dimensionnalité?

Answer 19

le degré d’adéquation de chaque item de la mesure à la dimension du construit pour laquelle l’item est représentatif, relevant et pertinent (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)

Question 20

Qu’est-ce que la clarté du langage?

Answer 20

le degré d’adéquation du langage de chaque item de la mesure à une représentation claire du construit (définition opérationnelle du construit; contenu pratique)

Question 21

Quelles sont les deux manières de mesurer ou déterminer la validité de contenu?

Answer 21

la concordance inter-juges concernant l’adéquation du contenu de la mesure à l’estimation du construit cible.

Question 22

Quelle sont les deux procédures qui permettent d’établir la concordance entre les juges?

Answer 22

Les groupes de discussions ou le remplissage de questionnaire

Question 23

Quel type d’analyse implique le remplissage de questionnaires?

Answer 23

Des analyses quantitatives

Question 24

Que doit accompagner le questionnaire lorsqu’il est donné aux administrateurs du test?

Answer 24

Une feuille de consignes pour expliquer le domaine de définition du contenu (définition conceptuelle et opérationnelle de la mesure)

Question 26

Qu’est-ce que le risque de consanguinité intellectuelle en trait aux collaborateurs?

Answer 26

C’est lorsque l’on retrouve une homogénéité liée à la provenance des collaborateurs, un manque de diversité d’expertise et d’opinion.

Question 27

comment détermine-t-on le nombre de collaborateurs dans une évaluation d’items?

Answer 27

Si on se retrouve dans une méthode de groupe de discussion, on va viser un nombre impair de juges pour rendre une décision majoritaire

Si on se retrouve dans un remplissage de questionnaires, le nombre va dépendre des analyses

Question 28

Que fait-on dans l’analyse de validité de contenu?

Answer 28

On calcule le coefficient de concordance inter-juges qui vont exprimer la concordance entre les évaluations des juges (données)

Question 29

Combien de collaborateurs sont requis pour passer un Kappa de Cohen?

Answer 29

au moins 2

Question 30

Combien de collaborateurs sont requis pour passer un CVC?

Answer 30

entre 3 à 5 juges, échelle de likert à 5 points

Question 31

Quelle alternative est présentée à l’opinion des juges?

Answer 31

conduire des analyses factorielles pour explorer les réponses au test élaboré, pas validé par contre

Question 32

le fait de quantifier la validité de contenu peut amener à ne pas répondre à quel aspect important de l’élaboration d’un test?

Answer 32

la nécessité d’apporter une attention accrue à la sélection ou élaboration des items

Question 33

Quelles sont les deux problématiques liées à l’élaboration des items dans la littérature?

Answer 33

Problématique 1 : plusieurs facteurs influencent la rédaction des items et il n’y a pas assez d’études à ce sujet, ni assez des standards/indications communes/guidelines (Haladyna et al., 2002; Hambleton & Zenisky, 2011)
Problématique 2 : à propos de l’élaboration des items, les auteurs ne partagent pas suffisamment d’informations ou ils ne partagent pas les éléments problématiques (Clifton et al., 2023)