cours 9: la validation

Question 1

quelle est la définition générale de la validité

Answer 1

La validité est le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement.

Question 2

pourquoi utiliser le processus de validation?

Answer 2

Plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche étudier, alors, il est nécessaire de procéder au processus de validation.

Question 3

La validité ne concerne pas l’instrument de mesure lui-même (alors ce n’est pas l’instrument qui est valide), mais plutôt :

Answer 3

l’interprétation des résultats de ses items et le contexte de son utilisation

Question 4

Il faut éviter de considérer le _________ du test comme une preuve ou évidence de ce que le test mesurer

Answer 4

nom

Question 5

quels sont les autres noms pour les trois types de validité

Answer 5

de contenu: apparente (mais pas exactement pareil -> structure)
pragmatique: prédictive / critérié
de construit: conceptuelle / théorique

Question 6

qu’est ce que la validation de contenu?

Answer 6

Cette validation désigne la capacité d’un instrument à capturer (saisir) les aspects de contenu pour lesquels il a été conçu, et ceux-là seulement. Par exemple, dans le cas d’une épreuve de connaissance, il faut s’assurer que les contenus des items contribuent à évaluer les aspects fondamentaux de ce domaine; qu’ils forment un échantillon des items important

Question 7

la validité de contenu est habituellement estimé par la méthode des _____________________

Answer 7

« juges-experts »
- connaissance reconnue du concept à mesurer
- expertise dans l’élaboration d’instrument de mesure
-regardent clarté. représentativité, exhaustivité, dimmensionnalité et pertinence

Question 8

quelles sont les statistiques généralement utilisés pour la validité de contenu?

Answer 8

• Coefficient de Validité de Contenu (CVC): mesure la proportion (ou le pourcentage) des réponses des juges-experts qui sont d’accord sur certains aspects relatifs au contenu inhérent aux items de l’instrument;
• Corrélation Intra-Classe (ICC): mesure l’association des d’opinions entre juges-experts ayant un certain degré formation en termes de trait quantitatif.

Question 9

comment trouver un pourcentage?

Answer 9

multiplier la valeur de la corrélation par elle-même et le résultat multiplié par 100

Question 10

qu’est ce que la validation pragmatique?

Answer 10

Cette validation désigne la capacité d’un instrument à prédire (aussi explicite et invariable que possible) le niveau de performance (comportement) d’un groupe d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement. ex. qi en fonction du succès professionnel

Question 11

quelle est la procédure la plus simple pour évaluer la validité pragmatique?

Answer 11

calculer la corrélation entre quelleles résultats obtenus par un même groupe d’individus à deux moments différents (pouvant être deux moments « présents » ou un moment présent et l’autre « future »).

Question 12

Normalement, on utilise une méthode issue de l’approche corrélationnelle pour la validation pragmatique, laquelle?

Answer 12

l’analyse de régression, dont un des objectifs est précisément de prédire la variance d’une variable (présente ou future) par le biais d’une (ou plusieurs) variable indépendante. -> fausse cause à effet

Question 13

quels sont les deux types de validité pragmatique?

Answer 13

• Validité concomitante/concourante: on détermine le degré d’association entre les score obtenus au test et les scores obtenus à une mesure de référence (l’administration du test et de la mesure du critère pratiquement en même temps – temps présent);
• Validité prédictive: on évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier);

Question 14

quelles sont les statistiques habituellement utilisées dans la validation pragmatique?

Answer 14

• Coefficient de Détermination (CD): pourcentage d’explication de la variance entre deux mesures, sans considérer l’ordre des mesures;
• Corrélation Multiple au carré (R2) (et, à la fois, Beta Standardisé - β): pourcentage d’explication de la variance entre deux (ou plusieurs) mesures, en considérant l’ordre des mesures.

Question 15

qu’est ce que la validation de construit?

Answer 15

La validité de construit est définie comme étant la justesse/certitude avec laquelle l’ensemble d’items d’un instrument de mesure psychologique permet d’obtenir des résultats conformes aux concepts (ou construits - ou traits) définis par son contexte théorique;

Question 16

On appelle les construits aussi « ____________» (ou ____________, ou composantes) qui sont expliqués par l’association entre les concepts (contenus) inhérent aux variables directement mesurables (les items).

Answer 16

facteurs
dimensions
composantes

Question 17

la variance commune entre tous les items va générer la _____________________

Answer 17

variable latente

Question 18

qu’est ce que l’analyse factorielle confirmatoire?

Answer 18

quels sont les items qui ont une plus grande saturation factorielle pour chaque dimension?

Question 19

qu’est ce que l’analyse factorielle confirmatoire de deuxième ordre?

Answer 19

trouver la variance commune entre toutes les variables -> variable latente

Question 20

quelles sont les façons robustes de calculer la validité de construit?

Answer 20

analyse multitrait-multiméthode
analyse factorielle (graphique)

Question 21

qu’est ce que l’analyse multitrait-multiméthode?

Answer 21

Une matrice de corrélation entre les résultats obtenus à différents traits (hétérotraits vs monotraits) et à différents méthodes (hétérométhode vs monométhode);
* On s’attend à ce que la plus forte corrélation soit trouvé pour même trait-même méthode; et la plus faible corrélation soit trouvé pour traits différents-méthodes différentes;

Question 22

qu’est ce que la limite de l’analyse multitrait-multiméthode?

Answer 22

demande beaucoup de temps de la part des sujets (faire plusieurs tests… Deux temps) + difficulté à trouver et faire la passation des plusieurs tests qui évaluent les mêmes traits

Question 23

quelles sont les méthodes les plus utilisées dans l’analyse multitrait-multiméthode?

Answer 23

observation directe
questionnaire papier
entrevue semi-structurée

Question 24

qu’est ce que l’analyse factorielle?

Answer 24

• Le rationnel de l’analyse factorielle est d’avoir au moins 3 (préférablement plus) variables observées (mesurées) qui sont corrélées entre elles sur une nouvelle variable (latente) qui retient l’essentiel de la variance commune. Cette nouvelle variable représente le facteur

Question 25

quelles sont les questions typiques de l’analyse factorielle?

Answer 25

(1) Combien de facteurs l’analyse nous propose? (Analyse factorielle exploratoire)
(2) Quel est le pourcentage d’explication de la variance?
(3) Est-ce que tous les items sont valides ou existe-il des items nécessitant une reformulation/exclusion?
(4) est ce que les données s’ajustent avec la théorie? (Analyse confirmatoire)

Question 26

quels sont les deux types de validité de construit

Answer 26

• Validité convergente: par exemple, tester la force de l’association entre les résultats des items de l’échelle cible et les autres qui mesurent le même construit. En ce sens, les résultats de l’outil devrait corréler avec les autres outils qui évaluent le même construit.
• Validité discriminante: par exemple, vérifier à quel point les résultats des items de l’échelle cible s’écarte d’autres mesures de construits différents. En ce sens, l’outil ne devrait pas corréler de façon importante avec ces autres construits.