Cours 9 - La validité Flashcards

1
Q

Qu’est-ce la validité?

A

Le degrés avec lequel un test mesure ce qu’il prétend mesurer

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

La validité ne concerne pas l’instrument de mesure lui-même. Mais plutôt ? (2)

A

mais plutôt
- le contexte de son utilisation (clientèle et conditions en générales)
- l’interprétation des résultats associés à ses items (les items qui sont valides et non l’instrument)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

vrai ou faux.
Un test peut être valide à 100%

A

Faux.
Un test n’est jamais valide à 100%; la validité n’est pas une affaire de «tout ou rien» (valide ou pas valide), mais plutôt une question de «degré», selon les indices de validité vérifiés.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Il faut arrêter de considérer le nom du test comme une «____» ou une «évidence» de ce que le test mesure.

A

preuve

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Qui a commencé à exiger des preuves de validité?

A

Standards, 2014

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Nommez les 5 sources de preuves de Standards (2014), les preuves de validités.

A

(1) le contenu du test,
(2) les processus de réponse,
(3) la structure interne,
(4) les relations avec d’autres variables et,
(5) les conséquences du test.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Nommez les 3 sources de preuves de validités les plus fondamentales.

A
  1. Indices de contenu (validité de contenu)
  2. Indices des relations avec d’autres variables (validité pragmatique/de critère)
  3. Indices de structure interne (validité de construit)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Qui suis-je ? Validité logique.

A

Validité de contenu

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Qu’est-ce la validité de contenu?

A

La validité de contenu évalue dans quelle mesure les divers items d’un instrument psychométrique sont représentatifs du ou des construits mesurés et de leurs différentes facettes.

Par exemple, une échelle de dépression peut manquer de validité de contenu si elle n’évalue que la dimension affective de la dépression et ne prend pas en compte la dimension conative ou comportementale.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

La validité de contenu nécessite le _______ reconnus en la matière pour évaluer si les items du test évaluent un contenu défini.

A

recours à des experts

*Consulter plusieurs experts pour valider le contenu de l’instrument et quantifier leurs jugements l’aide d’échelles formalisées.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Sur quels énoncés les juges experts sont-ils invités à se prononcer dans la validité de contenu?

A
  • Clarté
  • Représentativité
  • Exhaustivité
  • Dimensionnalité
  • Pertinence
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Dans quel contexte la validité de contenu est la plus souvent abordée?

A

dans les tests académiques et professionnels, où les items du test doivent refléter les connaissances réellement requises pour un domaine

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

À quoi fait référence la validité de contenu dans un contexte clinique? (basé sur une exemple)

A

fait référence à la correspondance entre les items (contenus) du test et le contenu des symptômes d’une maladie

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

La validité de contenu fait référence à …

A

à la manière dont un instrument évalue tous les aspects théoriques du concept qu’il est censé mesurer.

Cette validité est supposée pouvoir évaluer dans quelle mesure un instrument couvre toutes les parties pertinentes du concept qu’il vise à mesurer

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Quelle est la méthode bien connue et encore utilisée pour mesurer la validité de contenu a été développée par Lawshe (1975)?

A

Il s’agit essentiellement d’une méthode permettant d’évaluer l’accord entre les évaluateurs.

Chacun des experts réponde à la question suivante pour chaque item : «La connaissance mesurée par cet item est-elle “essentielle”, “utile, mais pas essentielle” ou “pas nécessaire (aux objectifs spécifiques du test) ?»

Si plus que la moitié des juges-experts indiquent qu’un item est essentiel, cet item a au moins une certaine validité de contenu.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Expliquez ce que vous savez sur le ratio de validité de contenu?

A
  • Les résultats de cette formule varient entre -1 et +1
  • Les valeurs positives indiquent qu’au moins la moitié des spécialistes ont jugé l’item comme essentiel.
  • Le CVR moyen pour l’ensemble des items peut être utilisé comme indicateur de la validité globale du contenu du test.
17
Q

Standards (2014) laissent entendre que les preuves basées sur le contenu d’un test peuvent inclure des ____ ______ à partir de la relation entre le contenu de chaque item et sa pertinence pour le domaine d’étude.

A

analyses empiriques

18
Q

Selon Balbinotti (2005), normalement, on examine la validité de contenu à quelle moment ?

A

lors de la construction de l’instrument de mesure (choix initial des contenus des items)

19
Q

Qu’est-ce la validité de critère (pragmatique) ?

A

La capacité d’un instrument à prédire le niveau de performance (comportement) d’un groupe d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement.

«Les résultats des tests indiquent-ils les résultats qu’ils sont censés indiquer ?»

20
Q

Quel est la procédure la plus simple pour évaluer la validité pragmatique d’un instrument?

A
  • Calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents
  • Aussi, analyse de régression
21
Q

Nommez les deux types de validité pragmatique.

A
  1. Validité concomitante/concourante
  2. Validité prédictive
22
Q

Qu’est-ce la validité concomitante?

A

Un type de la validité pragmatique.

les résultats de l’instrument sont comparés à des données déjà disponibles (mesure de référence) concernant le critèrepour évaluer leur degré d’association, ou à des données ayant été obtenues au même moment que celles de l’instrument à l’étude

ex. mesure le QI et compare avec les résultats de son ancien bulletin

23
Q

Qu’est-ce la validité prédictive?

A

Un type de la validité pragmatique.

  • on vérifie le degré d’association entre les résultats de l’instrument et un critère futur, pour lequel la mesure ne sera disponible que plus tard.

ex: QI et le futur bulletin scolaire

24
Q

Donnez une exemple pour différencier la validité concomitance et la validité prédictive.

A

Par exemple, si on administre un test d’intelligence à un groupe d’élèves et que l’on calcule les corrélations entre leur QI et leurs notes scolaires indiquées au plus récent bulletin, on obtient alors une donnée sur la validité concomitante du test d’intelligence.

Par contre, si on administre le test de QI au début de l’année scolaire et que l’on calcule les corrélations entre le score de QI des élèves et leurs résultats cumulatifs à la fin de l’année scolaire, on obtient alors une donnée sur la validité prédictive de ce test d’intelligence.

25
Q

Nommez la différence entre le coefficient de détermination (r2) et la corrélation multiple au carré (R2).

A
  • Coefficient de Détermination (r2) : pourcentage d’explication de la variance entre deux mesures, sans considérer l’ordre des mesures -> Bidirectionelle
  • Corrélation Multiple au carré (R2) : pourcentage d’explication de la variance entre deux (ou plusieurs) mesures, en considérant l’ordre des mesures.
26
Q

Quels sont les deux types de corrélation multiple ?

A
  • Corrélation multiple SIMPLE: corrélation entre 2 variables dépendantes (comme dans Pearson, sauf que la direction est qu’elle N’EST PAS bidirectionnelle).
  • Corrélation multiple multiple: corrélation entre PLUSIEURS variables (2 et +) (différente de Pearson)
27
Q

Qu’est-ce la validité de construit?

A

indique dans quelle mesure les énoncés d’un instrument sont cohérents (structure interne) avec la théorie.

28
Q

Quelle type de validité est la plus importante?

A

validité de construit

29
Q

qu’est-ce des mini-théories?

A

expliquent les relations entre différents concepts (ou contenus) évalués directement par les items et les dimensions

30
Q

Nommez les façons robustes pour calculer la validité de construit.

A
  • l’analyse multitrait-multiméthode;
  • l’analyse factorielle.
30
Q

Expliquez modèles exploratoire et modèle confirmatoire.

A
  • L’analyse de type exploratoire ne permet pas de déterminer à l’avance quelles variables devraient être liées à quels facteurs.
  • L’analyse factorielle confirmatoire permet de déterminer non seulement le nombre de facteurs mais aussi l’appartenance de chaque variable à un ou plusieurs facteurs.
31
Q

qu’est-ce l’analyse multitrait-multiméthode

A

Une matrice de corrélation entre les résultats obtenus à différents traits (hétérotraits vs monotraits) et à différents méthodes (hétérométhode vs monométhode);

On s’attend à ce que la plus forte corrélation soit trouvé par le calcule «même trait-même méthode»; et la plus faible corrélation soit trouvé pour traits différents-méthodes différentes;

32
Q

Quel est la limite de l’analyse multitrait-multiméthode?

A

demande beaucoup de temps de la part des sujet + difficulté à trouver et à faire la passation de plusieurs test qui évaluent les mêmes traits

33
Q

expliquez l’analyse factorielle.

A

Le rationnel de l’analyse factorielle est d’avoir minimalement 3 variables observées (préférablement plus) qui soient expliquées par une variable latente (variable qui retient l’essentiel de la variance commune, variance vraie). Cette variable latente est représentée par le facteur.

34
Q

Quelles sont les questions typiques d’une analyse factorielle?

A

(1) Combien de facteurs l’analyse nous propose?
(2) Quel est le pourcentage d’explication de la variance?
(3) Est-ce que tous les items sont valides ou existe-il des items nécessitant une reformulation/exclusion?

35
Q

La validité de construit d’un instrument (ensemble de preuves de validité) sera plus facilement mesurable si la théorie utilisée est ____et bien _____.

A

claire
définie

36
Q

quelles sont les deux types de validité de construit?

A
  • validité convergente
  • validité discriminante
37
Q

expliquez la validité convergente.

A

teste si les concepts censés être liés le sont effectivement

  • on s’attend à une corrélation forte
38
Q

expliquez la validité discriminante.

A

teste si les concepts ne devant avoir aucune lien n’en ont effectivement pas. (également dénommée validité divergente)

*S’attend à une corrélation faible