cours 5 - PARTIE 1 Flashcards

1
Q

Pourquoi évaluer la validité d’un instrument de mesure?

A

on veut généralement savoir s’il mesure vraiment ce qu’il prétend ou devrait mesurer

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Quelle est la fonction du degré de validité?

A

Il détermine l’interprétation et les inférences que l’on peut faire à partir des scores d’une échelle

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Est-ce que le nom d’un test ou d’une échelle constitue toujours un indice adéquat du construit mesuré?

A

NON

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Quels sont les trois éléments à considérer lorsque l’on questionne la validité d’un test ou d’une mesure? (CPA)

A
  1. Est-ce qu’il mesure bien le CONSTRUIT qu’il prétend mesurer ?
  2. Est-ce qu’il mesure bien ce construit pour la POPULATION CIBLÉE (ex: groupe d’âge, niveau académique, groupe clinique particulier, etc.) ?
  3. Est-ce qu’il mesure bien ce construit pour une APPLICATION PARTICULIÈRE (ex: classifier dans des groupes diagnostiques, donner une valeur quantitative sur continuum, etc.) ?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Quelles-sont les trois organisation professionnelles qui soulignent des points clés quant à la validité des tests? (PAS SURE SI C’EST IMPORTANT, DIAPO 6?) i dont think so gurl

A
  • AERA (American Educational Research Association)
  • APA (American Psychological Association)
  • NCME (National Council On Measurement In Education)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Nomme les trois points clés à propos de la validité des tests? (SDB)

A
  1. La validité concerne interprétation des SCORES PROCURÉS PAR UN TEST pour un construit spécifique; ce n’est pas une caractéristique du test
  2. La validité est une question de DEGRÉ ; ce n’est pas une question absolue, de «tout ou rien»
  3. La validité d’un test repose sur de solides BASES THÉORIQUES ET EMPIRIQUES
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Nomme les trois sources de validité. (CCC)

A
  • Contenu
  • Construit (factorielle, convergente, dominante)
  • Critère (concomitante, prédictive, incrémentielle)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Qu’est-ce que la vraisemblance (aussi appelé validité d’apparence)?

A

Le degré auquel une mesure SEMBLE ADÉQUATE et reliée à un construit spécifique selon le jugement:

  • Des personnes QUI SONT ÉVALUÉS avec le test (ex: clients, profanes, non-experts qui sont évalués)
  • Et/ou les personnes QUI UTILISENT le test
    (ex: intervenants, mais peut aussi être des représentants légaux reliés à la population ciblée, etc., par ex. parents, enseignants, etc.)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Une mesure détient une bonne vraisemblance lorsque…

A

Les personnes évaluées ou celles qui l’utilisent jugent qu’elle «semble pertinente et adéquate» pour mesurer le construit

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Nomme trois facteurs pouvant influencer la vraisemblance. (FCC)

A
  • Format de présentation de l’instrument
  • Contexte d’évaluation (ex: endroit physique de l’administration, les consignes, attitude et apparence physique de l’évaluateur etc.)
  • Capacités cognitives des répondants
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Qu’est-ce que la validité de CONTENU

A
  • Réfère au degré de REPRÉSENTATIVITÉ DES ITEMS (questions) utilisés pour mesurer un construit
  • La plupart du temps établie de façon DÉDUCTIVE (les auteurs du test demandent à un groupe d’experts indépendants de se prononcer sur la pertinence des items)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Quelles-sont les deux questionnements à explorer pour la validité de contenu?

A

Est-ce que chaque item individuellement correspond bien au construit ?

Est-ce que tous les items d’une échelle considérés comme un groupe constituent un ÉCHANTILLON REPRÉSENTATIF de tous les domaines (et sous-domaines) du construit d’intérêt ?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Quel concept est central dans la validité de contenu?

A

La REPRÉSENTATIVITÉ : Est-ce que tous les DOMAINES (et SOUS-DOMAINES) du construit sont représentés ?

ex: Pour une échelle d’impulsivité: impulsivité cognitive, impulsivité émotionnelle, impulsivité comportementale, etc.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

À partir de quoi les chercheurs définissent un construit et donc, son contenu? (CRC)

A
  • Cadre théorique
  • Recherches empiriques (recension)
  • Connaissances et expériences professionnelles/pratiques
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Quelles-sont les deux types de validité de contenu? (NC)

A

Nominale : auteurs du test

Consensuelle : groupe de spécialistes indépendants

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Comment estimer le degré de validité de contenu empiriquement?

A

Avec une échelle de mesure quantitative, on demande à des EXPERTS INDÉPENDANTS d’estimer:

  1. à quel point (degré) chacun des items d’un test est PERTINENT ET REPRÉSENTATIF du construit d’intérêt
  2. à quel point (degré) l’ensemble des items constitue un BON ÉCHANTILLON REPRÉSENTATIF du contenu du construit
17
Q

Comment quantifier le degré de validité de contenu?

A

On donne aux experts un choix de réponse avec une gradation à propos de chaque item afin de systématiser le tout

(ex: Pas du tout pertinent / représentatif = 0
Un peu pertinent / représentatif = 1
Assez pertinent / représentatif = 2
Très pertinent / représentatif = 3)

18
Q

Comment calculer l’indice de validité de contenu pour chaque ITEM (IVC-I)?

A

IVC-I = Nombre d’experts qui ont jugé l’item représentatif (choix 2 ou 3) divisé par le nombre total d’experts

19
Q

Comment calculer l’indice de validité pour l’ÉCHELLE TOTALE (IVC-É)?

A

IVC-É = Proportion d’items jugés représentatifs (choix 2 ou 3) – ou dit autrement, la moyenne des IVC-I – divisée par le nombre total d’experts

20
Q

Quelles-sont les deux grandes menaces à la validité de contenu? (IS)

A
  • Inclusion de contenu conceptuellement non pertinent
  • Sous-représentation conceptuelle de certains domaines du construit

(Voir diapo 18 pour exemples)

21
Q

Défini la validité de CONSTRUIT.

A

Réfère au degré de
(a) reproductibilité de la structure interne théorique sous-jacente à l’instrument
(b) relations du construit d’intérêt avec d’autres construits externes

22
Q

Quelles sont les deux grandes façons de la vérifier la validité de CONSTRUIT?

A
  • Validité factorielle
  • Validité convergente / discriminante
23
Q

Qu’est-ce que le réseau nomologique?

A

Théorie expliquant le construit par le biais de ses interrelations avec d’autres construits (Cronbach & Meehl, 1955)

Voir diapo 22-23 pour exemple de réseau nomologique

24
Q

Définis “nomologie”.

A

L’étude des lois

25
Q

Définis le terme “facteur”.

A

Une réduction parcimonieuse de plusieurs variables (items ou questions) expliquées par une variable latente

26
Q

Quels-sont les deux aspects de la structure factorielle à vérifier?

A
  1. Les items sont-ils significativement (statistiquement) associés au facteur (construit)?
  2. Dans le cas d’un instrument multidimensionnel:
    a) Les items sont-ils significativement associés au bon facteur et non-associés aux autres facteurs?

b) Dans le cas d’une structure hiérarchique, est-ce que les sous-domaines sont significativement associés au domaine général (ex: traits spécifiques associés à trait général) ?

27
Q

Qu’est-ce que l’analyse factorielle exploratoire?

A

On identifie des regroupements d’items inter-corrélés, signifiant que les individus tendent à y répondre de façon similaire

ex: Si les répondants ont tendance à répondre oui à la Q#1 ont aussi tendance à répondre oui à Q#5 et à Q#8, ces items seront donc regroupés dans un même facteur

28
Q

Quel-est le critère classique de la validité FACTORIELLE?

A

On devrait avoir des SATURATIONS FACTORIELLES DE 0,40 OU PLUS pour les items associés à un facteur

29
Q

Qu’est-ce que l’analyse factorielle CONFIRMATOIRE?

A

Le chercheur impose une structure stricte a priori à la matrice de corrélations (ou de covariances) et teste si elle correspond aux données

ex: on programme quels items sont associés à un facteur, tout en leur imposant une corrélation de 0 avec les autres facteurs

30
Q

Qu’est-ce que la validité CONVERGENTE?

A

Degré auquel les scores d’une échelle sont associés avec ceux d’une autre échelle existante qui mesure le même construit théorique

31
Q

Qu’est-ce que la validité DISCRIMINANTE?

A

Degré auquel les scores d’une échelle ne sont PAS associés avec une échelle qui ne mesure PAS LE MÊME CONSTRUIT

32
Q

Quelle-est l’idéal pour tester la validité convergente et discriminante?

A

Employer la méthode de la MATRICE MULTITRAITS-MULTIMÉTHODES

33
Q

Qu’est-ce que la validité de critère (aussi appelée validité pragmatique)?

A

Réfère au degré auquel les scores à une échelle sont associés à l’adaptation (ou la performance) des individus

Les scores à l’échelle sont donc comparés à ceux d’un CRITÈRE EXTERNE

34
Q

Quels sont les deux grands types de validité de critère?

A
  • Concomitante
  • Prédictive
35
Q

Quelles- sont les deux façons d’estimer la validité de critère CONCOMITANTE?

A
  1. Corrélation avec un critère indépendant
    ex: Test d’intelligence avec réussite académique (notes)
  2. Méthode des groupes contrastés
    On teste les différences de scores moyens entre des groupes (Voir diapo 36 pour exemple)
36
Q

Qu’est-ce que la validité de critère prédictive?

A

Le degré auquel une mesure est capable de prédire un critère externe prospectivement
ex: plus tard dans le temps

Voir diapo 37 pour exemples

37
Q

Qu’est-ce que la validité incrémentielle?

A

À quel point les scores à un test ont une «VALEUR AJOUTÉE» pour prédire un critère externe, au-delà de la capacité d’autres facteurs (autres tests) prédictifs importants ?

38
Q
A