Brainscape's Knowledge GenomeTM

Browse over 1 million classes created by top students, professors, publishers, and experts.


See full index

PSE2202 : Psychométrie et évaluation > Semaine 5 > Flashcards

Semaine 5 Flashcards

1
Q

Qu’est-ce que la validité?

A

La mesure d’un instrument la plus importante, mais aussi la plus négligée.

On veut généralement savoir s’il mesure vraiment ce qu’il prétend ou devrait mesurer.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Qu’est-ce que le degré de validité?

A

Le degré de validité détermine l’interprétation et les inférences que l’on peut faire à partir des scores d’une échelle

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Quelle est la vraie question à se poser lorsqu’on veut mesurer la validité?

A

C’est : Est-ce que ce test est une mesure valide de ce construit, pour cette population et pour cette application particulière.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Quels sont les aspects doivent être évalués dans la validité?

A
  1. Est-ce qu’il mesure bien le construit qu’il prétend mesurer?
  2. Est-ce qu’il mesure bien ce construit pour la population ciblée
  3. Est-ce qu’il mesure bien ce construit pour une application particulière?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Quels sont les points clés à propos de la validité des tests? **

A
  1. La validité concerne l’interprétation des scores procurés par un test pour un construit spécifique; ce n’est pas une caractéristique d’un test
  2. La validité est une question de degré; ce n’est pas une question absolue, de “tout ou rien”
  3. La validité d’un test repose sur de solides bases théoriques et empiriques
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Quelles sont les sources de la validité?

A

Le contenu
Le construit: factorielle, convergente, discriminante
Le critère: concomitante, prédictive, incrémentielle

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Qu’est-ce que la vraisemblance?

A

La validité d’apparence, n’est pas une source de validité.

C’est le degré auquel une mesure semble adéquate et reliée à un construit spécifique selon le jugement de a) les personnes qui sont évaluées avec le test et/ou b) les personnes qui utilisent le test

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Qu’est-ce qu’un bonne mesure de vraisemblance?

A

Lorsque les personnes évaluées ou celles qui l’utilisent jugent qu’elle “semble pertinente et adéquate” pour mesurer le construit, selon les contextes où l’outil va être utilisé

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Quels sont les facteurs qui peuvent influencer la vraisemblance?

A

Contexte d’évaluation
Capacités cognitives des répondants
Santé mentale et état psychologique des répondants
Personnalité des répondants
Motif de l’évaluation

*La vraisemblance n’est par une source de validité, mais elle affecte la validité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Qu’est-ce que la validité de contenu?

A

Elle réfère au degré représentativité des items utilisés pour mesurer un construit, de façon déductive.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Pourquoi faut-il que la représentativité soit établie de façon déductive?

A

Les auteurs du test demandent à un groupe d’experts indépendants de se prononcer sur la pertinence des items, évite des biais de subjectivité.

Il faut se demander
1. Chaque item individuellement correspond bien au construit?
2. Tous les items d’une échelle considérés comme un groupe constituent un échantillon représentatif de tous les domaines expliqué par le construit d’intérêt? **

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

En plus d’être représentatif, l’échelle doit aussi être?

A

Bien défini!
Les auteurs doivent toujours décrire en détails de façon compréhensive les différents domaines et sous-domaines du construit d’intérêt. Ceci nous permet de faire de bonnes inférences.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

À partir de quoi les chercheurs définissent un construit?

A
  1. Cadre théorique
  2. Recherches empiriques
  3. Connaissances et expériences professionnelles
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Quels sont les types de validité de contenu?

A

Nominale : évalué par les auteurs du test
Consensuelle : évalué par les groupes de spécialistes indépendants (plus de confiance)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Lorsque les experts estiment le degré de validité de contenu, que doivent-ils estimer?

A
  1. À quel point chacun des items d’un test est pertinent et représentatif du construit d’intérêt
  2. À quel point l’ensemble des items constitue un bon échantillon représentatif du contenu du construit
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Comment est-ce que les experts peuvent quantifier le degré de validité de contenu?

A

Ils sont donnés un choix de réponses avec une gradation à propos de chaque item afin de systématiser le tout.

En quantifiant le degré, nous pouvons calculer l’indice de validité de contenu.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Quelles sont les grandes menaces à la validité de contenu?

A
  1. Inclusion de contenu conceptuellement non pertinent (non-reliés aux construits)
  2. Sous-représentation conceptuelle de certains domaines du construit (Fidèle, mais pas bien représenté dans les domaines, donc moins valide)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Qu’est-ce que la validité de construit?

A

La validité de construit réfère au degré de a) la reproductibilité de la structure interne théorique sous-jacente à l’instrument ainsi que b) les relations du construit d’intérêt avec d’autres construits externes

19
Q

Comment peut-on vérifier la validité de construit?

A
  1. Validité factorielle
  2. Validité convergente/discriminante
20
Q

Quelle est la théorie sous-jacente d’un construit?

A

Le réseau nomologique

21
Q

Qu’est-ce que le réseau nomologique?

A

Le réseau nomologique est la théorie expliquant le construit par le biais de ses interrelations avec d’autres construits (externes)

Le réseau nomologique devrait toujours être dans le manuel du test, mais il y est rarement.

22
Q

Qu’est-ce que la validité factorielle?

A

On vérifie si la structure factorielle théorique qui représente le construit est reproduite sur le plan empirique. Le terme facteur est utilisé pour représenter la dimension latente.

23
Q

Qu’est-ce qu’un facteur?

A

Une réduction parcimonieuse de plusieurs variables en une variable latente hypothétique?

24
Q

Quels sont les objectifs dans la vérification de la structure factorielle théorique?

A
  1. Les items sont-ils significativement (statistiquement) associés au facteur (construit)?
  2. Dans le cas d’un instrument multidimensionnel:
    a) les items sont-ils significativement associés au bon facteur et non-associés aux autres facteurs?
    b) Dans la structure hiérarchique, est-ce que les sous-domaines sont significativement associés au domaine générale?
25
Q

Qu’est-ce qu’une analyse factorielle exploratoire?

A

C’est d’identifier les regroupements d’items inter-corrélés, signifiant que les individus tendent à y répondre de façon similaire. Le chercheur n’impose aucune restriction à la matrice de corrélations entre les items.

On devrait avoir des saturations factorielles de 0,40 ou plus pour les items associés à un facteur

26
Q

Qu’est-ce qu’une analyse factorielle confirmatoire?

A

Le chercheur impose une structure stricte a priori à la matrice de corrélations et teste si elle correspond aux données. C’est la méthode qu’il faudrait normalement employer à l’étape de la validation puisque la structure est supposée être connue.

27
Q

Que faut-il faire dans l’analyse factorielle confirmatoire?

A

Il faut d’abord connaître la structure et confirmer les échelles correspondantes à la théorie.

Il faut ensuite changer les facteurs théoriques au zéro, car on enlève la variance. Ce qui donnera des saturations plus fortes, et puisque nous avons enlever les variances, les restes se transposent dans les autres saturations ainsi que la corrélation.

28
Q

Qu’est-ce que la validité convergente?

A

La validité convergente est le degré auquel les scores d’une échelle sont associés avec ceux d’une autre échelle existant qui mesure le même construit théorique.

Autrement dit, on évalue empiriquement qu’une échelle mesure le même construit d’une autre échelle.

29
Q

Qu’est-ce que la validité discriminante?

A

La validité discriminante est le degré auquel les scores d’une échelle ne sont pas associés avec une échelle qui ne mesure pas le même construit.

Autrement dit, on évalue que l’échelle n’est pas corrélé à un construit différent.

30
Q

Qu’est-ce que la validité de critère?

A

La validité pragmatique réfère au degré auquel les scores à une échelle sont associés à l’adaptation des individus. Les scores à l’échelle sont donc comparés à ceux d’un critères externe.

Le critère devrait être une mesure objective et indépendante, mais reliée conceptuellement au construit d’intérêt

31
Q

Qu’est-ce que la validité concomitante?

A

Il y a deux manières de l’estimer:
1. Corrélation avec un critère indépendant
2. Méthode des groupes contrastés (différence des scores moyens)

32
Q

Qu’est-ce que la validité prédictive?

A

La validité prédictive est le degré auquel une mesure est capable de prédire un critère externe prospectivement, besoin d’une étude longitudinale car on est intéressé par la regréssion.

33
Q

Qu’est-ce que la validité incrémentielle?

A

Une forme de validité pas toujours présente, mais réfère au degré de la valeur ajoutée d’un test pour prédire un critère externe, au-delà de la capacité d’autres facteurs prédictifs importants.

Est-ce que mon échelle prédit MIEUX que les autres échelles pré-existantes?

34
Q

Qu’est-ce que la théorie de la décision?

A

La théorie de la décision comprend une série de concepts visant l’analyse des effets quantitatifs des décisions prises avec des tests.

Il s’agit de déterminer à quel point les scores d’un test peuvent classifier adéquatement les personnes dans des groupes

35
Q

Qu’est-ce que la sensibilité?

A

C’est la capacité d’une échelle de procurer un résultat positif pour les personnes présentant le statut qu’elle prétend identifier, elle se rapporte donc à la capacité de détection.

36
Q

Qu’est-ce que la spécificité?

A

C’est la capacité d’une échelle de procurer un résultat négatif pour les personnes ne présentant pas le statut qu’elle prétend identifier, elle se rapporte donc à sa capacité de discrimination

37
Q

Qu’est-ce que sont les indices de sensibilité et de spécificité?

A

Les indices de sensibilité et de spécificité sont des observations empiriques de la performance rétrospective d’un test calculés à partir d’une classification de différents groupes diagnostiques.

On estime la proportion des individus dont le statut est connu en regard du trouble mesuré qui obtiennent un score au dessus ou en dessous d’un score critère.

Si le score critère change, la sensibilité et la spécificité vont changer.

38
Q

Quelle est la tâche de déterminer le niveau de confiance?

A

On veut savoir la probabilité qu’un individu présente réellement le trouble, étant donné un résultat positif à un test

39
Q

Qu’est-ce que le pouvoir prédictif positif?

A

La probabilité qu’un individu avec un résultat positif sur une échelle ait réellement le statut prédit

40
Q

Qu’est-ce que le pouvoir prédictif négatif?

A

La probabilité qu’un individu avec un résultat négatif sur une échelle n’ait réellement pas le statut prédit

41
Q

Qu’est-ce qu’un indice de performance extrinsèque?

A

Les PPN et les PPP vont varier selon la prévalence pour une sensibilité et une spécificité donnée

42
Q

Quelle est la règle générale pour l’ensemble des tests de dépistage?

A

Lorsque la prévalence est faible, le PPN > PPP – et c’est l’inverse lorsque la prévalence est élevée

43
Q

Quels sont les problèmes avec les indices de sensibilités, spécificité et de pouvoir prédictif?

A
  1. L’estimation de ces indices statistiques dépend de la validité et la fidélité du critère utilisé
  2. L’estimation de la prévalence réelle dans différents contextes cliniques peut être difficile
44
Q

Comment est-ce que la validité est intereliée à la fidélité?

A

La validité est un préalable à la fidélité
La fidélité est une condition nécessaire à la validité
Les deux sont interreliées : les indices de validité sont directement influencés par le degré de fidélité

PSE2202 : Psychométrie et évaluation (10 decks)

Brainscape helps you reach your goals faster, through stronger study habits.
© 2024 Bold Learning Solutions. Terms and Conditions