cours 9 Flashcards

1
Q

Qu’est-ce que la validité ?

A

Une qualité psychométrique et le degré avec lequel un test mesure ce qu’il prétend mesurer

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Pourquoi un parle de degré ?

A
  • Parce que ce n’est pas tout ou rien (valide ou pas valide)
  • question de degré de validité
  • un test n’est jamais 100% valide
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Plusieurs instruments de mesure ne permettent pas quoi ?

A
  • observer directement le concept qu’on cherche étudier

- concept psychologique qui n’ont pas de mesure direct sur le corps

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Qu’est-ce une mesure indirect ?

A

ce sont les comportement des réponses aux questions qui va déterminer mon degré d’intelligence p. ex.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Qu’est-ce qu’on doit faire lorsqu’un concept n’a pas de mesure direct?

A
  • s’appuie sur la définition du concept

- connaissances ne sont pas absolues, donc on doit procéder au processus de validation de l’instrument

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Quel est le processus de validation ?

A
  • pas l’instrument de mesure lui-même
  • l’interprétation des résultats
  • contexte de son utilisation
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

En quoi l’interprétation des résultats est impliqué dans le processus de validation ?

A
  • détermine le niveau de confiance
  • par rapport aux statistiques
  • p. ex., on accepte une erreur à 5%
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Les statistiques d’un test s’appui sur quoi ?

A

les résultats obtenus à un test

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

En quoi le contexte de l’utilisation d’un test est impliqué dans le processus de validation ?

A
  • on ne peut pas dire qu’un test est valide point
  • on doit dire qu’on a démontré qu’il est valide avec TELLE clientèle et sous TELLES conditions
  • évaluer la validité de contenu d’un test pour toutes les clientèles et contextes d’utilisation
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Que représente telle clientèle et telles conditions dans le processus de validation ?

A
  • telle clientèle = échantillon normatif

- telles conditions = standardisation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

L’évaluation de la validité d’un test passe par quoi ?

A
  • Processus continu d’accumulation de preuves ou d’évidences

- normalement de nature quantitatives

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Que réfère l’accumulation de preuves ou d’évidences ?

A
  • Analyse des résultats

- Diagnostic est réaliste et la précision est constante à travers le temps et les années

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Il faut éviter de considérer le nom du test comme quoi ?

A
  • Comme un indice précis de ce qu’il mesure
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Qui a étudier les différentes méthodes de validité ?

A
  • APA

- Standards for Educational and Psychological Testing

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Selon la publication de l’APA, quels sont les grandes catégories de validité ?

A
  • validation de contenu
  • validation pragmatique
  • validation de construit
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Quels sont les synonymes de la validation pragmatique ?

A
  • Validation de critère

- Validation prédictive

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Quels sont les synonymes de la validation de construit ?

A
  • validation conceptuelle

- validation théorique

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Est-ce que validation de contenu et validation apparente est similaire ?

A

non il y a une nuance entre les 2 types de validation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Qu’est-ce que la validation de contenu ?

A
  • Désigne l’aptitude d’un instrument à appréhender les aspects (3) de contenu des items
  • pour lesquels il a été conçu et ceux-là seulement
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Que la validation de contenu s’assure ?

A
  • Que chaque le contenu de chaque item contribue tous à évaluer un aspect significatif du concept
  • que tous les contenus de l’item forment un échantillon représentatif du concept
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Dans la validité de contneu on surveillera également que les contenus des items ne fassent pas appel à quoi ?

A
  • à des caractéristiques que l’on souhaite explicitement ne pas solliciter
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Quand est-ce qu’on examine la validité de contenu ?

A
  • Lors de la construction de l’instrument de mesure
  • choix des items
  • avant de faire la passation pour évaluer les autres types de validité
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Quelle est la manière d’estimé la validité de contenu ?

A
  • méthode des juges experts
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Qui sont les juges dans la méthode des juges experts ?

A
  • experts qui ont une bonne connaissance du concept à mesurer
  • ou experts qui ont une expertise dans l’élaboration d’instrument de mesure
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Sur quoi les juges se prononcent-t-ils dans la validité de contenu ?

A
  • sur le contenu des énoncés :
  • leur clarté
  • leur représentativité (représentent bien la théorie)
  • l’exhaustivité (ça touche fondamentalement la théorie)
  • dimensionnalité
  • pertinence de l’outil dans son ensemble
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Qu’est-ce que la validation pragmatique ?

A
  • Désigne l’aptitude d’un instrument à prédire (de manière aussi précise que possible) le niveau de X variable d’un ensemble d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

En quoi la notion de prédire dans la validation pragmatique nous met à l’échec ?

A
  • Prédire un comportement - nous met à l’échec du vise et versa
  • pcq il est basé sur des corrélations et la on parle de prédire
  • prédire = cause à effet
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

Qu’est-ce qui est important et différent des corrélations au niveau des variables dans la validation pragmatique ?

A
  • La façon que je présente l’ordre des variables change
  • p. ex., QI comme VI et succès comme VD VS VD comme succès et QI comme VI
  • on ne peut plus dire vise et versa
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
29
Q

Avec quoi mesure-t-on la validation pragmatique ?

A
  • Régression
  • R
  • à 2 moments différents
  • la plus simplement techniquement parlant
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
30
Q

Qu’est-ce que le régression ?

A
  • prédire la situation future d’un individu sur la base d’éléments qui caractérisent sa situation présente
  • prédiction par le biais de corrélation
  • approche corrélationnelle
  • pas juste des corrélations
  • permet de donner une certaine nuance à partir des prédictions
  • pseudo cause à effet (pcq c’est par le biais des corrélations)
31
Q

Qu’est-ce que R au carré va nous donner comme résultat ?

A
  • le pourcentage de variance qui est prédit ou expliquée
  • dans quelle mesure les prédicteurs (VI) retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (VD)
32
Q

Quels sont les 2 types de validité pragmatiques ?

A
  • validité concomitante/concourante

- validité prédictive

33
Q

Qu’est-ce que la validité concomitante/concourante ?

A
  • On détermine le degré de corrélation entre les scores obtenus au test et les scores obtenus à une mesure de référence
  • administration du test et de la mesure du critère pratiquement en même temps
  • Pas d’important lap de temps p. ex aujourd’hui-demain
34
Q

Qu’est-ce que la validité prédictive ?

A
  • on évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future
  • administration du test et du critère séparée
  • important laps de temps (p. ex., aujourd’hui - 1 an)
  • le test étant administré en premier
35
Q

Quel type de validité les revues nous demande obligatoirement ?

A
  • validation de construit
36
Q

Qu’est-ce que la validation de construit ?

A
  • la justesse avec laquelle un instrument de mesure permet d’obtenir des résultats conformes aux construits définis par son contexte théorique
  • Dans quelle mesure les énoncés d’un instrument sont cohérents avec la théorie et les concepts
  • défini de façon opérationnelle
37
Q

Dans de nombreuses situations en psychologie, on cherche à étudier quoI ?

A
  • entités hypothétiques
  • résultent d’une élaboration psycho-sociale et héorique
  • ## entité = construit
38
Q

Qu’est-ce qu’une entité ?

A
  • construit
  • pas direcement accessibles à l’observation et à la mesure
  • mesurer à partir des manifestations qu’elles sont censées produire ou rendre possibles
  • généralement des comportements
39
Q

Les construits sont considérés comme quoi ?

A
  • Des mini théories
  • qui expliquent la relation entre différents concepts
  • explique les corrélations qu’on observe entre différentes variables
40
Q

Quels sont les synonymes d’un construit ?

A
  • facteur
  • dimension
  • composante
41
Q

Quelle est la façon usuelle de calculer la validité de construit ?

A
  • méthode issue de l’approche corrélationnelle
  • analyse multitrait-multiméthode
  • analyse factorielle
42
Q

Quel est l’objectif de la méthode issue de l’approche corrélationnelle ?

A
  • démontrer la pertinence (relation association) d’un item par rapport à sa propre dimension théorique
43
Q

Quel est le désaventage de faire multitrait-multiméthode par rapport à l’analyse factorielle ?

A
  • demande beaucoup plus d’argent
  • plus de temps de la part des sujets (faire plusieurs tests)
  • difficulté à trouver des tests qui évaluent les mêmes traits
44
Q

Qu’est-ce que l’analyse multitrait-multiméthode ?

A
  • matrice de corrélation entre les résultats obtenus à différents tests
  • on s’attend à ce que la plus forte corrélation soit trouvé pour un même trait-même méthode
  • la plus petite corrélation pour traits différents-méthode0différente
45
Q

La méthode multritrait-multriméthode analyse quel autre type de validité ?

A
  • validité convergente
  • validité discriminante
  • 2 types de validité de construit
46
Q

Il y a combien de temps à la méthode multitrait-multiméthode ?

A
  • 2 temps

- qui chacun, sont représentés par les axes abscisses X et ordonnées Y

47
Q

Donnes des exemples de traits et de méthodes

A
  • traits : dépression A, tristesse B, désespoir C

- méthode : observation direct (Méthode 1), questionnaire papier (méthode 2), entrevue semi-structurée (méthode3)

48
Q

Pourquoi on appele la méthode multritrait-multiméthode une matrice de corrélation ?

A
  • pcq 1 résultat est évalué 2 fois
  • corrélation les plus forte pcq c’est la même chose qui est mesuré
  • fidélité test retest (stabilité temporelle)
49
Q

Dans une méthode multitrait-multiméthode, comment on interprète une corrélation dans le tableau ?

A
  • positif
  • force
  • significatif (se référé au nombre de personne ou au niveau de significatif)
  • variance expliqué :
    1. corrélation à la 2
    2. x% de la variance de la variable C3 est expliqué par la variance de la variable C1
  • et vise versa
  • fidélité test- retest corrélation forte = intuition que le laps de temps entre les 2 devrait être assez cours au regard des fortes corrélations de la diagonale de fidélité
50
Q

Qu’est-ce que l’analyse factorielle ?

A

Le rationnel de l’analyse factorielle est de projeter 3 (ou plus) variables (items) qui sont fortement corrélées entre elles sur une une nouvelle variable qui retient l’essentiel de la variance commune

51
Q

Dans une analyse factorielle, comment est appelé une nouvelle variable ?

A
  • représente le facteur
52
Q

Qu’est-ce que la variance commune ?

A

Variance qui se chevauche

53
Q

Qu’est-ce que la variance unique ?

A
  • L’autre partie de la variance commune

- l’autre partie pour chacune des facteurs

54
Q

Quels sont les questions qu’on doit se poser avec une analyse factorielle ?

A
  • Combien de facteurs l’analyse nous propose ? (lien théorie)
  • Quel est le pourcentage d’explication de la varience ? (on s’attend à ce qui soit entre 40 et 60%, de tout les items par rapport à mon construit)
  • Est-ce que tous les items sont valides par le biais de la validation de construit ou y a-t-il des items nécessitant une reformation ?
55
Q

Dans le tableau total variance explained, que représente «factor» à gauche ?

A

les items

56
Q

Que représente les lignes horizontales à droite ?

A

Le nombre de facteurs

57
Q

Comment savoir la variance unique de chaque facteur ?

A

% of variance à droite

58
Q

Comment savoir la variance commune ?

A

Le dernier pourcentage de cumulative % à droite

59
Q

Comment on interprète le tableau total variance explained ?

A
  • Le premier facteur explique X% de la variance, le 2e facteur explique X % de la variance de plus
  • le 2e facteur explique une variance unique
  • le 3e facteur explique X% de la variance qui n’a pas été expliqué par le premier et le 2e facteur
  • variance unique du 3e facteur
  • le total de la variance expliqué par les 3 facteurs est de X%. C’est une bonne meusre pcq ça se situe entre 40 et 60% par convention
60
Q

Pourquoi on dit que le 2e facteur explique X% de la variance de plus ?

A
  • c’est le % de variance qui n’a pas été expliqué par le premier facteur
  • pcq il y a toujours une partie de la variance qui a déjà été expliqué par le premier facteur
  • il y a une partie de la variance commune entre les 2 premiers facteurs, mais c’est le premier facteur qui l’explique.
61
Q

Comment on interprète le score d’un item à l’intérieur d’un facteur ?

A
  • force
  • signe
  • la significativité
  • variance = corrélation à la 2 = coefficient de détermination = pourcentage de variance
    que cet item explique dans le 2e facteur
62
Q

Comment on interprète un item qui corrèle sur 2 facteurs ?

A
  • item complexe
  • il sature de façon importante sur 2 facteurs.
  • Il ne devrait pas pcq selon la définition général de la validité de construit, il faut mesurer 1 seul dimension et ça seulement et pas les autres.
  • Cette même logique s’applique pour l’item 21 qui sature de façon plus importante sur 3 facteurs. Les items 23 et 24 vont dans la même sens.
  • il explique une partie de la variance du premier facteur et une partie de la variance du 2e facteur aussi
63
Q

Quels sont les types de problèmes qu’il est possible d’observer dans une analyse factorielle ?

A
  • problématiquue de la qté d’items par facteur (moins de 3)

- la problématique de la saturation des items dans plus d’un facteur

64
Q

Comment savoir si un item explique de façon importante un facteur ?

A
  • Explique de façon importante pcq il y plus haut de 0,4 ou ,03 (par convention).
65
Q

Comment on peut résoudre le problème de double saturation des items ?

A
  • pour résoudre 1 des problèmes je coupe à 0,5 au lieu de 0,3
  • les items qui saturent dans plus qu’un facteur = n’apparaisse pas
  • il reste juste 1 problème = 1 facteur à 2 items seulement,
  • mais c’est MAL et pas éthique
66
Q

Pourquoi on appele un item complexe ?

A
  • On appele ça item complexe pcq les gens répondent à cette item en visualisant le contenu du premier facteur et en même temps le contenu du 2e facteur il mesure donc 2 contenus
67
Q

Lorsque l’analyse factorielle n’a aucun item complexe comment on peut appeler le test ?

A
  • on dit alors que le test est une solution pure pcq il y a aucun item complexe
  • même si c’est de façon artifielle en augmentant les corrélations
68
Q

Ou est-ce qu’un facteur commence ?

A

La 2e corrélation suivant la double saturation

69
Q

Le résultat du processus de validation de construit mène à quoi ?

A
  • pas à 1 indice statistique unique

- plusieurs résultats qui doivent être interprétés en lien avec les les éléments théoriques sur lesquels le test se base

70
Q

Dans quel contexte la validation de construit serait plus facilement mesurable ?

A
  • si la théorie utilisée est explicite et bien définie
71
Q

Quels sont les 2 types de validité de construit ?

A
  • validité convergente

- validité discriminante

72
Q

Qu’est-ce que la validité convergente ?

A

Vérifier à quel point est-ce que l’échelle est reliée à des variables et des mesures du même construit. En ce sens, l’outil devrait corréler avec les autres outils qui évaluent des construits identiques ou très similaire

73
Q

Qu’est-ce que la validité discriminante ?

A

Vérifier à quel point l’échelle s’écarte de variables et de mesures de construits différents. En ce sens, l’outil ne devrait pas corréler avec des construits indépendants de celui qu’il évalue.