Cours 7 : Stabilité

Question 1

Explique moi le concept de normalité ? (un individu est normal par rapport à quoi)

Answer 1

C’est le fait de comparer un individu à d’autres, à un groupe de référence. Un individu normal = son score est similaire à la moyenne du groupe auquel il réfère.

Question 2

Qu’est-ce que la variance ? Et l’écart-type ?

Answer 2

La moyenne des carrés des écarts à la moyenne de tous les scores des individus. L’écart-type est la racine carrée de la variance.

Question 3

Qu’est-ce que la covariance ?

Answer 3

La mesure du degré d’association entre deux variables. La mesure d’à quel point une donnée occupera la même positon dans 2 distributions et à quel point ces deux données varieront ensemble.

Question 4

Quelle mesure fréquemment utilisée en psychologie est l’équivalent la covariance, mais standardisée ?

Answer 4

La corrélation

Question 5

Quelles sont les valeurs maximale et minimale d’une corrélation ?

Answer 5

-1 et 1

Question 6

Définis la stabilité selon le modèle de la cible

Answer 6

C’est la phase de vérification de la fidélité

Question 7

Quels sont les objectifs de l’étape de la stabilité ? (2)

Answer 7

Vérifier la nature et l’ampleur de l’erreur de mesure.

Établir les stabilités interne et temporelle de l’instrument

Question 8

Quels moyens peut-on utiliser à l’étape de stabilité pour atteindre nos objectifs ? (5) Peut-on combiner ces moyens ?

Answer 8

Erreur-type de mesure
Analyses d'items
Analyses corrélationnelles
Approche hypothético-déductive
Accord inter-juges

La meilleure analyse de la fidélité d’un instrument est lorsqu’on combine ces moyens!

Question 9

Quelle est la question qu’il faut se poser pour évaluer la fidélité ?

Answer 9

Mon instrument comporte-il de l’erreur de mesure ?

Question 10

Quelle est la question qu’il faut se poser pour évaluer la stabilité ?

Answer 10

Combien d’erreur de mesure ai-je dans mon instrument ?

Question 11

Quel type d’erreur est évaluée quand on parle d’erreur de mesure affectant la stabilité ? Pourquoi ?

Answer 11

L’erreur aléatoire parce qu’elle est un type d’erreur qui n’est pas systématique, qui affecte différemment les scores et donc impacte plus la fidélité.

Question 12

Quelle est la différence entre le score vrai et le score observé ?

Answer 12

Le score observé contient le score vrai et l’erreur (le bruit).

Question 13

Quel effet a l’augmentation des observations sur la fiabilité de l’instrument ?

Answer 13

La fiabilité augmente en relation directe avec les observations. Plus la quantité d’observations tend vers l’infini, plus l’erreur tend vers 0 et plus on s’approche du score vrai.

Question 14

Comment peut-on mesurer l’impact de l’erreur de mesure ?

Answer 14

Avec la stabilité temporelle, la cohérence interne et l’accord inter-juges

Question 15

De quelle prémisse psychométrique part-on quand on mesure l’erreur de mesure ?

Answer 15

Le phénomène mesuré est relativement stable dans le temps.

Question 16

Quel est le principe de base de la stabilité temporelle ?

Answer 16

Si un phénomène est stable dans le temps, deux mesures prises avec un délai devraient se ressembler

Question 17

Il y a deux façons de mesurer la stabilité temporelle, quelles sont-elles ? Définis-les

Answer 17

Corrélation test-retest : on fait passer le test deux fois aux participants avec un délai.
Corrélation test-retest avec formes parallèles : on fait passer 2 versions de tests équivalentes (parallèles) aux participants à deux moments.

Question 18

De quoi dépend la qualité de l’estimation de la corrélation test-retest ? Et la corrélation test-retest avec formes parallèles ?

Answer 18

Test-retest : Dépend de l’intervalle de temps entre les deux passations et des changements chez les participants durant cette période.

Avec formes parallèles : Dépend d’à quel point les versions sont équivalentes ET de l’intervalle de temps entre les deux passations.

Question 19

Quelles sont les conséquences d’un intervalle de temps trop court sur la stabilité temporelle ? Trop long ?

Answer 19

Trop court : effet de mémoire (résultat surestimé parce que le participant se rappelle des questions / des réponses qu’il avait donné)

Trop long : on ne peut pas savoir si les changements dans les résultats au test sont relié à l’instrument ou à un réel changement dans la personnalité de l’individu (moins soumis qu’il y a 5 ans)

Question 20

Quelles sont les caractéristiques d’un bon parallélisme entre deux versions d’un test ? (5)

Answer 20

• Items similaires, mais pas identiques
• Même nombre d’items
• Même structure dimensionnelle (sous-dimensions)
• Même directives d’administration
• Les moyennes / écart-types obtenus sont équivalents

Question 21

Parle moi des avantages de la corrélation test-retest avec formes parallèles (vs test-retest)

Answer 21

• Pas de possibilité d’effet de mémoire

- Administration peut se faire en même temps

Question 22

Parle moi des limites de la corrélation test-retest avec formes parallèles (vs test-retest)

Answer 22

• Besoin de rédiger 2x plus de bons items
• Besoin de valider 2 instruments
• Les deux formes doivent vraiment être parallèles sinon pouish

Question 23

Quel est le principe de base de la cohérence interne ?

Answer 23

Si le construit est stable, il se manifeste de manière stable à travers les réponses d’un participant. On évalue la logique sous-jacente aux réponses des participants (si le construit est bien représenté par tous les items de manière cohérente)

Question 24

Comment peut-on évaluer la stabilité interne d’un instrument (2) ?

Answer 24

• Corrélation split-half

- Alpha de Cronbach

Question 25

Autres noms pour cohérence interne ?

Answer 25

Bissection, consistance interne, stabilité interne

Question 26

Comment obtient-on la corrélation split-half ?

Answer 26

On sépare le test en 2 versions artificielles et on évalue la corrélation entre ces deux versions.

Question 27

Que veut dire une corrélation split-half élevée ?

Answer 27

Que les réponses sont stables à travers le test

Question 28

Peut-on utiliser le split-half comme façon de vérifier la fiabilité test-retest ?

Answer 28

Oui, mais peu recommandé parce qu’il n’y aura pas de délai entre les deux tests.

Question 29

Comment est-il plus adéquat de séparer les items si l’instrument contient beaucoup d’items ?

Answer 29

Si le test a beaucoup d’items, il est conseillé de séparer les items pairs des items impairs plutôt que de les séparer au milieu du test pour éviter que l’effet de fatigue ait un impact sur la corrélation observée.

Question 30

Quelles est le problème majeur de la corrélation split-half ?

Answer 30

Comme elle mesure la fiabilité de 2 tests avec 2x moins d’items, il y a sous-estimation de la fiabilité

Question 31

Une augmentation des _____ d’un test permet d’augmenter la _______ de l’instrument parce qu’il y a plus ____________ de mesure ce qu’on veut mesurer

Answer 31

Items, fiabilité, d’opportunités

Question 32

____ d’items réduit l’impact de l’erreur aléatoire

Answer 32

Plus

Question 33

À quoi sert la correction de Spearman-Brown ?

Answer 33

Permet d’enlever la sous-estimation dû au manque d’items dans les deux tests artificiels générés par le split-half (on considère 1 test plutôt que 2 demis donc fidélité augmentée)

Question 34

À quoi sert la formule de la prophétie ?

Answer 34

Elle permet d’estimer combien d’items seraient nécessaire à l’obtention d’un split-half de X (ex : 0,85)

Question 35

La formule de la prophétie suppose que (2 choses)

Answer 35

• Les nouveaux items mesurent la même chose que les items de base
• La moyenne des intercorrélations des items de base sera la même que celle des intercorrélations des tous les items (les nouveaux ET les anciens)

Question 36

Qu’est-ce que l’alpha de Cronbach ?

Answer 36

Il indique dans quelle mesure les items du test mesure une seule chose (le construit)

Question 37

Quelles sont les variables qui impacte la qualité de l’alpha ?

Answer 37

• Le nombre d’items

- La moyenne des intercorrélations entre les paires d’items du test

Question 38

Un alpha de Cronbach peut-il être négatif ?

Answer 38

Oui, la valeur peut aller de -infini à 1, mais un alpha négatif = ça va pas du tout

Question 39

Qu’est-ce qui est mieux ?

1. Moins d’items, plus corrélés entre eux
2. Plus d’items moyennement corrélés entre eux

Answer 39

2 > 1

Question 40

Quel est le principe de base de l’accord inter-juges ?

Answer 40

Si le phénomène se manifeste de façon régulière, tous les juges devraient observer le même phénomène.

Question 41

Comment évaluer l’accord inter-juges ?

Answer 41

• Corrélation effectuée sur des cotes

- Kappas effectuées sur la catégorisation faite par les juges (est-ce que les juges sont d’accord)

Question 42

Les juges pourront voir la même chose si 4 conditions sont respectées (accord inter-juges), quelles sont-elles ?

Answer 42

• les juges ont reçu une bonne formation
• les juges sont compétents
• les comportements à observer sont bien définis (structure, cotation)
• les juges ont les mêmes opportunités d’observer le comportement

Question 43

Les juges travaillent-ils ensemble lorsqu’ils évaluent un test ?

Answer 43

Non!! Travail individuel et c’est important pour éviter les inter influences

Question 44

Le but de l’accord inter-juges est d’établir …

Answer 44

la variation aléatoire attribuable aux évaluateurs du test (ce qui fait que les juges sur ou sous-estiment / tendent ou pas vers les mêmes réponses)

Question 45

Que permet de montrer l’erreur de mesure ?

Answer 45

L’effet de la fiabilité sur le score généré par l’instrument

Question 46

Qu’est-ce qu’un intervalle de confiance ?

Answer 46

Bornes autour du score qui indique dans quelle intervalle se trouve le score vrai par rapport au score observé selon un niveau de certitude désiré

Question 47

Vrai ou Faux : Il n’y a pas de variance lors qu’il n’y a pas d’écarts des scores à la moyenne

Answer 47

Vrai

Question 48

Vrai ou Faux : Lorsqu’il n’y a pas de variance dans les scores, il y a plus de corrélations entre les scores

Answer 48

Faux : sans variance, il n’y a pas de corrélation

Question 49

L’alpha est-il affecté par la variance ? Pourquoi ?

Answer 49

Oui! Parce qu’il est fondé sur la moyenne des corrélations entre les scores. Les corrélations entre les scores dépendent de la présence de variance. Moins de variance a donc un effet négatif sur la qualité de l’alpha

Question 50

Juge de la fiabilité des corrélations de Pearson suivantes :
0,60
0,70
0,80
0,90

Answer 50

0,60 : fiabilité inacceptable mais parfois utilisé en recherche
0,70 : fiabilité acceptable
0,80 : fiabilité modérée
0,90 : fiabilité excellente

Question 51

Que veut dire une corrélation de 0,95 et plus ?

Answer 51

C’est suspect pour la cohérence interne, signe de redondance / sous-représentation du construit.