Cours 7 : Stabilité

Question 1

[STATISTIQUE]

Comment déterminer si une personne est « normale » ?

Answer 1

Il faut comparer son score avec la moyenne du groupe de référence, ce qui va donner l’écart à la moyenne.

Question 2

[STATISTIQUE]

C’est quoi l’écart à la moyenne ?

Answer 2

La distance entre le score du participant et la moyenne du groupe

Question 3

[STATISTIQUE]

À quoi correspond la variance ?*

Comment on peut se servir de la variance pour trouver l’écart-type ?*

*Indique par quelle lettre le concept est représenté

Answer 3

La variance (s²) c’est la moyenne des carrés des écarts à la moyenne du score de tous les individus.

Pour trouver l’écart-type (s ou ÉT), soit la distance des données par rapport à la moyennne, on fait la racine carré de la variance.

Question 4

[STATISTIQUE]

À quoi correspond la covariance ?
* Indique par quelle lettre le concept est représentée

Answer 4

La covariance (Cov) est une mesure du degré d’association entre deux variables. C’est-à-dire :
- À quel point une donné occupe la même position dans deux distributions de variables différentes.
- À quel point les variables changent ensemble (si X augmente, est-ce que Y aussi ?)

N = nombre de la population étudiée
X = Score de la variable 1 (X̄ = moyenne du groupe)
Y = Score de la variable 2

Question 5

[STATISTIQUE]

Dans cet exemple, la covariance est de 40,00. Ça indique quoi ?

Answer 5

Ça n’indique pas grand chose. En fait, la covariance sert à calculer la corrélation (r) qui, elle, permet d’inerpréter les données.

Question 6

[STATISTIQUE]

V ou F : La corrélation (r) exprime la même chose que la covariance, mais par une métrique standardisée.

Answer 6

Vrai! Le chiffre varie qu’entre -1.00 et +1.00

Question 7

[STATISTIQUE]

La corrélation (r) exprime la même chose que la covariance, mais par une métrique standardisée.

• Pourquoi le fait d’avoir une métrique standardisée (chiffre qui varie entre +/- 1.00) est utile ?
• La corrélation permet de déterminer quoi par rapport à l’instrument ?

Answer 7

• C’est beaucoup plus facile d’interpréter le résultat qu’avec une corrélation (où le chiffre veut rien dire)
• Permet de déterminer si l’instrument est fiable

Question 8

[THÉORIE CLASSIQUE] - La stabilité

• Concept de ___________
• Phase de ___________

Answer 8

• Concept de fiabilité (en vert)
• Phase de verification (à droite de la ligne verticale)

Question 9

[THÉORIE CLASSIQUE] - La stabilité

Quels sont les objectifs de la stabilité ? (2)

Answer 9

• Vérifier la nature et l’ampleur de l’erreur
• Établir la stabilité interne et temporelle

[On veut s’assurer que les choix faits lors de l’élaboration étaient les bons pour notre instrument pour minimiser l’erreur]

Question 10

[THÉORIE CLASSIQUE] - La stabilité

Quels sont les moyens employés pour répondre aux objetifs de la stabilité ? (5), soit :
- Vérifier la nature et l’ampleur de l’erreur
- Établir la stabilité interne et temporelle

Answer 10

• Erreur-type de mesure
• Analyse d’items
• Analyses corrélationnelles
• Approche hypothético-déductive
• Accord inter-juges

Question 11

[THÉORIE CLASSIQUE] - La stabilité

Est-il normal d’avoir de l’erreur de mesure ?

Answer 11

Oui, il y aura toujours de l’erreur de mesure. On veut juste qu’il en ait pas trop.

Question 12

[THÉORIE CLASSIQUE] - La stabilité

• Quand on se préoccupe de la fiabilité, on se pose toujours la question « ________________».
• Plus spécifiquement, l’étape de la stabilité nécessite de répondre à la question « ________________»

Answer 12

• Mon instrument comporte-t-il de l’erreur de mesure ?
• Combien d’erreur ai-je dans mon instrument ?

Question 13

[THÉORIE CLASSIQUE] - Erreur de mesure

Score observé (X) = ___________ + ___________

Answer 13

Score observé = score vrai + erreur de mesure

X = V + e

Question 14

[THÉORIE CLASSIQUE] - Erreur de mesure

Score observé = score vrai + erreur de mesure

Explique la logique de ce calcul

Answer 14

Si par miracle, on pouvait avoir aucune erreur de mesure dans l’instrument, alors le score qu’on obtiendrais serait le score vrai.

Étant donné que les résultats qu’on obtiens à l’aide de nos instruments (score observé), s’accompagnent toujours d’erreurs de mesure (aka «bruit»), alors elle correspond à ce qu’on aurait eu dans un monde parfait + le bruit du monde réel.

Question 15

[THÉORIE CLASSIQUE] - Erreur de mesure

Le score vrai correspond à soit ____________ OU ____________.

Answer 15

• Le score observé s’il n’y avait pas d’erreur de mesure dans l’instrument
  OU
• Le score moyen obtenu si le test est répondu de manière illimitée

Rappel : somme de toutes les erreur aléatoires = erreur qui tend à zéro = score parfait
Les variations positives et négatives de l’erreur ont tendance à s’annuler lorsque le nombre d’observations tend vers l’infini.

Question 16

[THÉORIE CLASSIQUE] - Erreur de mesure

Plus un instrument ________, plus on diminue le risque d’erreurs aléatoires.

Answer 16

Plus un instrument contient d’items, plus on diminu le risque d’erreur aléatoires.

Question 17

[THÉORIE CLASSIQUE] - Erreur de mesure

On a besoin de quoi pour vérifier la quantité d’erreur de mesure ?

Answer 17

On a besoin d’utiliser et interpréter des indices chiffrés.
Permet de démontrer concrètement avec des chiffres l’erreur de mesure.

Question 18

[THÉORIE CLASSIQUE] - Principe de base de la psychométrie

Sachant que le phénomène que l’on veut mesurer est relativement stable dans le temps, il y a 3 moyens de l’estimer.

Quels sont ces moyens ?

Answer 18

Question 19

[STABILITÉ] - Test retest (aka stabilité temporelle)

Si le phénomènes est stable, ________ mesures prises à l’intérieur d’un délai devraient se ________ .

Answer 19

Si le phénomène est stable, deux mesures prises à l’intérieur d’un délai devraient se ressembler.

Question 20

[STABILITÉ] - Test retest (aka stabilité temporelle)

Quels sont les moyens pour vérifier la stabilité temporelle (2) ?

Answer 20

1. Corrélation test-retest
2. Corrélation test-retest avec formes parallèles

Question 21

[STABILITÉ] - Corrélation test-retest

La corrélation test-retest est la manière d’estimer la stabilité temporelle.

À quoi dépend la qualité de l’estimation (2) ?

Answer 21

1) De l’intervalle de temps entre les deux passations
- Intervalle assez longue pour ne plus se rappeler ce qu’on a répondu
- Intervalle pas trop longue pour ne pas qu’il ait beaucoup de changement

2) Des chanements survenus chez les participants durant cette période

Une personne qui a beaucoup confiance en elle-même au temps 1 devrait avoir beaucoup confiance en elle au temps 2
    

Question 22

[STABILITÉ] - Corrélation test-retest avec formes parallèles

C’est quoi ?

Answer 22

Au lieu de faire passer le même test deux fois, lors de la 2e passation, on administre un test « parallèle », cad un test équivalent à celui de la première passation.

Question 23

[STABILITÉ] - Corrélation test-retest avec formes parallèles

De quoi dépend la qualité de l’estimation ? (2)

Answer 23

1. De la qualité du parallélisme entre les deux versions
2. De l’intervalle entre les deux passations
   - Ex : Des changements sont survenus chez nos participants durant cette période

Question 24

[STABILITÉ] - Corrélation test-retest avec formes parallèles

Il faut s’assurer que les deux tests sont parallèles avant de mesurer la stabilité.

Quelle sont les conditions pour considérer que les deux formes d’un même instrument est parallèle ? (5)

Answer 24

1. Les items sont très similaire, mais pas identiques
2. Le nombre d’items est le même
3. La structure dimensionnelle est la même (mêmes dimensions évaluées avec mêmes proportions)
4. Les mêmes directives d’administration sont en vigueur
5. Les deux formes génèrent des résultats avec des moyennes et écart-types équivalents

Question 25

# [STABILITÉ] - Corrélation test-retest avec formes parallèles Quelles sont les **avantages** de la **corrélation test-retest avec formes parallèles** ? (2)

Answer 25

- Élimination de l'effet de mémoire - Les deux formes peuvent être administrées en même temps

Question 26

# [STABILITÉ] - Corrélation test-retest avec formes parallèles Quelles sont les **inconvénients** de la **corrélation test-retest avec formes parallèles** ? (3)

Answer 26

- Il faut rédiger 2x plus d'items ``` Les items sont similaires mais pas identiques ``` - Il faut effectuer une validation de « deux instruments » - Il faut s'assurer que les formes demeurent parallèles

Question 27

# [STABILITÉ] - Cohérence interne C'est quoi la **cohérence interne** ? Ce concept s'appuie sur quel postulat ?

Answer 27

La **cohérence interne** c'est pour voir si le construit est stable en regardant si les réponses des participants est cohérente au travers des items. Si le **construit** existe de manière **stable**, il se manifestera de la même manière (stable) à travers toutes les réponses d'un participant. *On suppose que les participants sont honnête*

Question 28

# [STABILITÉ] - Cohérence interne Quels sont les **moyens** de la mesurer (cad, quels sont les indices de cohérence interne)? (2)

Answer 28

1. Corrélation « Split-half » 2. Alpha de Cronbach

Question 29

# [STABILITÉ] - Cohérence interne (Split-half) Comment on fait un **split-half** ?

Answer 29

On sépare le test en deux et on vérifie la corrélation entre deux versions « artificielles ». ``` Première moitié = test artificiel 1 Deuxième moitié = test artificiel 2 ``` Si les réponses des participants sont stables (donc le construit est stable), alors il devrait avoir une **corrélation élevée** entre les deux moitiés.

Question 30

# [STABILITÉ] - Cohérence interne (Split-half) **V ou F**: La corrélation Split-half est souvent utilisée pour mesurer artificiellement la fiabilité test-retest.

Answer 30

**Faux**, c'est parfois utilisé mais ce n'est pas recommandé. On ne peut pas dire que les deux formes sont parallèles (ex: gradation dans la difficulté des items)

Question 31

# [STABILITÉ] - Cohérence interne (Split-half) Pourquoi le Split-half est une mesure biaisée de la fiabilité ?

Answer 31

**Rappel : Plus un insrument contient d'items, plus le risque d'erreur aléatoire diminue** - Étant donné qu'on doit couper artificiellement notre instrument en deux pour procéder au calcul de corrélation, on ne mesure pas la fiabilité du test, mais bien la fiabilité d'un test comportant la moitié moins d'items - L'estimé est donc biaisé (surestimation de l'ampleur de l'erreur de mesure)

Question 32

# [STABILITÉ] - Cohérence interne (Split-half) Comment contrer le biais du Split-half ?

Answer 32

On fait une correction de **Spearman-Brown** à la corrélation de Split-half.

Question 33

# [STABILITÉ] - Cohérence interne (Split half + formule de la prophétie) Spearman et Brown ont pu développer la correction utilisée dans le cas d’une corrélation « Split-half » grâce à des travaux plus pointus qui ont culminé à ce qu’on appelle la **formule de la prophétie**. Cette formule permet quoi ?

Answer 33

La **formule de la prophétie** permet d'estimer combien d'items il faudrait pour obtenir un « Split-half » de X. *Mon instrument contient X items. Donc cette formule permet de savoir, par exemple, combien d'items il me faut pour avoir une fiabilité de **r** = 0,85*

Question 34

# [STABILITÉ] - Cohérence interne (Split half + formule de la prophétie) On a un instrument qui comprend 6 items et sont le corfficient de fiabilité (Split-half) observé est **r** = 0,597. Pour améliorer la fiabilité de l'instrument, il faudrait rédiger combien d'items supplémentaires ? *Le résultat de la formule de la prophétie = 22,15*

Answer 34

Pour améliorer la fiabilité de l'instrument, il faudrait rédiger **17 items supplémentaires** * Il faut **TOUJOURS** arrondir à la hausse, donc pour améliorer la fiabilité de l'instrument, il faudrait qu'il ait 23 items. * Pour savoir le nombre d'items supplémentaires à rédiger, on fait 23 - 6 (nombre d'items de l'instrument initial) = 17

Question 35

# [STABILITÉ] - Cohérence interne (Split half + formule de la prophétie) Qu'est-ce que la logique sous-jacente à la formule de la prophétie suppose ?(2)

Answer 35

1. Que les items qui sont ajoutés mesurent la même chose que les items initiaux 2. Que la qualité des items qu'on rédige soit la même que la qualité des items initiaux * C'est à dire, que la moyenne des intercorrélations entre les items initiaux soit égale à la moyenne des intercorrélations du total des items

Question 36

# [STABILITÉ] - Cohérence interne (Alpha de Cronbach « α ») Qu'est-ce cet indice de cohérence interne indique ? Comment on l'interprète ?

Answer 36

L'alpha de Cronbach (α) indique dans quelle mesure les items du test mesurent une seule chose. C'est un chiffre qui varie entre -∞ et 1 (mais la plupart du temps il varie entre 0 et 1) - Plus il s'approche de 1, plus la fiabilité est bonne

Question 37

# [STABILITÉ] - Cohérence interne (Alpha de Cronbach « α ») **V ou F** : L'alpha de Cronbach est un indice de corrélation

Answer 37

**Faux**

Question 38

# [STABILITÉ] - Cohérence interne (Alpha de Cronbach « α ») C'est quoi la logique du calcul ?

Answer 38

C'est comme si on fait pleins de corrélations Split-half entre chaque items et on regarde comment chaque item corrèle ensemble à l'intérieur de l'instrument. Ainsi, on peut déterminer si on mesure bel et bien la même chose.

Question 39

# [STABILITÉ] - Cohérence interne (Alpha de Cronbach « α ») Quelles variables influencent l'alpha de Cronbach ? (2)

Answer 39

1) **Nombre d'items** - Plus le nombre d'items est grand, plus la corrélation moyenne est grande et plus l'Alpha sera élevé. 2) **Corrélation moyenne** - Plus nos items sont bons pour mesurer un construit, plus ils auront d'impact sur la corrélation moyenne.

Question 40

# [STABILITÉ] - Cohérence interne (Alpha de Cronbach « α ») Quels sont les liens entre la **variance**, la **corrélation** et l'**alpha**?

Answer 40

La **variance** est la moyenne des carrés des écarts à la moyenne des scores d'une distribution. * Donc sans écarts à la moyenne, il n'y a pas de variance La **corrélation** est une covariance standardisée entre deux distributions de scores * Sans variation dans l'une ou l'autre des distribution, il n'y a pas de corrélation Comme l'**Alpha** est fondée sur la moyenne de toutes les corrélations possibles entre les scores d'items, l'Alpha est aussi très affecté par la quantité de variance dans les scores d'items. **Donc, il est important de considérer la variabilité de réponses que l'item suscite**

Question 41

# [STABILITÉ] - Accord interjuges Quel est le principe de base de l'**accord interjuges** ?

Answer 41

Si le phénomène se manifeste avec régularité (stable), tous les juges devraient donc observer le même pénomène. - Devraient comprendre la même chose, car ils voient la même chose

Question 42

# [STABILITÉ] - Accord interjuges Quels sont les **moyens** pour mesurer l'accord interjuge ? (2)

Answer 42

1. Corrélations effectués sur des cotes 2. Kappas effectués sur : - La catégorisation - La fréquence faite par les juges Kappa = % d'accord

Question 43

# [STABILITÉ] - Accord interjuges Les juges « verront » la même chose si ... (4) ?

Answer 43

- Ils ont une bonne formation - S'ils sont compétents - Si les comportements à observer sont bien définis - Si les juges ont les mêmes opportunités d'observer le comportement.

Question 44

# [STABILITÉ] - Résumé Pour chaque méthode, indique le(s) méthode(s) statistique(s) utilisés : - **Fiabilité test-retest** - **Accord interjuges** - **Formes parallèles** - **Cohérence interne**

Answer 44

**Fiabilité test-retest** - Corrélation (rxx ou r) **Accord interjuges** - Corrélation (r) - Kappa (κ) **Formes parallèles** - Corrélation (rxx ou r) **Cohérence interne** - Corrélation (rxx ou r) - « Split-half » (rxx ou r) - Alpha de Cronbach (α)

Question 45

# [STABILITÉ] - Résumé Pour la méthode de **fiabilité test-retest** quelle est le(s) hypothèse(s) caractéristique d'étude de validation ?

Answer 45

La corrélation entre les résultats du temps 1 et les résultats au temps 2 sera **positive** et **élevée**.

Question 46

# [STABILITÉ] - Résumé Pour la méthode d' **accord interjuges** quelles sont le(s) hypothèse(s) caractéristique d'étude de validation ? (2)

Answer 46

On s'attend que : - La **corrélation** entre les résultats du juge A et les résultats du juge B sera **positive** et **élevée** - Le **pourcentage d'accord** (kappa) entre les juges A et le juge B sera élevée

Question 47

Pour la méthode de **formes parallèles** quelles sont le(s) hypothèse(s) caractéristique d'étude de validation ?

Answer 47

La corrélation entre les résultats à la forme A et les résultats à la forme B sera **positive** et **élevée**.

Question 48

Pour la méthode de **cohérence interne** quelles sont le(s) hypothèse(s) caractéristique d'étude de validation ?

Answer 48

**Corrélation** : On s'attend que ... - La corrélation entre le résultat de l'item 1 et le résultat de l'item 2 sera **positive** et **élevée** * - Les corrélations entre le résultat à l'item 1 et le score total sera **positive** et **élevée** * *À interpréter avec l'indice de Cohen **Split-half** : On s'attend que ... - La corrélation entre le « score total » de la première moitié de l'instrument et le « score total » de la deuxième moitié de l'instrument sera **positive** et **élevée** - Plus les participants répondent logiquement, plus les items sont inter-corrélés et plus le coefficient sera élevé (si les items contiennent pas d'erreurs)

Question 49

# [STABILITÉ] - Juger la fiabilité Comment on fait pour juger si l'instrument est **fiable** ?

Answer 49

Question 50

# [STABILITÉ] - Juger la fiabilité Pourquoi une corrélation de **0,95 et plus** est **suspect** (pour la cohérence interne seulement) ?

Answer 50

Parce que ça pourrait vouloir dire qu'il y a une sous-représentation du construit.

Question 51

# [STABILITÉ] - Juger la fiabilité Est-ce qu'on juge de la même façon les scores de corrélations dans toutes les situations ?

Answer 51

Non, ces critères sont généraux. Plus un instrument est utilisé pour prendre des décisions importantes (ex : qui va avoir un impact sur la vie des gens), plus il faut être **sévère**. Bref, le jugement de la corrélation dépend de l'importance de la décision à prendre.

Question 52

# [STABILITÉ] - Juger la fiabilité Pourquoi une corrélation entre 0,60 et 0,69 est innaceptable, mais quand même utilisé en recherche ?

Answer 52

Parce qu'en recherche, les études sont souvent faites sur des grands groupes de personnes. Plus on augmente le nombre d'observations, moins d'impact chaque personne aura individuellement sur le score total. => Grand échantillon = Erreur aléatoire qui tend vers zéro

Question 53

# [Erreur-type de mesure] L'ETM permet de faire quoi ?

Answer 53

De relativiser le score obtenu et déterminer l’intervalle de confiance autour d’un score vrai pour X. On peut le calculer pour un niveau de confiance plus élevé ou plus bas. Plus l'ETM est grand, plus il y a d'erreur possible dans le score observé

Question 54

# [Erreur-type de mesure] - Intervalle de confiance 1. À quoi sert l'**intervalle de confiance** ? 2. On estime l'intervalle de confiance en fonction de quoi ? (3)

Answer 54

L'intervalle de confiance sert à estimer dans quel intervalle se situe le score réel d'un participant On l'estime en fonction de : 1. **Erreur-type de mesure** 2. **Score observé** 3. **Niveau de certitude désiré**

Question 55

# [Erreur-type de mesure] - Intervalle de confiance L'intervalle de confiance sert à estimer dans quel intervalle se situe le score réel d'un participant On l'estime en fonction de : 1. **Erreur-type de mesure** 2. **Score observé** 3. **Niveau de certitude désiré** Comment on détermine les bornes de l'intervalle de confiance ?

Answer 55

**Erreur-type de mesure** = niveau de certitude de 68% (IC = +/- ÉTM) - Niveau de certitude à 95% : +/- 1,96 ÉT **Bornes de l'intervalle** : score +/- (1,96 x ETM)

Question 56

# [Erreur-type de mesure] - Intervalle de confiance **Bornes de l'intervalle** : score +/- (1,96 x ETM) Sachant que le score observé de Gorges =10 et que l'ÉTM = 1,97 et que l'intervalle de confiance utilisée est de 95%, son intervalle se situe entre 6,14 et 13,86. Ça veut dire que ...

Answer 56

Il y a 95% des chances qu’un score observé de 10 corresponde à un score vrai se situant entre 6,14 et 13,86.