Cours 7 : stabilité

Question 1

Statistiques : comment répondre à suis-je normal?

Answer 1

Écart à la moyenne : comparer une personne à d’autres d’un groupe de référence.

Question 2

Variance : expliquez

Answer 2

Moyenne des carrés des écarts à la moyenne du score de tous les individus.
Mesure qui sert à déterminer la distance moyenne (au carré) des données par rapport à la moyenne.

Question 3

Covariance : expliquez

Answer 3

La covariance est une mesure du degré d’association entre deux variables.
À quel point une donnée occupe la même position dans deux distributions de variables différentes.
À quel point les variables changent ensemble.

Question 4

Comment interpréter la covariance qui est une métrique non standardisée?

Answer 4

Conversion en corrélation qui exprime la même chose que la covariance, mais par une métrique standardisée (le chiffre ne varie qu’entre -1,00 et +1,00)
**on divise la covariance par l’écart-type des 2 variables.

Question 5

Fiabilité : question générale et à l’étape de stabilité

Answer 5

a. Lorsqu’on se préoccupe de fiabilité, on se pose toujours la même question générale «Mon instrument comporte-t-il de l’erreur de mesure ?»

b. Plus spécifiquement, l’étape de la stabilité nécessite de répondre à la question générale «Combien d’erreur ai-je dans mon instrument? »

Question 6

Tâches étape stabilité : 2 objectifs et 5 moyens

Answer 6

Objectifs
1- Vérifier la nature et l’ampleur de l’erreur
2- Établir la stabilité interne et temporelle

Moyens
1- Erreur-type de mesure
2- Analyses d’items
3- Analyses corrélationnelles
4- Approche hypothético-déductive
5- Accord inter-juges

Question 7

Erreur de mesure : fondements de la théorie classique

Answer 7

Les résultats que nous obtenons à l’aide de nos instruments s’accompagnent d’erreur de mesure.
La «vraie vérité» est donc mélangée avec «du bruit»
Si, par miracle, nous pouvions départager la «vraie vérité» du « bruit» nous obtiendrions:

Score Observé = Score Vrai + erreur de mesure

Question 8

Erreur de mesure : fondements de la théorie classique : solution pour palier au plus gros problème

Answer 8

Le gros problème c’est l’erreur aléatoire : Il y a des moyens d’estimer l’erreur (aléatoire) de mesure.

Les variations positives et négatives de l’erreur ont tendance à s’annuler lorsque le nombre d’observations tend vers l’infini : la moyenne de l’erreur aléatoire tend vers 0

Question 9

Méthodes et principes pour répondre à la question « Combien d’erreur ai-je dans mon instrument?»

Answer 9

La vérification de la quantité d’erreur de mesure nécessite l’usage et l’interprétation d’indices chiffrés.

Il y a plusieurs indices différents afin de circonscrire le type d’erreur en cause.

Question 10

Principe de base de la psychométrie

Answer 10

Le phénomène que l’on veut mesurer est relativement stable dans le temps.

Question 11

3 moyens d’estimer l’erreur de mesure

Answer 11

1- Stabilité temporelle
2- Cohérence (ou consistance) interne
3- Accords interjuges

Question 12

Stabilité temporelle (fiabilité test-retest)
a. Idée générale
b. 2 moyens

Answer 12

a. Si le phénomène est stable, deux mesures prises à l’intérieur d’un délai devraient se ressembler

b. Moyens
1- Corrélation test-retest
2- Corrélation test-retest avec formes parallèles

Question 13

Corrélation test-retest : la qualité de l’estimation dépend de quoi?

Answer 13

Intervalle de temps entre les deux passations :Changements survenus chez les participants durant cette période

Question 14

Différence entre corrélation test-retest et corrélation test-retest avec formes parallèles dans ce qu’ils mesurent

Answer 14

Les deux estiment la stabilité temporelle
Formes parallèles : permettent de contrôler l’effet néfaste de la mémoire.

Question 15

Corrélation test-retest avec formes parallèles : qualité de l’estimation dépend de quoi?

Answer 15

1- Qualité du parallélisme (équivalence) entre les deux versions
2- Intervalle de temps entre les deux passations (p. ex. des changements sont survenus chez nos participants durant cette période)

Question 16

On considère parallèles les deux formes d’un même instrument lorsque (5)

Answer 16

1- Les items sont très similaires (mais pas identiques)

2- Le nombre d’items est le même

3- La structure dimensionnelle est la même

4- Les mêmes directives d’administration sont en vigueur

5- Les deux formes génèrent des résultats avec des moyennes et écart-types équivalents.

Question 17

Formes parallèles : 2 avantages, 3 inconvénients

Answer 17

Avantages
1- Élimination de l’effet de mémoire
2- Les deux formes peuvent être administrées en même temps

Inconvénients
1- Il faut rédiger 2 fois plus d’items
2- Il faut effectuer une validation de «deux instruments»
3- Il faut s’assurer que les formes demeurent parallèles

Question 18

Cohérence interne
a. Postulat
b. 2 moyens

Answer 18

a. Si le construit existe de manière stable, il se manifestera de la même manière (stable) à travers toutes les réponses d’un participant.

b.
1- Corrélation « Split-half»
2- Alpha de Cronbach

Question 19

Corrélation split-half (bissection ou moitié-moitié) : description

Answer 19

On sépare le test en deux et on vérifie la corrélation entre les deux versions «artificielles» : il devrait y avoir une corrélation élevée entre les deux moitiés si les réponses des participants sont stables.

Peut parfois être utilisé comme mesure artificielle de fiabilité test-retest (mais pas recommandé).

Question 20

Importance du nombre d’items
a. Pourquoi?
b. Enjeu avec méthode du split-half

Answer 20

a. Plus un instrument contient d’items, plus le risque d’erreur aléatoire diminue.

b. Quand on estime la fiabilité par la méthode «Split-half» on doit couper artificiellement notre instrument en deux afin de procéder au calcul d’une corrélation : ne mesure pas la fiabilité du test,mais bien la fiabilité d’un test comportant la moitié moins d’items : L’estimé est donc biaisé.

Question 20

Indice de cohérence interne : split half

Answer 20

Corrélation de split-half de spearman-browb

Question 20

Amélioration de la cohérence interne (split-half)

Answer 20

Spearman et Brown ont pu développer la correction utilisée dans le cas d’une corrélation « Split-half» grâce à des travaux plus pointus qui ont culminé à ce qu’on appelle la formule de la prophétie.

Cette formule permet d’estimer combien d’items il faudrait pour obtenir un « Split-half» de X.

Question 21

La logique sous-jacente à la formule de prophétie

Answer 21

Suppose
1- Que les items qui sont ajoutés mesurent la même chose que les items initiaux.
2- Que la moyenne des intercorrélations entre les items initiaux soit égale à la moyenne des intercorrélations du total des items (soit les items ajoutés + les items initiaux )

Question 22

Alpha de cronbach : description (indique quoi, valeurs possible, corrélation?)

Answer 22

Indique dans quelle mesure les items du test mesurent une seule chose.

C’est un chiffre qui varie entre -∞ et 1 (mais la plupart du temps il varie entre 0 et 1);

Plus il s’approche de 1, plus la fiabilité est bonne

Ce n’est pas un indice de corrélation

Question 23

Variables importantes pour alpha de Cronbach (2)

Answer 23

1- Nombre d’items
2- Moyenne des intercorrélations entre toutes les paires d’items de l’instrument

Question 24

Vrai ou faux : Plus le nombre d’item est petit et plus la corrélation moyenne est grande, plus l’Alpha sera élevé.

Answer 24

Faux : Plus le nombre d’item est GRAND et plus la corrélation moyenne est grande, plus l’Alpha sera élevé.
*Nombre d’items : alpha augmente lentement
Corrélation moyenne : alpha augmente plus rapidement

Question 25

Lien entre la variance, la corrélation et l’apha de Cronbach

Answer 25

La variance est la moyenne des carrés des écarts à la moyenne des scores d’une distribution : sans écarts à la moyenne, il n’y a pas de variance.

La corrélation est une covariance standardisée entre deux distributions de scores : sans variance dans l’une ou l’autre des distributions, il n’y a pas de corrélation.

Comme l’Alpha est fondé sur la moyenne de toutes les corrélations possibles entre les scores d’items, l’Alpha est aussi très affecté par la quantité de variance dans les scores d’items.

Donc. il est important de considérer la variabilité des réponses que l’item suscite.

Question 26

Accord interjuge
a. Prémisse
b. 2 moyens

Answer 26

a. Si le phénomène se manifeste avec régularité, tous les juges devraient donc observer le même phénomène.

b. Moyens :
1. Corrélations effectuées sur des cotes
2. Kappas effectués sur la catégorisation ou la fréquence faite par les juges

Question 27

Accors interjuge : les juges verront la même chose si…(4)

Answer 27

1- La formation est bonne

2- Les juges sont compétents

3- Les comportements à observer sont bien définis

4- Les juges ont les mêmes opportunités d’observer le comportement

Question 28

Hypothèses caractéristiques d’études de validation relatives à l’étape de la Stabilité : 4 méthodes avec 7 techniques statistiques

Answer 28

Fiabilité test-retest
1- Corrélation : La corrélation entre les résultats au temps 1 et les résultats au temps 2 sera positive et élevée

Accords interjuges
1- Corrélation : le pourcentage d’accord entre le juge A et le juge B sera élevé
2- Kappa : la corrélation entre les résultats à la forme A et les résultats à la forme B sera positive et élevée

Formes parallèles
1- Corrélation : corrélation entre les résultats à la forme A et les résultats à la forme B sera positive et élevée

Cohérence interne
1- Corrélation : .La corrélation entre le résultat à l’item 1 et le résultat à l’item 2 sera positive et élevée (à interpréter avec les critères de Cohen) . La corrélation entre le résultat à l’item 1 et le score total sera positive et élevée

2- Split-half : La corrélation entre le «score total» de la première moitié de l’instrument et le «score total» de la deuxième moitié de l’instrument sera positive et élevée

3- Alpha de Cronbach : Plus les participants répondent logiquement (c’est ce qui doit se produire si les items ne contiennent pas d’erreur), plus les items sontinter-corréléset plus le coefficient sera élevé.

Question 29

Juger de la fiabilité (corrélations

Answer 29

Moins de 0,60 : inacceptable (toujours)
0,60-0,69 : inacceptable (parfois utilisé en recherche)
0,70-0,79 : acceptable
0,80-0,89 : modérée
0,90 et plus : excellente
0,95 et plus : suspect (pour cohérence interne seulement)

Question 30

Erreur-type de mesure : idée générale : montre quoi, plus l’ETM est grand…, permet de calculer quoi

Answer 30

Montre l’effet de la fiabilité sur un score généré par l’instrument.

Plus l’ETM est grand, plus il y a d’erreur dans le score observé.

Il est possible de calculer un intervalle de confiance autour du score observé.

Question 31

Intervalle de confiance : erreur-type de mesure

Answer 31

L’intervalle de confiance sert à estimer, en fonction de l’erreur-type de mesure, du score observé et d’un niveau de certitude désiré, dans quel intervalle se situe le score réel d’un participant.

À un niveau de certitude de 68%, on calcule l’intervalle de confiance à l’aide de cette formule: score + ou - ETM

Question 32

Intervalle de confiance ETM : distribution normale

Answer 32

68% de l’échantillon se trouve sous la courbe à +/- 1,00 ETM.

95% de l’échantillon se trouve sous la courbe à +/- 1,96 ETM.

Question 33

Calcul intervalle de confiance

Answer 33

Intervalle de confiance : score + ou - ETM x niveau de certitude (1 ou 1,96)