Stabilité - 2 Nov 2023

Question 1

Définition variance

Answer 1

La variance est la moyenne des carrés des écarts à la moyenne du score de tous les individus.
Mesure qui sert à déterminer la distance moyenne (au carré) des données par rapport à la moyenne.

Question 2

Définition covariance

Answer 2

La covariance est une mesure du degré d’association entre deux variables.
À quel point une donnée occupe la même position dans deux distributions de variables différentes.
À quel point les variables changent ensemble.

Question 3

Définition: De la covariation à la corrélation

Answer 3

La corrélation exprime la même chose que la covariance, mais par une métrique standardisée (le chiffre ne varie qu’entre -1,00 et +1,00)

Question 4

Objectifs de la stabilité

Answer 4

Objectifs
Vérifier la nature et l’ampleur de l’erreur
Établir la stabilité interne et temporelle

Question 5

Moyens de la stabilité

Answer 5

Moyens:
Erreur-type de mesure
Analyses d’items
Analyses corrélationnelles
Approche hypothético-déductive
Accord inter-juges

Question 6

Définition erreur de mesure (fondements de la théorie classique)

Answer 6

Les résultats que nous obtenons à l’aide de nos instruments s’accompagnent d’erreur de mesure
La «vraie vérité» est donc mélangée avec «du bruit»
Si, par miracle, nous pouvions départager la «vraie vérité» du « bruit» nous obtiendrions:
Score Observé = Score Vrai + erreur de mesure
X = V + e

Question 7

Erreur de mesure: fondements de la théorie classique (méthodes et principes)

Answer 7

Méthodes et principes pour répondre à la question « Combien d’erreur ai-je dans mon instrument?»
La vérification de la quantité d’erreur de mesure nécessite l’usage et l’interprétation d’indices chiffrés.
Il y a plusieurs indices différents afin de circonscrire le type d’erreur en cause.

Question 8

Principe de base (stabilité)

Answer 8

Le phénomène que l’on veut mesurer est relativement stable dans le temps.

Question 9

Trois moyens d’estimer l’erreur de mesure

Answer 9

Stabilité temporelle, cohérence interne/consistance interne, accord interjuges

Question 10

Quelle est la stabilité temporelle? (Fiabilité test-retest)

Answer 10

Si le phénomène est stable, deux mesures prises à l’intérieur d’un délai devraient se ressembler

Moyens
Corrélation test-retest
Corrélation test-retest avec formes parallèles

Question 11

Définition Corrélation test-retest

Answer 11

La corrélation test-retest est la manière d’estimer la stabilité temporelle
La qualité de l’estimation dépend de l’intervalle de temps entre les deux passations et des changements survenus chez les participants durant cette période
Une personne qui a beaucoup confiance en elle-même au temps 1 devrait avoir beaucoup confiance en elle-même au temps 2
Une personne qui a peu confiance en elle-même au temps 1 devrait avoir peu confiance en elle-même au temps 2

Question 12

Définition corrélation test-retest avec formes parallèles

Answer 12

La corrélation test-retest avec formes parallèles est la manière d’estimer la stabilité temporelle sans l’effet «néfaste» de la mémoire

La qualité de l’estimation dépend alors:
- de la qualité du parallélisme entre les deux versions
- de l’intervalle de temps entre les deux passations (p. ex. des changements sont survenus chez nos participants durant cette période)

Question 13

Qualité du parallélisme (corrélation test-retest avec formes parallèles)

Answer 13

On considère parallèles les deux formes d’un même instrument lorsque :
Les items sont très similaires (mais pas identiques) ;
Le nombre d’items est le même ;
La structure dimensionnelle est la même ;
Les mêmes directives d’administration sont en vigueur ;
Les deux formes génèrent des résultats avec des moyennes et écart-types équivalents.

Avantages:
Élimination de l’effet de mémoire
Les deux formes peuvent être administrées en même temps

Inconvénients:
Il faut rédiger 2 fois plus d’items
Il faut effectuer une validation de «deux instruments»
Il faut s’assurer que les formes demeurent parallèles

Question 14

Définition cohérence interne

Answer 14

Postulat : si le construit existe de manière stable, il se manifestera de la même manière (stable) à travers toutes les réponses d’un participant

Le terme «cohérence interne» fait référence à la logique sous-jacente à la manière dont les participants répondent aux items

Moyens:
Corrélation « Split-half»
Alpha de Cronbach

Question 15

Corrélation split-half (indice cohérence interne)

Answer 15

On sépare le test en deux et on vérifie la corrélation entre les deux versions «artificielles»

Il devrait y avoir une corrélation élevée entre les deux moitiés si les réponses des participants sont stables

Peut parfois être utilisé comme mesure artificielle de fiabilité test-retest (mais pas recommandé)

Question 16

Définition: Nombre d’items (principe important en fiabilité)

Answer 16

Rappel: Plus un instrument contient d’items, plus le risque d’erreur aléatoire diminue

Quand on estime la fiabilité par la méthode «Split-half» on doit couper artificiellement notre instrument en deux afin de procéder au calcul d’une corrélation
Ne mesure pas la fiabilité du test,mais bien la fiabilité d’un test comportant la moitié moins d’items
L’estimé est donc biaisé

Question 17

Comment améliorer la cohérence interne?

Answer 17

Spearman et Brown ont pu développer la correction utilisée dans le cas d’une corrélation « Split-half» grâce à des travaux plus pointus qui ont culminé à ce qu’on appelle la formule de la prophétie

Cette formule permet d’estimer combien d’items il faudrait pour obtenir un « Split-half» de X

Question 18

Définition: Formule de la prophétie

Answer 18

La logique sous-jacente à la formule de prophétie suppose:
-que les items qui sont ajoutés mesurent la même chose que les items initiaux
-que la moyenne des intercorrélations entre les items initiaux soit égale à la moyenne des intercorrélations du total des items (soit les items ajoutés + les items initiaux )

Question 19

Définition Alpha de cronbach (indice de cohérence interne)

Answer 19

Indique dans quelle mesure les items du test mesurent une seule chose
C’est un chiffre qui varie entre -∞ et 1 (mais la plupart du temps il varie entre 0 et 1);
Plus il s’approche de 1, plus la fiabilité est bonne
Ce n’est pas un indice de corrélation

Question 20

Différence entre la covariance et la corrélation?

Answer 20

Expriment la même chose, mais la corrélation l’exprime par une métrique standardisé (entre -1,00 et +1,00)

Question 21

Définition accord interjuges

Answer 21

Si le phénomène se manifeste avec régularité, tous les juges devraient donc observer le même phénomène

Moyens :
1. Corrélations effectuées sur des cotes
2. Kappas effectués sur la catégorisation ou la fréquence faite par les juges

Question 22

Quels sont les principes de l’accord interjuges?

Answer 22

Principe de base:
La compréhension de ce qui est observé sera stable dans la mesure où deux juges «voient» la même chose.

Les juges «verront» la même chose:
Si la formation est bonne
Si les juges sont compétents
Si les comportements à observer sont bien définis
Si les juges ont les mêmes opportunités d’observer le comportement

Question 23

Que démontre l’erreur type de mesure?

Answer 23

L’ETM montre l’effet de la fiabilité sur un score généré par l’instrument.

Plus l’ETM est grande, plus il y a d’erreur dans le score observé

Il est possible de calculer un intervalle de confiance autour du score observé

Question 24

À quoi sert l’intervalle de confiance?

Answer 24

L’intervalle de confiance sert à estimer, en fonction de l’erreur-type de mesure, du score observé et d’un niveau de certitude désiré, dans quel intervalle se situe le score réel d’un participant.
À un niveau de certitude de 68%, on calcule l’intervalle de confiance à l’aide de cette formule:
Score +/- ETM