Stabilité - 2 Nov 2023 Flashcards
Définition variance
La variance est la moyenne des carrés des écarts à la moyenne du score de tous les individus.
Mesure qui sert à déterminer la distance moyenne (au carré) des données par rapport à la moyenne.
Définition covariance
La covariance est une mesure du degré d’association entre deux variables.
À quel point une donnée occupe la même position dans deux distributions de variables différentes.
À quel point les variables changent ensemble.
Définition: De la covariation à la corrélation
La corrélation exprime la même chose que la covariance, mais par une métrique standardisée (le chiffre ne varie qu’entre -1,00 et +1,00)
Objectifs de la stabilité
Objectifs
Vérifier la nature et l’ampleur de l’erreur
Établir la stabilité interne et temporelle
Moyens de la stabilité
Moyens:
Erreur-type de mesure
Analyses d’items
Analyses corrélationnelles
Approche hypothético-déductive
Accord inter-juges
Définition erreur de mesure (fondements de la théorie classique)
Les résultats que nous obtenons à l’aide de nos instruments s’accompagnent d’erreur de mesure
La «vraie vérité» est donc mélangée avec «du bruit»
Si, par miracle, nous pouvions départager la «vraie vérité» du « bruit» nous obtiendrions:
Score Observé = Score Vrai + erreur de mesure
X = V + e
Erreur de mesure: fondements de la théorie classique (méthodes et principes)
Méthodes et principes pour répondre à la question « Combien d’erreur ai-je dans mon instrument?»
La vérification de la quantité d’erreur de mesure nécessite l’usage et l’interprétation d’indices chiffrés.
Il y a plusieurs indices différents afin de circonscrire le type d’erreur en cause.
Principe de base (stabilité)
Le phénomène que l’on veut mesurer est relativement stable dans le temps.
Trois moyens d’estimer l’erreur de mesure
Stabilité temporelle, cohérence interne/consistance interne, accord interjuges
Quelle est la stabilité temporelle? (Fiabilité test-retest)
Si le phénomène est stable, deux mesures prises à l’intérieur d’un délai devraient se ressembler
Moyens
Corrélation test-retest
Corrélation test-retest avec formes parallèles
Définition Corrélation test-retest
La corrélation test-retest est la manière d’estimer la stabilité temporelle
La qualité de l’estimation dépend de l’intervalle de temps entre les deux passations et des changements survenus chez les participants durant cette période
Une personne qui a beaucoup confiance en elle-même au temps 1 devrait avoir beaucoup confiance en elle-même au temps 2
Une personne qui a peu confiance en elle-même au temps 1 devrait avoir peu confiance en elle-même au temps 2
Définition corrélation test-retest avec formes parallèles
La corrélation test-retest avec formes parallèles est la manière d’estimer la stabilité temporelle sans l’effet «néfaste» de la mémoire
La qualité de l’estimation dépend alors:
- de la qualité du parallélisme entre les deux versions
- de l’intervalle de temps entre les deux passations (p. ex. des changements sont survenus chez nos participants durant cette période)
Qualité du parallélisme (corrélation test-retest avec formes parallèles)
On considère parallèles les deux formes d’un même instrument lorsque :
Les items sont très similaires (mais pas identiques) ;
Le nombre d’items est le même ;
La structure dimensionnelle est la même ;
Les mêmes directives d’administration sont en vigueur ;
Les deux formes génèrent des résultats avec des moyennes et écart-types équivalents.
Avantages:
Élimination de l’effet de mémoire
Les deux formes peuvent être administrées en même temps
Inconvénients:
Il faut rédiger 2 fois plus d’items
Il faut effectuer une validation de «deux instruments»
Il faut s’assurer que les formes demeurent parallèles
Définition cohérence interne
Postulat : si le construit existe de manière stable, il se manifestera de la même manière (stable) à travers toutes les réponses d’un participant
Le terme «cohérence interne» fait référence à la logique sous-jacente à la manière dont les participants répondent aux items
Moyens:
Corrélation « Split-half»
Alpha de Cronbach
Corrélation split-half (indice cohérence interne)
On sépare le test en deux et on vérifie la corrélation entre les deux versions «artificielles»
Il devrait y avoir une corrélation élevée entre les deux moitiés si les réponses des participants sont stables
Peut parfois être utilisé comme mesure artificielle de fiabilité test-retest (mais pas recommandé)
Définition: Nombre d’items (principe important en fiabilité)
Rappel: Plus un instrument contient d’items, plus le risque d’erreur aléatoire diminue
Quand on estime la fiabilité par la méthode «Split-half» on doit couper artificiellement notre instrument en deux afin de procéder au calcul d’une corrélation
Ne mesure pas la fiabilité du test,mais bien la fiabilité d’un test comportant la moitié moins d’items
L’estimé est donc biaisé
Comment améliorer la cohérence interne?
Spearman et Brown ont pu développer la correction utilisée dans le cas d’une corrélation « Split-half» grâce à des travaux plus pointus qui ont culminé à ce qu’on appelle la formule de la prophétie
Cette formule permet d’estimer combien d’items il faudrait pour obtenir un « Split-half» de X
Définition: Formule de la prophétie
La logique sous-jacente à la formule de prophétie suppose:
-que les items qui sont ajoutés mesurent la même chose que les items initiaux
-que la moyenne des intercorrélations entre les items initiaux soit égale à la moyenne des intercorrélations du total des items (soit les items ajoutés + les items initiaux )
Définition Alpha de cronbach (indice de cohérence interne)
Indique dans quelle mesure les items du test mesurent une seule chose
C’est un chiffre qui varie entre -∞ et 1 (mais la plupart du temps il varie entre 0 et 1);
Plus il s’approche de 1, plus la fiabilité est bonne
Ce n’est pas un indice de corrélation
Différence entre la covariance et la corrélation?
Expriment la même chose, mais la corrélation l’exprime par une métrique standardisé (entre -1,00 et +1,00)
Définition accord interjuges
Si le phénomène se manifeste avec régularité, tous les juges devraient donc observer le même phénomène
Moyens :
1. Corrélations effectuées sur des cotes
2. Kappas effectués sur la catégorisation ou la fréquence faite par les juges
Quels sont les principes de l’accord interjuges?
Principe de base:
La compréhension de ce qui est observé sera stable dans la mesure où deux juges «voient» la même chose.
Les juges «verront» la même chose:
Si la formation est bonne
Si les juges sont compétents
Si les comportements à observer sont bien définis
Si les juges ont les mêmes opportunités d’observer le comportement
Que démontre l’erreur type de mesure?
L’ETM montre l’effet de la fiabilité sur un score généré par l’instrument.
Plus l’ETM est grande, plus il y a d’erreur dans le score observé
Il est possible de calculer un intervalle de confiance autour du score observé
À quoi sert l’intervalle de confiance?
L’intervalle de confiance sert à estimer, en fonction de l’erreur-type de mesure, du score observé et d’un niveau de certitude désiré, dans quel intervalle se situe le score réel d’un participant.
À un niveau de certitude de 68%, on calcule l’intervalle de confiance à l’aide de cette formule:
Score +/- ETM
