Cours 7 : Stabilité Flashcards
Moyen pour répondre : Suis-je normal?
Une manière d’y répondre est de comparer une personne à d’autres d’un groupe référence
écart à la moyenne
Écart à la moyenne
(Score d’un participant) - (la moyenne du groupe) = La distance entre le score du participant et la moyenne du groupe (négative ou positive)
si écart à la moyenne négative
plus faible à la moyenne
car soustrait le score du participant à la moyenne du groupe
La variance
formule
comment calculer
sert à quoi
- la moyenne des carrés des écarts à la moyenne du score de tous les individus
- mesure qui sert à déterminer la distance moyenne du score de tous les individus
sà la 2 x = somme (x- xmoyenne)2 / N
Écart-type
formule
similaire à
plus facile à interpréter que la variance
sx = racine carée de la formule de la variance
racine carrée de : somme (x-xmoyenne)2 / N
La covariance
c’est quoi
standarisée?
mesure du degré d’association entre deux variables
À quel point une donnée occupe la même position dans deux distributions de variables différentes.
À quel point les variables changent ensemble. Ex. une augmente l’autre diminue?
non-standardisée
formule de la covariance
cov (x,y) = somme (x-xmoyenne) (y-ymoyenne) / N
Pourquoi on passe de covariance à la corrélation
interprétation plus difficile de la covariance, c’est pour ça on passe à la corrélation
la corrélation exprime la même chose que la covariance, mais par une métrique standarisée (-1 et +1)
Corrélation
exprime même chose que covariance, mais par une métrique standarisée (-1 à +1)
formule de la corrélation
r xy = somme (X- xmoyenne) (Y - Ymoyenne) / N sxsy
objectifs Étape 4 : Stabilité
- Vérifier la nature et l’ampleur de l’erreur
- Établir la stabilité interne (à travers le test lui-même) et temporelle
(cherche à voir le degré de confiance dans les résultats obtenus)
Moyens étape 4 : Stabilité
- erreur type de mesure
- analyses d’items
- analyses corrélationnelles
- approche hypothético-déductive
- accord inter-juges
Fiabilité général et étape de stabilité
Mon instrument comporte-t-il de l’erreur de mesure?
étape de stabilité : Combien d’erreurs ai-je dans mon instrument?
ce qu’on veut obtenir : étape stabilité
- constance (cohérence dans le temps)
- reproductibilité
score observé formule
score observé (X) = Score Vrai (V) + erreur de mesure (e)
comment obtenir score vrai
aucune erreur de mesure
obtenir avec une administration illimitée du test
score vrai formule
différence entre le score observé et l’erreur de mesure
erreur de mesure formule
erreur de mesure = différence entre le score vrai et observé
Moyens d’estimer l’erreur aléatoire
pour un individu X= V + e
pour tout le groupe somme de X = somme V + somme e
résumer le groupe moyenne X (score observé) = moyenne de V (score vrai) + moyenne de e (erreur de mesure)
Pourquoi les variation positives et négatives de l’erreur ont tendance à s’annuler lorsque le nb observation tend vers infini
moyenne de l’erreur aléatoire tend vers 0, car moyenne erreur de mesure
Nb items et erreur de mesure
+ instrument a des items, + risque d’erreur aléatoire va diminuer
en lien avec moyenne de l’erreur aléatoire sur un grand échantillon va tendre vers 0
ex. on veut mesurer l’Intelligence.
et erreur de mesure qui tend vers 0
Si grand échantillon, l’erreur va s’annuler donc moins grave si test moins viable
si en clinique plus grand impact si c’est sur un individu, car cette erreur de mesure ne va pouvoir s’annuler
méthodes et principes pour vérification de la quantité d’erreurs de mesure
- l’usage et l’interprétation d’indices chiffrés
- Il y a plusieurs indices différents afin de circonscrire le type d’erreur en cause.
stabilité temporelle/fiabilité test-retest, cohérence interne/consistance interne et accord interjuges
phénomène que l’on mesure (principe de base de la psychométrie)
Le phénomène que l’on veut mesure est relativement stable dans le temps
Trois moyens d’estimer l’erreur de mesure
- Stabilité temporelle
- Cohérence interne/consistance interne
- Accord interjuges
principe Stabilité temporelle ou fiabilité test-retest
Si le phénomène est stable, deux mesure prises à l’intérieur d’un délai devrait se ressembler
Moyens pour stabilité temporelle ou fiabilité tets-retest
- Corrélation test-retest
- Corrélation test-retest version parallèle
Corrélation test-retest
qualité de l’estimation dépend ;
manière d’estimer stabilité temporelle
qualité de l’estimation dépend de l’intervalle de temps entre les deux passations et des changements survenus chez les participants durant cette période
(s’assurer d’avoir une standardisation de l’administration)
si une heure entre les deux passations : la corrélation devrait se rapprocher de 1- effet de mémoire
Corrélation test-retest avec formes parallèles + qualité de L’estimation dépend ?
manière d’estimer stabilité temporelle sans effet « néfaste» de la mémoire
La qualité de l’estimation dépend :
1) qualité du parallélisme entre les deux versions
2) de l’intervalle de temps entre les deux passations
on considère parallèle les deux formes d’un même instrument lorsque :
- Les items sont très similaires (mais pas identiques) ex. quelles réponses sont fausses/quelles réponses sont vrais
- Le nombre d’items est le même
- La structure dimensionnelle est la même
- Les même directives d’administration sont en vigueur (processus standardisé)
- Les deux formes génèrent des résultats avec des moyennes et écart-types équivalents
Avantage et inconvénient parallélisme
+
Élimination de l’effet de mémoire
Les deux formes peuvent être administrées en même temps
-
Il faut rédiger 2 fois plus d’items
Il faut effectuer une validation de «deux instruments »
il faut s’assurer que les formes demeurent parallèles
Cohérence interne (stabilité interne ou consistance interne)
postulat
Postulat : si le construit existe de manière stable , il se manifestera de la même manière à travers toutes les réponses d’un participant
e terme « cohérence interne » fait référence à la logique sous-jacente à la manière dont les participants répondent aux items : devrait répondre de la même manière aux items qui mesurent le même construit
si les personnes sont honnêtes…
Moyens pour mesurer cohérence interne
- Corrélation «split-half »
- Alpha de Cronbach
La corrélation split-half (indice de cohérence interne_
séparation idéale?
- sépare le test en deux et vérifie la corrélation entre les deux versions « artificielles »
Il devrait y avoir une corrélation élevée entre les deux moitiés si les réponses des participants sont stables
Peut parfois être utilisé comme mesure artificielle de fiabilité test-retest (mais pas recommandé)
*séparation en pair et impair mieux que 25 début et 25 à la fin (fatigue)
estimé biaisé split-half
Ne mesure pas la fiabilité du test, mais bien la fiabilité d’un test comportant la moitié moins d’items
L’estimé est donc biaisé : quand on augmente nombre d’items, erreur de mesure diminue
La corrélation de split-half de spearman-brown
(indice de cohérence interne)
formule?
meilleur estimation, augmenter la corrélation
2 fois corrélation split-half divisé par 1+corrélation split-half
améliorer la cohérence interne
*Spearman et Brown ont pu développer la correction utilisée dans le cas d’une corrélation « Split-half » grâce à des travaux plus pointus qui ont culminé à ce qu’on appelle la formule de la prophétie
*Cette formule permet d’estimer combien d’items il faudrait pour obtenir un « Split-half » de X
Formule de la prophétie
Nb d”items (K) x (fiabilité désirée rd (1-fiabilité observé ro) divisé par fiabilité observé (1-fiabilité désirée))
*arrondit à la hausse même si 22,2 = 23
il faudrait 13 items, si déjà 4, il faudrait ajouter 9 items supplémentaires
La logique sous-jacente à la formule de prophétie suppose:
- les items qui sont ajoutés mesurent la même chose que les items initiaux
- la moyenne des intercorrélations entre les items initiaux soit égale à la moyenne des intercorrélations du total des items (soit les items ajoutés + les items initiaux )
Plus items sont mauvais, plus il va falloir ajouter d’items
Alpha de Cronbach (indice de cohérence interne)
Indique dans quelle mesure (à quel point) les items du test mesurent une seule chose
C’est un chiffre qui varie entre -∞ et 1 (mais la plupart du temps il varie entre 0 et 1);
Plus il s’approche de 1, plus la fiabilité est bonne. si il est négatif, mauvais signe
Ce n’est pas un indice de corrélation, c’est un alpha
formules alpha de Cronbach
Plusieurs formules permettent d’obtenir l’Alpha, mais une en particulier permet de comprendre les fondements
nb d’items (K) x la moyenne des intercorrélations entre toutes les paires d’items de l’instrument (rmoyenne) divisé par 1+ (K-1)x rmoyenne
Nb items et alpha de cronbach
Plus le nombre d’item est grand et plus la corrélation moyenne est grande, plus l’Alpha sera élevé
L’influence des deux variables sur l’alpha de cronbach
- Nb items
- Corrélation moyenne (corrélations possibles entre les scores plus grand impact)
lien entre variance, corrélation et alpha
Sans écarts à la moyenne, il n’y a pas de variance.
La corrélation est une covariance standardisée entre deux distributions de scores.
Sans variance dans l’une ou l’autre des distributions, il n’y a pas de corrélation.
Comme l’Alpha est fondé sur la moyenne de toutes les corrélations possibles entre les scores d’items, l’Alpha est aussi très affecté par la quantité de variance dans les scores d’items. ex. pas de variance si tous ont le même poids. On ne veut pas que tout le monde soit toujours très extravertie = peut de variance et donne des alpha limité par le manque de variance
ex. famille très proche répond de manière similaire aux items
Donc, il est important de considérer la variabilité de répondes que l’item suscite
Accord interjuges
Si le phénomène se manifeste avec régularité, tous les juges devraient observer le même phénomène
Moyens accord interjuges
- Corrélations effectués sur des cotes
- Kappas effectuées sur la catégorisation ou la fréquence faite par les juges
Principes accord interjuges
verront la même chose si
La compréhension de ce qui est observ. sera stable dans la mesure ou les deux juges « voient »la même chose.
Le juges «verront »la même chose :
- Si la formation est bonne
- Si les juges sont compétents
- Si les comportements observer sont bien définis
- Si les juges ont les mêmes opportunités d’observer le comportement
Juger de la fiabilité (critères)
0,95 et plus : suspect (pour cohérence interne seulement)
0.90 et plus : excellente
0,80 à 0.89 : modérée
0,70 à 0,79 : acceptable
0,60 à 0,69 : inacceptable (parfois utilisé en recherche)
moins de 0,60 : inacceptable (toujours)
Ces critères sont généraux. Plus un instruement est utilisé pour prendre des décisions importantes, plus il faut être sévère
Pourquoi suspect au-dessus de 0,95 cohérence interne
suspect au dessus-de cohérence interne : oublier certains éléments du construit items se ressemblent beaucoup, mais parce que sous-représenter le construit
hypothèses caractéristiques d’études de validation relatives à l’étape de Stabilité
Fiabilité test-retest : corrélation
la corrélation entre les résultats au temps 1 et les résultats au temps 2 sera positive et élevée
hypothèses caractéristiques d’études de validation relatives à l’étape de Stabilité
Accord interjuge : corrélation
la corrélation entre les résultats du juge A et le Juge B sera élevé
hypothèses caractéristiques d’études de validation relatives à l’étape de Stabilité
accord interjuges : kappa
Le pourcentage entre le juge A et le juge B sera élevé
hypothèses caractéristiques d’études de validation relatives à l’étape de Stabilité
formes parallèles : corrélation
corrélation entre les résultats de le forme A et résultats forme B sera positive et élevée
hypothèses caractéristiques d’études de validation relatives à l’étape de Stabilité
cohérence interne : corrélation
- La corrélatio entre résultat à item 1 et résultat à item 2 sera positive et élevée (à interpréter avec les critères de Cohen
- La corrélation entre le résultat à l’item 1 et le score total sera positive et élevée
hypothèses caractéristiques d’études de validation relatives à l’étape de Stabilité
cohérence interne : split-half
corrélation entre le score total première moitié de l’instrument et score total deuxième moitié de l’instrument sera positive et élevée
hypothèses caractéristiques d’études de validation relatives à l’étape de Stabilité
cohérence interne : Alpha de Cronbach
Plus les participants répondent logiquement (c’est ce qui doit se produire su les items ne contiennent pas d’erreur0, plus le items sont inter-corrélés et plus le coefficient sera élevé
lequel des indices de stabilité doivent être interpréter avec critère de Cohen
corrélation dans cohérence interne
Erreur type de mesure formule
ÉTM= écart-type au test (s) x racine caré de 1-corrélation split-half(rxx)
3 infos erreur type de mesure
- L’ETM montre l’effet de la fiabilité sur un score généré par l’instrument
- Plus l’ETM est grand, plus il y a d’erreur dans le score observé
- Il est possible de calculer un intervalle de confiance autour du score observé
est-ce qu’on peut utiliser alpha de cronbach pour formule de l’erreur-type de mesure
non car alpha de cronbach n’est pas une corrélation
intervalle de confiance
sert à estimer, en fonction de l’erreur type de mesure, du score observé et niveau de certitude, dans quel intervalle se situe un score réel (vrai)d’un participant
68% de l’échantillon se trouve sous la courbe à +/- 1,00 ET de la moyenne.
95% de l’échantillon se trouve sous la courbe à +/- 1,96 ET de la moyenne.
dépendamment du degré de certitude, choisi intervalle
score +/- 1,96 x ETM
Bornes d’intervalles (supérieur et inférieur)
inférieur : score observé- (1,96 x ETM)
supérieur : score observé + (1,96 x ETM)
il y a donc 95% des chances qu’un score observé de 10 corresponde à un score vrai se situant entre 6,14 et 13,86
Est-ce que l’intervalle de confiance nous informe sur la fiabilité de l’instrument ?
seulement score si niveau de certitude élevé : si veut plus de certitude : borne plus large
En résumé l’erreur-type de mesure permet ;
de relativiser le score obtenu et déterminer l’intervalle de confiance autour d’un score vrai pour X
On peut le calculer pour un niveau de confiance plus élevé ou plus bas
