Cours 8 - Stabilité Flashcards
Vous avez 6 items et vous obtenez une valeur 13,3 avec la formule de la prophétie, combien d’items devez vous ajouter pour améliorer la fidélité de votre
instrument ?
A. 13 items
B. 6 items
C. 7 items
D. 8 items
D. 8 items
Comment savoir si quelqu’un est normal?
Une manière d’y répondre est de comparer une personne à d’autres personnes d’un groupe de référence (moyenne)
Qu’est-ce que la variance?
La variance est la moyenne des carrés des écarts à la moyenne du score de tous les individus.
Mesure qui sert à déterminer la distance moyenne (au carré) des données par rapport à la moyenne.
On le met au carré pour éliminer les négatifs. Il est normal d’avoir de la variance, c’est ce qu’on veut en psycho
Qu’est-ce que la covariance?
La covariance est une mesure du degré d’association entre 2 variables.
* À quel point une donnée occupe la même position dans 2 distributions de variables différentes.
* À quel point les variables changent ensemble.
Qu’est-ce qu’une corrélation?
La corrélation exprime la même chose que la covariance, mais par une
métrique standardisée (le chiffre ne varie qu’entre -1,00 et +1,00)
Dans le modèle de la cible, quels sont les objectifs et moyen en stabilité?
Objectifs
* Vérifier la nature et l’ampleur de l’erreur (impossible de ne pas en avoir, on veut la
minimiser)
* Établir la stabilité interne et temporelle (à quel point j’ai confiance/peut me fier aux
résultats?)
Moyens (on en fait plusieurs car apportent tous de quoi de différent)
* Approche hypothético déductive
* Erreur-type de mesure
* Analyses d’items
* Analyses corrélationnelles
* Accord interjuges (pas tjrs possible, mais parfois oui)
Pouvons-nous observer la vraie vérité?
Non. Les résultats obtenus à l’aide de nos instruments s’accompagnent d’erreur de mesure
* La « vraie vérité » est donc mélangée avec « du bruit » (Elle n’existe pas, on tend vers elle
= estimation)
le gros problème c’est l’erreur aléatoire. Il y a des moyens d’estimer l’erreur aléatoire de mesure.
+ nous avons d’observation, + on tend vers la vérité.
Quels sont les trois moyens d’estimer l’erreur de mesure?
Stabilité temporelle (test-retest)
Cohérence interne
Accord interjuges
Qu’est-ce que la stabilité temporelle?
C’est la fiabilité test-retest, qui vérifie si un phénomène stable produit des résultats similaires à des moments différents
PRÉMISSE : Si le phénomène est stable, 2 mesures prises à l’intérieur d’un délai devraient se ressembler
* Moyens
o Corrélation test-retest (classique)
o Corrélation test-retest avec formes parallèles
Qu’est-ce que la corrélation test-retest?
- La corrélation test-retest est la manière d’estimer la stabilité temporelle
- La qualité de l’estimation dépend de l’intervalle de temps entre les deux passations et des
changements survenus chez les participants durant cette période
o Une personne qui a beaucoup confiance en elle-même au temps 1 devrait avoir beaucoup
confiance en elle-même au temps 2
o Une personne qui a peu confiance en elle-même au temps 1 devrait avoir peu confiance en elle
même au temps 2 - Si le délai entre les passation est trop court = effet de la mémoire. Si trop long = risque d’y avoir des
changements. Ex. la confiance en soi pourrait s’améliorer
Qu’est-ce que La corrélation test-retest avec formes parallèles?
- La corrélation test-retest avec formes parallèles est la manière d’estimer la stabilité temporelle sans
l’effet « néfaste » de la mémoire - On génère un nouveau test parallèle avec des items similaires, mais pas formulé pareil. Puisque ce n’est
pas le même test, il peut être passé au même moment que le 1er - La qualité de l’estimation dépend alors :
o De la qualité du parallélisme entre les 2 versions
o De l’intervalle de temps entre les deux passations (p. ex. des changements sont survenus chez
nos participants durant cette période)
Pourquoi un test-retest trop rapproché ou trop distant pose-t-il problème?
Trop court : Effet de la mémoire
Trop long : Changements chez les participants
Qu’est-ce que la qualité du parallélisme?
On considère parallèles les 2 formes d’un même instrument lorsque :
* Les items sont très similaires (mais pas identiques) ;
* Le nombre d’items est le même ;
* La structure dimensionnelle est la même ;
* Les mêmes directives d’administration sont en vigueur ;
* Les 2 formes génèrent des résultats avec des moyennes et écart-types équivalents.
Qu’est-ce que la cohérence interne?
PRÉMISSE : si le construit existe de manière stable, il se manifestera de la
même manière (stable) à travers toutes les réponses d’un participant
o Le terme « cohérence interne » fait référence à la logique sous-jacente à
la manière dont les participants répondent aux items : est-ce que tout mes
items corrèlent ensemble?
* Moyens
o Corrélation « Split-half »
o Alpha de Cronbach
Si j’évalue l’extraversion, mes items ne pointeront pas dans le sens de l’introversion.
Qu’est-ce que La corrélation split-half : Aussi appelée bissection ou corrélation moitié moitié ?
On sépare le test en 2 et on vérifie la corrélation entre les 2 versions « artificielles »
o Ex. 50 items : 1 à 25 = version 1 et 26 à 50 = version 2.
o Cependant, les participants ne le savent pas.
o Pour éviter l’effet de fatigue si le test est long et qu’on les dispose ainsi et pour éviter que ce ne
soit pas équivalent si c’est un test de puissance, on pourrait mettre les items de la version 1 sur
les # pair et version 2 sur # impair.
* Il devrait y avoir une corrélation élevée entre les 2 moitiés si les réponses des participants sont stables
* Peut parfois être utilisé comme mesure artificielle de fiabilité test-retest (mais pas recommandé)
Pourquoi le nombre d’items est important en fiabilité?
- Rappel : plus un instrument contient d’items, plus le risque d’erreur aléatoire diminue
- Quand on estime la fiabilité par la méthode « Split-half » on doit couper artificiellement notre instrument
en 2 afin de procéder au calcul d’une corrélation = on diminue la quantité d’observation - Donc, on ne mesure pas la fiabilité du test, mais bien la fiabilité d’un test comportant la moitié moins
d’items - = L’estimé est donc biaisé
Qu’est-ce que la corrélation split-half de Spearman-Brown : un indice de cohérence interne ?
Permet de faire une correction pour que l’estimé ne
soit pas biaisé
Améliorer la cohérence interne :
* Spearman et Brown ont pu développer la correction utilisée dans le cas d’une corrélation « Split-half » grâce à des travaux plus pointus qui ont culminé à ce qu’on appelle la formule de la prophétie
* Cette formule permet d’estimer combien d’items il faudrait pour obtenir un indice « Split-half » de X
Qu’est-ce que la formule de la prophétie?
- Exemple d’un instrument qui comprend 6 items et dont le coefficient de fiabilité (split-half) observé est r = 0,597
- Combien d’items devriez-vous avoir si vous désirez une fiabilité de r = 0,85 ? C’est nous qui choisit le chiffre
- Tjrs arrondir à la hausse (0,21→ 0,25)
- Se fait par rapport au test complet et non juste la moitié
- Intercorrélation : comment item 1 corrèle avec les autres items? Comment item 2 corrèle avec les autres? etc
La logique sous-jacente à la formule de
prophétie suppose :
* Que les items qui sont ajoutés
mesurent la même chose que les
items initiaux
* Que la moyenne des intercorrélations
entre les items initiaux soit égale à la
moyenne des intercorrélations du total
des items (soit les items ajoutés + les
items initiaux )
Qu’est-ce que le alpha de cronbach?
- Indique dans quelle mesure les items du test
mesurent une seule chose - C’est un chiffre qui varie entre -∞ et 1 (mais la
plupart du temps il varie entre 0 et 1); - Plus il s’approche de 1, + la fiabilité est bonne
- Ce n’est pas un indice de corrélation
- Symbole : ∝ (Alpha)
Quels sont les liens entre la variance, la corrélation et l’alpha?
- La variance est la moyenne des carrés des écarts à la moyenne des scores d’une distribution.
o Sans écarts à la moyenne, il n’y a pas de variance. On en veut. - La corrélation est une covariance standardisée entre 2 distributions de scores.
o Sans variance dans l’une ou l’autre des distributions, il n’y a pas de corrélation. - Comme l’Alpha est fondé sur la moyenne de toutes les corrélations possibles entre les scores
d’items, l’Alpha est aussi très affecté par la quantité de variance dans les scores d’items. - Donc, il est important de considérer la variabilité de réponses que l’item suscite
Qu’est-ce que l’accord inter-juges?
chaque fois qu’on porte un jugement, est-il pareil à notre collègue ou ordi?
* PRÉMISSE : si le phénomène se manifeste avec régularité, tous les juges devraient donc observer le
même phénomène
* Moyens :
o 1. Corrélations effectuées sur des cotes
o 2. Kappas effectués sur la catégorisation ou la fréquence faite par les juges (À quel point la
variance est expliqué par l’accord des juges vs le hasard?)
* Principe de base:
o La compréhension de ce qui est observé sera stable dans la mesure où 2 juges « voient » la
même chose.
o Les juges « verront » la même chose…
▪ Si la formation est bonne
▪ Si les juges sont compétents
▪ Si les comportements à observer sont bien définis
▪ Si les juges ont les mêmes opportunités d’observer le comportement
▪ Si les juges travaillent indépendamment (ne doivent pas se consulter avant!)
Quelles sont les valeurs de l’alpha de Cronbach à retenir?
≤ 0,60 : Faible
0,70 - 0,79 : Acceptable
≥ 0,80 : Bonne fiabilité
Quels sont les barèmes de Cohen?
Corrélation faible : r ≤ 0,10
* Corrélation moyenne : r = 0,30- 0,49
* Corrélation forte : r ≥ 0,50
* Surtout utilisé pour les indices de validité
Qu’est-ce qu’un intervalle de confiance?
L’intervalle de confiance sert à estimer, en fonction de l’erreur-type de mesure du score observé et
d’un niveau de certitude désiré, dans quel intervalle se situe le score réel (vrai) d’un participant.
* À un niveau de certitude de ___%, on calcule l’intervalle de confiance à l’aide de cette formule :
Score +/- (niveau de certitude désiré converti x ETM)
Que pouvons-nous conclure sur l’erreur-type de mesure?
En résumé, l’erreur-type de mesure permet de relativiser le score obtenu et déterminer l’intervalle
de confiance autour d’un score vrai pour un phénomène donné
* On peut le calculer pour un niveau de confiance plus élevé ou plus bas
