Cours 7 (stabilité) Flashcards
Qu’est-ce que la variance?
La variance est la moyenne des carrés des écarts à la moyenne du score de tous les individus.
Qu’est-ce que la covariance?
C’est une mesure du degré d’association entre deux variables.
Vrai ou faux: la corrélation exprime la même chose que la covariance
Vrai, mais avec une métrique standardisée
À quoi correspond l’étape de la stabilité?
Au concept de la fiabilité
Quels sont les objectifs (2) de la stabilité et par quels moyens (5) peut-on les atteindre?
Objectifs: - Vérifier la nature et l'ampleur de l'erreur - Établir la stabilité interne et temporelle Moyens: - Erreur-type de mesure - Analyses d'items - Analyses corrélationnelles - Approche hypothético-déductive - Accord inter-juges
De quoi se préoccupe-t-on lorsque l’on parle de fiabilité? plus précisément, à quelle question répond l’étape de la stabilité?
Fiabilité: Mon instrument comporte-t-il de l’erreur de mesure
Stabilité : Combien d’erreur ai-je dans mon instrument?
Qu’est-ce que l’erreur de mesure?
Les résultats qu’on obtient avec l’instrument s’accompagnent d’erreur de mesure, la vrai vérité est donc mélangée avec du bruit.
Score observé = score vrai + erreur de mesure
(x = V +e)
Vrai ou faux: La moyenne de l’erreur aléatoire tend vers 0
Vrai. Les erreurs qui tendent vers le négatif et le positif s’annulent (surtout si gros échantillon, quand nombre d’observations tend vers l’infini)
Quels sont les 3 moyens d’estimer l’erreur de mesure?
- Stabilité temporelle
- Cohérence interne
- Accord inter-juges
Quels sont les moyens de tester la stabilité temporelle?
- corrélation test-restest
- corrélation test-restest avec formes parallèles
De quoi dépend la qualité de l’estimation dans la méthode de corrélation test-retest avec formes parallèles?
- de la qualité du parallélisme entre les deux versions
- de l’intervalle de temps entre les deux passations
Quel est l’inconvénient de la corrélation test-retest?
L’effet de la mémoire
Quand considère-t-on que deux formes d’un instrument sont parallèles? (5)
- Les items sont très similaires (mais pas identiques)
- Le nombre d’items est le même
- La structure dimensionnelle est la même
- Les mêmes directives d’administration sont en vigueur
- Les deux formes génèrent des résultats avec des moyennes et écart-types équivalents
Quels sont les avantages (2) et les inconvénients (3) de la corrélation test-retest avec formes parallèles?
Avantages:
- Élimination de l’effet de mémoire
- Les deux formes peuvent être administrées en même temps
Désavantages:
- Il faut rédiger 2 fois plus d’items
- Il faut effectuer une validation de «deux instruments»
- Il faut s’assurer que les formes demeurent parallèles
Qu’est-ce que la cohérence interne?
si le construit existe de manière stable, il se manifestera de la même manière (stable) à travers toutes les réponses d’un participant (ex: côte fort sur “extraversion”, côte aussi fort sur “j’aime rencontrer des personnes”)
Quels sont les deux moyens d’évaluer la cohérence interne?
- Corrélation «split-half»
- Alpha de Cronbach
Que représente la corrélation split-half de spearman-brown?
On sépare le test en deux et on vérifie la corrélation entre les deux versions «artificielles» (si stable = corrélation élevée entre les deux)
Pourquoi est-ce que le nombre d’items est un principe important en fiabilité?
Plus un instrument contient d’items, plus le risque d’erreur aléatoire diminue
Pourquoi l’estimé est-il biaisé quand on utilise la corrélation split-half?
Quand on estime la fiabilité par la méthode «Split-half» on doit couper artificiellement notre instrument en deux afin de procéder au calcul d’une corrélation
Ne mesure pas la fiabilité du test,mais bien la fiabilité d’un test comportant la moitié moins d’items
Que permet de faire la formule de la prophétie?
Permet d’estimer combien d’items il faudrait pour obtenir un «split-half» de X
Que suppose la formule de la prophétie?
- que les items qui sont ajoutés mesurent la même chose que les items initiaux
- que la moyenne des intercorrélations entre les items initiaux soit égale à la moyenne des intercorrélations du total des items (soit les items ajoutés + les items initiaux )
Qu’est-ce que l’alpha de cronbach indique?
Indique dans quelle mesure les items du test mesurent une seule chose
QU’est-ce qu’un bon alpha de cronbach?
Plus il s’approche de 1, plus la fiabilité est bonne
*pas une corrélation!!
Vrai ou faux: Plus le nombre d’item est petit
et plus la corrélation moyenne
est petite, plus l’Alpha sera élevé
Faux: Plus le nombre d’item est grand
et plus la corrélation moyenne
est grande, plus l’Alpha sera élevé
Entre le nombre d’items et la corrélation moyenne, lequel a un plus grand impact sur l’alpha de Cronbach?
La corrélation moyenne
Quel est le lien entre la moyenne et la variance?
Sans écarts à la moyenne, il n’y a pas de variance.
la variance est la moyenne des carrés des écarts à la moyenne des scores d’une distribution
Quel est le lien entre la corrélation et la variance?
Sans variance dans l’une ou l’autre des distributions, il n’y a pas de corrélation.
(la corrélation est une covariance standardisée entre deux distributions de scores)
Quel est le lien entre l’alpha de cronbach et la variance?
Comme l’Alpha est fondé sur la moyenne de toutes les corrélations possibles entre les scores d’items, l’Alpha est aussi très affecté par la quantité de variance dans les scores d’items
Est-il est important de considérer la variabilité de réponses que l’item suscite ?
Oui
Qu’est-ce que l’accord inter-juges?
Si le phénomène se manifeste avec régularité, tous les juges devraient donc observer le même phénomène
Quels sont les moyens de mesurer la fiabilité inter-juges?
- Corrélations effectuées sur des cotes
- Kappas effectués sur la catégorisation ou la fréquence faite par les juges
Comment faire pour que les juges puissent “voir” la même chose? (4)
- la formation doit être bonne
- les juges sont compétents
- les comportements à observer sont bien définis
- les juges ont les mêmes opportunités d’observer le comportement
Quels sont les critères de fiabilité?
Excellente: 0,9 et + Modérée : 0,80 - 0,89 Acceptable: 0,70 - 0,79 Inacceptable (mais recherche) : 0,60 - 0,69 Inacceptable: 0,60 et -
- 0,95 et + suspect pour cohérence interne
Que montre l’erreur-type de mesure?
L’ETM montre l’effet de la fiabilité sur un score généré par l’instrument.
Qu’est-ce que l’intervalle de confiance?
L’intervalle de confiance sert à estimer, en fonction de l’erreur-type de mesure, du score observé et d’un niveau de certitude désiré, dans quel intervalle se situe le score réel d’un participant.
Combien de % de l’échantillon se trouve sous la courbe à +/- 1,00 ET de la moyenne? Et combien à +/- 1,96 ET de la moyenne?
68% et 95%
Donnez un exemple d’interprétation de l’IC
Il y a 95% des chances qu’un score observé de 10 corresponde à un score vrai se situant entre 6,14 et 13,86
