Cours 7 : La stabilité Flashcards
Que signifie un écart à la moyenne négative ? Positive ?
Négative : l’individu a un score plus faible que la moyenne
Positive : l’individu a un score plus haut que la moyenne
Qu’est-ce que la variance ?
Mesure qui sert à déterminer la distance moyenne (au carré) des données par rapport à la moyenne.
- Nous dit pas grand chose
- l’écart-type la rend plus facile à interpréter
Qu’est-ce que la covariance ?
Une mesure du degré d’association entre deux variables - comment deux variables se comportent ensembles.
Permet de voir à quel point une donnée occupe la même position dans deux distributions de variables différentes.
À quel point les variables changent ensemble
Est difficile à interpréter
Qu’est-ce que la corrélation ?
Elle exprime la même chose que la covariance, mais par une métrique standardisée (le chiffre ne varie qu’entre -1,00 et +1,00)
Elle est plus facile à interpréter
Que faisons-nous dans l’étape de la stabilité (4) dans la vérification?
Vérifier si les choix faits dans l’élaboration sont les bons choix pour minimiser l’erreur de mesure
Quels sont les objectifs de la stabilité ? (étape 4)
Vérifier la nature et l’ampleur de l’erreur
Établir la stabilité interne (dans tests) et temporelle (à travers le temps_
Quels sont les moyens de la stabilité (étape 4) ?
Erreur-type de mesure
Analyses d’items
Analyses corrélactionnelles
Approche hypothético-déductive
Accord inter-juges
- généralement, on utilise plus qu’un moyen pour vérifier
Quelle question on se pose lorsqu’on se préoccupe de la fiabilité ?
Plus spécifiquement, l’étape de la stabilité nécessite de répondre à quelle question ?
- Mon instrument comporte-t-il l’erreur de mesure ?
- Combien d’erreur ai-je dans mon instrument ?
À l’étape 4, on cherche : (2 éléments)
1) Constance
2) Reproductibilité
On pourrait trouver le score vrai si ________
nous faisions des administrations à l’infini du test (Dans différentes conditions et avec différents tests) ce qui est impossible
L’erreur de mesure correspond à _______
l’addition de toutes les erreurs aléatoires qui s’accumulent
Le gros problème est _______
l’erreur aléatoire
Les variations positives et négatives de l’erreur de ont tendance à s’annuler lorsque le nombre d’observations tend _________
vers l’infini (ajout, retire sans cesse = tend vers 0)
La vérification de la quantité d’erreur de mesure nécessite l’usage et l’interprétation _____________
d’indices chiffrés (il y a plusieurs indices différents afin de circonscrire le type d’erreur en cause)
Plus il y a d’items dans l’instrument, _________ il y a risque d’erreur aléatoire.
moins
Quels sont les 3 moyens d’estimer l’erreur de mesure ?
- Stabilité temporelle
- COhérence interne/externe
- Accord interjuges
Qu’est-ce que la stabilité temporelle (fiabilité test-retest) implique ? Quels sont les moyens ?
Si le phénomène est stable, deux mesures prises à l’intérieur d’un délai devraient se ressembler.
Moyens :
Corrélation test-retest
Corrélation test-retest avec formes parallèles
Dans la corrélation test-retest, la qualité de l’estimation dépend de __________ entre les deux passations et des changements survenus chez les participants durant cette période.
de l’intervalle de temps (délai optimale = 1 mois)
- le contexte d’administration doit être le même (standard)
Qu’est-ce que la corrélation test-retest avec formes parallèles ?
C’est la manière d’estimer la stabilité temporelle sans l’effet “néfaste” de la mémoire - enlever l’effet de rappel des participants
Dans la corrélation test-retest avec formes parallèles, la qualité de l’estimation dépend :
- de la qualité du parallélisme entre les 2 versions (à quel point les 2 formes se ressemblent?) - à faire avant de checker stabilité test-retest
- de l’intervalle de temps entre les deux passations (ex. des changements sont survenus chez nos participants durant cette période)
On considère parallèles les deux formes d’un même instrument lorsque : 5 items
- Les items sont très similaires (mais pas identiques) - inverses*
- Le nombre d’items est le même :
- La structure dimensionnelle est la même
- Les mêmes directives d’administration sont en vigueur
- Les deux formes génèrent des résultats avec des moyennes et écarts-types équivalents
Quels sont les avantages ? (de corrélation test-retest avec formes parallèles)
Élimination de l’effet de mémoire
Les deux formes peuvent être administrés en même temps
Quels sont les inconvénients ? (de corrélation test-retest avec formes parallèles)
Il faut rédiger 2 fois plus d’items
il faut effectuer une validation de “deux instruments”
il faut s’assurer que les formes demeurent parallèles
À quoi fait référence la cohérence interne ? (stabilité interne ou consistance interne)
La logique sous-jacente à la manière dont les participants répondent :
Si le construit existe de manière stable, il se manifestera de la même manière (stable) à travers toutes les réponses d’un participant.
Les gens devraient répondre de manière cohérente - ils sont supposer être honnête
Par rapport à la cohérence interne, si un construit a différentes sous-dimensions, les items qui mesurent les sous-dimensions devraient corréler plus fortement entre-eux.
Qu’est-ce que la corrélation split-half ? (aussi appelée bisection ou corrélation moitié moitié)
Un indice de cohérence interne - on sépare le test en deux et on vérifie la corrélation entre les deux versions “artificielles”
- peut parfois être utilisé comme mesure artificielle de fiabiité test-retest (mais pas recommandé)
À quoi on s’attend avec la corrélation split-half ?
On s’attend à une corrélation forte
les items devraient être mélangés de l’instrument
optimum serait de séparer entre item pair et impair - effet de fatigue à considérer
Qu’est-ce qui est particulier de la corrélation split-half ?
Cette corrélation ne mesure pas la fiabilité du test, mais bien la fidélité d’un test comportant la moitié d’items.
L’estimé est donc biaisé.
Qu’est-ce que la corrélation de split-half de Spearman-Brown permet de faire ?
Ajuste comme si le test ne comportait pas seulement la moitié moins d’items.
Permet d’ajuster pour avoir la moitié moins d’items, puisque avoir moitié moins d’items = valeur de la corrélation est sous-estimé.
Comment s’appelle la formule de Spearman-Brown ? À quoi sert-elle ?
La formule de la prophétie - elle permet d’estimer combien d’items il faudrait pour obtenir un “split-half” de X - si on veut split-half excellent - il faudrait combien d’items
Quel est la logique sous-jacente à la formule de la prophétie ?
Que les items qui sont ajoutés mesurent la même chose que les items initiaux
Que la moyenne des intercorrélations entre les items initiaux soit égale à la moyenne des intercorrélations du total des items (soit les items ajoutés + les items initiaux)
Plus nos items sont mauvais (mauvaise fiabilité), plus nous devrons rédiger des items)
Qu’est-ce que l’alpha de Cronbach ? (indice de cohérence interne)
Indique dans quelle mesure les items du test mesurent une seule chose
C’est un chiffre qui varie entre - infini et 1 (mais la plupart du temps il varie entre 0 et 1)
Plus il s’approche de 1, plus la fiabilité est bonne
Ce n’est pas une indice de corrélation
Que veut dire un alpha négatif ?
C’est mauvais signe, qu’il y a un problème interne
Plus le nombre d’item est grande et plus la corrélation moyenne est grande, plus l’alpha sera _______
élevé
Quel est le lien entre la variance et l’alpha ?
La variance est la moyenne des carrés des écarts à la moyenne des scores d’une distribution
Sans écart à la moyenne, il n’y a pas de variance
Quel est le lien entre la corrélation et l’alpha ?
La corrélation est une covariance standardisée entre deux distributions de scores.
Sans variance dans l’une ou l’autre des distributions, il n’y a pas de corrélation
Comme l’alpha est fondée sur la moyenne de toute les corrélations possibles entre les scores d’items, l’Alpha est aussi très affecté par ____________
la quantité de variance dans les scores d’items
Qu’est-ce que l’accord interjuge ?
Il évalue les variations aléatoires qui dépendent des personnes qui corrigent le test
Si le phénomène se manifeste avec régularité, tous les juges devraient donc observer le même phénomène
- pour des observations/éléments qualitatifs
Quels sont les 2 moyens de l’accord interjuges ?
- Corrélations effectuées sur des cotes (si élevée et positive = bonne corrélation interjuge)
- Kappas effectués sur la catégorisation ou la fréquence faite par les juges
- Kappas prennent en compte proportion accord entre deux juges et la probabilité que cet accord soit du au hasard)
Quel est le principe de base de l’accord interjuges ?
La compréhension de ce qui est observé sera stable dans la mesure où deux juges “voient” la même chose
Ils verront la même chose si :
- la formation est bonne
- les juges sont compétents
- si les comportements à observer sont bien définis
- si les juges ont les mêmes opportunités d’observer le comportement
Quels sont les critères pour juger de la fiabilité ?
0,90 et plus = excellente
0,80-0,89 = modérée
0,70-0,79 = acceptable
0,60-0,69 = inacceptable (parfois utilisé en recherche)
Moins de 0,60 = inacceptable (toujours)
Que dit-on d’une fiabilité de 0,95 et plus ?
C’est suspect - (pour cohérence interne seulement)
Que peut-on dire sur l’erreur-type de mesure ?
Elle montre l’effet de la fiabilité sur un score généré par l’instrument.
Il est possible de calculer un intervalle de confiance autour du score observé
Plus l’ETM est grand, ______ il y a d’erreur dans le score observé
plus
Qu’est-ce que l’intervalle de confiance de l’erreur-type de mesure ?
L’intervalle de confiance sert à mesurer, en fonction de l’erreur-type de mesure, du score observé et d’un niveau de certitude désiré, dans quel intervalle se situe le score réel d’un participant
À un niveau de certitude de 68%, on calcule l’intervalle de confiance à l’aide de cette formule
score +/- ETM
- 68% de l’échantillon se trouve sous al courbe +/- 1,00 ET de la moyenne
- 95% de l’échantillon se trouve sous la courbe +/- 1,96 ET de la moyenne
