Cours 7 : Stabilité Flashcards
[STATISTIQUE]
Comment déterminer si une personne est « normale » ?
Il faut comparer son score avec la moyenne du groupe de référence, ce qui va donner l’écart à la moyenne.
[STATISTIQUE]
C’est quoi l’écart à la moyenne ?
La distance entre le score du participant et la moyenne du groupe
[STATISTIQUE]
À quoi correspond la variance ?*
Comment on peut se servir de la variance pour trouver l’écart-type ?*
*Indique par quelle lettre le concept est représenté
La variance (s²) c’est la moyenne des carrés des écarts à la moyenne du score de tous les individus.
Pour trouver l’écart-type (s ou ÉT), soit la distance des données par rapport à la moyennne, on fait la racine carré de la variance.
[STATISTIQUE]
À quoi correspond la covariance ?
* Indique par quelle lettre le concept est représentée
La covariance (Cov) est une mesure du degré d’association entre deux variables. C’est-à-dire :
- À quel point une donné occupe la même position dans deux distributions de variables différentes.
- À quel point les variables changent ensemble (si X augmente, est-ce que Y aussi ?)
N = nombre de la population étudiée
X = Score de la variable 1 (X̄ = moyenne du groupe)
Y = Score de la variable 2
[STATISTIQUE]
Dans cet exemple, la covariance est de 40,00. Ça indique quoi ?
Ça n’indique pas grand chose. En fait, la covariance sert à calculer la corrélation (r) qui, elle, permet d’inerpréter les données.
[STATISTIQUE]
V ou F : La corrélation (r) exprime la même chose que la covariance, mais par une métrique standardisée.
Vrai! Le chiffre varie qu’entre -1.00 et +1.00
[STATISTIQUE]
La corrélation (r) exprime la même chose que la covariance, mais par une métrique standardisée.
- Pourquoi le fait d’avoir une métrique standardisée (chiffre qui varie entre +/- 1.00) est utile ?
- La corrélation permet de déterminer quoi par rapport à l’instrument ?
- C’est beaucoup plus facile d’interpréter le résultat qu’avec une corrélation (où le chiffre veut rien dire)
- Permet de déterminer si l’instrument est fiable
[THÉORIE CLASSIQUE] - La stabilité
- Concept de ___________
- Phase de ___________
- Concept de fiabilité (en vert)
- Phase de verification (à droite de la ligne verticale)
[THÉORIE CLASSIQUE] - La stabilité
Quels sont les objectifs de la stabilité ? (2)
- Vérifier la nature et l’ampleur de l’erreur
- Établir la stabilité interne et temporelle
[On veut s’assurer que les choix faits lors de l’élaboration étaient les bons pour notre instrument pour minimiser l’erreur]
[THÉORIE CLASSIQUE] - La stabilité
Quels sont les moyens employés pour répondre aux objetifs de la stabilité ? (5), soit :
- Vérifier la nature et l’ampleur de l’erreur
- Établir la stabilité interne et temporelle
- Erreur-type de mesure
- Analyse d’items
- Analyses corrélationnelles
- Approche hypothético-déductive
- Accord inter-juges
[THÉORIE CLASSIQUE] - La stabilité
Est-il normal d’avoir de l’erreur de mesure ?
Oui, il y aura toujours de l’erreur de mesure. On veut juste qu’il en ait pas trop.
[THÉORIE CLASSIQUE] - La stabilité
- Quand on se préoccupe de la fiabilité, on se pose toujours la question « ________________».
- Plus spécifiquement, l’étape de la stabilité nécessite de répondre à la question « ________________»
- Mon instrument comporte-t-il de l’erreur de mesure ?
- Combien d’erreur ai-je dans mon instrument ?
[THÉORIE CLASSIQUE] - Erreur de mesure
Score observé (X) = ___________ + ___________
Score observé = score vrai + erreur de mesure
X = V + e
[THÉORIE CLASSIQUE] - Erreur de mesure
Score observé = score vrai + erreur de mesure
Explique la logique de ce calcul
Si par miracle, on pouvait avoir aucune erreur de mesure dans l’instrument, alors le score qu’on obtiendrais serait le score vrai.
Étant donné que les résultats qu’on obtiens à l’aide de nos instruments (score observé), s’accompagnent toujours d’erreurs de mesure (aka «bruit»), alors elle correspond à ce qu’on aurait eu dans un monde parfait + le bruit du monde réel.
[THÉORIE CLASSIQUE] - Erreur de mesure
Le score vrai correspond à soit ____________ OU ____________.
- Le score observé s’il n’y avait pas d’erreur de mesure dans l’instrument
OU - Le score moyen obtenu si le test est répondu de manière illimitée
Rappel : somme de toutes les erreur aléatoires = erreur qui tend à zéro = score parfait
Les variations positives et négatives de l’erreur ont tendance à s’annuler lorsque le nombre d’observations tend vers l’infini.
[THÉORIE CLASSIQUE] - Erreur de mesure
Plus un instrument ________, plus on diminue le risque d’erreurs aléatoires.
Plus un instrument contient d’items, plus on diminu le risque d’erreur aléatoires.
[THÉORIE CLASSIQUE] - Erreur de mesure
On a besoin de quoi pour vérifier la quantité d’erreur de mesure ?
On a besoin d’utiliser et interpréter des indices chiffrés.
Permet de démontrer concrètement avec des chiffres l’erreur de mesure.
[THÉORIE CLASSIQUE] - Principe de base de la psychométrie
Sachant que le phénomène que l’on veut mesurer est relativement stable dans le temps, il y a 3 moyens de l’estimer.
Quels sont ces moyens ?
[STABILITÉ] - Test retest (aka stabilité temporelle)
Si le phénomènes est stable, ________ mesures prises à l’intérieur d’un délai devraient se ________ .
Si le phénomène est stable, deux mesures prises à l’intérieur d’un délai devraient se ressembler.
[STABILITÉ] - Test retest (aka stabilité temporelle)
Quels sont les moyens pour vérifier la stabilité temporelle (2) ?
- Corrélation test-retest
- Corrélation test-retest avec formes parallèles
[STABILITÉ] - Corrélation test-retest
La corrélation test-retest est la manière d’estimer la stabilité temporelle.
À quoi dépend la qualité de l’estimation (2) ?
1) De l’intervalle de temps entre les deux passations
- Intervalle assez longue pour ne plus se rappeler ce qu’on a répondu
- Intervalle pas trop longue pour ne pas qu’il ait beaucoup de changement
2) Des chanements survenus chez les participants durant cette période
Une personne qui a beaucoup confiance en elle-même au temps 1 devrait avoir beaucoup confiance en elle au temps 2
[STABILITÉ] - Corrélation test-retest avec formes parallèles
C’est quoi ?
Au lieu de faire passer le même test deux fois, lors de la 2e passation, on administre un test « parallèle », cad un test équivalent à celui de la première passation.
[STABILITÉ] - Corrélation test-retest avec formes parallèles
De quoi dépend la qualité de l’estimation ? (2)
- De la qualité du parallélisme entre les deux versions
- De l’intervalle entre les deux passations
- Ex : Des changements sont survenus chez nos participants durant cette période
[STABILITÉ] - Corrélation test-retest avec formes parallèles
Il faut s’assurer que les deux tests sont parallèles avant de mesurer la stabilité.
Quelle sont les conditions pour considérer que les deux formes d’un même instrument est parallèle ? (5)
- Les items sont très similaire, mais pas identiques
- Le nombre d’items est le même
- La structure dimensionnelle est la même
(mêmes dimensions évaluées avec mêmes proportions) - Les mêmes directives d’administration sont en vigueur
- Les deux formes génèrent des résultats avec des moyennes et écart-types équivalents
[STABILITÉ] - Corrélation test-retest avec formes parallèles
Quelles sont les avantages de la corrélation test-retest avec formes parallèles ? (2)
- Élimination de l’effet de mémoire
- Les deux formes peuvent être administrées en même temps
[STABILITÉ] - Corrélation test-retest avec formes parallèles
Quelles sont les inconvénients de la corrélation test-retest avec formes parallèles ? (3)
- Il faut rédiger 2x plus d’items
Les items sont similaires mais pas identiques
- Il faut effectuer une validation de « deux instruments »
- Il faut s’assurer que les formes demeurent parallèles
[STABILITÉ] - Cohérence interne
C’est quoi la cohérence interne ? Ce concept s’appuie sur quel postulat ?
La cohérence interne c’est pour voir si le construit est stable en regardant si les réponses des participants est cohérente au travers des items.
Si le construit existe de manière stable, il se manifestera de la même manière (stable) à travers toutes les réponses d’un participant.
On suppose que les participants sont honnête
[STABILITÉ] - Cohérence interne
Quels sont les moyens de la mesurer (cad, quels sont les indices de cohérence interne)? (2)
- Corrélation « Split-half »
- Alpha de Cronbach
[STABILITÉ] - Cohérence interne (Split-half)
Comment on fait un split-half ?
On sépare le test en deux et on vérifie la corrélation entre deux versions « artificielles ».
Première moitié = test artificiel 1 Deuxième moitié = test artificiel 2
Si les réponses des participants sont stables (donc le construit est stable), alors il devrait avoir une corrélation élevée entre les deux moitiés.
[STABILITÉ] - Cohérence interne (Split-half)
V ou F: La corrélation Split-half est souvent utilisée pour mesurer artificiellement la fiabilité test-retest.
Faux, c’est parfois utilisé mais ce n’est pas recommandé.
On ne peut pas dire que les deux formes sont parallèles (ex: gradation dans la difficulté des items)
[STABILITÉ] - Cohérence interne (Split-half)
Pourquoi le Split-half est une mesure biaisée de la fiabilité ?
Rappel : Plus un insrument contient d’items, plus le risque d’erreur aléatoire diminue
- Étant donné qu’on doit couper artificiellement notre instrument en deux pour procéder au calcul de corrélation, on ne mesure pas la fiabilité du test, mais bien la fiabilité d’un test comportant la moitié moins d’items
- L’estimé est donc biaisé (surestimation de l’ampleur de l’erreur de mesure)
[STABILITÉ] - Cohérence interne (Split-half)
Comment contrer le biais du Split-half ?
On fait une correction de Spearman-Brown à la corrélation de Split-half.
[STABILITÉ] - Cohérence interne (Split half + formule de la prophétie)
Spearman et Brown ont pu développer la correction utilisée dans le cas d’une corrélation « Split-half» grâce à des travaux plus pointus qui ont culminé à ce qu’on appelle la formule de la prophétie.
Cette formule permet quoi ?
La formule de la prophétie permet d’estimer combien d’items il faudrait pour obtenir un « Split-half » de X.
Mon instrument contient X items. Donc cette formule permet de savoir, par exemple, combien d’items il me faut pour avoir une fiabilité de r = 0,85
[STABILITÉ] - Cohérence interne (Split half + formule de la prophétie)
On a un instrument qui comprend 6 items et sont le corfficient de fiabilité (Split-half) observé est r = 0,597.
Pour améliorer la fiabilité de l’instrument, il faudrait rédiger combien d’items supplémentaires ?
Le résultat de la formule de la prophétie = 22,15
Pour améliorer la fiabilité de l’instrument, il faudrait rédiger 17 items supplémentaires
* Il faut TOUJOURS arrondir à la hausse, donc pour améliorer la fiabilité de l’instrument, il faudrait qu’il ait 23 items.
* Pour savoir le nombre d’items supplémentaires à rédiger, on fait 23 - 6 (nombre d’items de l’instrument initial) = 17
[STABILITÉ] - Cohérence interne (Split half + formule de la prophétie)
Qu’est-ce que la logique sous-jacente à la formule de la prophétie suppose ?(2)
- Que les items qui sont ajoutés mesurent la même chose que les items initiaux
- Que la qualité des items qu’on rédige soit la même que la qualité des items initiaux
* C’est à dire, que la moyenne des intercorrélations entre les items initiaux soit égale à la moyenne des intercorrélations du total des items
[STABILITÉ] - Cohérence interne (Alpha de Cronbach « α »)
Qu’est-ce cet indice de cohérence interne indique ? Comment on l’interprète ?
L’alpha de Cronbach (α) indique dans quelle mesure les items du test mesurent une seule chose.
C’est un chiffre qui varie entre -∞ et 1 (mais la plupart du temps il varie entre 0 et 1)
- Plus il s’approche de 1, plus la fiabilité est bonne
[STABILITÉ] - Cohérence interne (Alpha de Cronbach « α »)
V ou F : L’alpha de Cronbach est un indice de corrélation
Faux
[STABILITÉ] - Cohérence interne (Alpha de Cronbach « α »)
C’est quoi la logique du calcul ?
C’est comme si on fait pleins de corrélations Split-half entre chaque items et on regarde comment chaque item corrèle ensemble à l’intérieur de l’instrument. Ainsi, on peut déterminer si on mesure bel et bien la même chose.
[STABILITÉ] - Cohérence interne (Alpha de Cronbach « α »)
Quelles variables influencent l’alpha de Cronbach ? (2)
1) Nombre d’items
- Plus le nombre d’items est grand, plus la corrélation moyenne est grande et plus l’Alpha sera élevé.
2) Corrélation moyenne
- Plus nos items sont bons pour mesurer un construit, plus ils auront d’impact sur la corrélation moyenne.
[STABILITÉ] - Cohérence interne (Alpha de Cronbach « α »)
Quels sont les liens entre la variance, la corrélation et l’alpha?
La variance est la moyenne des carrés des écarts à la moyenne des scores d’une distribution.
* Donc sans écarts à la moyenne, il n’y a pas de variance
La corrélation est une covariance standardisée entre deux distributions de scores
* Sans variation dans l’une ou l’autre des distribution, il n’y a pas de corrélation
Comme l’Alpha est fondée sur la moyenne de toutes les corrélations possibles entre les scores d’items, l’Alpha est aussi très affecté par la quantité de variance dans les scores d’items.
Donc, il est important de considérer la variabilité de réponses que l’item suscite
[STABILITÉ] - Accord interjuges
Quel est le principe de base de l’accord interjuges ?
Si le phénomène se manifeste avec régularité (stable), tous les juges devraient donc observer le même pénomène.
- Devraient comprendre la même chose, car ils voient la même chose
[STABILITÉ] - Accord interjuges
Quels sont les moyens pour mesurer l’accord interjuge ? (2)
- Corrélations effectués sur des cotes
- Kappas effectués sur :
- La catégorisation
- La fréquence faite par les juges
Kappa = % d’accord
[STABILITÉ] - Accord interjuges
Les juges « verront » la même chose si … (4) ?
- Ils ont une bonne formation
- S’ils sont compétents
- Si les comportements à observer sont bien définis
- Si les juges ont les mêmes opportunités d’observer le comportement.
[STABILITÉ] - Résumé
Pour chaque méthode, indique le(s) méthode(s) statistique(s) utilisés :
- Fiabilité test-retest
- Accord interjuges
- Formes parallèles
- Cohérence interne
Fiabilité test-retest
- Corrélation (rxx ou r)
Accord interjuges
- Corrélation (r)
- Kappa (κ)
Formes parallèles
- Corrélation (rxx ou r)
Cohérence interne
- Corrélation (rxx ou r)
- « Split-half » (rxx ou r)
- Alpha de Cronbach (α)
[STABILITÉ] - Résumé
Pour la méthode de fiabilité test-retest quelle est le(s) hypothèse(s) caractéristique d’étude de validation ?
La corrélation entre les résultats du temps 1 et les résultats au temps 2 sera positive et élevée.
[STABILITÉ] - Résumé
Pour la méthode d’ accord interjuges quelles sont le(s) hypothèse(s) caractéristique d’étude de validation ? (2)
On s’attend que :
- La corrélation entre les résultats du juge A et les résultats du juge B sera positive et élevée
- Le pourcentage d’accord (kappa) entre les juges A et le juge B sera élevée
Pour la méthode de formes parallèles quelles sont le(s) hypothèse(s) caractéristique d’étude de validation ?
La corrélation entre les résultats à la forme A et les résultats à la forme B sera positive et élevée.
Pour la méthode de cohérence interne quelles sont le(s) hypothèse(s) caractéristique d’étude de validation ?
Corrélation : On s’attend que …
- La corrélation entre le résultat de l’item 1 et le résultat de l’item 2 sera positive et élevée *
- Les corrélations entre le résultat à l’item 1 et le score total sera positive et élevée *
*À interpréter avec l’indice de Cohen
Split-half : On s’attend que …
- La corrélation entre le « score total » de la première moitié de l’instrument et le « score total » de la deuxième moitié de l’instrument sera positive et élevée
- Plus les participants répondent logiquement, plus les items sont inter-corrélés et plus le coefficient sera élevé (si les items contiennent pas d’erreurs)
[STABILITÉ] - Juger la fiabilité
Comment on fait pour juger si l’instrument est fiable ?
[STABILITÉ] - Juger la fiabilité
Pourquoi une corrélation de 0,95 et plus est suspect (pour la cohérence interne seulement) ?
Parce que ça pourrait vouloir dire qu’il y a une sous-représentation du construit.
[STABILITÉ] - Juger la fiabilité
Est-ce qu’on juge de la même façon les scores de corrélations dans toutes les situations ?
Non, ces critères sont généraux. Plus un instrument est utilisé pour prendre des décisions importantes (ex : qui va avoir un impact sur la vie des gens), plus il faut être sévère.
Bref, le jugement de la corrélation dépend de l’importance de la décision à prendre.
[STABILITÉ] - Juger la fiabilité
Pourquoi une corrélation entre 0,60 et 0,69 est innaceptable, mais quand même utilisé en recherche ?
Parce qu’en recherche, les études sont souvent faites sur des grands groupes de personnes. Plus on augmente le nombre d’observations, moins d’impact chaque personne aura individuellement sur le score total.
=> Grand échantillon = Erreur aléatoire qui tend vers zéro
[Erreur-type de mesure]
L’ETM permet de faire quoi ?
De relativiser le score obtenu et déterminer l’intervalle de confiance autour d’un score vrai pour X. On peut le calculer pour un niveau de confiance plus élevé ou plus bas.
Plus l’ETM est grand, plus il y a d’erreur possible dans le score observé
[Erreur-type de mesure] - Intervalle de confiance
- À quoi sert l’intervalle de confiance ?
- On estime l’intervalle de confiance en fonction de quoi ? (3)
L’intervalle de confiance sert à estimer dans quel intervalle se situe le score réel d’un participant
On l’estime en fonction de :
1. Erreur-type de mesure
2. Score observé
3. Niveau de certitude désiré
[Erreur-type de mesure] - Intervalle de confiance
L’intervalle de confiance sert à estimer dans quel intervalle se situe le score réel d’un participant
On l’estime en fonction de :
1. Erreur-type de mesure
2. Score observé
3. Niveau de certitude désiré
Comment on détermine les bornes de l’intervalle de confiance ?
Erreur-type de mesure = niveau de certitude de 68% (IC = +/- ÉTM)
- Niveau de certitude à 95% : +/- 1,96 ÉT
Bornes de l’intervalle : score +/- (1,96 x ETM)
[Erreur-type de mesure] - Intervalle de confiance
Bornes de l’intervalle : score +/- (1,96 x ETM)
Sachant que le score observé de Gorges =10 et que l’ÉTM = 1,97 et que l’intervalle de confiance utilisée est de 95%, son intervalle se situe entre 6,14 et 13,86.
Ça veut dire que …
Il y a 95% des chances qu’un score observé de 10 corresponde à un score vrai se situant entre 6,14 et 13,86.
