Cours 7 : Stabilité Flashcards
[STATISTIQUE]
Comment déterminer si une personne est « normale » ?
Il faut comparer son score avec la moyenne du groupe de référence, ce qui va donner l’écart à la moyenne.
[STATISTIQUE]
C’est quoi l’écart à la moyenne ?
La distance entre le score du participant et la moyenne du groupe
[STATISTIQUE]
À quoi correspond la variance ?*
Comment on peut se servir de la variance pour trouver l’écart-type ?*
*Indique par quelle lettre le concept est représenté
La variance (s²) c’est la moyenne des carrés des écarts à la moyenne du score de tous les individus.
Pour trouver l’écart-type (s ou ÉT), soit la distance des données par rapport à la moyennne, on fait la racine carré de la variance.
[STATISTIQUE]
À quoi correspond la covariance ?
* Indique par quelle lettre le concept est représentée
La covariance (Cov) est une mesure du degré d’association entre deux variables. C’est-à-dire :
- À quel point une donné occupe la même position dans deux distributions de variables différentes.
- À quel point les variables changent ensemble (si X augmente, est-ce que Y aussi ?)
N = nombre de la population étudiée
X = Score de la variable 1 (X̄ = moyenne du groupe)
Y = Score de la variable 2
[STATISTIQUE]
Dans cet exemple, la covariance est de 40,00. Ça indique quoi ?
Ça n’indique pas grand chose. En fait, la covariance sert à calculer la corrélation (r) qui, elle, permet d’inerpréter les données.
[STATISTIQUE]
V ou F : La corrélation (r) exprime la même chose que la covariance, mais par une métrique standardisée.
Vrai! Le chiffre varie qu’entre -1.00 et +1.00
[STATISTIQUE]
La corrélation (r) exprime la même chose que la covariance, mais par une métrique standardisée.
- Pourquoi le fait d’avoir une métrique standardisée (chiffre qui varie entre +/- 1.00) est utile ?
- La corrélation permet de déterminer quoi par rapport à l’instrument ?
- C’est beaucoup plus facile d’interpréter le résultat qu’avec une corrélation (où le chiffre veut rien dire)
- Permet de déterminer si l’instrument est fiable
[THÉORIE CLASSIQUE] - La stabilité
- Concept de ___________
- Phase de ___________
- Concept de fiabilité (en vert)
- Phase de verification (à droite de la ligne verticale)
[THÉORIE CLASSIQUE] - La stabilité
Quels sont les objectifs de la stabilité ? (2)
- Vérifier la nature et l’ampleur de l’erreur
- Établir la stabilité interne et temporelle
[On veut s’assurer que les choix faits lors de l’élaboration étaient les bons pour notre instrument pour minimiser l’erreur]
[THÉORIE CLASSIQUE] - La stabilité
Quels sont les moyens employés pour répondre aux objetifs de la stabilité ? (5), soit :
- Vérifier la nature et l’ampleur de l’erreur
- Établir la stabilité interne et temporelle
- Erreur-type de mesure
- Analyse d’items
- Analyses corrélationnelles
- Approche hypothético-déductive
- Accord inter-juges
[THÉORIE CLASSIQUE] - La stabilité
Est-il normal d’avoir de l’erreur de mesure ?
Oui, il y aura toujours de l’erreur de mesure. On veut juste qu’il en ait pas trop.
[THÉORIE CLASSIQUE] - La stabilité
- Quand on se préoccupe de la fiabilité, on se pose toujours la question « ________________».
- Plus spécifiquement, l’étape de la stabilité nécessite de répondre à la question « ________________»
- Mon instrument comporte-t-il de l’erreur de mesure ?
- Combien d’erreur ai-je dans mon instrument ?
[THÉORIE CLASSIQUE] - Erreur de mesure
Score observé (X) = ___________ + ___________
Score observé = score vrai + erreur de mesure
X = V + e
[THÉORIE CLASSIQUE] - Erreur de mesure
Score observé = score vrai + erreur de mesure
Explique la logique de ce calcul
Si par miracle, on pouvait avoir aucune erreur de mesure dans l’instrument, alors le score qu’on obtiendrais serait le score vrai.
Étant donné que les résultats qu’on obtiens à l’aide de nos instruments (score observé), s’accompagnent toujours d’erreurs de mesure (aka «bruit»), alors elle correspond à ce qu’on aurait eu dans un monde parfait + le bruit du monde réel.
[THÉORIE CLASSIQUE] - Erreur de mesure
Le score vrai correspond à soit ____________ OU ____________.
- Le score observé s’il n’y avait pas d’erreur de mesure dans l’instrument
OU - Le score moyen obtenu si le test est répondu de manière illimitée
Rappel : somme de toutes les erreur aléatoires = erreur qui tend à zéro = score parfait
Les variations positives et négatives de l’erreur ont tendance à s’annuler lorsque le nombre d’observations tend vers l’infini.
[THÉORIE CLASSIQUE] - Erreur de mesure
Plus un instrument ________, plus on diminue le risque d’erreurs aléatoires.
Plus un instrument contient d’items, plus on diminu le risque d’erreur aléatoires.
[THÉORIE CLASSIQUE] - Erreur de mesure
On a besoin de quoi pour vérifier la quantité d’erreur de mesure ?
On a besoin d’utiliser et interpréter des indices chiffrés.
Permet de démontrer concrètement avec des chiffres l’erreur de mesure.
[THÉORIE CLASSIQUE] - Principe de base de la psychométrie
Sachant que le phénomène que l’on veut mesurer est relativement stable dans le temps, il y a 3 moyens de l’estimer.
Quels sont ces moyens ?
[STABILITÉ] - Test retest (aka stabilité temporelle)
Si le phénomènes est stable, ________ mesures prises à l’intérieur d’un délai devraient se ________ .
Si le phénomène est stable, deux mesures prises à l’intérieur d’un délai devraient se ressembler.
[STABILITÉ] - Test retest (aka stabilité temporelle)
Quels sont les moyens pour vérifier la stabilité temporelle (2) ?
- Corrélation test-retest
- Corrélation test-retest avec formes parallèles
[STABILITÉ] - Corrélation test-retest
La corrélation test-retest est la manière d’estimer la stabilité temporelle.
À quoi dépend la qualité de l’estimation (2) ?
1) De l’intervalle de temps entre les deux passations
- Intervalle assez longue pour ne plus se rappeler ce qu’on a répondu
- Intervalle pas trop longue pour ne pas qu’il ait beaucoup de changement
2) Des chanements survenus chez les participants durant cette période
Une personne qui a beaucoup confiance en elle-même au temps 1 devrait avoir beaucoup confiance en elle au temps 2
[STABILITÉ] - Corrélation test-retest avec formes parallèles
C’est quoi ?
Au lieu de faire passer le même test deux fois, lors de la 2e passation, on administre un test « parallèle », cad un test équivalent à celui de la première passation.
[STABILITÉ] - Cohérence interne
C’est quoi la cohérence interne ? Ce concept s’appuie sur quel postulat ?
La cohérence interne c’est pour voir si le construit est stable en regardant si les réponses des participants est cohérente au travers des items.
Si le construit existe de manière stable, il se manifestera de la même manière (stable) à travers toutes les réponses d’un participant.
On suppose que les participants sont honnête
[STABILITÉ] - Cohérence interne (Split-half)
Comment contrer le biais du Split-half ?
On fait une correction de Spearman-Brown à la corrélation de Split-half.
[STABILITÉ] - Cohérence interne (Split half + formule de la prophétie)
On a un instrument qui comprend 6 items et sont le corfficient de fiabilité (Split-half) observé est r = 0,597.
Pour améliorer la fiabilité de l’instrument, il faudrait rédiger combien d’items supplémentaires ?
Le résultat de la formule de la prophétie = 22,15
Pour améliorer la fiabilité de l’instrument, il faudrait rédiger 17 items supplémentaires
* Il faut TOUJOURS arrondir à la hausse, donc pour améliorer la fiabilité de l’instrument, il faudrait qu’il ait 23 items.
* Pour savoir le nombre d’items supplémentaires à rédiger, on fait 23 - 6 (nombre d’items de l’instrument initial) = 17
[STABILITÉ] - Cohérence interne (Alpha de Cronbach « α »)
C’est quoi la logique du calcul ?
C’est comme si on fait pleins de corrélations Split-half entre chaque items et on regarde comment chaque item corrèle ensemble à l’intérieur de l’instrument. Ainsi, on peut déterminer si on mesure bel et bien la même chose.
[STABILITÉ] - Cohérence interne (Alpha de Cronbach « α »)
Quelles variables influencent l’alpha de Cronbach ? (2)
1) Nombre d’items
- Plus le nombre d’items est grand, plus la corrélation moyenne est grande et plus l’Alpha sera élevé.
2) Corrélation moyenne
- Plus nos items sont bons pour mesurer un construit, plus ils auront d’impact sur la corrélation moyenne.
[STABILITÉ] - Résumé
Pour la méthode de fiabilité test-retest quelle est le(s) hypothèse(s) caractéristique d’étude de validation ?
La corrélation entre les résultats du temps 1 et les résultats au temps 2 sera positive et élevée.
[STABILITÉ] - Résumé
Pour la méthode d’ accord interjuges quelles sont le(s) hypothèse(s) caractéristique d’étude de validation ? (2)
On s’attend que :
- La corrélation entre les résultats du juge A et les résultats du juge B sera positive et élevée
- Le pourcentage d’accord (kappa) entre les juges A et le juge B sera élevée
Pour la méthode de formes parallèles quelles sont le(s) hypothèse(s) caractéristique d’étude de validation ?
La corrélation entre les résultats à la forme A et les résultats à la forme B sera positive et élevée.
Pour la méthode de cohérence interne quelles sont le(s) hypothèse(s) caractéristique d’étude de validation ?
Corrélation : On s’attend que …
- La corrélation entre le résultat de l’item 1 et le résultat de l’item 2 sera positive et élevée *
- Les corrélations entre le résultat à l’item 1 et le score total sera positive et élevée *
*À interpréter avec l’indice de Cohen
Split-half : On s’attend que …
- La corrélation entre le « score total » de la première moitié de l’instrument et le « score total » de la deuxième moitié de l’instrument sera positive et élevée
- Plus les participants répondent logiquement, plus les items sont inter-corrélés et plus le coefficient sera élevé (si les items contiennent pas d’erreurs)
[STABILITÉ] - Juger la fiabilité
Comment on fait pour juger si l’instrument est fiable ?
[STABILITÉ] - Juger la fiabilité
Est-ce qu’on juge de la même façon les scores de corrélations dans toutes les situations ?
Non, ces critères sont généraux. Plus un instrument est utilisé pour prendre des décisions importantes (ex : qui va avoir un impact sur la vie des gens), plus il faut être sévère.
Bref, le jugement de la corrélation dépend de l’importance de la décision à prendre.
[STABILITÉ] - Juger la fiabilité
Pourquoi une corrélation entre 0,60 et 0,69 est innaceptable, mais quand même utilisé en recherche ?
Parce qu’en recherche, les études sont souvent faites sur des grands groupes de personnes. Plus on augmente le nombre d’observations, moins d’impact chaque personne aura individuellement sur le score total.
=> Grand échantillon = Erreur aléatoire qui tend vers zéro
[Erreur-type de mesure] - Intervalle de confiance
L’intervalle de confiance sert à estimer dans quel intervalle se situe le score réel d’un participant
On l’estime en fonction de :
1. Erreur-type de mesure
2. Score observé
3. Niveau de certitude désiré
Comment on détermine les bornes de l’intervalle de confiance ?
Erreur-type de mesure = niveau de certitude de 68% (IC = +/- ÉTM)
- Niveau de certitude à 95% : +/- 1,96 ÉT
Bornes de l’intervalle : score +/- (1,96 x ETM)
[Erreur-type de mesure] - Intervalle de confiance
Bornes de l’intervalle : score +/- (1,96 x ETM)
Sachant que le score observé de Gorges =10 et que l’ÉTM = 1,97 et que l’intervalle de confiance utilisée est de 95%, son intervalle se situe entre 6,14 et 13,86.
Ça veut dire que …
Il y a 95% des chances qu’un score observé de 10 corresponde à un score vrai se situant entre 6,14 et 13,86.
