Cours 7 : Stabilité Flashcards
Explique moi le concept de normalité ? (un individu est normal par rapport à quoi)
C’est le fait de comparer un individu à d’autres, à un groupe de référence. Un individu normal = son score est similaire à la moyenne du groupe auquel il réfère.
Qu’est-ce que la variance ? Et l’écart-type ?
La moyenne des carrés des écarts à la moyenne de tous les scores des individus. L’écart-type est la racine carrée de la variance.
Qu’est-ce que la covariance ?
La mesure du degré d’association entre deux variables. La mesure d’à quel point une donnée occupera la même positon dans 2 distributions et à quel point ces deux données varieront ensemble.
Quelle mesure fréquemment utilisée en psychologie est l’équivalent la covariance, mais standardisée ?
La corrélation
Quelles sont les valeurs maximale et minimale d’une corrélation ?
-1 et 1
Définis la stabilité selon le modèle de la cible
C’est la phase de vérification de la fidélité
Quels sont les objectifs de l’étape de la stabilité ? (2)
Vérifier la nature et l’ampleur de l’erreur de mesure.
Établir les stabilités interne et temporelle de l’instrument
Quels moyens peut-on utiliser à l’étape de stabilité pour atteindre nos objectifs ? (5) Peut-on combiner ces moyens ?
Erreur-type de mesure Analyses d'items Analyses corrélationnelles Approche hypothético-déductive Accord inter-juges
La meilleure analyse de la fidélité d’un instrument est lorsqu’on combine ces moyens!
Quelle est la question qu’il faut se poser pour évaluer la fidélité ?
Mon instrument comporte-il de l’erreur de mesure ?
Quelle est la question qu’il faut se poser pour évaluer la stabilité ?
Combien d’erreur de mesure ai-je dans mon instrument ?
Quel type d’erreur est évaluée quand on parle d’erreur de mesure affectant la stabilité ? Pourquoi ?
L’erreur aléatoire parce qu’elle est un type d’erreur qui n’est pas systématique, qui affecte différemment les scores et donc impacte plus la fidélité.
Quelle est la différence entre le score vrai et le score observé ?
Le score observé contient le score vrai et l’erreur (le bruit).
Quel effet a l’augmentation des observations sur la fiabilité de l’instrument ?
La fiabilité augmente en relation directe avec les observations. Plus la quantité d’observations tend vers l’infini, plus l’erreur tend vers 0 et plus on s’approche du score vrai.
Comment peut-on mesurer l’impact de l’erreur de mesure ?
Avec la stabilité temporelle, la cohérence interne et l’accord inter-juges
De quelle prémisse psychométrique part-on quand on mesure l’erreur de mesure ?
Le phénomène mesuré est relativement stable dans le temps.
Quel est le principe de base de la stabilité temporelle ?
Si un phénomène est stable dans le temps, deux mesures prises avec un délai devraient se ressembler
Il y a deux façons de mesurer la stabilité temporelle, quelles sont-elles ? Définis-les
Corrélation test-retest : on fait passer le test deux fois aux participants avec un délai.
Corrélation test-retest avec formes parallèles : on fait passer 2 versions de tests équivalentes (parallèles) aux participants à deux moments.
De quoi dépend la qualité de l’estimation de la corrélation test-retest ? Et la corrélation test-retest avec formes parallèles ?
Test-retest : Dépend de l’intervalle de temps entre les deux passations et des changements chez les participants durant cette période.
Avec formes parallèles : Dépend d’à quel point les versions sont équivalentes ET de l’intervalle de temps entre les deux passations.
Quelles sont les conséquences d’un intervalle de temps trop court sur la stabilité temporelle ? Trop long ?
Trop court : effet de mémoire (résultat surestimé parce que le participant se rappelle des questions / des réponses qu’il avait donné)
Trop long : on ne peut pas savoir si les changements dans les résultats au test sont relié à l’instrument ou à un réel changement dans la personnalité de l’individu (moins soumis qu’il y a 5 ans)
Quelles sont les caractéristiques d’un bon parallélisme entre deux versions d’un test ? (5)
- Items similaires, mais pas identiques
- Même nombre d’items
- Même structure dimensionnelle (sous-dimensions)
- Même directives d’administration
- Les moyennes / écart-types obtenus sont équivalents
Parle moi des avantages de la corrélation test-retest avec formes parallèles (vs test-retest)
- Pas de possibilité d’effet de mémoire
- Administration peut se faire en même temps
Parle moi des limites de la corrélation test-retest avec formes parallèles (vs test-retest)
- Besoin de rédiger 2x plus de bons items
- Besoin de valider 2 instruments
- Les deux formes doivent vraiment être parallèles sinon pouish
Quel est le principe de base de la cohérence interne ?
Si le construit est stable, il se manifeste de manière stable à travers les réponses d’un participant. On évalue la logique sous-jacente aux réponses des participants (si le construit est bien représenté par tous les items de manière cohérente)
Comment peut-on évaluer la stabilité interne d’un instrument (2) ?
- Corrélation split-half
- Alpha de Cronbach
Autres noms pour cohérence interne ?
Bissection, consistance interne, stabilité interne
Comment obtient-on la corrélation split-half ?
On sépare le test en 2 versions artificielles et on évalue la corrélation entre ces deux versions.
Que veut dire une corrélation split-half élevée ?
Que les réponses sont stables à travers le test
Peut-on utiliser le split-half comme façon de vérifier la fiabilité test-retest ?
Oui, mais peu recommandé parce qu’il n’y aura pas de délai entre les deux tests.
Comment est-il plus adéquat de séparer les items si l’instrument contient beaucoup d’items ?
Si le test a beaucoup d’items, il est conseillé de séparer les items pairs des items impairs plutôt que de les séparer au milieu du test pour éviter que l’effet de fatigue ait un impact sur la corrélation observée.
Quelles est le problème majeur de la corrélation split-half ?
Comme elle mesure la fiabilité de 2 tests avec 2x moins d’items, il y a sous-estimation de la fiabilité
Une augmentation des _____ d’un test permet d’augmenter la _______ de l’instrument parce qu’il y a plus ____________ de mesure ce qu’on veut mesurer
Items, fiabilité, d’opportunités
____ d’items réduit l’impact de l’erreur aléatoire
Plus
À quoi sert la correction de Spearman-Brown ?
Permet d’enlever la sous-estimation dû au manque d’items dans les deux tests artificiels générés par le split-half (on considère 1 test plutôt que 2 demis donc fidélité augmentée)
À quoi sert la formule de la prophétie ?
Elle permet d’estimer combien d’items seraient nécessaire à l’obtention d’un split-half de X (ex : 0,85)
La formule de la prophétie suppose que (2 choses)
- Les nouveaux items mesurent la même chose que les items de base
- La moyenne des intercorrélations des items de base sera la même que celle des intercorrélations des tous les items (les nouveaux ET les anciens)
Qu’est-ce que l’alpha de Cronbach ?
Il indique dans quelle mesure les items du test mesure une seule chose (le construit)
Quelles sont les variables qui impacte la qualité de l’alpha ?
- Le nombre d’items
- La moyenne des intercorrélations entre les paires d’items du test
Un alpha de Cronbach peut-il être négatif ?
Oui, la valeur peut aller de -infini à 1, mais un alpha négatif = ça va pas du tout
Qu’est-ce qui est mieux ?
- Moins d’items, plus corrélés entre eux
- Plus d’items moyennement corrélés entre eux
2 > 1
Quel est le principe de base de l’accord inter-juges ?
Si le phénomène se manifeste de façon régulière, tous les juges devraient observer le même phénomène.
Comment évaluer l’accord inter-juges ?
- Corrélation effectuée sur des cotes
- Kappas effectuées sur la catégorisation faite par les juges (est-ce que les juges sont d’accord)
Les juges pourront voir la même chose si 4 conditions sont respectées (accord inter-juges), quelles sont-elles ?
- les juges ont reçu une bonne formation
- les juges sont compétents
- les comportements à observer sont bien définis (structure, cotation)
- les juges ont les mêmes opportunités d’observer le comportement
Les juges travaillent-ils ensemble lorsqu’ils évaluent un test ?
Non!! Travail individuel et c’est important pour éviter les inter influences
Le but de l’accord inter-juges est d’établir …
la variation aléatoire attribuable aux évaluateurs du test (ce qui fait que les juges sur ou sous-estiment / tendent ou pas vers les mêmes réponses)
Que permet de montrer l’erreur de mesure ?
L’effet de la fiabilité sur le score généré par l’instrument
Qu’est-ce qu’un intervalle de confiance ?
Bornes autour du score qui indique dans quelle intervalle se trouve le score vrai par rapport au score observé selon un niveau de certitude désiré
Vrai ou Faux : Il n’y a pas de variance lors qu’il n’y a pas d’écarts des scores à la moyenne
Vrai
Vrai ou Faux : Lorsqu’il n’y a pas de variance dans les scores, il y a plus de corrélations entre les scores
Faux : sans variance, il n’y a pas de corrélation
L’alpha est-il affecté par la variance ? Pourquoi ?
Oui! Parce qu’il est fondé sur la moyenne des corrélations entre les scores. Les corrélations entre les scores dépendent de la présence de variance. Moins de variance a donc un effet négatif sur la qualité de l’alpha
Juge de la fiabilité des corrélations de Pearson suivantes : 0,60 0,70 0,80 0,90
0,60 : fiabilité inacceptable mais parfois utilisé en recherche
0,70 : fiabilité acceptable
0,80 : fiabilité modérée
0,90 : fiabilité excellente
Que veut dire une corrélation de 0,95 et plus ?
C’est suspect pour la cohérence interne, signe de redondance / sous-représentation du construit.
