Cours #4 - P2 Flashcards
Qu’est-ce que le coefficient de cohérence interne?
C’est d’estimer l’homogénéité de tous les items (estimer quantifiant l’ensemble des inter-corrélation entre tous les items d’une échelle)
Il varie entre 0 et 1:
- Proche de 1 = items de l’échelle cohérents, donc échelle génère peu d’erreur
- Proche de 0 = Items pas homogènes. questions trop indépendantes, échelle pas précises = génère bcp d’erreur.
- Typiquement, un coefficient de 0,70 et plus est considéré satisfaisant
Avec quels indices peut on estimer la cohérence interne?
L’alpha de Conbach, Kuder-Richardson et Omega de Mcdonald
Qu’est-ce que l’alpha de Cronbach (6)?
(Indice pour estimer la cohérence interne)
- Pour instruments avec items continus (au moins 5 choix de réponses)
- Assume que les items mesurent la même variable latente
- Assume que tous les items sont reliés de la même façon à la variable latente
- Le coefficient alpha est l’équivalent de la moyenne de toutes les moitié-moitié possibles (toute les combinaisons possibles)
- C’est la covariance moyenne des items divisée par la variance totale (+ corrélation entre items élevé, + valeur alpha = élevée)
- Plus il y a d’item plus alpha est élevé
Qu’est-ce que l’indice de Kuder-Richardson-20?
(Indice pour estimer la cohérence interne)
- Un cas spécial du alpha de Cronbach pour les items dichotomiques
- Assume (mais ne teste pas) que les items mesurent une même variable latente
- Assume aussi que le pourcentage de réponses correctes est le même pour tous les items (tau équivalent, ne parle pas de corrélation ici, mais de pourcentage)
- Il existe une équation plus simple (KR-21)
Quels sont les caractéristiques de l’Omega de McDonald?
(Indice pour estimer la cohérence interne)
- Teste explicitement que les items mesurent une même variable latente en utilisant l’analyse factorielle
- Le postulat irréaliste que tous les items sont reliés de la même façon à la variable latente n’a pas besoin d’être respecté – les saturations factorielles peuvent être différentes
- Tendance à procurer un estimé de la fidélité d’une échelle plus près de la réalité que le alpha ou le KR-20
Dans les cas clinique, on préfère quel coefficient de cohérence interne et pourquoi?
Des indices de cohérence interne au minimum de 0,80 et plus
L’erreur de mesure dans une échelle est un problème grave si vous vous basez sur cet instrument pour prendre une décision clinique importante qui aura une influence sur la vie d’un individu
Qu’est-ce qu’un coefficient très élevé de cohérence interne peut signifier (ex: 0.95)?
Ceci suggère qu’il y a potentiellement redondance de contenu, i.e., certaines questions mesurent probablement la même chose.
À ce moment, on devrait appliquer le Principe de parcimonie : les auteurs.trices pourraient enlever certaines questions
Vrai ou faux, si on a un alpha de .50 sur une échelle de 2 ou 3 items, cela ne signifie pas de facto un problème majeur de précision.
Vrai, c’est même attendu (i.e., «Prophétie de Spearman»)
On peut alors appliquer la transformation de Spearman-Brown pour connaitre la fidélité prédite de l’échelle si elle avait davantage d’items
Comment mesurer le coefficient de fidélité interjuge?
Pour l’estimer, on vérifie si les évaluations des mêmes individus effectuées avec le même instrument, mais par différents informateurs (i.e., évaluateurs ou «juges») sont corrélée.
Qu’est-ce que la fidélité inter-juges vs l’accord inter-juge?
Fidélité: Degrés de cohérence entre les observateurs selon des mesures continues (compare la variance entre les informateurs)
Accord: Degrés de l’accord entre les observateurs en utilisant souvent une mesure catégorielle (ne regarde pas la variance)
Vrai ou faux, l’accord inter-juge est pertinent pour l’évaluation de tous les construits psychologiques et tous les sujets.
Faux, certains construits sont influencés par la subjectivité des informateurs.
Par exemple, les pensées ou les comportements secrets (sexualité, consommation,…), l’accord interjuge sera plus faible entre le parent et l’ado par exemple.
Vrai ou faux:
1. L’estimation de l’accord interjuge est seulement cruciale en observation.
- Pour les instruments dimensionnels (sur un continuum) la corrélation est souvent plus faible (plus petit que .70), car les instruments sont moins fidèle.
- Faux, ce l’est aussi avec des instruments comme les échelles d’évaluation ou questionnaires, tout comme pour les réponses collectées lors d’entrevues.
- Faux, aujourd’hui on considère que c’est attendu.
Pourquoi le coefficient de fidélité interjuge est souvent plus faibles?
Les individus (enfants, adolescents, adultes) vont fréquemment manifester des comportements différents dans différents contextes, notamment parce que les attentes sont différentes
Différents informateurs provenant de différents contextes peuvent percevoir et procurer de l’information différente (et complémentaire) à propos d’un même individu évalué
Quels sont les coefficient de fidélité interjuge trouver entre différents informateurs?
Corrélation entre informateurs similaires (e.g., deux parents) est en moyenne de 0,60
Corrélation entre différents informateurs (e.g., un parent et un enseignant) est de 0,28
Corrélation impliquant l’enfant/adolescent et un autre informateur est de 0,22
Corrélations plus fortes pour EXT que INT
Qu’est-ce qui permet de maximise le coefficient de fidélité interjuge?
- Connaissent bien l’enfant (familiarité avec l’enfant, temps passé avec lui.elle assez élevé)
- Proviennent d’un même contexte d’observation (e.g., deux enseignants.es, deux parents)
- Les objets de l’évaluation sont des comportements plus facilement observables, par opposition à des choses moins facilement observables – e.g. un cpt vs une pensée
Qu’est-ce qu’une erreur de mesure standard ou erreur type (4)?
Elle donne une indication de la quantité ou du degrés d’erreur de mesure associée aux scores d’une échelle.
En termes de score standardisé, il s’agit de l’écart-type de la distribution des erreurs
Est inversement lié à à la fidélité (plus grande fidélité, plus petite erreur)
Est estimée à l’aide d’un coefficient de fidélité (Alpha de Cronbach, ou autre)
Vrai ou faux, le score vrai est la valeur que l’on obtient quand on compile les résultats d’un instruments.
Faux, le score vrai est théorique, on tente de l’estimer en prenant en compte l’erreur standard de mesure, c’est une question de probabilité.
À quoi servent les erreurs de mesure standard?
Dans la pratique en évaluation, les ESM servent a construire un intervalle de confiance (IC) autour du score observé.
Peut servir à identifier un critère empirique qui permet de déterminer s’il existe une différence significative entre les scores de deux échelles en utilisant l’erreur standard sur la différence
Qu’est-ce qu’un intervalle de confiance et que permet-il? comment le calcule-t’on?
C’est un estimé probabiliste permettant de situer le score observé à l’intérieur d’une étendue de scores donnée
Permet une interprétation plus rigoureuse et prudente qui tient compte de l’erreur de mesure
Pour le calculer, on doit additionner et soustraire la valeur de l’ESM au score standardisé observé
Comment on interprèterais un intervalle de confiance selon les instruments de mesure si le score-t est de 60 et l’ESM de 3?
68% (1 É-cart-type): Il y a 68% de chance que le score vrai se situe entre 57 et 63
95% (2 É-cart-type): Il y a 95% de chance que le score vrai se situe entre 54 et 66
Exemple de situation clinique:
Si j’obtient un score de 61 qui me sert à prendre une décision et c’est 1 de plus que le critère, donc score significativement plus élevé que la moyenne donc jean a le trouble X selon le score observé.
Cependant si utilise intervalle de confiance de 95%, il y a 95% des chances que le scores soit entre 55 et 67 donc possible qu’il n’y est pas de trouble ou que le score soit 65.
Que doit-on faire?
On doit alors interpréter avec prudence et pourrait confirmer avec d’autre outil d’évaluation.
Le score vrai on ne le connait jamais, c’est un score théorique que l’on peut tenter de guesser ou il est, dans quel intervalle de confiance.
Voir diapo 43 cours 4
