Cours 4 Flashcards

1
Q

La fidelité concerne quoi?

A
  • la précision de notre mesure
  • le niveau d’erreur de mesure qu’elle génère
  • à quel point le score «vrai» est estimé avec justesse
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

L’expression «un test fiable» s’applique plutôt…

A

aux scores qu’ils génèrent
affirmer qu’un test est fiable sous-entend que fidélité a été établie de façon permanente, pour toutes les utilisations, avec tous les utilisateurs (degrés)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Fidelité est une question de..

A

degrés

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Quelle est la théorie du score vrai?

A

score observé= score vrai + erreur de mesure

il y a tjrs de l’erreur de mesure dans tous les instruments

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Quels sont les 2 grands types d’erreurs de mesure? *voir tableau

A
  • aléatoires
  • systématiques (biais)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Quels sont les 4 types de fidélité en fonction des sources d’erreur de mesure possibles?

A

1) Erreur d’échantillonnage de contenu –> instrurésultats cohérents au sens large sont souhaités–> coefficient des formes parallèles
2) Erreur d’échantillonnage dans le temps–> instru de traits/comp stables–> coefficient test-retest
3) incohérence interne, ou inter-items–> instru qui demande cohérence interne/inter-item–> coefficient moitié-moitié/cohérence interne
4) incohérence inter-informateurs–> instru qui demande degré élevé de subjectivité–>coefficient de fidélité inter-juges

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Comment calculer la fidelité selon la théorie du score vrai (classique)?

A

rx= var (vraie) / var (erreur)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Qu’est-ce que la fidélité des formes parallèles?

A
  • mesure classique
  • 2 formes équivalentes du même instrument et on estime la corrélation des scores entre les deux formes pour les mêmes individus
  • Instruments similaires conceptuellement, mais avec des items légèrement différents
  • La question de l’échantillonnage de contenu est cruciale pour pouvoir interpréter avec confiance cette forme de fidélité –> pas juste au hasard mais faire une sélection quasi-aléatoire (tous les domaines/sous-domaines doivent être représentés proportionnellement)
  • obj est de voir degré d’erreur dans contenu
  • corrélation élevée=bonne précision/peu erreurs de mesure
  • 0,70 au min
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Qu’est-ce que la fidélité test-retest?

A
  • pour construits relativement stables dans le temps (ex. traits)
  • évalue les mêmes individus avec le même instrument à deux reprises dans le temps, ecq mêmes résultats (scores) ?
  • intervalle de temps court (2 semaines à 1 mois)
  • corrélation élevée= bonne précision/peu erreurs mesure
  • 0,70=corrélation forte, instrument fiable
  • si écart entre résultats (corrélation faible), difficile de déterminer raisons (intervalle? changement réel perso?)
  • il ne faut pas s’attendre à des corrélations très élevées pour la fidélité test-retest car certains construits sont assez «plastiques»/ changeants dans le temps (ex. N change plus que E)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

EXAM*Qu’est-ce que la cohérence interne?

A
  • items dans un test doivent être corrélés entre eux, forment un tout cohérent au niveau conceptuel et empirique
  • faible corrélation entre items= ecq mesure vrm le mm construit?
  • 2 stratégies: a) coefficient de fidélité moitié-moitié
    b) coefficient de cohérence interne
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

EXAM Explique la stratégie du coefficient de fidélité moitié-moitié

A
  • on divise en 2 les items d’une échelle est estime corrélation entre les 2 moitiés
  • problème= avec moins d’items, les corrélations vont toujours être moins fortes, nonobstant le niveau de fidélité
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

EXAM Explique la prophétie de Spearman

A
  • plus il y a d’items dans une échelle, plus sa fidélité est élevée
  • Avec des échelles brèves : on peut appliquer la formule de la prophétie de Spearman-Brown pour déterminer quelle serait la corrélation avec plus d’items
  • ra = 2 (rsh) / 1 + rsh
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

EXAM Explique la stratégie de cohérence interne

A
  • estimer homogénéité des tous les items d’une échelle
  • estimé statistique quantifiant l’ensemble des inter-corrélations entre tous les items
  • 2 indices utilisés pour estimer cohérence interne:
    a) Alpha de Cronbach
    b) Kuder-Richardson-20
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

EXAM Qu’est-ce que le Alpha de cronbach?

A
  • pour items continus
  • assume que les items mesurent mm variable latente et que tous les items sont reliés de la mm façon à vari latente
  • coefficient a est l’équivalent de la moyenne de toutes les moitié-moitié possibles (toutes les combinaisons possibles)
  • la covariance moyenne des items est divisée par la variance totale – donc les corrélations entre les items doivent être élevées pour donner une valeur alpha élevée
  • comme le nombre d’items est un facteur de l’équation, plus il y a d’items, plus alpha sera élevé
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Qu’est-ce que le Kuder-Richardson-20

A
  • Un cas spécial du alpha de Cronbach pour les items dichotomiques
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Qu’est-ce que le Omega de McDonald?

A
  • Contrairement à alpha et KR-20, avec le Omega on teste explicitement que les items mesurent une même variable latente en utilisant l’analyse factorielle
  • Le postulat irréaliste que tous les items sont reliés de la même façon à la variable latente n’a pas besoin d’être respecté – les saturations factorielles peuvent être différentes (*contrairement aux 2 autres)
  • Estime la fidélité d’une échelle plus près de la réalité que le alpha ou le KR-20
  • Alpha est un bon estimé de la fidélité seulement lorsque tous les items sont vraiment tau équivalents ***
  • *différence avec autres test: je teste de façon explicite que items mesurent mm variable latente (font partie échelle) comme 1ere étape
    *omega va avoir coefficient plus élevé
17
Q

Qu’en est-il des coefficients de cohérence interne?

A
  • varie entre 0 et 1
  • coefficient de 1 est souhaité, suggère que items d’une échelle sont très cohérents/forment un tout; donc l’échelle génère peu d’erreurs de mesure
  • Si près de 0, les items ne sont pas homogènes/suggère que les questions de l’échelle sont trop indépendantes/ne vont pas ensemble ; donc l’échelle n’est pas précise, elle génère beaucoup d’erreurs
  • coefficient de 0,70 et plus est considéré satisfaisant
  • en recherche on accepte 0,60
  • en clinique min 0,80
  • 0,95= peut signifier une redondance –> principe de parcimonie (on enlève questions)
  • si ondices pas élevés pour échelles avec peu d’items=signifie pas de facto problème de précision (prophétie de spearman l’explique) –> on peut utiliser transformation de Spearman-Brown pour connaitre la fidélité prédite de l’échelle si elle avait davantage d’items
18
Q

Qu’est-ce que la fidélité inter-juges?

A
  • vérifie si les évaluations des mêmes individus effectuées avec le même instrument, mais par différents évaluateurs/informateurs sont corrélés
  • corrélation entre différents informateurs avec des mesures continues; on compare la variabilité (variance) entre les informateurs
  • cruciale en observation
19
Q

Quelle est la différence entre fidélité inter-juges et accord inter-juges?

A
  • fidélité= degré de cohérence
  • accord= mesure de degré auquel les informateurs sont en accord exactement, ne considère pas variance
20
Q

Pour quel type d’instruments on obtient généralement des corrélations plus faibles pour la fidélité inter-juges?

A

instruments dimensionnels
- pas nécessairement mauvais, c’est attendu souvent –> différents contextes=différents comp –> différents informateurs procurent donc meilleure validité écologique
- ex. méta-analyse de Achenbach et De Los Reyes

21
Q

On maximise l’accord inter-juges si informateurs…

A

-Connaissent bien l’enfant (familiarité avec l’enfant, temps passé avec lui assez élevé)
- Proviennent d’un même contexte d’observation (ex. deux enseignants)
- Les objets de l’évaluation sont des comportements plus facilement observables (par opposition à des choses moins facilement observables)

22
Q

Qu’est-ce que l’erreur standard de mesure (erreur type de mesure)

A
  • une indication de la quantité ou du degré d’erreur de mesure associée aux scores d’une échelle
  • En termes de score standardisé, il s’agit de l’écart-type de la distribution des erreurs
  • estimé avec coefficient de fidelité
  • inversement lié à la fidélité (plus la fidélité est élevée, moins l’erreur standard de mesure est grande)
23
Q

Qu’est-ce que les intervalles de confiance?

A
  • ESM servent a construire un intervalle de confiance autour du score observé
  • un estimé probabiliste permettant de situer le score observé à l’intérieur d’une étendue de scores donnée
  • Permet une interprétation plus rigoureuse et prudente qui tient compte de l’erreur de mesure
  • intervalle de confiance à 60% = Il y a 60% des chances que
    mon score se retrouve dans cet intervalle
  • sert aussi à faire comparaison des scores de 2 échelles selon chevauchement des IC (si chevauchent= pas de différence significative)
24
Q

Qu’est-ce que l’erreur standard sur la différence?

A
  • ESM peut servir à identifier un critère empirique qui permet de déterminer s’il existe une différence significative entre les scores de 2 échelles
  • L’erreur standard sur la différence (ESdiff) est calculée à partir des ESM procurés par les auteurs d’un test