Brainscape's Knowledge GenomeTM

Browse over 1 million classes created by top students, professors, publishers, and experts.


See full index

Psychométrie et évaluation > Cours 4 > Flashcards

Cours 4 Flashcards

Erreur de mesure et types d'erreurs et fidélité

1
Q

Qu’est-ce que la fidélité dans le contexte des instruments de mesure?

A

La fidélité concerne la précision de notre mesure, ou dit autrement, le niveau d’erreur de mesure qu’elle génère.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Bien que l’affirmation « un test fiable » est commune, cette qualité en fait ne s’applique pas au _____ en tant que tel, mais s’applique aux _______ qu’ils génèrent.

A

test| scores

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Vrai ou Faux : Affirmer qu’un test est fiable sous-entend que la fidélité a été établie de façon permanente, pour toutes les utilisations, avec tous les utilisateurs.trices.

A

Vrai :) ex: un instrument de musique accordé (piano ou guitare)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

La fidélité n’est pas un concept d___________ (ex: fiable vs non fiable) : tout est une question de d______.

A

dichotomique | degré

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Cruciale en évaluation psychoéducative : sur le plan clinique, avant de prendre des décisions importantes, on veut savoir à quel point les v___________ des scores (entre différents individus, ou entre différents moment de mesure) résultent de différences r_________ dans le construit qui nous intéresse ou plutôt d’i__________________ de l’instrument de mesure qu’on utilise.

A

variations | réelles | imprécisions (erreurs)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Quelle est la théorie du score vrai (calcul)?

A

score observé = score vrai + erreur de mesure

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Qu’on le veuille ou non, il y a ____________ de l’erreur de mesure, dans _____ les instruments !!! (Question d’exam probable!)

A

toujours | tous

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Quels sont les deux grands types d’erreurs de mesure?

A
  1. Aléatoires
  2. Systématiques (ou biais)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Qu’est-ce qui définit les erreurs de mesure de type aléatoire?

A
  • Fluctuations statistiques NON REPRODUCTIBLES; toujours présentes pour tous les instruments
  • Autant au-dessus qu’en dessous de la moyenne
  • Distribuées normalement
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Quelle est la cause des erreurs de mesure de type aléatoire?

A

La variation dans l’échantillonnage.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Comment peut-on minimiser/évaluer les erreurs de mesure de type aléatoire (3)?

A
  • Plus grands échantillons
  • Plus de moments de mesure
  • Peuvent être plus facilement estimes / contrôlées statistiquement
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Qu’est-ce qui définit les erreurs de mesure de type systématique (ou biais)?

A
  • Fluctuations CONSTANTES ET REPRODUCTIBLES, qui sont toujours dans la même direction. Pas dans tous les instrument.
  • Surestimation ou sous-estimation constante des paramètres (ex moyenne)
  • Pas distribuées normalement
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Quelles sont les causes des erreurs de mesure de type systématique (ou biais)?

A
  • Mauvaise utilisation de l’instrument
  • Conditions d’administration inadéquates
  • Imperfections de l’instrument
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Comment peut-on minimiser/évaluer les erreurs de mesure de type systématique (ou biais) (2)?

A
  • Difficile à détecter, souvent ne sont pas connues
  • Plus difficile à quantifier statistiquement
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Quel type d’instruments sont-ils sujet à l’erreur d’échantillonnage de contenu et quel indice de fidélité est utilisé pour estimer cet erreur?

A
  • Instruments pour lesquels des résultats cohérents au sens large sont souhaités
  • Indice de fidélité : Coefficient de fidélité des formes parallèles (ou coefficient de congruence)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Quel type d’instruments sont-ils sujet à l’erreur d’échantillonnage dans le temps et quel indice de fidélité est utilisé pour estimer cet erreur?

A
  • Instruments de mesure de traits ou comportements relativement stables
  • Indice de fidélité : Coefficient de fidélité test-retest (ou de stabilité temporelle)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Quel type d’instruments sont-ils sujet à l’incohérence interne ou inter-items et quels indices de fidélité sont utilisés pour estimer cet erreur?

A
  • Instruments qui requièrent une grande cohérence interne ou inter-item
  • Indice de fidélité : Coefficient de fidélité moitié-moitié et Coefficient de cohérence interne
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Quel type d’instruments sont-ils sujet à l’incohérence inter-informateurs et quel indice de fidélité est utilisé pour estimer cet erreur?

A
  • Instruments qui impliquent un degré relativement élevé de subjectivité
  • Indice de fidélité : Coefficient de fidélité inter-juges (ou accord inter-juges)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Vrai ou Faux : il est possible d’évaluer le degré de fidélité d’un instrument de mesure avec l’évaluation d’une seule personne.

A

Faux! C’est impossible. On doit collecter les données d’un échantillons d’individus qui sont évalués avec l’instrument.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Avec des données (donc la variance), la fidélité selon la théorie du score vrai devient représentée de quelle façon?

A

r = var vraie / var erreur

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Vrai ou Faux : Au sein de la théorie du score vrai, plus la part de variance erreur sera grande, plus le coefficient de fidélité s’approchera de 1.0, alors que plus la variance vrai sera grande, plus le coefficient s’approchera de 0.

A

Faux! C’est le contraire!

22
Q

Quelle est la définition de la fidélité à la base?

A

C’est qu’un instrument devrait donner les mêmes résultats d’une administration à l’autre.

23
Q

Comment mesure-t-on la fidélité des formes parallèles?

A
  • Il s’agit d’une mesure « classique » de la fidélité
  • On développe deux formes équivalentes du mm instrument et on estime la corrélation des scores entre les deux formes pour les mm individus
  • Instruments tout à fait similaires conceptuellement, mais avec des items légèrement différents
  • On ne peut pas simplement choisir des items au hasard dans une grande banque d’items : il faut faire une sélection quasi-aléatoire
    *Tous les domaines spécifiques du construit doivent être représentés proportionnellement
24
Q

La question de l’é____________________ de c____________ est cruciale pour pouvoir interpréter avec confiance la fidélité des formes parallèles.

A

échantillonnage de contenu

25
Q

Quel est l’objectif de mesurer la fidélité des formes parallèles?

A

Comme les deux formes parallèles sont supposées mesurer le construit de la mm façon, l’objectif est donc d’estimer le degré d’erreur dans le contenu.

26
Q

Comment interprète-t-on les données de la fidélité des formes parallèles? (que suggère une corrélation élevée et quel est le coefficient min attendu)

A
  • Corrélation élevée suggère bonne précision, peu d’erreurs de mesure
  • Pas vrm de coefficient min attendu, puisque la corrélation dépendra du contenu (complexité du construit), en plus de facteurs personnels des individus évalués (ex: réaction différente aux deux formes, fatigue, etc.)
  • On s’attend quand mm typiquement à un coefficient de 0,70 au min
27
Q

Comment mesure-t-on la fidélité test-retest? Et quel genre d’instruments sont privilégiés?

A
  • On mesure certains instruments qui prétendent mesurer des construits relativement stables dans le temps (ex: traits de personnalité)
  • Si on évalue les mm individus avec le mm instrument à deux reprises dans le temps, est-ce qu’ils obtiennent les mm résultats (scores)?
  • Pour l’estimer, l’intervalle de temps doit être assez court (environ 2 semaines à 1 mois)
28
Q

Comment interprète-t-on les données de la fidélité test-retest? (que suggère une corrélation élevée et quel est le coefficient min attendu)

A
  • Une corrélation élevée suggère une bonne précision, peu d’erreurs de mesure
  • Pas vrm de coefficient min, mais si la corrélation est forte (au moins 0,70), l’instrument est considéré fiable
  • Mais attention: s’il y a un écart entre les résultats (corrélation faible), il est parfois difficile de déterminer les raisons
    *Intervalle de temps trop long? changement réel chez les individus? quantité d’erreurs de mesure?
29
Q

De façon générale, il ne faut pas s’attendre à des corrélations très élevées (0.7 et plus) pour la fidélité test-retest. Pourquoi?

A

Car certains construits sont assez « plastiques » ou changeant dans le temps.

Ex: problèmes intériorisés changent plus facilement dans des courts laps de temps que problèmes extériorisés

Ex: Névrotique change plus qu’Extraversion

30
Q

Pourquoi est-il important de mesurer la fidélité de cohérence interne?

A
  • Lorsque les chercheurs.euses créent des échelles, ils tentent de regrouper des items qui forment un tout cohérent, autant sur le a) plan conceptuel que sur le b) plan empirique
  • Autrement dit, il ne suffit pas que des experts.es suggèrent qu’un groupe d’items mesurent bien un construit, mais il faut aussi que les items soient significativement corrélés entre eux
  • Avec des faibles corrélations entre les items, on peut se demander s’ils mesurent vraiment le mm construit
31
Q

Quels sont les deux stratégies souvent utilisées pour évaluer la cohérence interne?

A

1) coefficient de fidélité moitié-moitié
2) coefficient de cohérence interne

32
Q

Comment mesure et interprète-ton le coefficient de fidélité moitié-moitié?

A
  • Les chercheurs-euses divisent en deux les items d’une échelle et on estime ensuite les corrélations entre ces deux moitiés
  • Encore une fois, l’échantillonnage de contenu est très important, il faut une sélection quasi-aléatoire des items
  • Une corrélation élevée entre les deux moitiés indique bonne fidélité, peu d’erreurs de mesure
33
Q

Quel est le problème méthodologique avec le coefficient de fidélité moitié-moitié? Et que peut-on faire pour régler ce problème?

A

Avec moins d’items, les corrélations vont tjr être moins fortes, nonobstant le niveau de la fidélité

  • Prophétie de Spearman : plus il y a d’items dans une échelle, plus sa fidélité est élevée

On peut appliquer la formule de la prophétie pour déterminer quelle serait la corrélation avec plus d’items

ra = 2 (rsh) / 1 + rsh

ra est la corrélation ajustée avec tous les items
rsh est la corrélation avec la moitié des items

34
Q

Comment mesure et le coefficient de cohérence interne?

A
  • Les chercheurs.euses estiment l’homogénéité de tous les items d’une échelle
  • Il s’agit d’un estimé statistique quantifiant l’ensemble des inter-corrélations entre tous les items d’une échelle
  • Est-ce que les items d’une échelle forment un tout cohérent sur le plan empirique, sont assez fortement corrélés et donc génèrent peu d’erreurs de mesure
35
Q

Comment interprète-ton le coefficient de cohérence interne?

A
  • On souhaite un coefficient près de 1.0, ce qui suggère que les items d’une échelle sont très cohérents, qu’ils forment un tout; donc l’échelle génère peu d’erreurs de mesure

-Si près de 0, les items ne sont pas homogènes, suggère que les questions de l’échelle sont trop indépendantes, ne vont pas ensemble; donc l’échelle n’est pas précise, elle génère bcp d’erreurs

  • Typiquement un coefficient de 0,70 et plus est considéré satisfaisant
  • En recherche, nous sommes moins conservateurs puisqu’on ne peut appliquer une correction et on accepte parfois des coefficients d’environ 0,60
  • Dans la pratique clinique, on préfère des indices de cohérence interne au min de 0,80 et plus
  • 0,95 ou plus parfois considérés moins intéressants puisque ceci suggère qu’il y a potentiellement redondance de contenu
36
Q

Vrai ou Faux : Les coefficients de cohérence interne varient tous entre 0 et 1 (Question d’exam!)

A

Vrai :)

37
Q

Quels sont les deux indices très utilisés pour estimer la cohérence interne?

A

Alpha de Cronbach/Kuder-Richardson et Omega de McDonald

38
Q

Vrai ou Faux : Omega à tendance à procurer un estimé de la fidélité d’une échelle plus près de la réalité que le alpha ou le KR-20.

A

Vrai :)

En partie parce que le postulat irréaliste que tous les items sont reliés de la mm façon à la variable latente n’a pas besoin d’être respecté, les saturations factorielles peuvent être différentes.

39
Q

Comment mesure-t-on la fidélité inter-juges?

A

Pour l’estimer, on vérifie si les évaluations des mm individus effectuées avec le mm instrument, mais par différents informateurs (évaluateurs ou juges) sont corrélées

40
Q

Vrai ou Faux : La fidélité inter-juges et l’accord inter-juge sont des termes interchangeable.

A

Faux! Il ne faut pas les utilisés de façon interchangeable.

41
Q

Quelle est la différence entre la fidélité inter-juges et l’accord inter-juges?

A
  • Fidélité inter-juges : renvoie au degré de cohérence (ou corrélation) entre différents informateurs avec des mesures continues; on compare la variabilité (variance) entre les informateurs
  • Accord inter-juges : renvoie plutôt à une mesure de degré auquel des informateurs sont en accord exactement - souvent avec des mesures catégorielles; ne considère pas variance
42
Q

Vrai ou Faux : Pour les instruments catégoriels, on obtient généralement des corrélations significativement plus faibles pour la fidélité inter-juges que pour les autres types de fidélité.

A

Faux! ce sont les instruments dimensionnels.

43
Q

Comment interprète-t-on la corrélation de fidélité inter-juges?

A
  • Les coefficients de fidélité inter-juges plutôt faibles sont attendu
  • Corrélation entre informateurs similaires (ex: parents) est en moyenne de 0,60
  • Corrélation entre différents informateurs (ex: un parent et un enseignant) est de 0,28
  • Corrélation impliquant l’enfant/ado et un autre informateur est de 0,22
44
Q

Comment peut on maximiser l’accord inter-juges? (3)

A

les informateurs…

  • Connaissent bien l’enfant
  • Proviennent d’un mm contexte d’observation (ex: deux enseignants, deux parents)
  • Les objets de l’évaluation sont des comportements plus facilement observables (cpt vs pensée)
  • L’ESM est inversement liée à la fidélité (plus la fidélité est élevée, moins l’erreur standard de mesure est grande et vice versa)
45
Q

De quoi s’agit l’erreur standard de mesure (ESM)?

A
  • Parfois aussi appelée erreur type de mesure
  • Donne une indication de la quantité ou du degré d’erreur de mesure associée aux scores d’une échelle
  • En termes de score standardisé, il s’agit de l’écart-type de la distribution
46
Q

Comment estime-t-on l’ESM?

A
  • Est estimée à l’aide d’un coefficient de fidélité (alpha de Cronbach, ou autre)

ESM = ÉTt racine carré (1- rt)

ÉT est l’écart-type des scores au test
rt est le coefficient de fidélité du test

47
Q

Dans la pratique en évaluation, les ESM servent à quoi?

A
  • Servent à construire un intervalle de confiance autour du score observé.
  • À identifier un critère empirique qui permet de déterminer s’il existe une différence significative entre les scores de deux échelles
48
Q

Qu’est-ce qu’un intervalle de confiance et que permet-il?

A
  • Est un estimé probabiliste permettant de situer le score observé à l’intérieur d’une étendue de scores donnée.
  • Permet une interprétation plus rigoureuse et prudente qui tient compte de l’erreur de mesure
  • Selon les instruments, on peut parfois avoir des intervalles à 68% (1 ESM) et à 95% (2 ESM)
49
Q

Comment calcule-ton l’intervalle de confiance?

A

Pour le calculer, on doit additionner et soustraire la valeur de l’ESM au score standardisé observé.

Ex: considérant un score-T observé de 60 et considèrent que l’ESM est 3 :
- 68% : [57, 63]
- 95% : [54, 66]

50
Q

Comment calcule-t-on l’erreur standard sur la différence (ES diff)?

A

Es diff est calculée à partir des ESM procurées par les auteurs.trices d’un test.

ES diff = racine carré (ESM1) à la 2 + (ESM2) à la 2

  • ESM1 et ESM2 correspondent aux valeurs des ESM des échelles 1 et 2 respectivement (ex: deux échelles comparées)

Psychométrie et évaluation (11 decks)

Brainscape helps you reach your goals faster, through stronger study habits.
© 2024 Bold Learning Solutions. Terms and Conditions