Cours 5 - Évaluation de la qualité d’une mesure (fidélité) Flashcards

1
Q

Qu’est-ce qui est à la base de la corrélation?

A

Le rang ou l’écart à la moyenne

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Quel est la formule du z?

A

z= (X - M)/s (score de l’individu - moyenne)/ écart type du test

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Si l’écart entre temps 1 et 2 est la même, la corrélation (le r) est de …

A

1

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Une corrélation s’intéresse à ….

A

la constance de l’écart à la moyenne d’un individu sur 2 variables.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Une corrélation peut se calculer dans les 3 conditions suivantes …

A
  1. Des données sont disponibles pour un groupe d’individus 2. Ces individus doivent avoir un score sur deux variables ou à deux temps de mesure. 3. Ces variables doivent minimalement être de niveau ordinal.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

La corrélation vise à étudier le lien entre 2 variables à 2 niveaux: …

A
  1. Niveau d’association 2. Niveau prédictif
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Vrai ou Faux. La corrélation permet d’établir un lien de causalité.

A

Faux. On ne peut pas savoir si une des deux variables vient avant l’autre.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

La corrélation vérifie s’il existe une relation ________ entre 2 variables.

A

relation linéaire (qui va toujours dans le même sens)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Plus la valeur d’un coefficient de corrélation est près de -1 ou de +1 …

A

plus la relation entre les 2 variables est importante

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Plus la valeur d’un coefficient de corrélation est près de 0 …

A

moins la relation est importante

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Que signifie une corrélation positive?

A

Plus les scores à la variable X augmentent, plus les scores à la variable Y augmentent.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Que signifie une corrélation négative?

A

Plus les scores à la variable X augmentent, plus les scores à la variable Y diminuent.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Nommez les critères d’interprétation de Guilford.

A

0 à 0,19 : relation négligeable

0,20 à 0,39 : relation faible

0,40 à 0,69 : relation modérée

0,70 à 0,89 : relation forte

0,90 à 1 : relation très forte

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Vrai ou Faux. Peu importe le contexte, l’interprétation d’un coefficient de corrélation est la même.

A

Faux. L’interprétation dépend du contexte.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Le coefficient de détermination aide à interpréter …

A

le coefficient de corrélation.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Qu’indique le coefficient de détermination?

A

Il indique le % de variance commune entre 2 variables, c’est-à-dire la proportion de variance d’une variable qui est commune à la variance de l’autre variable.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Quel est l’équation du coefficient de détermination?

A

(r2) *100

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

À quoi s’intéresse la fidélité?

A

La fidélité s’intéresse à la constance de la mesure, et par conséquent aux sources d’inconstance ou d’erreur transitoire dans l’évaluation.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

En recourant à différentes méthode d’estimation, la fidélité vise à déterminer le % d’erreur d’échantillonnage relative… (4)

A
  1. au moment de l’évaluation 2. au contenu du test 3. à la subjectivité de la correction 4. au hasard
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Vrai ou Faux. La fidélité compare divers aspects du test entre eux, alors que la validité les compare avec quelque chose d’extérieur.

A

Vrai!!!!!!!!!

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

À quoi s’intéresse la validité?

A

La validité s’intéresse à la précision, à la capacité de la mesure à faire des prédictions par rapport à des variables psychologiques.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Selon le principe de fidélité, les questions d’un test devraient être …

A

corrélées

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Selon le principe de fidélité, les résultats à un test (ne) devraient (pas) être … (2)

A
  1. ne pas être influencés par le correcteur 2. être stables dans le temps
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Le concept de fidélité des tests découle d’un modèle de mesure intitulé …

A

Théorie classique des tests

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Que postule la théorie classique des tests?

A

Elle postule qu’aucune mesure n’est parfaite et donc X=V+E, où le score observé est égal à l’addition du score vrai et de l’erreur de mesure.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Vrai ou Faux. L’erreur de mesure peut affecter la fidélité et la validité d’un test.

A

Vrai.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Les sources d’erreur transitoire affectent ….

A

la fidélité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

Les sources d’erreur systématique affectent …

A

la validité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
29
Q

Vrai ou Faux. La fidélité est limitée par la validité d’un test.

A

Faux. C’est l’inverse.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
30
Q

Les méthodes d’estimation de la fidélité fournissent généralement des coefficients varient de _ à _.

A

de 0 à 1.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
31
Q

Une fidélité parfaite correspond à un coefficient de _.

A

1

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
32
Q

Quel est le calcul du % de variance à l’erreur?

A

(1 - coefficient de fidélité) * 100

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
33
Q

Quelles sont les méthodes d’estimation de la fidélité? (4)

A
  1. Fidélité test-retest 2. Formes équivalentes 3. Accord interjuges 4. Cohérence interne
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
34
Q

Que vise à savoir la fidélité test-retest?

A

Vise à savoir si l’échantillonnage de moment qu’on a pris pour évaluer le comportement de la personne permet une évaluation représentative de son comportement dans la vie de tous les jours.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
35
Q

Que fournit la fidélité test-retest?

A

Fournit un indice de la stabilité de la mesure et de l’erreur d’échantillonnage de moment.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
36
Q

Quel est la démarche employée pour la fidélité test-retest?

A

Passation du test à 2 reprises à un groupe. Délai est souvent de 2 à 4 semaines. Délai plus long si le construit est supposé être stable.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
37
Q

Dans quels contextes utilise-t-on la fidélité test-retest? (2)

A
  1. Lorsque le construit évalué par le test a la réputation d’être stable ou de varier selon les situations. 2. Si l’objectif d’utilisation du test est d’évaluer des changements dans le temps.
38
Q

Vrai ou Faux. Il est presque toujours pertinent de recourir à la fidélité test-retest.

A

Vrai.

39
Q

Pour la fidélité test-retest, pourquoi dit-on que plus le délai entre les tests est long, plus la corrélation est faible?

A

Parce que plusieurs facteurs peuvent entrer en ligne de compte.

40
Q

Pourquoi le coefficient de la fidélité test-retest, de formes équivalentes, d’accord interjuges et de moitié-moitié est positif?

A

Car le test est comparé à lui-même.

41
Q

L’interprétation d’un coefficient de corrélation dépend de la ________________ et des ______________.

A

de la stabilité du construit évalué et des caractéristiques des participants à l’étude.

42
Q

Si les résultats ne vont pas dans le sens du construit mesuré lors de la fidélité test-retest, l’instabilité est attribuable à …

A

à l’utilisation du test.

43
Q

Pour quelles raisons les résultats peuvent ne pas aller dans le sens du construit mesuré lors de la fidélité test-retest? (2)

A
  1. Apprentissage possible, réactivité de la mesure 2. Influence de facteurs transitoires
44
Q

Quel est le calcul du % de variance d’erreur liée à l’échantillonnage du moment de la fidélité test-retest?

A

1 - fidélité du test

45
Q

Quel est le principe de la fidélité formes équivalentes?

A

Si on a des échantillons de comportements (d’items) différents, les résultats devraient donc être les mêmes, puisque le fait qu’on ait choisi tel ou tel comportement ne devrait pas influencer le résultat au test.

46
Q

Quelle est la démarche employée pour les formes équivalentes? (5)

A
  1. Constitution d’une banque d’items 2. Division en 2 pour faire 2 versions du même test. 3. Administration des 2 versions au même groupe d’individus. 4. Administration généralement consécutive des 2 tests 5. Corrélation entre les résultats
47
Q

Dans les formes équivalentes, si il y a un délai introduit entre la passation des 2 tests, la coefficient mesure aussi la ________, en plus de l’équivalence.

A

la stabilité

48
Q

Dans quel contexte utilise-t-on les formes équivalentes?

A
  1. Lorsque le test sera passé à plus d’une reprise et que l’effet de la mesure est jugée important (apprentissage, réactivité, facteurs transitoires)
49
Q

Vrai ou Faux. S’il n’y a pas de délai entre la passation des deux formes équivalentes ou que le délai est très court, il y a une corrélation plus élevée.

A

Vrai. r=0,70 et plus

50
Q

Si les résultats ne vont pas dans le sens attendu dans la fidélité de formes équivalentes, on a un problème de …..

A

problème d’échantillonnage de contenu

51
Q

Quel est le calcul du % de variance d’erreur liée à l’échantillonnage du contenu de la fidélité de formes équivalentes?

A

1 - fidélité du test

52
Q

Que vise l’accord interjuges?

A

Il vise à vérifier si les résultats seront les mêmes indépendamment de la personne qui évalue l’individu.

53
Q

Quelle est la démarche employée lors de l’accord interjuges? (2)

A
  1. Deux experts cotent le même groupe de sujets. 2. Calcul de la corrélation des résultats des 2 juges.
54
Q

Dans quel contexte utilise-t-on l’accord interjuges?

A

Lorsque les résultats d’un test impliquent le jugement d’un tiers. (ex: test d’intelligence ou grille d’analyse de dossier)

55
Q

Pourquoi la corrélation est élevée pour l’accord interjuges?

A

Car on applique les mêmes critères pour tous.

56
Q

Quel pourcentage vise-t-on s’il s’agit d’un % d’accord interjuges?

A

90%, car il y a des conséquences pour l’individu suite à la décision.

57
Q

Dans l’accord interjuges, pour quelles raisons les résultats pourraient ne pas aller dans le même sens? (2)

A
  1. Critères de correction pas assez objectifs 2. Termes pas assez définis ou opérationnels.
58
Q

Quel est le calcul du % de variance d’erreur attribuable à la subjectivité de la correction dans l’accord interjuges?

A

1 - fidélité du test

59
Q

Quel est le principe de base de la cohérence interne?

A

Si les items d’un test mesurent tous le même construit, ceux-ci devraient être corrélés entre eux. Ils devraient varier à un rythme comparable.

60
Q

Quelle est la démarche employée pour la cohérence interne? (3)

A
  1. On administre le test à un groupe d’individus. 2. On procède à des corrélations entre les items. 3. On applique une formule qui considérera un certain nombre de corrélations possibles.
61
Q

Quelles sont les 3 méthodes d’estimation de la cohérence interne?

A
  1. Moitié-moitié 2. Alpha de Cronbach 3. Kuder-Richardson
62
Q

Les méthodes d’estimation de la cohérence interne fournissent un indice de ____________ de la mesure.

A

de l’homogénéité

63
Q

Quelle est la démarche employée pour la méthode moitié-moitié?

A

Division du test en deux et calcul de la fidélité

64
Q

Quels sont les 2 inconvénients de la méthode moitié-moitié?

A
  1. Le résultat peut être dû au hasard 2. Le résultat n’est peut-être pas représentatif de l’ensemble des corrélations moitié-moitié.
65
Q

La formule de correction de Spearman-Brown permet de ….

A

permet de prendre en compte les inconvénients de la méthode moitié-moitié et de corriger le coefficient obtenu.

66
Q

Quelles méthodes de cohérence interne considèrent toutes les corrélations moitié-moitié possibles? (2)

A

Méthodes de l’alpha de Cronbach et du Kuder-Richardson

67
Q

Vrai ou Faux. Les méthodes de l’alpha de Cronbach et du Kuder-Richardson sont moins précises que la méthode moitié-moitié.

A

Faux, elles sont plus précises.

68
Q

Le Kuder-Richardson est utilisé pour les données….

A

données dichotomiques

69
Q

L’alpha de Cronbach est utilisé pour les données…

A

données continues

70
Q

Est-ce que l’utilisation d’indice de cohérence interne est toujours pertinent?

A

Oui, il est nécessaire d’avoir un indice de cohérence interne pour chacun des scores utilisés dans un test.

71
Q

La cohérence interne est utile pour identifier les _____________ lors du développement d’une mesure.

A

les énoncés marginaux

72
Q

Vrai ou Faux. Dans certains cas, l’emploi d’un alpha ou d’un KR-20 est impossible.

A

Vrai.

73
Q

Dans le cas où l’emploi d’un alpha ou d’un KR-20 est impossible, que vérifie-t-on?

A

On vérifiera la fidélité test-retest ou la fidélité moitié-moitié

74
Q

Pourquoi la corrélation d’un coefficient moitié-moitié est élevée?

A

La corrélation est élevée car c’est deux parties du même test. (r=0,70 et plus)

75
Q

Quel est le calcul du % de variance d’erreur attribuable à l’échantillonnage du contenu pour un coefficient moitié-moitié?

A

1 - fidélité du test

76
Q

L’interprétation d’un alpha ou d’un Kuder-Richardson dépend du __________ et de _____________.

A

du type de mesure et de l’utilisation du test

77
Q

Quel est le calcul du % de variance d’erreur aléatoire pour l’alpha et le KR-20?

A

1 - fidélité du test

78
Q

Quel est la corrélation voulue en recherche? En évaluation des individus? En décision de classement?

A

Recherche: 0,65 et plus Évaluation des individus: 0,70 et plus Décision de classement: 0,90 et plus

79
Q

Quels sont les facteurs influençant la fidélité? (8)

A
  1. Méthode d’estimation
  2. Longueur du test
  3. Variabilité des scores
  4. Intervalle test-retest
  5. Réponse aléatoire
  6. Variation dans une même situation de testing
  7. Toutes les sources d’erreur non systématique
  8. Taille et hétérogénéité de l’échantillon de participants
80
Q

Pourquoi la méthode d’estimation influence la fidélité?

A

Les coefficients de fidélité ne s’interprètent pas de la même façon (ils estiment des aspects différents de la fidélité)

81
Q

Pourquoi la longueur du test influence la fidélité?

A

Plus il y a d’items, plus l’impact d’un item qui ne va pas dans le même sens sera minime.

82
Q

Pourquoi la variabilité des scores influence la fidélité?

A

Plus l’échelle de mesure contient de choix de réponses, moins l’impact d’une réponse divergente aura de l’importance.

83
Q

Pourquoi les réponses aléatoires influence la fidélité?

A

On ne peut prédire le hasard, il n’est pas constant!

84
Q

Pourquoi l’intervalle test-retest influence la fidélité?

A

Plus il est long, plus les coefficients sont faibles.

85
Q

Pourquoi la variation au cours du testing influence la fidélité?

A

Plus il y a de variation transitoires au cours du testing, moins les données sont fidèles.

86
Q

Pourquoi l’erreur non systématique influence la fidélité?

A

Fidélité = constance. Sera affectée par tout ce qui est non systématique.

87
Q

Pourquoi l’hétérogénéité de l’échantillon influence la fidélité?

A

Plus l’échantillon est grand et hétérogène, plus l’impact de la dissension est minime.

88
Q

Qui suis-je? Je permet de prendre en compte que la fidélité du test est imparfaite lors de l’interprétation des résultats des individus.

A

L’erreur-type de mesure

89
Q

Si un test est moins fidèle, on devrait être ____ prudent dans l’interprétation des données. On sait que l’écart entre le score observée et le score vrai est plus ____.

A

être plus prudent

est plus grand

90
Q

Quel est le calcul de l’erreur-type de mesure (ETM)?

A

ETM = s * (racine de 1-rxx)

91
Q

Que permet de déterminer l’intervalle de confiance?

A

Permet de déterminer le % de chances de retrouver le score vrai à l’intérieur de l’intervalle particulier.

92
Q

Quel est la formule de l’intervalle de confiance?

A

X +/- z(ETM)