Cours 9

Question 1

À quoi réfère la fidélité d’un test?

Answer 1

La fidélité d’un test réfère à la reproductibilité des scores obtenus par les mêmes personnes lorsqu’on leur administre un même test deux fois, ou qu’on leur administre des ensembles équivalents d’items, ou qu’ils sont soumis à des conditions d’administration variables.

Question 2

La fidélité repose sur quel concept?

Answer 2

le concept d’erreur de mesure

Question 3

Qu’est-ce que le concept d’erreur de mesure?

Answer 3

les fluctuations du score sous l’effet de facteurs non pertinents (par rapport au objectifs du test) et dus au hasard (car si ces facteurs sont prédictibles, ils peuvent être contrôlés).

Question 4

l’anxiété dans un ___(1)___ est pertinente; tandis qu’elle ne l’est pas dans un ____(2)____

Answer 4

1) test d’anxiété

2) test d’intelligence

Question 5

Vrai ou faux?

Score observé = Score vrai + Erreur de mesure

Answer 5

Vrai

Question 6

Qu’est-ce qui est interprétée comme le pourcentage de la variance des scores vrais?

Answer 6

-Étant donné qu’on ne connaît que les scores observés, c’est la corrélation provenant de deux séries indépendantes de scores observés qui sera interprétée comme le pourcentage de la variance des scores vrais

Question 7

Comment est appelé le pourcentage de la variance des scores vrais?

Answer 7

Le coefficient de fidélité

Question 8

Comment s’interprète 1-r ?

Answer 8

comme le pourcentage de la variance d’erreur

Question 9

Nomme 5 types de fidélité.

Answer 9

1) Stabilité
2) Équivalence
3) Cohérence interne
4) Homogénéité
5) Fidélité inter-correcteurs

Question 10

En quoi consiste la fidélité test-retest?

Answer 10

La fidélité par test-retest consiste simplement à administrer à nouveau le même test aux mêmes sujets après un certain intervalle de temps

Question 11

Comment est obtenue le coefficient de fidélité lors d’un test-retest?

Answer 11

Le coefficient de fidélité est la corrélation entre les scores obtenus à chacune des deux (ou plus) passations

Question 12

Que signifie la stabilité d’un test à la suite d’un test-retest?

Answer 12

La stabilité d’un test indique donc à quel point on peut généraliser les résultats au test à diverses occasions.

Question 13

Quelles sont les sources d’erreur dans le test-retest?

Answer 13

1) Les conditions de testage (par exemple, bruit, mauvais éclairage, etc.)
2) Les caractéristiques des sujets (par exemple, anxiété, fatigue, etc).

Question 14

Nomme le postulat important du test-retest.

Answer 14

la caractéristique mesurée est stable (ne change pas) à l’intérieur de l’intervalle de temps considéré.

Question 15

Habituellement, la corrélation test-retest augmente ou diminue à mesure que l’intervalle de temps augmente

Answer 15

Diminue

Question 16

Vrai ou faux?
Les tests d’intelligence sont relativement stables sur de longues périodes (p. ex. plus d’un an), mais peu stables sur de plus courtes périodes.

Answer 16

Faux
Les tests d’intelligence sont relativement stables sur de courtes périodes (p. ex. moins d’un an), mais peu stables sur de plus longues périodes

** En conséquence, on ne devrait pas dépasser six mois.

Question 17

Quelle est la principale difficulté lié au test-retest ?

Answer 17

L’apprentissage peut modifier de façon différentielle la performance au test (mémorisation, découverte de stratégies), ce qui est le cas avec la plupart des tests

Question 18

L’analyse de la fidélité par test-retest est rarement utilisée sauf lorsque le test est … ?

Answer 18

Peu ou pas sensible à l’effet de la répétition

Question 19

Nomme un exemple de test peu ou pas sensible à l’effet de répétition.

Answer 19

les tests de discrimination sensorielle ou de motricité

Question 20

En quoi consiste la technique des versions parallèles?

Answer 20

consiste à administrer deux versions du même test aux mêmes sujets, soit tout de suite après ou après un certain intervalle de temps.

Question 21

Afin de pallier aux difficultés du test-retest, on peut employer la fidélité ______ ?

Answer 21

par versions parallèles

Question 22

Comment est obtenue le coefficient de fidélité lors d’une version parallèle?

Answer 22

Le coefficient de fidélité est la corrélation entre les scores obtenus pour chacune des deux versions du test.

Question 23

Quelles sont les sources d’erreur dans les versions parallèle?

Answer 23

1) celles que l’on retrouve dans la stabilité si l’intervalle de temps qui sépare l’administration des deux versions est non nul
2) celles reliées à l’échantillonnage particulier des contenus d’items de chaque version

Question 24

Qu’est-ce qu’indique l’équivalence d’un test lorsqu’il y a des erreurs reliées à l’échantillonnage particulier des contenus d’items de chaque version?

Answer 24

à quel point les scores fournis sont indépendants du contenu spécifique des items qui composent le test

Question 25

Quelles sont les difficultés des versions parallèles?

Answer 25

1) Construction de deux tests vraiment équivalent
2) Si la caractéristique mesurée est sensible à l’effet de pratique, cette technique n’élimine pas entièrement l’effet d’apprentissage

Question 26

En quoi consiste la fidélité par bissection?

Answer 26

consiste à diviser un test (une seule version) en deux parties «équivalentes» afin de calculer un «sous-score» pour chacune de ces parties

Question 27

Comment est obtenue le coefficient de fidélité lors d’une bissection?

Answer 27

Le coefficient de fidélité est la corrélation (corrigée) entre les deux «sous-scores»

Question 28

Quelles sont les sources d’erreurs dans la bissection?

Answer 28

les échantillons particuliers des items qui servent à calculer chaque «sous-score»

Question 29

Qu’est-ce qu’indique la cohérence d’un test?

Answer 29

à quel point les scores fournis sont indépendants du contenu spécifique des items qui composent le test (échantillonnage des contenus)

Question 30

Nomme un méthode courante de bissection.

Answer 30

Une méthode courante de bissection est de choisir les items pairs vs les items impairs

Question 31

Lorsque l’on se contente de calculer la corrélation entre deux «sous-scores», le coefficient obtenu estime la fidélité de quoi?

Answer 31

la fidélité d’un demi-test seulement

Question 32

Or, toutes choses étant égales par ailleurs, plus un test est court ou long, plus il sera fidèle (en termes de cohérence)

Answer 32

Long

Question 33

À quoi sert la formule de Spearman-Brown?

Answer 33

permet de corriger le coefficient de cohérence pour tenir compte du raccourcissement d’un test ou son facteur d’allongement

Question 34

Quelle est la formule de Spearman-Brown?

Answer 34

rn = (n rt) / (1 + (n-1) rt)

Question 35

Qu’est-ce que représente le rt dans la formule de Spearman-Brown?

Answer 35

rt est le coefficient calculé avec le test actuel

Question 36

Qu’est-ce que représente le n dans la formule de Spearman-Brown?

Answer 36

n est le facteur d’allongement (p. ex. n = 2 pour un test deux fois plus long)

Question 37

À quoi sert la formule prophétique de Spearman-Brown?

qui est une simple transformation de la formule Spearman-Brown

Answer 37

à calculer combien il faut ajouter ou soustraire d’items à un test complet dont on connaît la fidélité pour atteindre dans un nouveau test un niveau de fidélité voulue

Question 38

Quelle est la formule prophétique de Spearman-Brown?

Answer 38

n= rn (1-rt)/rt (1-rn)

n= fidélité voulue (1- fidélité connue)/ fidélité connue (1- fidélité voulue)

Question 39

Sur quoi est basée la fidélité par cohérence inter-items?

Answer 39

une technique qui est basée sur la cohérence des réponses à tous les items du test, considérés simultanément

Question 40

À quoi correspond le coefficient de fidélité dans l’homogénéité?

Answer 40

Le coefficient de fidélité est le coefficient α (alpha de Cronbach)

Question 41

Quelle sont les sources d’erreurs dans la fidélité par cohérence inter-item?

Answer 41

1) L’échantillon particulier des items

2) L’hétérogénéité des items

Question 42

À quoi réfère l’homogénéité d’un test?

Answer 42

au degré de cohérence entre les réponses fournies aux différents items, i.e. à quel point chacun des items est une mesure de ce que le test, dans son ensemble, mesure effectivement

Question 43

Vrai ou faux?
Dans la fidélité par cohérence inter-item, le résultat (global) à un test est d’autant interprétable que les items qui le forment constituent un tout homogène

Answer 43

Vrai

Question 44

Qu’arrive-t-il dans la fidélité par cohérence inter-item si la caractéristique à mesurer est définitivement hétérogène? (ex: l’intelligence)

Answer 44

il convient alors d’élaborer plusieurs sous-tests homogènes qui mesurent chacun une et une seule des facettes à considérer.

Question 45

Quelle est la formule générale du coefficient d’homogénéité (coefficient alpha) ?

Answer 45

alpha = (n / n-1) ((ÉTt^2 - sommation ÉT^2) / ÉTt^2)

• n est le nombre d’items qui composent le test
• ÉTT est l’écart type (et ÉTT^2 est la variance) des scores totaux au test
• ÉTi est l’écart type (et ÉTi^2 est la variance) des scores obtenus au ie item
• Σi est le symbole de sommation (addition) sur tous les items

Question 46

Dans de nombreux cas, le score attribué à chaque item est dichotomique (i.e. succès/échec). Dans ces cas, la variance des scores à un item peut être remplacée par quoi?

Answer 46

Le produit pq

• p représente la proportion d’individus qui ont réussi l’item et q représente la proportion d’individus qui ont échoué l’item (q = 1-p)

Question 47

Lorsque la variance des scores à un item est remplacée par le produit pq, quel coefficient obtient-on?

Answer 47

Ce coefficient de Kuder-Richardson, connu sous le nom de «coefficient KR-20»

Question 48

Pour certains tests, l’examinateur peut engendrer une certaine forme d’erreur, parce que ? (2)

Answer 48

1) les consignes sont peu précises par exemple dans les entrevues cliniques ou semi-structurées
2) les grilles de correction sont peu précises par exemple dans les tests de créativité ou dans les tests projectifs

Question 49

Qu’est-ce qu’indique la fidélité inter-correcteurs?

Answer 49

indique dans quelle mesure le score obtenu à un test ne dépend pas de la personne qui corrige (ou administre) ce test

Question 50

Comment on évalue la fidélité inter-correcteurs?

Answer 50

il s’agit simplement de faire corriger (ou administrer) le test séparément par au moins deux correcteurs (ou examinateurs).

Question 51

Comment on obtient le coefficient de fidélité avec la fidélité inter-correcteurs?

Answer 51

Le coefficient de fidélité est obtenu en calculant la corrélation entre les deux scores (ou plus) ainsi attribués à chaque examiné.

Question 52

S’il n’y a que deux correcteurs (ou examinateurs) quel coefficient de corrélation est alors utilisé? (1) Avec plus de deux correcteurs ? (2)

Answer 52

1) le coefficient de corrélation de Pearson
2) le coefficient de corrélation intraclasse (CCI) dont le résultat est interprété comme un coefficient de corrélation de Pearson.

Question 53

Vrai ou faux?
Au lieu d’employer le CCI, certains auteurs font parfois toutes les combinaisons possibles de coefficients de corrélation de Pearson, puis font la moyenne de ces corrélations.

Answer 53

Vrai

Question 54

Si les résultats aux tests ne sont pas des scores sous une échelle continue, mais consistent dans des codages qualitatifs en catégories (ex : malade vs en santé) que faut-il utiliser ?

Answer 54

l’indice Kappa

Question 55

Que mesure la méthode de Kappa?

Answer 55

le degré de concordance entre les observateurs, par rapport au hasard

Question 56

Qu’est-ce qu’on utilise lorsqu’on a 2 observateur avec la méthode de Kappa? (1) et plus de 2? (2)

Answer 56

1) K de Cohen

2) K de Fleiss

Question 57

À quoi sert l’erreur type de mesure (ETM) ?

Answer 57

L’erreur type de mesure (ETM) est une autre façon d’exprimer la fidélité des scores obtenus à un test.

Question 58

Que représente l’erreur type de mesure (ETM)?

Answer 58

le degré de dispersion théorique (i.e. l’écart type) des scores d’un individu qui passerait le test de façon répétée

Question 59

Que permet l’erreur type de mesure (ETM)? (2) et qu’est-ce qu’elle ne permet PAS?

Answer 59

Permet:

1) donner une meilleure interprétation aux scores individuels
2) donner une meilleure interprétation différences entre les scores

Ne permet pas:
1) de comparer la fidélité de tests différents. Pour ce, il faut utiliser les coefficients de fidélité

Question 60

Comment calcule-t-on l’erreur type de mesure (ETM)?

Answer 60

1-r = ETM^2 / ÉT^2
qui donne : ETM = ÉT racine de 1-r

où ÉT est l’écart type de la distribution des scores au test (calculé auprès du même échantillon que le coefficient de fidélité r)

Question 61

Le coefficient de fidélité (r) s’interprète toujours comme un pourcentage de «variance vraie». Par conséquent, ce qui reste, i.e. (1-r), s’interprète comme quoi?

Answer 61

un pourcentage de «variance d’erreur»

Question 62

Quel est le ETM pour un test d’intelligence dont le coefficient de fidélité est r = 0,89 et dont l’écart type des QI dérivés a été fixé à 15?

Answer 62

5

Question 63

On peut être confiant à XX% (niveau de confiance) que le score vrai de cet individu se situerait entre son score observé moins un ETM et score observé plus un ETM

Answer 63

68%

Question 64

On peut être confiant à XX% (niveau de confiance) que le score vrai de cet individu se situerait entre son score observé moins 2 ETM et score observé plus 2 ETM

Answer 64

95%

Question 65

On peut être confiant à XX% (niveau de confiance) que le score vrai de cet individu se situerait entre son score observé moins 3 ETM et score observé plus 3 ETM

Answer 65

99%

Question 66

Vrai ou faux?

Plus on est confiant, plus on est précis

Answer 66

Faux

Plus on est confiant, moins on est précis (plus l’intervalle de confiance est grand) et vice-versa

Question 67

Habituellement en recherche on choisi XX% de confiance et une erreur alpha de ____?

Answer 67

1) 95%

2) 0,05

Question 68

L’erreur type de mesure est plus particulièrement importante à considérer lorsqu’il s’agit d’interpréter quoi?

Answer 68

Des différences entre des scores que ce soient des différences entre des tests pour un même individu ou des différences entre les individus pour un même test

Question 69

Pour tenir compte de cette erreur type de mesure que peut-on faire?

Answer 69

On peut rapporter les scores à comparer sous la forme de bandes de scores (probables) : Le centre de chaque bande correspond au score observé; La longueur de chaque bande correspond à l’intervalle où, pour un certain niveau de confiance donné, risque de se trouver le «vrai score»

Question 70

Si les 2 intervalles se recoupent, peut-on conclure que l’individu A et l’individu B diffèrent quant à leur niveau intellectuel général?

Answer 70

Non (surtout si ce chevauchement dépasse la moitié de la longueur des bandes)

Question 71

Est-il approprié d’évaluer la fidélité des tests de maîtrise avec des variables continues?

Answer 71

Non car il n’y a pas assez de variations des scores à l’intérieur de chacun des groupes (maîtrise vs non maîtrise), donc on ne peut calculer de corrélation

Question 72

Un test complet de 20 items qui a un coefficient de fidélité connue de 0,50 (rt) et que la fidélité voulue est de 0,80 (rn) cela signifie que le nouveau test doit contenir combien de fois plus ou moins d’item?

Answer 72

4