La fidélité (fiabilité)

Question 1

C’est quoi la fidélité d’un test?

Answer 1

C’est la constance et la reproductibilité de la mesure. Un test sera fiable s’il permet d’avoir les mêmes résultats dans un intervalle de quatre semaine (minimum) par exemple. C’est quand on mesure toujours la même choses, peu importe les conditions.

Question 2

La fiabilité est-elle la seule condition nécessaire pour déterminer la qualité d’un test?

Answer 2

Non. C’est la première info comme va chercher à savoir, mais ce n’est pas suffisant. Il faut ensuite savoir la validité du test.

Question 3

Il y a 4 distinctions importantes à faire en ce qui à trait à la fidélité. Nommes-les.

Answer 3

1. La fidélité versus la validité.
2. Dimensions techniques et quantitatives
3. Changement réel ou changement temporaire
4. Erreur aléatoire versus erreur systématique

Question 4

Il faut bien distinguer la fidélité de la validité. Comment diffèrent-t-elles?

Answer 4

La fiabilité est plus technique, opérationnelle et quantitative. Alors que la validité, qui est aussi technique de manière mesurable, est plus subjective. On doit utiliser notre justement parfois, et c’est un lot de preuves qu’on doit accumuler.

Question 5

Qu’est-ce que l’erreur aléatoire versus l’erreur systématique?

Answer 5

L’erreur aléatoire provient du hasard. Tandis que l’erreur systématique provient lorsqu’on réduit ou augmente systématiquement les résultats attendu à un test en raison de facteurs étrangers au test. Exemple, on passe un test conçu pour des francophones à des immigrants qui ne maîtrisent pas la langue, donc il y aura une erreur systématiquement è la baisse.

Question 6

Vrai ou faux?

Un test peut être parfaitement fidèle.

Answer 6

Faux. Un test n’est jamais 100% fidèle. Il y a toujours une marge d’erreur qu’il faut accepter.

Question 7

Comment augmenter la fiabilité/fidélité d’un test?

Answer 7

En réduisant l’erreur de mesure.

Question 8

Est-ce qu’on peut réduire toutes les erreurs de mesure?

Answer 8

Non. La seule qu’on ne peut pas réduire est celle qui à trait au sujet. Plus précisément, au participant. On ne peut rien faire à l’état du participant lors de la passation du test.

Question 9

Quel énoncé est vrai? Un test peut être :

a) valide sans être fidèle
b) fidèle sans être valide

Answer 9

b)

Question 10

Donne la définition de la corrélation.

Answer 10

La corrélation estime une possible relation linéaire entre deux variables (X,Y).

Question 11

Quels sont les différents facteurs qui influence la corrélation?

Answer 11

1. La linéarité
2. Hétéroscédasticité
3. Position relative vs position absolue
4. La variabilité : homogénéité versus hétérogénéité

Question 12

Ça veut dire quoi linéarité, versus curvilinéarité?

Answer 12

On obtient une forte corrélation lorsque nos variables sont linéaires. Une corrélation faible donne une droite curvilinéaire.

Question 13

Décris moi l’hétéroscédasticité.

Answer 13

C’est la façon dont nos points se dispersent sur notre droites. Une moins bonne hétéroscédasticité donne peut donner par exemple une corrélation est plus forte au début et plus faible à la fin, où à la fin les points sont très dispersé.

Question 14

C’est quoi l’homogénéité? Comment ça peut impacter notre corrélation?

Answer 14

C’est lorsque qu’il n’y a pas assez de variations et que tous les participants répondent la même chose. Les données sont donc étendue partout et ne forme pas de ligne permettant de voir une corrélation. Un groupe homogène donne ce problème.

Question 15

C’est quoi la position relative vs absolue?

Answer 15

Les scores obtenus n’ont pas nécessairement d’impact lorsqu’on cherche une corrélation entre deux personne, par exemple. Deux faibles scores semblables peuvent donner presque la même corrélation qu’un faible score et un score moyen.

Question 16

Quelles sont les principales sources d’erreur de mesure en lien avec la fiabilité?

Answer 16

1. Type de correction du test
2. Contenu du test
3. Conditions d’administration du test
4. Circonstances personnelles

Question 17

Comment le type de correction du test peut affecter sa fiabilité?

Answer 17

Le correcteur a un jugement qui est une source d’erreur. Il y a aussi une variation évidente entre la façon de corriger un test des correcteurs. Exemple, corriger une question à développement.

Question 18

Comment le contenu du test peut-il affecter la fiabilité du test?

Answer 18

Lorsque les items ne mesurent pas ce qu’ils sont censé mesurer.

Question 19

Comment les conditions d’administration du test peuvent-ils affecter sa fiabilité?

Answer 19

Si un test est administré en groupe une fois, et seul une autre, etc. Les réponses du participant peuvent varier en fonction de ça.

Question 20

Comment les circonstances personnelles peuvent affecter la fiabilité du test?

Answer 20

Si le participant répond au test la journée où sa conjointe l’a quitté, il sera probablement moins concentré et ne répondrait pas de la même façon une autre journée où ses émotions ne seraient pas affectés.

Question 21

Est-ce qu’on peut réduire l’erreur de mesure de toutes ces sources d’erreur?

Answer 21

Non. On ne peut pas contrôler l’erreur de mesure des circonstances personnelles du participant.

Question 22

Qu’est-ce que la théorie du score vrai? Quelles sont ses composantes?

Answer 22

Une façon d’éliminer statistiquement les sources d’erreur possible dans un score donné. Ses composantes sont le score observé (O), le score vrai (V) et l’erreur de mesure (E).

Question 23

Quelles sont les relations entre le score observé, le score vrai et l’erreur de mesure? Comment on peut définir chacun?

Answer 23

Le score observé (O) peut être considéré comme le score brut de la personne. Nous savons par contre qu’il y a des erreurs de mesures. Le score vrai (V) est donc le score qu’elle aurait si on enlevait toutes les sources d’erreurs de mesure possible. On peut le concevoir comme la moyenne de tous les scores observés qu’elle obtiendrait si elle passait le test un nombre de fois illimité. L’erreur de mesure (E) est la différence entre le score vrai et le score observé. Elle peut être positive ou négative.
V = O +/- E
OU
O = V +/- E

Question 24

La théorie du score vrai peut-elle s’exprimer en termes de variances des scores?

Answer 24

Oui. C’est la même formule, sauf que c’est remplacé par la variance.

Question 25

Le score vrai et le score observé se retrouve où sur une distribution à courbe normale?

Answer 25

Le score vrai représente la moyenne est les scores observés sont tous les points autour de la moyenne, donc la surface de la courbe.

Question 26

Est-il réellement possible d’appliquer la théorie du score vrai?

Answer 26

Non. Nous n’avons jamais accès au score vrai, même si c’est plutôt lui qu’on recherche. On a seulement accès au score observé. Nous avons par contre des méthodes qui servent à diminuer la marge d’erreur que peuvent contenir les sources d’erreurs.

Question 27

Plusieurs méthodes servent à déterminer la fidélité d’un test, nommes-les.

Answer 27

1. Fiabilité test-retest
2. Fiabilité inter-juges
3. Méthode des versions parallèles
4. Cohérence interne (homogénéité)

Question 28

Décris moi la méthode de fidélité test-retest.

Answer 28

Cette méthode consiste à repasser le test une deuxième fois afin de voir si les résultats seront à peu près les mêmes. On regarde la corrélation entre les scores du premier test et les scores du deuxième test. Si la corrélation est élevé, exemple r = 0,85, on peut considérer qu’il y a une bonne fidélité.

Question 29

Quelles sont les forces et faiblesses de la méthode fiabilité test-retest?

Answer 29

Forces : Cette méthode permet d’évaluer l’influence des fluctuations de l’état mentale et physique du participant. Elle peut cibler les conditions d’administration ou la variation des évaluateurs.

Faiblesses : Elle ne tient pas compte des erreurs aléatoires attribuables aux variations de contenu. Cette méthode est difficilement applicable. On ne peut ignorer l’effet du premier test sur la reprise.

Question 30

Comment fonctionne la fiabilité interjuges? Quelles sont ses forces et faiblesses?

Answer 30

Elle évalue les variations attribuables aux personnes qui corrigent le test. Elle utilise le coefficient de corrélation intraclasse pour déterminer la corrélation entre les évaluations des correcteurs. Elle est particulièrement importante lorsque la méthode de correction requiert un jugement et implique de faire des inférences.

Question 31

Quelles sont les méthodes qui permettent de donner réduire l’erreur de mesure attribuable aux fluctuations dans la passation ou la correction?

Answer 31

La fiabilité test-retest et la fiabilité interjuges.

Question 32

Qu’est-ce que la méthode des versions parallèles?

Answer 32

Lorsqu’on fait deux versions du même test pour en vérifier sa fiabilité. Si les deux tests sont passé l’un à la suite de l’autre, cette méthode est attribuable seulement à l’erreur à l’échantillon de contenu. Si l’intervalle est plus long, la méthode évalue la source d’erreur attribuable au contenu et comme pour la fidélité test-rest, aux fluctuations des conditions physiques et mentales du participant et des conditions d’administrations. Cette méthode n’est pas très répandue, parce que très peu de tests sont offerts en plus d’une version.

Question 33

Décris moi la méthode de cohérence interne.

Answer 33

La cohérence interne mesure à quel peut les items sont liés, à quel point il mesure la même chose. On calcule la corrélation inter-item en regardant les réponses aux items des participants et en regardant si les scores sont semblables. Si les deux items ont une bonne cohérence, ils devraient obtenir le même score ou presque.

Question 34

Il existe plusieurs façons de d’évaluer la cohérence interne d’un test. Nommes les.

Answer 34

1. Fiabilité déterminée par bissection
2. Fiabilité pair-impair
3. Correction de Spearman-Brown
4. Kuder-Richardson (pour les échelles dichotomiques, ex : oui/non)
5. Alpha de Cronbach (a)

Question 35

En quoi consiste la fiabilité par bissection?

Answer 35

Ça consiste à scinder le test en deux, souvent séparé de manière pair-impair, ce qui joins la définition du coefficient de fidélité pair-impair.

Question 36

Qu’est-ce que la correction de Spearman-Brown?

Answer 36

Lorsqu’on fait une bissection de notre test, la corrélation obtenu entre les deux moitié n’équivaut pas à la fidélité du test en entier, il faut donc faire une correction à la corrélation calculée pour connaître la fidélité du test entier.

Question 37

Que permet d’obtenir les formules de Kuder-Richardson?

Answer 37

Les formules KR-20 et KR-21 permettent d’obtenir la corrélation moyenne pour toutes les bissections possibles du test. Elles ne s’appliquent qu’à des items auxquels on a répondu sur une échelle dichotomique.

Question 38

Qu’est-ce que l’Alpha de Cronbach?

Answer 38

Le a mesure la façon dont chaque item est cohérent avec les autres items et à quel point ces items mesurent le même construit. La formule comprend le K qui est le nombre d’items, et le rij qui est la corrélation inter-item et donc l’alpha est la fidélité considérant les deux. L’alpha évalue évidemment seulement la source d’erreur attribuable au contenu.

Question 39

Erreur type de mesure

Question 40

Erreur type de la différence

Question 41

Quelles sont les questions particulières à se poser sur la fiabilité? (4)

Answer 41

1. Fiabilité dans les rapports narratifs (l’information n’est pas toujours présente)
2. Fiabilité des items et des sous-tests (certains interprète des items de leur tests alors qu’ils ne devraient pas, la fiabilité du test n’est pas la même que celle des items et sous tests)
3. Fiabilité des profs (il faut faire attention quand l’interprétation repose sur un profil de trois scores ou plus)
4. Fiabilité des tests critériés (s’interprète différemment)