Cours 6

Question 1

À quoi réfère le concept de fidélité?

Answer 1

La reproductibilité des scores obtenus par les mêmes personnes (au même test à différents moments ou à différents tests équivalents).

Question 2

Définissez le concept de reproductibilité.

Answer 2

C’est la stabilité temporelle. On s’attend à ce que les résultats aux différents temps soient assez similaires.

Question 3

Définissez le concept de fidélité.

Answer 3

Permet de déterminer dans quelle mesure les différences individuelles dans les scores aux tests peuvent être attribuées à des «réelles» différences sur le plan des caractéristiques mesurées (variance réelle) et dans quelle mesure elles doivent être attribuées à des erreur dues au hasard (variance d’erreur).

Question 4

Comment peut-on se débarrasser de la variance d’erreur?

Answer 4

D’aucune façon, il y a toujours des variances d’erreur, un test n’est ainsi jamais fidèle à 100%

Question 5

Essentiellement, qu’est-ce que représente la variance d’erreur d’un test?

Answer 5

Toute condition non pertinente à l’objectif d’un test.

Question 6

Comment peut-on réduire l’erreur de mesure pour obtenir des scores plus fidèles?

Answer 6

En maintenant des conditions de testage uniformes. On contrôle l’environnement du testage (consignes, limites de temps, climat interpersonnel avec les sujets, etc.).

Question 7

Considérant qu’un test n’est parfaitement fidèle, que doit-on présenter dans le manuel du test?

Answer 7

Tout test doit être accompagné d’un rapport sur son degré de fidélité (dans le manuel)

Cet indice de fidélité caractérise bien le test sous réserve qu’il soit administré dans les mêmes conditions standardisées et à des personnes similaires à celles qui composent l’échantillon normatif (les caractéristiques de l’échantillon devraient être précisées, de même que le type de fidélité).

Question 8

Information #1 au sujet de la fidélité :

Answer 8

Étant donné que tous les types de fidélité ont pour objet un degré d’association entre deux séries indépendantes de scores à un test, ils peuvent tous prendre forme d’un type de coefficient de corrélation

Question 9

Qu’est-ce qu’un coefficient de corrélation?

Answer 9

C’est une statistique qui exprime le degré de correspondance (ou relation) entre deux séries de scores.

Exemples de coefficient de corrélation- r, rho, rt, rpo, rpa, R

Question 10

Expliquez le rationnel de l’analyse de corrélation.

Answer 10

Si un sujet obtient le meilleur score à la variable 1 et 2, qu’un autre sujet obtient le deuxième meilleur score à la variable 1 et 2, et ainsi de suite, alors nous aurons une corrélation parfaite (+/-1,00) entre les variables 1 et 2.

Question 11

En fidélité, nous voulons généralement une corrélation positive ou négative?

Answer 11

Positive

Question 12

Nommez les 6 types de corrélations.

Answer 12

r= Pearson
rho= Spearman
rt= Tétrachorique
rpo= Polychorique
R= Multivariée

Question 13

Qui signifie une corrélation de 0?

Answer 13

Absence complète de relation, ce qui produirait le hasard. Dans cet optique, il serait tout à fait impossible de prédire le résultat d’une personne sur la variable 2, à partir de son score à la variable 1.

Question 14

Donnez un exemple où il est normal d’obtenir des corrélations nulles ou faibles.

Answer 14

Quand on met en relation des données provenant de dimensions différentes.

Question 15

Décrivez le calcul de la corrélation de Pearson.

Answer 15

1- Somme des résultats (pour chaque variable).
2- Calcul Moyenne
3- Soustraction de chaque résultat à la moyenne (pour chaque variable) (la sommes de ces résultats doit donner 0).
4- Élévation au carré de chaque résultat de soustraction (pour annuler les items négatifs).
5- Somme des résultats.
6- Multiplication des sommes de l’étape 1 (variable X et Y).
7- Calcul des écarts-types (racine carré, de la somme des résultats au carré, divisé par n).
8- Addition de la somme de X et Y, divisé par NÉT(x)ÉT(y).
9-Coefficient de corrélation obtenu

Question 16

Présentés les différentes forces d’un coefficient de corrélation.

Answer 16

0. 15= Faible
1. 35= Modérée
2. 55= Fort

Question 17

Inteprétez:
scores de mathématique et de lecture (enfants)
r(8)= 0,40

Answer 17

Coefficient de corrélation positif et modérée, 8 degrés de liberté.

Les enfants qui réussissent en mathématique tendent (r(8) = 0,40), dans une certaine mesure, à réussir également en lecture, et vice-versa, bien que la relation ne soit pas très étroite.

Question 18

Si nous avons 2 séries de résultats à analyser dans notre corrélation, celle-ci est … . Quand nous avons plus de 2 séries, elle est … .

Answer 18

2 séries= Bivarié

Plus de 2 séries= Multivarié

Question 19

Comment obtient-on les degrés de liberté?

Answer 19

(N-2)
On soustrait 2 au nombre total de participants.
Dans une corrélation bivariée, sinon le degré de liberté change

Question 20

Nommez des éléments à considérer lors de l’interprétation d’une corrélation.

Answer 20

• Signe de la corrélation (positif - négatif)
• Force de la corrélation (faible, modérée, forte)
• Ne pas parler en absolu (bien choisir ses mots)
• Considérer que c’est une relation de corrélation qui va dans les deux sens (bivarié), et non une cause à effet.

Question 21

Si j’élève mon coefficient de corrélation au carré, qu’est-ce que j’obtient? Développez.

Answer 21

Coefficient de Détermination.
Présente à quel point une variable explique l’autre. On le met souvent /100 pour obtenir un pourcentage. 64 signifierais que 64% de la variance d’une variable peut-être expliquée par la variance de l’autre variable.

Question 22

En interprétant un coefficient de corrélation, nous devons nous demander si celle-ci est significativement différente de zéro. Expliquez.

Answer 22

Car nous voulons s’assurer que notre échantillon est représentatif de la population. La convention en psychologie (pas psychométrie) est fixée à p<0,05. Cela veut dire que les chances ne sont pas supérieures à 5 sur 100 que la corrélation dans la population soit 0.
Dépend fortement du nombre de participants à l’étude (n).

-Gardez en tête qu’en psychométrie, c’est la force de la corrélation qui nous intéresse le plus-

Question 23

De quoi dépend la significativité statistique?

Answer 23

Du nombre de participants. Mais en psychométrie on va adapter l’importance accordé au seuil de signification car nous nous intéressons premièrement à construire/évaluer le test, pas à ce que les résultats représentent la population.

• Si nous avons 10 participants, la plus petite corrélation significative au seuil de 5% est de 0,63 (donc si ma corrélation est inférieure à 0,63 elle ne sera pas significative).
• 104 participants, corrélation devient significative à partir d’un coefficient de 0,25.
• 800 participants, corrélation devient significative à partir d’un coefficient de 0,08.

Plus nous avons de participants, plus notre corrélation devient significative facilement.

Question 24

Information #1 au sujet de la corrélation et la significativité statistique.

Answer 24

Plus on a des participants, plus nos corrélations deviennent significatives rapidement. Ce qui est bien, car cela nous permet de nous concentrer sur la force de la corrélation, plutôt que son niveau de signification. En psychométrie, on veut minimiser le plus possible l’erreur d’échantillonnage pour se concentrer sur l’évaluation de notre test (se référer à un cours précédent).

Question 25

Dans un contexte de fidélité, quel forme prend le coefficient de corrélation?

Answer 25

Il devient le coefficient de fidélité. Cependant, la corrélation doit concerner les items d’une même dimension (inter-item).
On y cherche des corrélations supérieurs à 0,80 à 0,90. Sinon le coefficient de détermination est trop bas et nos items expliquent trop peu de la variabilité de la dimension.

Question 26

Qu’est-ce que la collinéarité?

Answer 26

Quand des questions mesures pratiquement les mêmes choses. La corrélation entre ces items sera alors forte.

Question 27

Nommez les types de fidélité.

Answer 27

• Fidélité test-retest (stabilité)
• Fidélité par versions parallèles (équivalence)
• Fidélité par bissection (cohérence interne)
• Fidélité de Kuder-Richerdson (KR20) et coefficient Alpha de Cronbach (homogénéité)
• Fidélité intercorrecteurs (équivalence interjuges)

Question 28

Décrivez ce qu’est la fidélité en test-retest.

Answer 28

Elle concerne la stabilité temporelle.

• Indique dans quelle mesure il est possible de généraliser, à des occasions diverses, les scores d’un test.
• On réadministre un même test au même sujet à différents moments.
• r(tr) est un coefficient de fidélité qui équivaut à la corrélation entre les scores obtenus par les mêmes personnes aux deux passations.
• Variance d’erreur=fluctuations aléatoires des performances d’une séance de testage à l’autre.

Question 29

En fidélité test-retest, un coefficient de corrélation élevé signifie quoi?

Answer 29

Que les scores sont peu influencés par des changements quotidiens imprévisibles.

Question 30

Quand on inclu la fidélité test-retest dans un manuel de test, que doit-on spécifier?

Answer 30

L’intervalle de temps entre les deux passations, car plus le temps passe, plus les corrélations diminuent.

Question 31

La fidélité test-retest soulève quelques difficultés. Lesquelles?

Answer 31

• Effet de pratique augmente les scores au retest.

- Si intervalles très courts, les sujets peuvent se rappeler de leurs réponses (effet mémoire)

Question 32

Décrivez ce qu’est la fidélité par versions parallèles.

Answer 32

• Elle concerne l’équivalence.
• Permet de contourner les difficultés du test-retest.
• Les différents temps de testage emploient des tests différents mais équivalents.
• La corrélation entre les deux séries de scores deviendra le coefficient de fidélité.
• Ce coefficient de fidélité mesure la stabilité temporelle et la similitude des réponses à des échantillons d’items différents (donc, deux types de fidélité).

Question 33

Lors de la rédaction de versions parallèles, il faut prendre toutes les précautions pour assurer un véritable parallélisme. Lesquelles?

Answer 33

1- Contenir le même nombre d’items, même forme, couvre le même type de contenu.
2- L’étendue des difficultés et le niveau de difficulté moyen devraient être les mêmes.
3- Il doit y avoir équivalence des consignes, du minutage, des exemples, du format de présentation (tout aspects du cadre de passation du test).

Question 34

On sait que la fidélité par versions parallèles peut servir à d’autres fins que celle d’estimer la fidélité d’un test. Lesquelles?

Answer 34

• Étudier l’impact d’une variable intermédiaire.

- Réduire l’impact du monitorat et de la tricherie.

Question 35

Nommez la faiblesse de la fidélité par versions parallèles.

Answer 35

Les sujets différeront quant à leur degré d’amélioration due à la pratique (n’auront pas les mêmes occasions de se pratiquer; ne seront pas également motivés à repasser le test, etc.), ce qui implique une autre forme de variance d’erreur qui tend à réduire la corrélation entre les deux versions.

Question 36

Décrivez ce qu’est la fidélité par bissection.

Answer 36

Méthode qui permet d’obtenir une mesure de fidélité à partir d’une seule administration d’une seule version d’un test.

• On divise le test en deux parties équivalentes (deux scores pour chaque examiné)
• Donne l’indice de cohérence interne, car il n’implique qu’un seul test administré qu’une fois.

-Important de décider comment diviser le test en deux-

Question 37

Comment procèdent-on pour obtenir un indice de cohérence interne?

Answer 37

Fidélité par bissection.

On divise le test en deux parties équivalentes et on met en relation les deux demi-scores du participant avec une corrélation.
-Cependant, cette corrélation n’indique que la fidélité d’un demi-test.

Question 38

Présentez les critiques faites au sujet de la fidélité par bissection.

Answer 38

• Son indice de cohérence interne est un coefficient de corrélation que d’un demi-test.
• Une seule passation, alors ne tient compte d’aucune stabilité temporelle des scores (faible reproductibilité).

Question 39

Comment peut-on obtenir un indice de cohérence interne où tous les items du test contribuent au calcul de chacun des scores?

Answer 39

En utilisant la formule de Spearman-Brown en fidélité test-retest et par versions parallèles. On estime alors l’impact que la raccourcissement d’un test aurait sur son coefficient de cohérence interne.

Question 40

Décrivez ce qu’est la fidélité de Kuder-Richardson et Coefficient Alpha.

Answer 40

• A comme fondement l’homogénéité entre les réponses de tous les items du test.
• Alpha de Cronbach mesure toutes les questions en même temps.
• Une seule passation d’une seule version d’un test.
• Homogénéité interitems. Sensible à une source de variance d’erreur, le degré d’hétérogénéité du domaine des contenus échantillonnés (plus le domaine est homogène, plus la cohérence interitems sera élevée).