Cours 7 Flashcards

1
Q

L’introduction

À quoi correspond la fidélité d’un test?

A

La fidélité d’un test psychométrique, aussi appelée fiabilité, est une mesure de la qualité du test. Elle est définie comme le degré de précision et de constance des scores obtenus pr un test. Plusieurs dimensions de cette mesure sont importantes.

La fidélité d’un test permet de déterminer dans quelle mesure les différences individuelles peuvent être
attribuées à de « réelles » différences sur le plan des caractéristiques mesurées (variance réelle) et dans quelle mesure elles doivent être attribuées à des erreurs dues au hasard (variance d’erreur).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

L’introduction

Vrai ou faux. Le test doit donner des résultats peu similaires, si les conditions de passation sont aussi très similaires aux conditions appliquées à l’échantillon normatif.

A

Faux. Le test doit donner des résultats très similaires, si les conditions de passation sont aussi très similaires aux conditions appliquées à l’échantillon normatif.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

L’introduction

À quoi fait référence la notion de constance (notion de temps, stabilité temporelle) dans la fidélité?

A

On s’attend à ce que le test puisse donner des résultats similaires peu importe le jour et les circonstances de sa passation.

*diapo 4 pas faite

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

L’introduction

Que représente toute condition non pertinente à l’objectif?

A

La variance d’erreur

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

L’introduction

Que permet le maintient des conditions de testage uniformes et comment y parvenir?

A

Si les examinateurs s’efforcent de maintenir des conditions de testage uniformes en contrôlant:
* l’environnement du testage,
* les consignes,
* les limites de temps,
* le climat interpersonnel (avec les sujets), etc.

ils réduisent l’erreur de mesure (moins de variance d’erreur) et rendent ainsi plus fidèles les scores aux tests.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

L’introduction

Qu’est-ce que l’indice de fidélité d’un test?

A

Malgré tous les efforts, aucun test n’est parfaitement (100%) fidèle! Alors, tout test doit être accompagné d’un rapport sur son degré de fidélité (indice de fidélité).

Cet indice de fidélité caractérise bien le test sous réserve qu’il soit administré dans les mêmes conditions standardisées et à des personnes similaires à celles qui
composent l’échantillon normatif
(les caractéristiques de l’échantillon devraient être présentées, ainsi que le type de fidélité).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

L’introduction

Qu’est-ce que tous les types de fidélités ont pour objet?

A

Étant donné que tous les types de fidélité ont pour objet un degré d’association entre deux séries de scores, ils peuvent prendre forme d’un type de coefficient de corrélation.

Coefficient de corrélation fait partie de l’échelle de ratio.
Intercorrélation: 2 temps de mesures, différentes personnes
Autocorrélation: 2 temps de mesures, mêmes personnes au 2 temps.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Le coefficient de corrélation

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Le coefficient de corrélation

Qu’est-ce qu’on coefficient de corrélation?

A

Un coefficient de corrélation (r, rho, rt, rpo, rpa, R) exprime le degré de correspondance (ou relation, ou
association) entre deux séries de scores (variant de -1 à +1).

Une corrélation de zéro indique l’absence de relation, ce qui reproduit l’erreur due au hasard.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Le coefficient de corrélation

Comment interprète-t-on l’exemple suivant: un indice de corrélation de r(8) = 0,40 indique une corrélation positive et modérée entre les
scores de mathématiques et de lecture (juste un exemple!).

A

Interprétation: Les enfants qui réussissent en mathématiques tendent (r(8) = 0,40), dans une certaine mesure, à réussir également en lecture, et vice versa, bien que cette relation ne soit pas très étroite.

Il n’y a jamais de corrélation à 1 parfaitement, donc c’est important de dire que les variables tendent vers… à une certaine mesure… on relativise, car il y a toujours une erreur de mesure.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Le coefficient de corrélation

Ce résultat de corrélation (r(8) = 0,40) est-il significativement différent de zéro?

A

En effet, il est difficile d’établir une relation statistique de façon relativement certaine avec un
échantillon de seulement 10 sujets.

En psychométrie, le niveau de signification n’est pas important. On peut le donner si on l’a, mais ce n’est pas nécessaire. Pourquoi? Les tests sont validés et standardisés.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Les types de fidélité

Quels sont les cinq types de fidélités les plus traditionnels?

A
  • Fidélité par test retest;
  • Fidélité par versions parallèles;
  • Fidélité par bissection;
  • Fidélité par structure interne (Alpha de Cronbach);
  • Fidélité par équivalence inter juges.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Les types de fidélité

Qu’est-ce qui caractérise la fidélité par test-retest?

A
  • On administre et on réadministre le même test aux même sujets (deux temps, deux séances de testage);
  • Le coefficient de fidélité (par exemple: rtr) équivaut tout simplement à l’autocorrélation entre les scores obtenus par les mêmes personnes aux deux séances de testage;
  • La variance d’erreur correspond aux fluctuations aléatoires des performances d’une séance de testage à l’autre (temps 1 et temps 2);
  • Cette fidélité indique dans quelle mesure il est possible de généraliser, à des occasions diverses, les scores d’un test; plus l’autocorrélation est élevée, moins les scores obtenus sont influencés par des changements quotidiens imprévisibles;
  • Lorsqu’on inclut ce type de fidélité dans le manuel du test, il faut spécifier l’intervalle de temps entre les deux passations.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Les types de fidélité

Quelles sont les difficultés de la fidélité par test-retest?

A

La technique du test-retest soulève quelques difficultés:
* l’effet de pratique peut augmenter les scores au retest;
* si l’intervalle est très court, les sujets peuvent se rappeler de leurs réponses effet de la mémoire.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Les types de fidélité

Qu’est-ce qui caractérise la fidélité par versions parallèles?

A
  • Un moyen de minimiser les difficultés soulevées par le test retest;
  • Les individus peuvent passer une version lors de la première séance de
    testage et une autre version du même test, lors de la deuxième séance;
  • L’autocorrélation obtenue entre les deux séries de scores deviendra le
    coefficient de fidélité par versions parallèles;
  • Lors de la création/utilisation de versions parallèles, il faut prendre toutes les précautions pour assurer un véritable parallélisme:
    * Contenir le même nombre d’items, la même forme et couvrir le même contenu;
    * Le niveau de difficulté moyen des items doit être statistiquement le même (p < 0,05);
    * Il faut assurer l’équivalence des consignes, de minutage, des exemples, du format de présentation, bref, de tous les aspects du cadre de
    passation du test.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Les types de fidélité

Quelle est la faiblesse de la fidélité par versions parallèles?

A

La fidélité par versions parallèles soulève au moins 1 faiblesse:
* les sujets peuvent différer quant à leur degré d’amélioration due à la pratique, ce qui implique une autre forme de variance d’erreur qui tend à réduire la corrélation entre les deux
versions parallèles.

17
Q

Les types de fidélité

Qu’est-ce qui caractérise la fidélité par bissection?

A

Même avec une seule administration, d’une seule version, d’un seul test, il est possible d’obtenir une mesure de fidélité à l’aide de
la méthode de bissection (« split half »):
* Diviser le test en deux parties équivalentes (ce qui permet de calculer deux scores indépendants) - étant donné que l’unique passation n’implique qu’une seule version d’un test, le coefficient de fidélité obtenu porte le nom d’indice de cohérence interne;
* Il faut décider comment diviser le test en deux (de manière à ce que les deux moitiés soient le plus semblables possible).

Je vais diviser les items d’une passation en 2. Les items qui vont saturer dans la même variable latente seront séparé en deux.

18
Q

Les types de fidélité

Quelle est la faiblesse de la fidélité par bissection?

A

La fidélité par bissection soulève, au moins une faiblesse:
* Considérant qu’une moitié sert à tester l’autre, le calcul sert à vérifier la fiabilité de la moitié du test, et non du test entier.

19
Q

Les types de fidélité

Qu’est-ce qui caractérise la fidélité par structure interne (coefficient Alpha)?

A
  • Il s’agit d’une seule passation, d’une seule version, d’un seul test. Cette fidélité a pour fondement l’homogénéité entre les réponses de tous les items du test (fidélité par homogénéité);
  • La formule KR (Kuder-Richardson) s’applique aux items de nature dichotomique (système « tout ou rien »);
  • La formule Alpha s’applique aux items selon une échelle Likert ou de type Likert;
20
Q

Les types de fidélité

Quelle est la limite de la fidélité par structure interne (coefficient Alpha)?

A

Dans ces jours-ci, nous vivons un moment historique important, le coefficient Oméga prend de plus en plus une place importante dans les articles scientifiques en psychologie, à cause des certaines difficultés associées aux calculs Alpha (l’échantillon d’items et de personnes; la même saturation factorielle des items d’une dimension).

Omega respecte la saturation de chaque item, ce qui en fait une mesure plus précise.

21
Q

Les types de fidélité

Qu’est-ce qui caractérise la fidélité par inter-correcteurs?

A

Les grilles de correction de certains types de tests, spécialement les tests de personnalité de type projectif, accordent un rôle important au jugement du correcteur. Dans le cas de ces tests, il devient tout aussi nécessaire d’évaluer la fidélité inter-correcteurs (ou inter-juges);

On peut évaluer la fidélité inter-correcteurs en faisant corriger un test (le Rorschach, par exemple) par, au moins, deux examinateurs indépendants (idéalement de 3-5 examinateurs). Les deux scores obtenus seront mis en corrélation de façon usuelle (corrélation intraclasse et/ou Kappa de Cohen).

Corrélation intraclasse: échelle ordinale et quantitative

Kappa de Cohen: dichotomique

22
Q

La fidélité des tests de vitesse et puissance

Comment fonctionne un test de vitesse?

A

Dans un test de vitesse, la rapidité de la performance explique
les différences individuelles observées (mesurées). On prépare ce type de test à l’aide d’items qui sont tous faciles et qui font partie des habiletés maîtrisées par les sujets auxquels il est destiné. On fixe un limite de temps si court que la personne ne peut pas compléter tous les items. Dans de telles conditions, le score de chaque personne reflète son rythme (ou sa vitesse) de travail.

23
Q

La fidélité des tests de vitesse et puissance

Comment fonctionne un test de puissance?

A

Un test de puissance offre une limite de temps suffisamment longue pour que tous puissent tenter de répondre à chacun des items, sans problèmes. Ceux-ci sont cependant ordonnés selon une échelle de difficulté qui augmente très rapidement jusqu’à des items à peu près insolubles. Ainsi, personne ou presque ne peut obtenir un score parfait.

24
Q

La fidélité des tests de vitesse et puissance

Que remarque-t-on au sujet des tests de vitesse et de puissance?

A

On remarque que les tests de vitesse et de puissance sont tous les deux conçus pour empêcher une réussite parfaite. Pareille précaution s’explique par le fait qu’un score parfait est indéterminé. En ce sens, il est impossible de savoir quel score plus élevé le sujet aurait atteint si le test avait contenu plus d’items ou des items encore plus difficiles.

25
Q

L’erreur type de mesure

De quelle autre façon est-il possible d’exprimer la fidélité?

A

On peut aussi exprimer la fidélité d’un test sous la forme d’une erreur type de mesure (ETM), également nommée erreur type de scores individuels (ou erreur standard de mesure - ESM)

26
Q

L’erreur type de mesure

Quelle est la différence entre écart-type et erreur-type?

A

La notion de dépendance et d’indépendance.

27
Q

L’erreur type de mesure

En quoi consiste l’erreur type de mesure?

A

Pour bien comprendre l’ETM: imaginons que nous ayons testé 100
fois le QI d’une personne. En raison des divers types d’erreurs aléatoires, ces QI ont variés (on a pas toujours trouvé le même résultat, évidement). Après avoir ordonné les 100 résultats, on peut interpréter la moyenne de cette distribution comme représentant le score réel du QI de cette personne, l’écart type de cette même distribution correspond à l’ETM.

28
Q

L’erreur type de mesure

Comment interprète-t-on l’erreur type de mesure?

A

De même que pour tout écart type, l’ETM s’interprète à l’aide des pourcentages associés aux divers segments de la distribution normale:
+/- 68% des individus se regroupent entre -1 et +1 É-T. On peut donc
conclure qu’environ 68% des réponses de l’individu se localiseront entre -1 et +1 ETM. En parlant de proportion, il y a, environ, deux chances contre une (ou 68:32) que ces réponses se localiseront à l’intérieur de cet intervalle (-1 et +1 ETM - autour de son réel QI).

voir diapo 26 du cours 7 pour calcul