Cours 7

Question 1

La fidélité : définition

Answer 1

• degré de précision et de constance des scores (stabilité temporelle) obtenus par un test,
• afin de minimiser le maximum d’erreur
• le test doit donner des résultats très similaires, si les conditions de passation sont aussi très similaires aux conditions appliquées à l’échantillon normatif
• exemple = Refaire la passation du même test dans 3 mois, on s’attend à ce que les résultats soient très similaires
• formellement définie comme le rapport de la variance vraie à la variance totale tout en considérant l’erreur

vraie ou réelle = synonymes

Question 2

Fidélité : formule ?

Answer 2

X = t + e
OU
Var obs. = variance vraie + variance d’erreur

X = variable observable
t = variance vraie
e = variance d’erreur

Question 3

Formule fidélité : expliquer les variables

Answer 3

X ou variable observable = items de l’intrument
t ou variance vraie = le construit
e ou variance d’erreur = qui ne sert pas à expliquer le construit

Question 4

Exemple du diagramme de Venn et les variables

Answer 4

Rectangle sur le diagramme = le construit
Variance vraie = chevauchements de tous les items (milieu)
Variance erreur = ce qui sort du construit et qui se chevauche pas (rectangle)
Variance totale =
Variance unique = un seul item
Variance bivariée = deux items ensemble
TOUT ce qui est en dehors du rectangle = variance d’ERREUR

Question 5

Pour réduire l’erreur, on peut…

Answer 5

augmenter le nombre d’item

Question 6

Malheureusement, ce modèle est considéré
«non identifié» (unidentified).
Pourquoi ?

Answer 6

degré de liberté est négatif, non identifié, plus de questions que de réponses, pas assez d’infos pour répondre

Question 7

Essentiellement, toute condition non pertinente à l’objectif d’un test représente …

Answer 7

«la variance d’erreur»

Question 8

Si les examinateurs s’efforcent de maintenir des conditions de testage uniformes, en contrôlant: …(4)
ils…

Answer 8

l’environnement du testage,
les consignes,
les limites de temps,
le climat interpersonnel (avec les sujets), etc.

ils réduisent l’erreur de mesure (moins de variance d’erreur) et rendent ainsi plus fidèles les scores aux tests.

Question 9

Malgré tous les efforts, aucun test n’est parfaitement (100%) …!
Alors, tout test doit être accompagné d’un …

Answer 9

fidèle
rapport sur son degré de fidélité (indice de fidélité).

Question 10

coefficient de fidélité est… ?

Answer 10

une corrélation

Question 11

Fidélité : On considère généralement qu’un coefficient de … est le minimum requis pour un test appliqué au contexte clinique. Au contexte de la recherche, on devrait trouver un score minimal de … (plusieurs contextes utilisent différents barèmes).

Answer 11

0,80
0,70

Question 12

Les tests comme ceux de …, qui mesurent le QI, ont de bons coefficients de fidélité. Les coefficients de fidélité de la plupart des tests d’intelligence sont aux alentours de … et …

Answer 12

Wechsler
0.85
0.90

Question 13

5 types fidélité

Answer 13

• Fidélité par test-retest;
• Fidélité par versions parallèles;
• Fidélité par bissection;
• Fidélité par homogénéité;
• Fidélité par équivalence inter-juges.

voir les définitions

Question 14

La fidélité par test-retest, aussi appelée …, est …
Elle consiste à ….
Le coefficient de fidélité, dans ce cas, qu’on appelle …, est simplement …
La fidélité par test-retest indique …

Answer 14

stabilité temporelle
une méthode utilisée pour évaluer la fiabilité d’un test psychologique
administrer le même test à deux occasions différentes aux mêmes sujets
rtr
la corrélation entre les scores obtenus par les mêmes personnes au cours des deux administrations
l’ampleur avec laquelle les scores peuvent être généralisés à différentes occasions. Plus la fidélité test-retest est élevée, moins les scores des sujets sont susceptibles d’être affectés par les sources d’erreurs.

Question 15

Fidélité par test-retest;
Les sources d’erreurs de la fidélité test-retest comprennent les fluctuations aléatoires de la performance d’une session à l’autre. Ces variations peuvent résulter, en partie, des conditions de testing qui sont mal contrôlées, mais aussi à des changements internes du sujet entre les deux passations.
Ainsi, plus le coefficient de corrélation test-retest est élevé, plus l’instrument a une bonne fidélité (stabilité) temporelle.

Question 16

Avantages test-retest ? (2)

Answer 16

Stabilité des résultats : Cette méthode mesure la cohérence des résultats lorsque le même test est administré au même échantillon de personnes à différents moments. Elle garantit que les résultats d’un test peuvent être reproduits (respectant les mêmes conditions de passation).

Indicateur de qualité : la fidélité test-retest est un excellent indicateur de qualité métrique d’un instrument de mesure psychologique.

Question 17

inconvénients de la méthode test-retest (3) ?

Answer 17

Effet de pratique : Si le retest est effectué trop rapidement, la première passation sensibilise les répondants au thème (au construit). En conséquence, le répondant se souviendra des réponses déjà données et les répétera. Cela conduit à des indicateurs de fiabilité biaisés à la hausse.

Changement d’opinions : Si le retest prend trop longtemps, les convictions peuvent changer en raison des influences situationnelles avant le retest. Dans ces cas-là, il existe une variabilité non prévue aux scores de stabilité. Cela conduit à des indicateurs de fiabilité biaisés à la baisse.

Intervalle entre les deux administrations : Plus l’intervalle entre les deux administrations successives est long, plus le coefficient de corrélation est faible, ce qui indique une mauvaise fiabilité par inclusion de sources d’erreurs (variabilité d’erreur).

Question 18

La fidélité par versions parallèles, aussi appelée …, est …. Elle consiste à … Le coefficient de fidélité est obtenu par …

Answer 18

méthode d’équivalence
une méthode utilisée pour évaluer la fiabilité d’un test psychologique
administrer deux versions différentes mais équivalentes d’un même test aux mêmes sujets
le calcul du coefficient de corrélation entre les scores des deux passations

Question 19

Lors de la création/utilisation de versions parallèles, il faut prendre toutes les précautions pour assurer un …: (3) ?

Answer 19

véritable parallélisme

• contenir le même nombre d’items, la même forme, et couvrir le même contenu;
• le niveau de difficulté moyen des items doit être statistiquement le même (p < 0,05);
• il faut assurer l’équivalence des consignes, de minutage, des exemples, du format de présentation, bref, de tous les aspects du cadre de passation du test.

Question 20

Avantage de la méthode versions parallèles (1) ?

Answer 20

Précision : Cette méthode permet d’évaluer la précision d’un test en éliminant les effets de la mémoire ou de la pratique qui peuvent survenir lors de l’administration répétée du même test.

Question 21

Inconvénients de la méthode versions parallèles (2) ?

Answer 21

Coût et temps : La production de deux versions d’un même instrument est coûteuse et exige beaucoup de temps.

Équivalence imparfaite : Deux formes parallèles ne sont jamais équivalentes à 100 %. Il y a donc une part de l’erreur qui sera attribuable à une équivalence imparfaite entre les deux versions; cette source de fluctuation vient s’ajouter à l’erreur de mesure, ce qui se traduit par une surestimation de l’erreur de mesure.

Question 22

Fidélité par bissection aussi appelée …, est une méthode utilisée pour évaluer la … d’un test psychologique. Elle consiste à …. Cette méthode permet de mesurer … du test, c’est-à-dire à …

Answer 22

méthode de partage ou split-half
fiabilité (fidélité)
diviser l’ensemble des items d’un test en deux moitiés équivalentes et à calculer la corrélation entre les scores obtenus pour chaque moitié
la cohérence interne
quel point les deux moitiés du test mesurent une même caractéristique psychologique

Question 23

Avantages split-half ? (2)

Answer 23

Pas de double administration : Cette méthode ne nécessite pas une double administration du test, ni la construction d’une seconde version parallèle de l’instrument.

Mesure de cohérence interne : Elle permet de mesurer l’homogénéité des deux parties du test.

Question 24

inconvénients de la méthode bissection (3)

Answer 24

Équivalence des deux parties : Il faut porter une attention à l’équivalence des deux parties comparées, ce qui représente une difficulté.

Influence de la méthode de bissection choisie : La fidélité calculée sera influencée par la méthode de bissection choisie (items pairs/impairs, répartition au hasard, etc.).

Sous-estimation de la fidélité : En scindant l’instrument en deux, le nombre d’items se trouve diminué. Cela a pour effet d’en sous-estimer la fidélité.

Plusieurs auteurs disent que split en deux touche juste une moitité de l’instrument, on utilise une partie pour prouver l’autre partie

Question 25

La fidélité par homogénéité, aussi appelée …, est une méthode utilisée pour évaluer la fiabilité d’un test psychologique. Elle consiste à … L’indice de fidélité s’exprime alors par ….

LA BEST

Answer 25

cohérence interne
évaluer le degré de cohésion des items qui composent un instrument psychométrique (ou chacune de ses échelles), lesquels devraient être étroitement liés
la mesure de cette cohérence entre les items (corrélation)

Question 26

Avantages homogénéité

Answer 26

Pas de double administration : Cette méthode ne nécessite pas une double administration du test, ni la construction d’une seconde version parallèle de l’instrument.
Mesure de cohérence interne : Elle permet de mesurer l’homogénéité des deux parties du test.

Question 27

Désavantages homogénéité

Answer 27

Pas de stabilité temporelle : Cette mesure ne tient pas compte de la stabilité temporelle. Elle implique plutôt un score composite obtenu par les corrélations des divers items d’un même instrument.
Dépendance à la longueur du test : La fidélité par homogénéité peut être influencée par le nombre d’items dans le test. Plus le nombre d’items est élevé, plus la fidélité par homogénéité est élevée.

Question 28

L’alpha de Cronbach a été proposé par … afin de fournir une mesure de la … d’un test. Cette mesure suppose des valeurs comprises entre 0 et 1. La cohérence interne est celle qui décrit … et, par conséquent, est liée à l’interrelation des éléments du test.

Answer 28

Lee Cronbach (1951)
cohérence interne
dans quelle mesure toutes les questions d’un test mesurent le même concept

Question 29

Cohérence interne ?
Comment la mesurer ?

Question 30

Un coefficient alpha élevé ne garantit pas toujours une bonne cohérence interne. En effet, l’alpha de Cronbach est également affecté par le … Si l’instrument est trop court, … ; si la quantité d’items est élevé, …

Answer 30

nombre d’items du test
la valeur alpha en souffrira
la valeur alpha augmente

Question 31

Bien que plusieurs ouvrages fassent état d’une absence de consensus sur le sujet, de nombreux auteurs estiment qu’une valeur alpha … est déjà satisfaisante. Un résultat … est parfois considéré comme souhaitable mais …

Answer 31

supérieure à 0,7 (recherche)
supérieur à 0,9
il peut être aussi le signe d’énoncés trop similaires, items colinéaires (on ne veut pas ça!).

clinique : au moins 0,8
recherche : 0,7

Question 32

Homogénéité

La tau-équivalence est …

Answer 32

une condition de fiabilité qui suppose que
tous les items d’un test ont la même importance pour le construit.
Cette condition peut être exprimée en termes de charges factorielles (saturation factorielle).

Question 33

l’alpha de Cronbach, également connu sous le nom de …

Answer 33

fiabilité tau-équivalente

fondamental pour le alpha de Cronbach

Question 34

Les mesures parallèles : Ce modèle statistique est encore plus …. Il suppose non seulement que … C’est-à-dire que chaque item a … (cela n’est pas toujours le cas…).

Answer 34

strict que le modèle tau-équivalent
tous les items ont la même importance pour le construit sous-jacent (comme dans le modèle tau-équivalent), mais ce modèle suppose aussi que les variances des items soient statistiquement égales
statistiquement la même variance et la même corrélation avec le construit total

on ne peut pas trouver de diff significatives entre la variance des items, f de Levene

Question 35

Les mesures congéneriques sont utilisées dans le cadre de … Elles supposent que …. En d’autres termes, chaque item contribue de manière … à la mesure du construit. Ces mesures n’exigent pas de variances statistiquement égales.

Answer 35

l’évaluation fidélité test
chaque item du test mesure le même construit, mais pas nécessairement avec la même importance
unique

ce genre de mesure se rapporche de réalité
fidélité composite
Alpha ordinal n’a pas exigence tau équivalence

Question 36

Dans le cadre des mesures congéneriques, on suppose que chaque item a sa propre …, ce qui signifie que chaque item est corrélé de manière unique avec son construit sous-jacent. Cela permet une plus grande précision dans l’évaluation de la fiabilité par homogénéité. Des mesures de fiabilité, comme la fidélité composite et l’Omega de McDonald, sont utilisées lorsque l’on suppose un modèle congénerique.

Answer 36

charge factorielle unique

Question 37

La fidélité par inter-correcteur, aussi appelée fidélité inter-juges, est une méthode utilisée pour évaluer la fiabilité d’un test ou d’une évaluation. Elle mesure le degré d’accord entre deux ou plusieurs évaluateurs (ou “correcteurs”) qui évaluent indépendamment le même ensemble d’items.
Cette méthode est souvent utilisée dans les situations où les évaluations sont subjectives, comme l’évaluation des performances en milieu de travail, l’évaluation des compétences en éducation, ou l’évaluation des symptômes cliniques en psychologie, entre autres.
La fidélité inter-correcteur est généralement évaluée à l’aide de mesures statistiques telles que le coefficient de corrélation intra-classe, le coefficient kappa de Cohen, ou d’autres mesures d’accord inter-juges (CVC).

ex: Rorschac

Question 38

avantages de la fidélité par inter-correcteurs (2) ?

Answer 38

Réduction du biais d’évaluation : Cette méthode permet de réduire le biais associé à un seul évaluateur.

Amélioration de la précision : Elle peut améliorer la précision des évaluations en moyennant les scores de plusieurs évaluateurs.

Question 39

inconvénients de la fidélité par inter-correcteurs (2) ?

Answer 39

Coût et temps : La formation et la coordination de plusieurs évaluateurs peuvent être coûteuses et prendre du temps.

Variabilité des évaluateurs : Les différences individuelles entre les évaluateurs peuvent introduire une variabilité supplémentaire non voulu dans les scores.

Question 40

La distinction entre la mesure de la vitesse et celle de la puissance ?

Answer 40

• Dans un test de vitesse, la rapidité de la performance explique les différences individuelles observées (mesurées).
• On prépare ce type de test à l’aide d’items qui sont tous faciles et qui font partie des habiletés maîtrisées par les sujets auxquels il est destiné.
• On fixe un limite de temps si court que la personne ne peut pas compléter tous les items. Dans de telles conditions, le score de chaque personne reflète son rythme** (ou sa vitesse) de travail.
• Un test de puissance offre une limite de temps suffisamment longue pour que tous puissent tenter de répondre à chacun des items, sans problèmes;
• ceux-ci sont cependant ordonnés selon une échelle de difficulté qui augmente très rapidement jusqu’à des items à peu près insolubles;
• ainsi, personne ou presque ne peut obtenir un score parfait ;

Question 41

On remarque que les tests de vitesse et de puissance sont tous les deux conçus pour … Pareille précaution s’explique par le fait qu’un score parfait est indéterminé; en ce sens, il est impossible de savoir quel score plus élevé le sujet aurait atteint si le test avait plus d’items ou des items encore plus difficiles.

La variation des résultats indique l’indice de fidélité = plus de variation, moins de fidélité.

Answer 41

empêcher une réussite parfaite

fidélité : trouver la variabilité de tous, test-retest, on s’attend que la vitesse sois la même que la première mesure, puissance la même aussi

Question 42

ETM

On peut comprendre la fidélité d’un test sous la forme d’une … (ETM), également nommée … (ou, encore, erreur standard de mesure – ESM);

Answer 42

erreur type de mesure
erreur type de scores individuels

Question 43

ETM

L’erreur type de mesure donne une idée de … Plus l’erreur type de mesure est petite, plus la mesure est …

Answer 43

la variabilité des résultats que vous obtiendriez si vous répétiez la même mesure plusieurs fois
précise

Question 44

indices de variabilité : ÉT vs ETM ?

Answer 44

plusieurs personne réponde une fois chaque à un item = ÉT
une personne répond plusieurs fois à un item = ETM

Question 45

ETM

L’erreur type de mesure peut être calculée à l’aide de la formule suivante:

Answer 45

𝐸𝑇𝑀=1𝐸𝑇 * √(1−𝐶𝐹)
ETM = l’erreur type de mesure,
ET = l’écart-type de la distribution des scores à la passation,
CF = coefficient de fidélité (= indice de corrélation).

Question 46

ETM

Interprétation ETM dans un contexte ?

Answer 46

Cela signifie que si une personne passe le test x plusieurs fois, on s’attend à ce que la plupart des scores soient dans un intervalle de ± x points autour de son score moyen.

Question 47

ETM

Il est important de noter que l’erreur type de mesure dépend à la fois de … (2)
Par conséquent, pour réduire l’erreur type de mesure, on peut … (2)

Answer 47

la variabilité des scores dans la population (l’écart-type)
et du degré de fidélité de l’instrument.

soit augmenter la fidélité de l’instrument,
soit réduire la variabilité des scores.

Question 48

ETM

imaginons que nous ayons testé 100 fois le QI d’une personne. En raison des divers types d’erreurs aléatoires, les résultats des QI’s ont variés (on a pas toujours trouvé le même résultat, évidement). Après avoir analysé les 100 résultats, on peut interpréter la moyenne de cette distribution comme représentant le …

Answer 48

score réel du QI de cette personne

Question 49

ETM

De même que pour tout écart-type, l’ETM s’interprète à l’aide des … : par exemple, ±68% des individus se regroupent entre -1 et +1 É-T. On peut donc conclure ….
En parlant de proportion, il y a, environ, deux chances contre une (ou 68:32) que ces réponses se localiseront à l’intérieur de cet intervalle (-1 et + 1 ETM - autour de son réel QI).

Answer 49

pourcentages associés aux divers segments de la distribution normale
qu’environ 68% des réponses de l’individu se localiseront entre -1 et + 1 ETM

Question 50

ETM

• Interprétation de scores individuels:
• Considérons que les résultats QI’s d’un test d’intelligence ont un É-T de 15 et un coefficient de fidélité de 0,89;
• l’ETM d’un QI à ce test est = 15 multiplié par la racine carré de (1 – 0,89) = 15(0,33) = 5 (j’ai arrondi). Alors, si son QI réel est de 110, on s’attendra, à 68,26% (plus ou moins deux fois sur trois), à ce que le score réel obtenu fluctue entre 105 et 115.

𝐸𝑇𝑀=1𝐸𝑇.√(1−𝐶𝐹)
𝐸𝑇𝑀=15.√(1−0,89)
𝐸𝑇𝑀=15.(0,33)
𝐸𝑇𝑀=5

Answer 50

ok