Cours 9 : Les divers types de fidélité et leur mesure Flashcards

1
Q

Fidélité d’un test

A

Réfère à la reproductibilité des scores obtenus par les mêmes personnes lorsqu’on leur administre un même test
deux fois, ou qu’on leur administre des ensembles équivalents d’items, ou qu’ils sont soumis à des conditions d’administration variables.
Repose sur le concept d’erreur de mesure, c’est-à-dire
les fluctuations du score sous l’effet de facteurs non pertinents et dus au hasard.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Score observé

A

= Score vrai + Erreur de mesure

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Coefficient de fidélité

A

La corrélation provenant de deux séries indépendantes de
scores observés qui sera interprétée comme le pourcentage de la variance des scores vrais
(1 - r) = le pourcentage de la variance d’erreur
Corrélation entre les scores
obtenus à chacune des deux (ou plus) passations

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Comment évaluer les coefficients de fidélité ?

A

Stabilité, Équivalence, Cohérence interne;

Homogénéité, Fidélité inter-correcteurs.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Stabilité (fidélité par test-retest)

A

Consiste simplement à administrer à nouveau le même test aux mêmes sujets après un certain intervalle de temps.
Indique donc à quel point on peut généraliser les résultats au test à diverses occasions

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Postulat important de la stabilité

A

La caractéristique mesurée est stable (ne change pas) à l’intérieur de l’intervalle de temps considéré.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Corrélation test-retest et intervalle de temps

A

La corrélation test-retest diminue à mesure que l’intervalle de temps augmente.
Par exemple, les tests
d’intelligence sont relativement stables sur de courtes
périodes (p. ex. moins d’un an), mais peu stables sur de plus
longues périodes.
En conséquence, on ne devrait pas dépasser six mois

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Difficultés de la stabilité

A

-L’apprentissage peut modifier de façon différentielle la
performance au test (mémorisation, découverte de
stratégies), ce qui est le cas avec la plupart des tests.
-Par conséquent, l’analyse de la fidélité par test-retest est
rarement utilisée sauf lorsque le test est peu ou pas sensible
à l’effet de la répétition, par exemple, avec les tests de
discrimination sensorielle ou de motricité.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Équivalence (fidélité par version parallèle)

A

Afin de pallier aux difficultés du test-retest
Technique qui consiste à administrer deux versions du même test aux mêmes sujets, soit tout de suite après ou après un certain intervalle de temps
Indique donc à quel point les scores fournis sont
indépendants du contenu spécifique des items qui
composent le test

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Sources d’erreur de l’équivalence

A

Celles que l’on retrouve dans la stabilité si l’intervalle de temps qui sépare l’administration des deux versions est non nul; ainsi que celles reliées à l’échantillonnage particulier des contenus d’items de
chaque version

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Difficultés de l’équivalence

A

-Construction de deux tests vraiment équivalents.
-Si la caractéristique mesurée est sensible à l’effet de
pratique, cette technique n’élimine pas entièrement l’effet d’apprentissage.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Cohérence interne (fidélité par bissection)

A

Technique qui consiste à
diviser un test (une seule version) en deux parties
«équivalentes» afin de calculer un «sous-score» pour
chacune de ces parties.
Le coefficient de fidélité est la corrélation (corrigée) entre
les deux «sous-scores».
Indique donc à quel point les
scores fournis sont indépendants du contenu spécifique des items qui composent le test (échantillonnage des contenus).
Méthode courant : choisir les items pairs vs les items impairs

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Sources d’erreur de cohérence interne

A

Les échantillons particuliers des items qui servent à calculer chaque «sous-score»

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Lorsque l’on se contente de calculer la corrélation entre

deux «sous-scores» …

A

Le coefficient obtenu estime la fidélit d’un demi-test seulement. Or, toutes choses étant égales par ailleurs, plus un test est long, plus il sera fidèle (en termes de cohérence).
La formule de Spearman-Brown permet de corriger le
coefficient de cohérence pour tenir compte du
raccourcissement d’un test ou son facteur d’allongement

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Formule de Sperman-Brown

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Homogénéité (fidélité par cohérence inter-items)

A
  • La fidélité par cohérence inter-items est une technique qui est basée sur la cohérence des réponses à tous les items du test, considérés simultanément.
    -Le coefficient de fidélité est le coefficient α (alpha de
    Cronbach).
    Réfère au degré de
    cohérence entre les réponses fournies aux différents items,
    i.e. à quel point chacun des items est une mesure de ce que le test, dans son ensemble, mesure effectivement
17
Q

Les sources d’erreurs de l’homogénéité

A

1-L’échantillon particulier des

items; 2-L’hétérogénéité des items.

18
Q

Si caractéristique hétérogène

A

Il convient alors

d’élaborer plusieurs sous-tests homogènes qui mesurent chacun une et une seule des facettes à considérer.

19
Q

pq

A

-Dans de nombreux cas, le score attribué à chaque item est

dichotomique (i.e. succès/échec). Dans ces cas, la variance des scores à un item peut être remplacée par le produit pq

20
Q

Fidélité inter-correcteurs (ou inter-juges ou inter-observateurs)

A

Indiquera dans quelle mesure le score obtenu à un test ne dépend pas de la personne qui corrige (ou administre) ce test.
Si erreurs pcq grilles de correction et consignes sont peu précises*
Indiquera dans quelle mesure le score obtenu à un test ne dépend pas de la personne qui corrige (ou administre) ce test

21
Q

Comment évaluer la fidélité inter-correcteurs ?

A

Il s’agit simplement de
faire corriger (ou administrer) le test séparément par au
moins deux correcteurs (ou examinateurs).
Le coefficient de
fidélité est obtenu en calculant la corrélation entre les deux scores (ou plus) ainsi attribués à chaque examiné.

22
Q

S’il n’y a que 2 correcteurs vs plus de 2 correcteurs

A

S’il n’y a que deux correcteurs (ou examinateurs) le
coefficient de corrélation de Pearson est alors utilisé. Avec plus de deux correcteurs (ou examinateurs), l’analyse la
plus indiquée est le coefficient de corrélation intraclasse (CCI) dont le résultat est interprété comme un coefficient
de corrélation de Pearson. Il est à noter qu’au lieu
d’employer le CCI, certains auteurs font parfois toutes les combinaisons possibles de coefficients de corrélation de
Pearson, puis font la moyenne de ces corrélations.

23
Q

Si les résultats aux tests ne sont pas des scores

sous une échelle continue mais consistent dans des codages qualitatifs en catégories

A

Il faut alors utiliser l’indice Kappa. La méthode de Kappa mesure
le degré de concordance entre les observateurs, par rapport au hasard.
Avec seulement deux observateurs, il faut utiliser
le K de Cohen, tandis qu’avec plus de deux observateurs il faut utiliser le K de Fleiss.

24
Q

L’erreur type de mesure (ETM)

A

Façon d’exprimer la fidélité des scores obtenus à un test
Représente le degré de dispersion théorique (i.e. l’écart type) des scores d’un individu qui passerait le test de façon répétée
Elle permet de donner une meilleure interprétation aux
scores individuels, ainsi qu’aux différences entre les scores.
Elle ne permet cependant pas de comparer la fidélité de tests différents. Pour ce, il faut utiliser les coefficients de fidélité.

25
Q

Calcul de l’erreur type de mesure associée à un certain coefficient de fidélité

A

On se rappelle d’abord que le coefficient de fidélité (r) s’interprète toujours comme un
pourcentage de «variance vraie». Par conséquent, ce qui reste, i.e. (1-r), s’interprète comme un pourcentage de
«variance d’erreur»

26
Q

Constatation lors de l’interprétation des scores d’individuels

A

On constate que plus on est confiant, moins on est précis, i.e. plus l’intervalle de confiance est grand; et vice-versa. Il s’agit donc de faire un compromis entre la confiance et la
précision et habituellement en recherche on choisi 95% de confiance, i.e. une erreur alpha de 0,05.

27
Q

Bandes de scores (probables)

A

Pour tenir compte de cette erreur type de mesure, on peut
rapporter les scores à comparer sous la forme de bandes de scores (probables) : Le centre de chaque bande correspond au score observé; La longueur de chaque bande correspond à l’intervalle où, pour un certain niveau de confiance donné,
risque de se trouver le «vrai score».
*Si ces deux intervalles se recoupent, on ne peut
pas conclure que l’individu A et l’individu B diffèrent
vraiment quant à leur niveau intellectuel général (surtout si ce chevauchement dépasse la moitié de la longueur des bandes).

28
Q

Inaproprié

A

Il est à noter qu’il est inapproprié d’évaluer la
fidélité des tests de maîtrise avec des variables continues,
car il n’y a pas assez de variations des scores à l’intérieur de chacun des groupes (maîtrise vs non maîtrise), donc on ne
peut calculer de corrélation.