Cours 9 Flashcards
À quoi réfère la fidélité d’un test?
La fidélité d’un test réfère à la reproductibilité des scores obtenus par les mêmes personnes lorsqu’on leur administre un même test deux fois, ou qu’on leur administre des ensembles équivalents d’items, ou qu’ils sont soumis à des conditions d’administration variables.
La fidélité repose sur quel concept?
le concept d’erreur de mesure
Qu’est-ce que le concept d’erreur de mesure?
les fluctuations du score sous l’effet de facteurs non pertinents (par rapport au objectifs du test) et dus au hasard (car si ces facteurs sont prédictibles, ils peuvent être contrôlés).
l’anxiété dans un ___(1)___ est pertinente; tandis qu’elle ne l’est pas dans un ____(2)____
1) test d’anxiété
2) test d’intelligence
Vrai ou faux?
Score observé = Score vrai + Erreur de mesure
Vrai
Qu’est-ce qui est interprétée comme le pourcentage de la variance des scores vrais?
-Étant donné qu’on ne connaît que les scores observés, c’est la corrélation provenant de deux séries indépendantes de scores observés qui sera interprétée comme le pourcentage de la variance des scores vrais
Comment est appelé le pourcentage de la variance des scores vrais?
Le coefficient de fidélité
Comment s’interprète 1-r ?
comme le pourcentage de la variance d’erreur
Nomme 5 types de fidélité.
1) Stabilité
2) Équivalence
3) Cohérence interne
4) Homogénéité
5) Fidélité inter-correcteurs
En quoi consiste la fidélité test-retest?
La fidélité par test-retest consiste simplement à administrer à nouveau le même test aux mêmes sujets après un certain intervalle de temps
Comment est obtenue le coefficient de fidélité lors d’un test-retest?
Le coefficient de fidélité est la corrélation entre les scores obtenus à chacune des deux (ou plus) passations
Que signifie la stabilité d’un test à la suite d’un test-retest?
La stabilité d’un test indique donc à quel point on peut généraliser les résultats au test à diverses occasions.
Quelles sont les sources d’erreur dans le test-retest?
1) Les conditions de testage (par exemple, bruit, mauvais éclairage, etc.)
2) Les caractéristiques des sujets (par exemple, anxiété, fatigue, etc).
Nomme le postulat important du test-retest.
la caractéristique mesurée est stable (ne change pas) à l’intérieur de l’intervalle de temps considéré.
Habituellement, la corrélation test-retest augmente ou diminue à mesure que l’intervalle de temps augmente
Diminue
Vrai ou faux?
Les tests d’intelligence sont relativement stables sur de longues périodes (p. ex. plus d’un an), mais peu stables sur de plus courtes périodes.
Faux
Les tests d’intelligence sont relativement stables sur de courtes périodes (p. ex. moins d’un an), mais peu stables sur de plus longues périodes
** En conséquence, on ne devrait pas dépasser six mois.
Quelle est la principale difficulté lié au test-retest ?
L’apprentissage peut modifier de façon différentielle la performance au test (mémorisation, découverte de stratégies), ce qui est le cas avec la plupart des tests
L’analyse de la fidélité par test-retest est rarement utilisée sauf lorsque le test est … ?
Peu ou pas sensible à l’effet de la répétition
Nomme un exemple de test peu ou pas sensible à l’effet de répétition.
les tests de discrimination sensorielle ou de motricité
En quoi consiste la technique des versions parallèles?
consiste à administrer deux versions du même test aux mêmes sujets, soit tout de suite après ou après un certain intervalle de temps.
Afin de pallier aux difficultés du test-retest, on peut employer la fidélité ______ ?
par versions parallèles
Comment est obtenue le coefficient de fidélité lors d’une version parallèle?
Le coefficient de fidélité est la corrélation entre les scores obtenus pour chacune des deux versions du test.
Quelles sont les sources d’erreur dans les versions parallèle?
1) celles que l’on retrouve dans la stabilité si l’intervalle de temps qui sépare l’administration des deux versions est non nul
2) celles reliées à l’échantillonnage particulier des contenus d’items de chaque version
Qu’est-ce qu’indique l’équivalence d’un test lorsqu’il y a des erreurs reliées à l’échantillonnage particulier des contenus d’items de chaque version?
à quel point les scores fournis sont indépendants du contenu spécifique des items qui composent le test
Quelles sont les difficultés des versions parallèles?
1) Construction de deux tests vraiment équivalent
2) Si la caractéristique mesurée est sensible à l’effet de pratique, cette technique n’élimine pas entièrement l’effet d’apprentissage
En quoi consiste la fidélité par bissection?
consiste à diviser un test (une seule version) en deux parties «équivalentes» afin de calculer un «sous-score» pour chacune de ces parties
Comment est obtenue le coefficient de fidélité lors d’une bissection?
Le coefficient de fidélité est la corrélation (corrigée) entre les deux «sous-scores»
Quelles sont les sources d’erreurs dans la bissection?
les échantillons particuliers des items qui servent à calculer chaque «sous-score»
Qu’est-ce qu’indique la cohérence d’un test?
à quel point les scores fournis sont indépendants du contenu spécifique des items qui composent le test (échantillonnage des contenus)
Nomme un méthode courante de bissection.
Une méthode courante de bissection est de choisir les items pairs vs les items impairs
Lorsque l’on se contente de calculer la corrélation entre deux «sous-scores», le coefficient obtenu estime la fidélité de quoi?
la fidélité d’un demi-test seulement
Or, toutes choses étant égales par ailleurs, plus un test est court ou long, plus il sera fidèle (en termes de cohérence)
Long
À quoi sert la formule de Spearman-Brown?
permet de corriger le coefficient de cohérence pour tenir compte du raccourcissement d’un test ou son facteur d’allongement
Quelle est la formule de Spearman-Brown?
rn = (n rt) / (1 + (n-1) rt)
Qu’est-ce que représente le rt dans la formule de Spearman-Brown?
rt est le coefficient calculé avec le test actuel
Qu’est-ce que représente le n dans la formule de Spearman-Brown?
n est le facteur d’allongement (p. ex. n = 2 pour un test deux fois plus long)
À quoi sert la formule prophétique de Spearman-Brown?
qui est une simple transformation de la formule Spearman-Brown
à calculer combien il faut ajouter ou soustraire d’items à un test complet dont on connaît la fidélité pour atteindre dans un nouveau test un niveau de fidélité voulue
Quelle est la formule prophétique de Spearman-Brown?
n= rn (1-rt)/rt (1-rn)
n= fidélité voulue (1- fidélité connue)/ fidélité connue (1- fidélité voulue)
Sur quoi est basée la fidélité par cohérence inter-items?
une technique qui est basée sur la cohérence des réponses à tous les items du test, considérés simultanément
À quoi correspond le coefficient de fidélité dans l’homogénéité?
Le coefficient de fidélité est le coefficient α (alpha de Cronbach)
Quelle sont les sources d’erreurs dans la fidélité par cohérence inter-item?
1) L’échantillon particulier des items
2) L’hétérogénéité des items
À quoi réfère l’homogénéité d’un test?
au degré de cohérence entre les réponses fournies aux différents items, i.e. à quel point chacun des items est une mesure de ce que le test, dans son ensemble, mesure effectivement
Vrai ou faux?
Dans la fidélité par cohérence inter-item, le résultat (global) à un test est d’autant interprétable que les items qui le forment constituent un tout homogène
Vrai
Qu’arrive-t-il dans la fidélité par cohérence inter-item si la caractéristique à mesurer est définitivement hétérogène? (ex: l’intelligence)
il convient alors d’élaborer plusieurs sous-tests homogènes qui mesurent chacun une et une seule des facettes à considérer.
Quelle est la formule générale du coefficient d’homogénéité (coefficient alpha) ?
alpha = (n / n-1) ((ÉTt^2 - sommation ÉT^2) / ÉTt^2)
- n est le nombre d’items qui composent le test
- ÉTT est l’écart type (et ÉTT^2 est la variance) des scores totaux au test
- ÉTi est l’écart type (et ÉTi^2 est la variance) des scores obtenus au ie item
- Σi est le symbole de sommation (addition) sur tous les items
Dans de nombreux cas, le score attribué à chaque item est dichotomique (i.e. succès/échec). Dans ces cas, la variance des scores à un item peut être remplacée par quoi?
Le produit pq
- p représente la proportion d’individus qui ont réussi l’item et q représente la proportion d’individus qui ont échoué l’item (q = 1-p)
Lorsque la variance des scores à un item est remplacée par le produit pq, quel coefficient obtient-on?
Ce coefficient de Kuder-Richardson, connu sous le nom de «coefficient KR-20»
Pour certains tests, l’examinateur peut engendrer une certaine forme d’erreur, parce que ? (2)
1) les consignes sont peu précises par exemple dans les entrevues cliniques ou semi-structurées
2) les grilles de correction sont peu précises par exemple dans les tests de créativité ou dans les tests projectifs
Qu’est-ce qu’indique la fidélité inter-correcteurs?
indique dans quelle mesure le score obtenu à un test ne dépend pas de la personne qui corrige (ou administre) ce test
Comment on évalue la fidélité inter-correcteurs?
il s’agit simplement de faire corriger (ou administrer) le test séparément par au moins deux correcteurs (ou examinateurs).
Comment on obtient le coefficient de fidélité avec la fidélité inter-correcteurs?
Le coefficient de fidélité est obtenu en calculant la corrélation entre les deux scores (ou plus) ainsi attribués à chaque examiné.
S’il n’y a que deux correcteurs (ou examinateurs) quel coefficient de corrélation est alors utilisé? (1) Avec plus de deux correcteurs ? (2)
1) le coefficient de corrélation de Pearson
2) le coefficient de corrélation intraclasse (CCI) dont le résultat est interprété comme un coefficient de corrélation de Pearson.
Vrai ou faux?
Au lieu d’employer le CCI, certains auteurs font parfois toutes les combinaisons possibles de coefficients de corrélation de Pearson, puis font la moyenne de ces corrélations.
Vrai
Si les résultats aux tests ne sont pas des scores sous une échelle continue, mais consistent dans des codages qualitatifs en catégories (ex : malade vs en santé) que faut-il utiliser ?
l’indice Kappa
Que mesure la méthode de Kappa?
le degré de concordance entre les observateurs, par rapport au hasard
Qu’est-ce qu’on utilise lorsqu’on a 2 observateur avec la méthode de Kappa? (1) et plus de 2? (2)
1) K de Cohen
2) K de Fleiss
À quoi sert l’erreur type de mesure (ETM) ?
L’erreur type de mesure (ETM) est une autre façon d’exprimer la fidélité des scores obtenus à un test.
Que représente l’erreur type de mesure (ETM)?
le degré de dispersion théorique (i.e. l’écart type) des scores d’un individu qui passerait le test de façon répétée
Que permet l’erreur type de mesure (ETM)? (2) et qu’est-ce qu’elle ne permet PAS?
Permet:
1) donner une meilleure interprétation aux scores individuels
2) donner une meilleure interprétation différences entre les scores
Ne permet pas:
1) de comparer la fidélité de tests différents. Pour ce, il faut utiliser les coefficients de fidélité
Comment calcule-t-on l’erreur type de mesure (ETM)?
1-r = ETM^2 / ÉT^2
qui donne : ETM = ÉT racine de 1-r
où ÉT est l’écart type de la distribution des scores au test (calculé auprès du même échantillon que le coefficient de fidélité r)
Le coefficient de fidélité (r) s’interprète toujours comme un pourcentage de «variance vraie». Par conséquent, ce qui reste, i.e. (1-r), s’interprète comme quoi?
un pourcentage de «variance d’erreur»
Quel est le ETM pour un test d’intelligence dont le coefficient de fidélité est r = 0,89 et dont l’écart type des QI dérivés a été fixé à 15?
5
On peut être confiant à XX% (niveau de confiance) que le score vrai de cet individu se situerait entre son score observé moins un ETM et score observé plus un ETM
68%
On peut être confiant à XX% (niveau de confiance) que le score vrai de cet individu se situerait entre son score observé moins 2 ETM et score observé plus 2 ETM
95%
On peut être confiant à XX% (niveau de confiance) que le score vrai de cet individu se situerait entre son score observé moins 3 ETM et score observé plus 3 ETM
99%
Vrai ou faux?
Plus on est confiant, plus on est précis
Faux
Plus on est confiant, moins on est précis (plus l’intervalle de confiance est grand) et vice-versa
Habituellement en recherche on choisi XX% de confiance et une erreur alpha de ____?
1) 95%
2) 0,05
L’erreur type de mesure est plus particulièrement importante à considérer lorsqu’il s’agit d’interpréter quoi?
Des différences entre des scores que ce soient des différences entre des tests pour un même individu ou des différences entre les individus pour un même test
Pour tenir compte de cette erreur type de mesure que peut-on faire?
On peut rapporter les scores à comparer sous la forme de bandes de scores (probables) : Le centre de chaque bande correspond au score observé; La longueur de chaque bande correspond à l’intervalle où, pour un certain niveau de confiance donné, risque de se trouver le «vrai score»
Si les 2 intervalles se recoupent, peut-on conclure que l’individu A et l’individu B diffèrent quant à leur niveau intellectuel général?
Non (surtout si ce chevauchement dépasse la moitié de la longueur des bandes)
Est-il approprié d’évaluer la fidélité des tests de maîtrise avec des variables continues?
Non car il n’y a pas assez de variations des scores à l’intérieur de chacun des groupes (maîtrise vs non maîtrise), donc on ne peut calculer de corrélation
Un test complet de 20 items qui a un coefficient de fidélité connue de 0,50 (rt) et que la fidélité voulue est de 0,80 (rn) cela signifie que le nouveau test doit contenir combien de fois plus ou moins d’item?
4
