Cours 7: La fiabilité et la validité des mesures Flashcards
À partir de quoi est mesuré la fiabilité, la fidélité ainsi que la validité?
La fiabilité ou fidélité, ainsi que la validité, sont mesurées à partir d’un groupe représentatif appelé échantillon de
normalisation ou de validation.
À quoi réfère la fidélité d’une mesure?
La fidélité d’une mesure réfère à la reproductibilité des scores obtenus par les mêmes personnes lorsqu’on leur administre une même mesure deux fois, ou qu’on effectue des ensembles équivalents d’observations, ou qu’ils sont soumis à des
conditions d’administration variables.
Qu’est-ce qu’un coefficient de fidélité?
-La fidélité repose sur le concept d’erreur de mesure, c’est-à-dire les fluctuations du score sous l’effet de facteurs non pertinents et dus au hasard.
-Facteurs non pertinents par rapport aux objectifs de la mesure.
-Dus au hasard, car si ces facteurs sont prédictibles, ils peuvent être contrôlés.
-Score observé = Score vrai + Erreur de mesure
-Étant donné qu’on ne connaît que les scores observés, c’est la corrélation provenant de deux séries indépendantes de scores observés qui sera interprétée comme le pourcentage de la variance des scores vrais, qui lui sera appelé
coefficient de fidélité. Par conséquent (1-r) s’interprète comme le pourcentage de la variance d’erreur.
Comment s’interprète 1-r?
Comme le pourcentage de la variance d’erreur (coefficient de fidélité)
Quels sont les divers types de fidélités?
-Stabilité
-Équivalence
-Cohérence interne
-Homogénéité
-Fidélité inter-correcteurs
Comment pouvons-nous évaluer la stabilité?
Par fidélité test-retest
Qu’est-ce que la stabilité (fidélité test retest)?
-La fidélité par test-retest consiste simplement à administrer à nouveau la même mesure aux mêmes sujets après un
certain intervalle de temps.
-Le coefficient de fidélité est la corrélation entre les scores obtenus à chacune des deux (ou plus) mesures.
Qu’est-ce qu’indique la stabilité d’une mesure?
-La stabilité d’une mesure indique donc à quel point on peut généraliser les résultats d’une mesure à diverses occasions.
Dans la stabilité, quelles sont les sources d’erreur?
-Les sources d’erreur sont les CONDITIONS DE MESURE (par exemple, bruit, mauvais éclairage, etc.) et les CARACTÉRISTIQUES DES SUJETS (par exemple, anxiété, fatigue,
etc.)
Quel est le postulat important dans la stabilité?
-Postulat important: la caractéristique mesurée est stable (ne change pas) à l’intérieur de l’intervalle de temps considéré.
Qu’est-ce qui arrive dans la corrélation test-retest de la stabilité habituellement?
-Habituellement, la corrélation test-retest diminue à mesure que l’intervalle de temps augmente. Par exemple, les tests d’intelligence sont relativement stables sur de courtes périodes (p. ex. moins d’un an), mais peu stables sur de plus longues périodes. En conséquence, on ne devrait pas dépasser six mois.
Dans la stabilité test-retest, quelles sont les difficultés?
-L’apprentissage peut modifier de façon différentielle la performance à la mesure (mémorisation, découverte de stratégies), ce qui est le cas avec la plupart des mesures.
-Par conséquent, l’analyse de la fidélité par test-retest est rarement utilisée sauf lorsque la mesure est peu ou pas
sensible à l’effet de la répétition, par exemple, avec les tests de discrimination sensorielle ou de motricité.
Stabilité : Vrai ou faux:
Toute chose étant égale par ailleurs, plus un questionnaire ou un test comporte de questions (si les questions sont aussi
bonnes les unes que les autres), plus il aura de chances d’être fidèle.
Vrai
Stabilité: Si on juge que la fidélité d’un test qu’on a construit est insatisfaisante, que pouvons-nous faire?
Si on juge que la fidélité d’un test qu’on a
construit est insatisfaisante (trop faible), on peut appliquer la formule prophétique de Spearman-Brown pour savoir combien de questions est-ce qu’il faut ajouter au test pour essayer d’obtenir la fidélité désirée.
Quelle est la formule prophétique de Spearman-Brown pour obtenir un coefficient de fidélité de 85%?
N = rn x (1-rt)/rt x (1-rn)
N (facteur d’allongement) = rn « fidélité désirée » multipliée par (1- rt « fidélité actuelle avec 7 questions adéquates ») divisée par (rt multiplié par (1-rn))
Pour mesurer l’équivalence, quel test faisons-nous?
Fidélité par version parallèle
Pour pallier aux difficultés du test-retest, que pouvons-nous faire?
Effectuer la fidélité par versions parallèles
Qu’est-ce que la fidélité par versions parallèles?
la fidélité par versions parallèles qui est une technique qui consiste à administrer deux versions d’une même mesure aux mêmes sujets, soit tout de suite après ou
après un certain intervalle de temps.
-Le coefficient de fidélité est la corrélation entre les scores obtenus pour chacune des deux versions de la mesure.
Quelles sont les sources d’erreur dans l’équivalence?
-Les sources d’erreur sont celles que l’on retrouve dans la stabilité si l’intervalle de temps qui sépare l’administration des deux versions est non nul; ainsi que celles reliées à l’échantillonnage particulier des contenus d’observations (items) de chaque version. Dans ce dernier cas, l’équivalence d’un test indique donc à quel point les scores fournis sont indépendants du contenu spécifique des observations (items) qui composent la mesure.
Dans l’équivalence, quelles sont les difficultés?
-Construction de deux mesures vraiment équivalentes.
-Si la caractéristique mesurée est sensible à l’effet de pratique, cette technique n’élimine pas entièrement l’effet
d’apprentissage.
Comment pouvons-nous mesurer la cohérence interne?
Fidélité par bissection
Qu’est-ce que la fidélité par bissection?
La fidélité par bissection est une technique (employée avec des tests et des questionnaires) qui consiste à diviser un test (une seule version) en deux parties «équivalentes» afin de calculer un «sous-score» pour chacune de ces parties.
-Le coefficient de fidélité est la corrélation (corrigée) entre les deux «sous-scores».
Dans la cohérence interne, quelles sont les sources d’erreur?
-Les sources d’erreur sont les échantillons particuliers des items qui servent à calculer chaque «sous-score».
Qu’est-ce qu’indique la cohérence interne?
-La cohérence interne d’un test indique donc à quel point les scores fournis sont indépendants du contenu spécifique des
items qui composent le test
(échantillonnage des contenus).
Nommez une méthode courante de bissection (cohérence interne)
-Une méthode courante de bissection est de choisir les items pairs vs les items impairs.
Qu’est-ce qui arrive lorsque l’on tente de se contenter de calculer la corrélation entre 2 sous-scores dans la cohérence interne?
-Lorsque l’on se contente de calculer la corrélation entre deux «sous-scores», le coefficient obtenu estime la fidélité
d’un demi-test seulement. Or, toutes choses étant égales par ailleurs, plus un test est long, plus il sera fidèle (en termes
de cohérence).
Dans la cohérence interne, à quoi sert la formule de Spearman-Brown?
-La formule de Spearman-Brown permet de corriger le coefficient de cohérence pour tenir compte du raccourcissement d’un test ou son facteur d’allongement
Quelle est la formule de Spearman-Brown dans la cohérence interne?
Comment pouvons-nous mesurer l’homogénéité?
Fidélité par cohérence inter-items
Qu’est-ce que la fidélité par cohérence inter-items?
-La fidélité par cohérence inter-items est une technique qui est basée sur la cohérence des réponses à toutes les
observations (items) d’une mesure, considérées simultanément.
-Le coefficient de fidélité est le coefficient α (alpha de Cronbach).
Dans l’homogénéité, quelles sont les sources d’erreur?
-Les sources d’erreur sont :
1-L’échantillon particulier des observations;
2-L’hétérogénéité des observations.
Qu’est-ce que l’homogénéité?
-Globalement, l’homogénéité d’une mesure réfère au degré de cohérence entre les différentes observations, i.e. à quel point chacune des observations (ou item) est une mesure de ce que la mesure, dans son ensemble, mesure effectivement.
-Le résultat (global) à une mesure est d’autant interprétable que les observations qui le forment constituent un tout
homogène.
Homogénéité: qu’est-ce qu’il convient de faire si les caractéristiques à mesurer sont définitivement hétérogènes?
-Mais si la caractéristique à mesurer est définitivement hétérogène (par exemple, l’intelligence), il convient alors d’élaborer plusieurs sous-tests homogènes qui mesurent chacun une et une seule des facettes à considérer.