Cours 11 Flashcards
Construction d’instruments de mesure : les huit étapes les plus explorés dans la littérature
1-Détermination de ce que l’on souhaite mesurer;
2-Génération d’un ensemble d’items;
3-Analyse des items;
4-Validation de l’échelle (tests de fiabilité et de validité);
5-Détermination de la dimensionalité;
6-Révision des items et pré-tests.
7-Administration de l’instrument final.
8-Évaluation continue de la fiabilité et de la validité (après la collecte des données, amélioration continue basée sur les résultats).
Détermination de ce que l’on souhaite mesurer (Comprendre le concept ou la variable à mesurer)
Balbinotti (2005) et plus récemment DeVellis (2016) soulignent l’importance de définir le construit de manière précise et exhaustive. Avant de créer un instrument de mesure, il est essentiel de bien comprendre le concept ou la variable que l’on cherche à évaluer. Cela peut être une variable psychologique (comme l’anxiété, la motivation), sociale (comme la satisfaction au travail) ou physique (comme la fréquence cardiaque). Il est crucial de s’assurer que ce concept soit défini de manière précise et sans ambiguïté pour éviter tout malentendu.
Détermination de ce que l’on souhaite mesurer (Conceptualisation et définition opératoire)
Une fois le concept bien compris, il faut le conceptualiser en termes mesurables, c’est-à-dire le traduire en des indicateurs concrets. C’est ce qu’on appelle une définition opératoire. Cette étape consiste à spécifier les manifestations observables (comportements) ou les caractéristiques du concept qui peuvent être évaluées par des indicateurs mesurables
Détermination de ce que l’on souhaite mesurer (Identifier les dimensions du concept
)
Beaucoup de concepts à mesurer ne sont pas unidimensionnels. Ils ont plusieurs dimensions ou facettes. Par exemple, la qualité de vie peut inclure des dimensions physiques, psychologiques, et sociales. Devellis (2016) souligne l’importance de décomposer un concept complexe en ses différentes dimensions pour que chaque aspect puisse être mesuré correctement.
Détermination de ce que l’on souhaite mesurer (Importance de la clarté conceptuelle
)
-Sans une clarté conceptuelle dès le départ, le processus de développement de l’instrument peut être compromis. Il est possible de créer un instrument qui ne mesure pas réellement ce qu’il est censé mesurer (problème de validité). Par conséquent, il est crucial de consacrer suffisamment de temps et de réflexion à cette étape pour s’assurer que l’instrument sera pertinent et bien construit (Balbinotti, 2023, 2024).
- De plus, une mauvaise définition de ce que l’on veut mesurer peut mener à des résultats ambigus, difficiles à interpréter, ou à des conclusions erronées (DeVellis, 2016). Cela peut également affecter la fiabilité de l’instrument, car des items mal formulés peuvent générer des réponses inconsistantes
Détermination de ce que l’on souhaite mesurer (Avoir la collaboration des experts du domaine)
Balbinotti (2005) et Devellis (2016) recommandent aussi d’avoir la collaboration des experts du domaine pour affiner la définition du concept à mesurer. Ces experts peuvent offrir des perspectives théoriques ou pratiques supplémentaires, aidant à clarifier des aspects qui pourraient ne pas être immédiatement évidents pour le développeur de l’instrument.
Les experts peuvent également aider à identifier les dimensions pertinentes du concept, ainsi que les méthodes les plus appropriées pour mesurer chacune de ces dimensions.
- Qu’est-ce qu’un item ?
Un item est généralement une question ou une affirmation à laquelle les répondants doivent réagir. Chaque item est conçu pour capter un aspect particulier du concept à mesurer. Ces items sont ensuite compilés pour former l’instrument de mesure complet (DeVellis, 2016).
- Étendue des items
Il est important de générer un large ensemble d’items lors de cette étape, même si tous ne seront pas utilisés dans l’instrument final (DeVellis, 2016). La raison est que le processus de construction d’un bon instrument de mesure passe par une phase de révision et d’élimination des items inefficaces ou redondants.
- Sources des items
- Littérature scientifique : Les recherches antérieures peuvent offrir des exemples d’items qui ont déjà été validés pour mesurer des concepts similaires.
- Consultation d’experts : Les spécialistes du domaine peuvent aider à générer des items pertinents et adaptés au contexte.
- Groupes de discussion : Les échanges avec des personnes représentatives de la population cible peuvent aussi fournir des idées d’items (Balbinotti, 2005, 2023).
- Clarté et pertinence des items
Il est essentiel que chaque item soit clair, simple et pertinent. Les items ambiguës ou trop complexes risquent de fausser les résultats car les répondants peuvent les interpréter différemment (DeVellis, 2016).
- Préparer les items pour une analyse future
Lorsque vous créez les items, il est important de garder à l’esprit les méthodes statistiques qui seront utilisées pour analyser les réponses plus tard (DeVellis, 2016).
- Fiabilité des items
La fiabilité fait référence à la cohérence des items dans le temps et entre les différents répondants. Un item est considéré comme fiable s’il donne des résultats cohérents lorsque mesuré à plusieurs reprises dans les mêmes conditions (DeVellis, 2016).
- Validité des items
La validité est un concept central dans l’évaluation des items. Elle fait référence à la capacité de l’instrument à mesurer ce qu’il est censé mesurer, et cela seulement (Balbinotti, 2005, 2023).
- Analyses factorielles exploratoire et confirmatoire
L’analyse factorielle est une technique statistique souvent utilisée à cette étape pour déterminer la structure sous-jacente des items. Elle permet d’identifier les dimensions principales d’un ensemble d’items et de regrouper les items qui mesurent des aspects similaires d’un concept (Balbinotti, 2005, 2023). Cela aide à affiner l’instrument et à retirer les items redondants ou moins pertinents.
- Révision des items
Après avoir effectué les analyses de fiabilité, de validité (à l’aide des analyses factorielles), il est souvent nécessaire de «réviser ou éliminer certains items». Les items peu fiables, redondants ou ambigus doivent être modifiés ou supprimés (Balbinotti, 2005, 2023).
- Pré-test de l’instrument
Une fois les items révisés, il est important de procéder à un «pré-test de l’instrument» auprès d’un échantillon «représentatif» de la population cible. Cela permet de s’assurer que les items soient compris de manière cohérente et qu’ils mesurent correctement le concept (DeVellis, 2016).
- Fiabilité de l’échelle
Une échelle fiable doit produire des résultats constants lorsqu’elle est administrée à plusieurs reprises dans les mêmes conditions (DeVellis, 2016). De plus, une mesure congénérique (par ex.: alpha ordinal, Omega, fidélité composite, entre autres) quand supérieur à 0,7 est généralement considéré comme «acceptable», en révélant la cohérence des items de l’échelle retravaillée (Balbinotti, 2005, 2023).
- Validité de l’échelle
La validation de l’échelle permet de s’assurer que l’instrument mesure bien le concept qu’il est censé mesurer, et cela seulement.
- Analyses complémentaires
À cette étape, des «analyses complémentaires» peuvent être effectuées, telles que des corrélations entre les résultats de l’échelle et d’autres instruments de mesure, afin d’évaluer les premières étapes de la validité basée sur les relations avec d’autres variables (Balbinotti, 2024). Ces analyses peuvent également inclure des tests statistiques tels que l’analyse factorielle confirmatoire (Balbinotti, 2023).
- Réajustement de l’échelle
Après avoir évalué la fiabilité et la validité, il peut être nécessaire de réviser à nouveau l’échelle. Les items peu fiables ou ceux qui ne contribuent pas à la validité globale de l’instrument doivent être supprimés ou modifiés (DeVellis, 2016; Balbinotti, 2005, 2023).
- Concept de dimensionalité
La dimensionalité fait référence au nombre de «facteurs, composantes ou dimensions» sous-jacents à un ensemble d’items (Balbinotti, 2005, 2023). Un instrument peut être unidimensionnel (ne mesurant qu’un seul concept) ou multidimensionnel (mesurant plusieurs aspects d’un concept) (DeVellis, 2016).
- Analyse factorielle exploratoire
technique statistique fréquemment utilisée pour explorer la structure factorielle d’un instrument. Cette technique permet de regrouper les items en fonction des corrélations entre eux et d’identifier les dimensions sous-jacentes (Balbinotti, 2005, 2023).
- Analyse factorielle confirmatoire
Une analyse factorielle confirmatoire (AFC) peut être effectuée pour valider la structure factorielle préalablement identifiée (Balbinotti, 2024). L’AFC permet de tester l’adéquation des données à un modèle prédéfini et d’évaluer la pertinence des dimensions identifiées (DeVellis, 2016; Balbinotti, 2024).
- Ajustement des items en fonction des résultats
Après les analyses factorielles, certains items peuvent ne pas s’intégrer clairement dans une dimension spécifique ou peuvent être redondants. À ce stade, il pourrait être encore nécessaire de «réviser ou supprimer les items» qui ne contribuent pas de manière significative à la structure factorielle globale de l’instrument (Balbinotti, 2023, 2024).
- Importance de la multidimensionnalité de la mesure
Dans le cas où un construit (ou concept mesuré) est «multidimensionnel», il est essentiel que chaque dimension soit mesurée de manière adéquate (Balbinotti, 2005). Cela garantit que l’instrument capture toutes les facettes pertinentes du concept étudié (DeVellis, 2016).
- Révision des items
Après la détermination de la dimensionnalité, il est encore important de «réviser les items» pour s’assurer qu’ils sont clairs, non ambigus, et qu’ils mesurent bien les aspects du concept prévus (revisitant la validité basée sur le contenu). Cette révision peut encore impliquer des petits ajustements dans la formulation des items, la suppression d’items redondants ou la réécriture d’items problématiques (Balbinotti, 2005).
- Pré-test de l’instrument
À cette étape, le pré-test de l’instrument consiste à réadministrer l’instrument révisé à un échantillon issu de la population cible. L’objectif est d’évaluer si les répondants comprennent bien les items révisés et si cette révision permet d’obtenir les résultats attendus (Balbinotti, 2023).
Ajustements après le pré-test
À cette étape, les résultats du pré-test peuvent encore révéler des problèmes inattendus dans l’instrument, tels que des items mal compris ou des échelles de réponse mal adaptées. Sur cette base, il pourrait être nécessaire d’apporter des «ajustements supplémentaires» avant d’administrer l’instrument à une plus grande population (Balbinotti, 2005
6- Collecte des données
Il est possible d’effectuer une première validation de l’instrument «définitif» sur un nouveau échantillon encore plus large (Balbinotti, 2005). Cette première preuve de «validation initiale» permet de vérifier la structure interne des items (validité et fidélité) avant son utilisation à grande échelle (DeVellis, 2016; Balbinotti, 2005, 2023, 2024).
- Administration de l’instrument «définitif»
L’instrument, après avoir été révisé et pré-testé, est maintenant prêt à être administré à un grand nombre de participants. Cela permet de vérifier comment il fonctionne dans un contexte réel et d’évaluer ses performances psychométriques à une plus grande échelle (Balbinotti, 2023).
- Récolte des données
L’objectif principal de cette étape est de «collecter des données fiables» sur un échantillon large et «représentatif». Ces nouvelles données serviront à confirmer la validité et la fiabilité de l’instrument dans différents contextes et auprès de différentes populations (Balbinotti, 2005).
Analyse des résultats
- Vérifier la cohérence interne de l’instrument (par exemple, préférablement via les mesures congénérique – Congeneric measures : Omega, Composite Reliability, et Construct Reliability) (Balbinotti, 2023).
- Confirmer la validité de construit (Balbinotti 2005).
- Examiner la structure factorielle en utilisant des méthodes comme l’analyse factorielle confirmatoire (DeVellis, 2016; Balbinotti, 2024).
Évaluation des biais potentiels
Il est également crucial d’identifier et d’évaluer les «biais potentiels» qui pourraient affecter les réponses des participants. Les biais de désirabilité sociale, les biais liés à la formulation des questions ou encore les biais d’échantillonnage peuvent tous avoir un impact sur la qualité des résultats (Balbinotti, 2023).
- Ajustements finaux
Après avoir analysé les données et identifié les éventuels problèmes, des «ajustements finaux» peuvent être apportés à l’instrument. Il peut s’agir encore de modifier certains items ou de réviser l’échelle de réponse afin d’améliorer encore la qualité et l’efficacité de l’instrument (DeVellis, 2016).
- Importance de l’évaluation continue
L’évaluation continue permet de vérifier si l’instrument conserve sa qualité au fil du temps et s’il peut être utilisé dans des contextes différents. Les conditions d’utilisation peuvent évoluer ou la population cible peut changer, ce qui nécessite une surveillance continue de la performance de l’instrument (Balbinotti, 2023).
Collecte de nouvelles données
Lors de l’utilisation continue de l’instrument, il est important de «collecter régulièrement de nouvelles données» (Balbinotti, 2023, 2024). Ces nouveaux données permettent de vérifier la constance des résultats obtenus avec l’instrument et de tester sa validité dans différents contextes (DeVellis, 2016).
- Révision de la fiabilité
La fiabilité de l’instrument peut fluctuer avec le temps ou en fonction des changements dans la population cible. Il est donc nécessaire de réévaluer la consistance interne (par exemple, via le coefficient alpha de Cronbach) et la stabilité test-retest des résultats pour garantir que l’instrument reste fiable (Balbinotti, 2005, 2023, 2024).
- Réévaluation de la validité
De la même manière, la «validité» de l’instrument doit être régulièrement réévaluée (Balbinotti, 2005, 2023, 2024).
- Révision de la fiabilité
La fiabilité de l’instrument peut fluctuer avec le temps ou en fonction des changements dans la population cible. Il est donc nécessaire de réévaluer la consistance interne (par exemple, via le coefficient alpha de Cronbach) et la stabilité test-retest des résultats pour garantir que l’instrument reste fiable (Balbinotti, 2005, 2023, 2024).
- Réévaluation de la validité
De la même manière, la «validité» de l’instrument doit être régulièrement réévaluée (Balbinotti, 2005, 2023, 2024).
- Ajustements et améliorations
Sur la base de l’évaluation continue, des «ajustements» peuvent être nécessaires pour améliorer l’instrument. Cela peut inclure la révision ou la suppression d’items, ou même l’ajout de nouveaux items pour mieux capter les dimensions émergentes du concept mesuré (Balbinotti, 2023).
8.Adaptation à différents contextes
L’évaluation continue permet aussi d’adapter l’instrument à de nouveaux contextes culturels, linguistiques ou démographiques. Un instrument de mesure peut avoir besoin d’être modifié pour garantir sa validité dans des populations ou des environnements différents de ceux dans lesquels il a été initialement conçu (DeVellis, 2016).
Documentation
La rédaction d’un manuel d’utilisateur:
Les objectifs pour lesquels il a été créé:
A quoi serve-t-il ?
Dans quel contexte sera-t-il utilisé ?
Que doit-il mesurer ?
Est-ce une variante d’un test existant?
Quelle population est concernée ?
Précision de la forme (individuel, collectif, papier-crayon, internet, etc.)
Spécification des caractéristiques de l’échantillon + passation
Administration (procédures), directives, limites de temps, mode de correction, etc.
La rédaction d’un manuel d’utilisateur:
Le constructeur doit assumer une responsabilité éthique:
Les informations du manuel doivent garantir un usage correct du test, dans le respect des principes éthiques.
Conclusion
Le processus de construction d’un instrument de mesure, tel que proposé par DeVellis (2016) et complété par les réflexions de Balbinotti (2005, 2023, 2024), est un ensemble rigoureux d’étapes destinées à garantir la validité et la fiabilité des instruments utilisés dans les études scientifiques et psychométriques. Chaque étape, de la détermination de ce que l’on veut mesurer à l’évaluation continue de la fiabilité et de la validité, joue un rôle fondamental dans la création d’un outil de mesure robuste.
Conclusion 2
Le processus de construction d’un instrument de mesure, tel que proposé par DeVellis (2016) et complété par les réflexions de Balbinotti (2005, 2023, 2024), est un ensemble rigoureux d’étapes destinées à garantir la validité et la fiabilité des instruments utilisés dans les études scientifiques et psychométriques. Chaque étape, de la détermination de ce que l’on veut mesurer à l’évaluation continue de la fiabilité et de la validité, joue un rôle fondamental dans la création d’un outil de mesure robuste.
Conclusion 3
La construction d’un instrument commence par une réflexion approfondie sur le concept à mesurer, suivie de la génération et de l’analyse des items, puis de la validation de l’échelle. L’instrument doit ensuite être testé et administré à un large échantillon représentatif pour évaluer ses performances dans des conditions réelles. Ce processus implique non seulement une phase initiale de développement, mais aussi une évaluation continue pour garantir que l’instrument reste pertinent et valide dans des contextes d’utilisation variés.
Conclusion 4
La construction d’un instrument commence par une réflexion approfondie sur le concept à mesurer, suivie de la génération et de l’analyse des items, puis de la validation de l’échelle. L’instrument doit ensuite être testé et administré à un large échantillon représentatif pour évaluer ses performances dans des conditions réelles. Ce processus implique non seulement une phase initiale de développement, mais aussi une évaluation continue pour garantir que l’instrument reste pertinent et valide dans des contextes d’utilisation variés.
