Construction d'instrument de mesure Flashcards
Quelles sont les huit étapes les plus explorés dans la littérature en lien avec la construction d’instruments de mesure?
Détermination de ce que l’on souhaite mesurer;
Génération d’un ensemble d’items;
Analyse des items;
Validation de l’échelle (tests de fiabilité et de validité);
Détermination de la dimensionalité;
Révision des items et pré-tests.
Administration de l’instrument final.
Évaluation continue de la fiabilité et de la validité (après la collecte des données, amélioration continue basée sur les résultats).
Quelles sont les étapes liées à la détermination de ce que l’on souhaite mesurer?
1.Comprendre le concept ou la variable à mesurer en le définissant de manière précise et exhaustive.
- Conceptualisation et définition opératoire. Il faut le conceptualiser en termes mesurables, des indicateurs concrets, spécifier les manifestations observables (comportements) ou les caractéristiques du concept qui peuvent être évaluées par des indicateurs mesurables.
3.Identifier les dimensions du concept pour bien le mesurer.
- Importance de la clarté conceptuelle pour faire un instrument pertinent, bien construit.
- Avoir la collaboration des experts dans le domaine pour affiner la définition du concept à mesurer et identifier les dimensions pertinentes du concept.
À quoi peut mener une mauvaise définition de ce que l’on veut mesurer?
Des résultats ambigus, difficiles à interpréter, ou à des conclusions erronées. Peut aussi affecter la fiabilité de l’instrument en générant des réponses inconsistantes.
Pourquoi doit-on créer un large ensemble d’items?
La raison est que le processus de construction d’un bon instrument de mesure passe par une phase de révision et d’élimination des items inefficaces ou redondants
Qu’est-ce qu’un item ?
Un item est généralement une question ou une affirmation à laquelle les répondants doivent réagir. Chaque item est conçu pour capter un aspect particulier du concept à mesurer. Ces items sont ensuite compilés pour former l’instrument de mesure complet (DeVellis, 2016).
Quelles sont les sources possibles liées à l’élaboration des items?
- Littérature scientifique : Les recherches antérieures peuvent offrir des exemples d’items qui ont déjà été validés pour mesurer des concepts similaires.
- Consultation d’experts : Les spécialistes du domaine peuvent aider à générer des items pertinents et adaptés au contexte.
- Groupes de discussion : Les échanges avec des personnes représentatives de la population cible peuvent aussi fournir des idées d’items (Balbinotti, 2005, 2023).
Pourquoi les items doivent être clairs, simples et pertinents?
Les items ambiguës ou trop complexes risquent de fausser les résultats car les répondants peuvent les interpréter différemment
À la génération des items, que faut-il garder en tête comme étape future?
Le type d’analyse et de méthodes statistiques que l’on compte utiliser.
Dans l’étape d’analyse des items, que doit-on faire?
Fiabilité des items
La fiabilité fait référence à la cohérence des items dans le temps et entre les différents répondants. Un item est considéré comme fiable s’il donne des résultats cohérents lorsque mesuré à plusieurs reprises dans les mêmes conditions (DeVellis, 2016).
Validité des items
La validité est un concept central dans l’évaluation des items. Elle fait référence à la capacité de l’instrument à mesurer ce qu’il est censé mesurer, et cela seulement (Balbinotti, 2005, 2023).
Analyses factorielles exploratoire et confirmatoire
L’analyse factorielle est une technique statistique souvent utilisée à cette étape pour déterminer la structure sous-jacente des items. Elle permet d’identifier les dimensions principales d’un ensemble d’items et de regrouper les items qui mesurent des aspects similaires d’un concept (Balbinotti, 2005, 2023). Cela aide à affiner l’instrument et à retirer les items redondants ou moins pertinents.
Révision des items
Après avoir effectué les analyses de fiabilité, de validité (à l’aide des analyses factorielles), il est souvent nécessaire de «réviser ou éliminer certains items». Les items peu fiables, redondants ou ambigus doivent être modifiés ou supprimés (Balbinotti, 2005, 2023).
Pré-test de l’instrument
Une fois les items révisés, il est important de procéder à un «pré-test de l’instrument» auprès d’un échantillon représentatif de la population cible. Cela permet de s’assurer que les items soient compris de manière cohérente et qu’ils mesurent correctement le concept (DeVellis, 2016).
Que doit-on faire à l’étape de la structure interne de l’échelle retravaillée?
Fiabilité de l’échelle
Une échelle fiable doit produire des résultats constants lorsqu’elle est administrée à plusieurs reprises dans les mêmes conditions (DeVellis, 2016). De plus, une mesure congénérique (par ex.: alpha ordinal, Omega, fidélité composite, entre autres) quand supérieur à 0,7 est généralement considéré comme «acceptable», en révélant la cohérence des items de l’échelle retravaillée (Balbinotti, 2005, 2023).
Validité de l’échelle
La validation de l’échelle permet de s’assurer que l’instrument mesure bien le concept qu’il est censé mesurer, et cela seulement.
Analyses complémentaires
À cette étape, des «analyses complémentaires» peuvent être effectuées, telles que des corrélations entre les résultats de l’échelle et d’autres instruments de mesure, afin d’évaluer les premières étapes de la validité basée sur les relations avec d’autres variables (Balbinotti, 2024). Ces analyses peuvent également inclure des tests statistiques tels que l’analyse factorielle confirmatoire (Balbinotti, 2023).
Réajustement de l’échelle
Après avoir évalué la fiabilité et la validité, il peut être nécessaire de réviser à nouveau l’échelle. Les items peu fiables ou ceux qui ne contribuent pas à la validité globale de l’instrument doivent être supprimés ou modifiés (DeVellis, 2016; Balbinotti, 2005, 2023).
Que doit-on faire à la détermination de le dimensionnalité?
Concept de dimensionalité
La dimensionalité fait référence au nombre de «facteurs, composantes ou dimensions» sous-jacents à un ensemble d’items (Balbinotti, 2005, 2023). Un instrument peut être unidimensionnel (ne mesurant qu’un seul concept) ou multidimensionnel (mesurant plusieurs aspects d’un concept) (DeVellis, 2016).
Analyse factorielle exploratoire
technique statistique fréquemment utilisée pour explorer la structure factorielle d’un instrument. Cette technique permet de regrouper les items en fonction des corrélations entre eux et d’identifier les dimensions sous-jacentes (Balbinotti, 2005, 2023).
Analyse factorielle confirmatoire
Une analyse factorielle confirmatoire (AFC) peut être effectuée pour valider la structure factorielle préalablement identifiée (Balbinotti, 2024). L’AFC permet de tester l’adéquation des données à un modèle prédéfini et d’évaluer la pertinence des dimensions identifiées (DeVellis, 2016; Balbinotti, 2024).
Ajustement des items en fonction des résultats
Après les analyses factorielles, certains items peuvent ne pas s’intégrer clairement dans une dimension spécifique ou peuvent être redondants. À ce stade, il pourrait être encore nécessaire de «réviser ou supprimer les items» qui ne contribuent pas de manière significative à la structure factorielle globale de l’instrument (Balbinotti, 2023, 2024).
Importance de la multidimensionnalité de la mesure
Dans le cas où un construit (ou concept mesuré) est «multidimensionnel», il est essentiel que chaque dimension soit mesurée de manière adéquate (Balbinotti, 2005). Cela garantit que l’instrument capture toutes les facettes pertinentes du concept étudié (DeVellis, 2016).
Que doit-on faire à la révision des items et pré-tests?
Révision des items
Après la détermination de la dimensionnalité, il est encore important de «réviser les items» pour s’assurer qu’ils sont clairs, non ambigus, et qu’ils mesurent bien les aspects du concept prévus (revisitant la validité basée sur le contenu). Cette révision peut encore impliquer des petits ajustements dans la formulation des items, la suppression d’items redondants ou la réécriture d’items problématiques (Balbinotti, 2005).
Pré-test de l’instrument
À cette étape, le pré-test de l’instrument consiste à réadministrer l’instrument révisé à un échantillon issu de la population cible. L’objectif est d’évaluer si les répondants comprennent bien les items révisés et si cette révision permet d’obtenir les résultats attendus (Balbinotti, 2023).
Ajustements après le pré-test
À cette étape, les résultats du pré-test peuvent encore révéler des problèmes inattendus dans l’instrument, tels que des items mal compris ou des échelles de réponse mal adaptées. Sur cette base, il pourrait être nécessaire d’apporter des «ajustements supplémentaires» avant d’administrer l’instrument à une plus grande population (Balbinotti, 2005).
Collecte des Données
Il est possible d’effectuer une première validation de l’instrument «définitif» sur un nouveau échantillon encore plus large (Balbinotti, 2005). Cette première preuve de «validation initiale» permet de vérifier la structure interne des items (validité et fidélité) avant son utilisation à grande échelle (DeVellis, 2016; Balbinotti, 2005, 2023, 2024).
Que doit-on faire à l’étape de l’administration de l’instrument final?
Administration de l’instrument «définitif»
L’instrument, après avoir été révisé et pré-testé, est maintenant prêt à être administré à un grand nombre de participants. Cela permet de vérifier comment il fonctionne dans un contexte réel et d’évaluer ses performances psychométriques à une plus grande échelle (Balbinotti, 2023).
Récolte des données
L’objectif principal de cette étape est de «collecter des données fiables» sur un échantillon large et «représentatif». Ces nouveaux données serviront à confirmer la validité et la fiabilité de l’instrument dans différents contextes et auprès de différentes populations (Balbinotti, 2005).
Analyse des résultats
- Vérifier la cohérence interne de l’instrument (par exemple, préférablement via les mesures congénérique – Congeneric measures : Omega, Composite Reliability, et Construct Reliability) (Balbinotti, 2023).
- Confirmer la validité de construit (structures internes) (Balbinotti 2005).
- Examiner la structure factorielle en utilisant des méthodes comme l’analyse factorielle confirmatoire (DeVellis, 2016; Balbinotti, 2024).
Évaluation des biais potentiels
Il est également crucial d’identifier et d’évaluer les «biais potentiels» qui pourraient affecter les réponses des participants. Les biais de désirabilité sociale, les biais liés à la formulation des questions ou encore les biais d’échantillonnage peuvent tous avoir un impact sur la qualité des résultats (Balbinotti, 2023).
Ajustements finaux
Après avoir analysé les données et identifié les éventuels problèmes, des «ajustements finaux» peuvent être apportés à l’instrument. Il peut s’agir encore de modifier certains items ou de réviser l’échelle de réponse afin d’améliorer encore la qualité et l’efficacité de l’instrument (DeVellis, 2016).
Que fait-on à l’étape de l’évaluation continue?
Importance de l’évaluation continue
L’évaluation continue permet de vérifier si l’instrument conserve sa qualité au fil du temps et s’il peut être utilisé dans des contextes différents. Les conditions d’utilisation peuvent évoluer ou la population cible peut changer, ce qui nécessite une surveillance continue de la performance de l’instrument (Balbinotti, 2023).
Collecte de nouvelles données
Lors de l’utilisation continue de l’instrument, il est important de «collecter régulièrement de nouvelles données» (Balbinotti, 2023, 2024). Ces nouvelles données permettent de vérifier la constance des résultats obtenus avec l’instrument et de tester sa validité dans différents contextes (DeVellis, 2016).
Révision de la fiabilité
La fiabilité de l’instrument peut fluctuer avec le temps ou en fonction des changements dans la population cible. Il est donc nécessaire de réévaluer la consistance interne (par exemple, via le coefficient alpha de Cronbach) et la stabilité test-retest des résultats pour garantir que l’instrument reste fiable (Balbinotti, 2005, 2023, 2024).
Réévaluation de la validité
De la même manière, la «validité» de l’instrument doit être régulièrement réévaluée (Balbinotti, 2005, 2023, 2024).
Ajustements et améliorations
Sur la base de l’évaluation continue, des «ajustements» peuvent être nécessaires pour améliorer l’instrument. Cela peut inclure la révision ou la suppression d’items, ou même l’ajout de nouveaux items pour mieux capter les dimensions émergentes du concept mesuré (Balbinotti, 2023).
Adaptation à différents contextes
L’évaluation continue permet aussi d’adapter l’instrument à de nouveaux contextes culturels, linguistiques ou démographiques. Un instrument de mesure peut avoir besoin d’être modifié pour garantir sa validité dans des populations ou des environnements différents de ceux dans lesquels il a été initialement conçu (DeVellis, 2016).
Quelle documentation doit être créée à côté du test?
La rédaction d’un manuel d’utilisateur:
Les objectifs pour lesquels il a été créé:
A quoi serve-t-il ?
Dans quel contexte sera-t-il utilisé ?
Que doit-il mesurer ?
Est-ce une variante d’un test existant?
Quelle population est concernée ?
Précision de la forme (individuel, collectif, papier-crayon, internet, etc.)
Spécification des caractéristiques de l’échantillon + passation
Administration (procédures), directives, limites de temps, mode de correction, etc.
