Cours 11 - Construction d'instrument

Question 1

Quels sont les huit étapes de construction d’instrument les plus explorés dans la littératures?

Answer 1

1- Détermination de ce que l’on souhaite mesurer;
2 - Génération d’un ensemble d’items;
3 - Analyse des items;
4 - Validation de l’échelle (tests de fiabilité et de validité);
5 - Détermination de la dimensionalité;
6 - Révision des items et pré-tests.
7 - Administration de l’instrument final.
8 - Évaluation continue de la fiabilité et de la validité (après la collecte des données, amélioration continue basée sur les résultats).

Question 2

Comment est ce que l’on détermine ce que l’on souhaite mesurer?

Answer 2

1 - Conceptualisation et définition opératoire

2 - Identifier les dimensions du concept

3 - Importance de la clarté conceptuelle

4 - Avoir la collaboration des experts du domaine.

Question 3

Pourquoi est ce que l’on doit conceptualiser et faire des définitions opératoires lorsque l’on détermine ce que l’on souhaite mesurer?

Answer 3

Une fois le concept bien compris, il faut le conceptualiser en termes mesurables, c’est-à-dire le traduire en des indicateurs concrets. C’est ce qu’on appelle une définition opératoire. Cette étape consiste à spécifier les manifestations observables (comportements) ou les caractéristiques du concept qui peuvent être évaluées par des indicateurs mesurables

Question 4

Pourquoi est ce que l’on doit identifier les dimensions du concept lorsque l’on détermine ce que l’on souhaite mesurer?

Answer 4

Beaucoup de concepts à mesurer ne sont pas unidimensionnels. Ils ont plusieurs dimensions ou facettes. Par exemple, la qualité de vie peut inclure des dimensions physiques, psychologiques, et sociales. Devellis (2016) souligne l’importance de décomposer un concept complexe en ses différentes dimensions pour que chaque aspect puisse être mesuré correctement.

Question 5

Pourquoi il est important d’être claire au niveau conceptuelle lorsque l’on détermine ce que l’on souhaite mesurer?

Answer 5

Sans une clarté conceptuelle dès le départ, le processus de développement de l’instrument peut être compromis. Il est possible de créer un instrument qui ne mesure pas réellement ce qu’il est censé mesurer (problème de validité). Par conséquent, il est crucial de consacrer suffisamment de temps et de réflexion à cette étape pour s’assurer que l’instrument sera pertinent et bien construit (Balbinotti, 2023, 2024).

De plus, une mauvaise définition de ce que l’on veut mesurer peut mener à des résultats ambigus, difficiles à interpréter, ou à des conclusions erronées (DeVellis, 2016). Cela peut également affecter la fiabilité de l’instrument, car des items mal formulés peuvent générer des réponses inconsistantes

Question 6

Que permet le fait d’avoir la collaboration des expert du domaine pour déterminer ce que l’on souhaite mesurer?

Answer 6

Balbinotti (2005) et Devellis (2016) recommandent aussi d’avoir la collaboration des experts du domaine pour affiner la définition du concept à mesurer. Ces experts peuvent offrir des perspectives théoriques ou pratiques supplémentaires, aidant à clarifier des aspects qui pourraient ne pas être immédiatement évidents pour le développeur de l’instrument.
Les experts peuvent également aider à identifier les dimensions pertinentes du concept, ainsi que les méthodes les plus appropriées pour mesurer chacune de ces dimensions.

Question 7

Qu’est-ce qu’un item ?

Answer 7

Un item est généralement une question ou une affirmation à laquelle les répondants doivent réagir. Chaque item est conçu pour capter un aspect particulier du concept à mesurer. Ces items sont ensuite compilés pour former l’instrument de mesure complet (DeVellis, 2016).

Question 8

Qu’est ce que l’étendue des items?

Answer 8

Il est important de générer un large ensemble d’items lors de cette étape, même si tous ne seront pas utilisés dans l’instrument final (DeVellis, 2016). La raison est que le processus de construction d’un bon instrument de mesure passe par une phase de révision et d’élimination des items inefficaces ou redondants.

Question 9

Nommer trois sources des items?

Answer 9

• Littérature scientifique : Les recherches antérieures peuvent offrir des exemples d’items qui ont déjà été validés pour mesurer des concepts similaires.
• Consultation d’experts : Les spécialistes du domaine peuvent aider à générer des items pertinents et adaptés au contexte.
• Groupes de discussion : Les échanges avec des personnes représentatives de la population cible peuvent aussi fournir des idées d’items

Question 10

Pourquoi il est très important d’assurer la clarté et pertinence des items?

Answer 10

Il est essentiel que chaque item soit clair, simple et pertinent. Les items ambiguës ou trop complexes risquent de fausser les résultats car les répondants peuvent les interpréter différemment (DeVellis, 2016).

Question 11

Qu’est ce qui est important de garder à l’esprit lorsque l’on créer les items?

Answer 11

Lorsque vous créez les items, il est important de garder à l’esprit les méthodes statistiques qui seront utilisées pour analyser les réponses plus tard (DeVellis, 2016).
On prépare les items pour une analyse future

Question 12

Nommer les 4 élément à prendre en compte lors de la génération d’un ensemble d’items (étape 2)?

Answer 12

1 - Étendue d’item
2 - sources des items
3 - Clarté et pertinence des items
4 - Préparer les items pour une analyse futures

Question 13

Qu’est ce que la fiabilité d’un test à l’étape 3 ou l’on fait l’analyse d’item?

Answer 13

La fiabilité fait référence à la cohérence des items dans le temps et entre les différents répondants. Un item est considéré comme fiable s’il donne des résultats cohérents lorsque mesuré à plusieurs reprises dans les mêmes conditions (DeVellis, 2016).

Question 14

Qu’est ce que la validité des items à l’étape 3 ou l’on fait l’analyse d’item?

Answer 14

La validité est un concept central dans l’évaluation des items. Elle fait référence à la capacité de l’instrument à mesurer ce qu’il est censé mesurer, et cela seulement

Question 15

Qu’est ce qu’une analyse factorielles exploratoire et confirmatoire à l’étape 3 ou l’on fait l’analyse d’item?

Answer 15

L’analyse factorielle est une technique statistique souvent utilisée à cette étape pour déterminer la structure sous-jacente des items. Elle permet d’identifier les dimensions principales d’un ensemble d’items et de regrouper les items qui mesurent des aspects similaires d’un concept (Balbinotti, 2005, 2023). Cela aide à affiner l’instrument et à retirer les items redondants ou moins pertinents.

Question 16

Qu’est ce que la révision des items à l’étape 3 ou l’on fait l’analyse d’item?

Answer 16

Après avoir effectué les analyses de fiabilité, de validité (à l’aide des analyses factorielles), il est souvent nécessaire de «réviser ou éliminer certains items». Les items peu fiables, redondants ou ambigus doivent être modifiés ou supprimés

Question 17

Qu’est ce que le pré-test de l’instrument à l’étape 3 ou l’on fait l’analyse d’item?

Answer 17

Une fois les items révisés, il est important de procéder à un «pré-test de l’instrument» auprès d’un échantillon représentatif de la population cible. Cela permet de s’assurer que les items soient compris de manière cohérente et qu’ils mesurent correctement le concept

Question 18

Quel sont les éléments à prendre en compte dans l’analyse des items à l’étape 4 de la structure interne de l’échelle retravaillé?

Answer 18

1 - Fiabilité des items
2 - Validités des items
3 - Analyse factorielles exploratoire et confirmatoire
4 - Révision des items
5 - Pré-test de l’instrument

Question 19

Qu’est que la fiabilité de l’échelle à l’étape 4 de la structure interne de l’échelle retravaillé?

Answer 19

Une échelle fiable doit produire des résultats constants lorsqu’elle est administrée à plusieurs reprises dans les mêmes conditions (DeVellis, 2016).

De plus, une mesure congénérique (par ex.: alpha ordinal, Omega, fidélité composite, entre autres) quand supérieur à 0,7 est généralement considéré comme «acceptable», en révélant la cohérence des items de l’échelle retravaillée (Balbinotti, 2005, 2023).

Question 20

Qu’est ce que la validité de l’échelle à l’étape 4 de la structure interne de l’échelle retravaillé?

Answer 20

La validation de l’échelle permet de s’assurer que l’instrument mesure bien le concept qu’il est censé mesurer, et cela seulement

Question 21

Qu’est ce qu’une analyse complémentaires à l’étape 4 de la structure interne de l’échelle retravaillé?

Answer 21

À cette étape, des «analyses complémentaires» peuvent être effectuées, telles que des corrélations entre les résultats de l’échelle et d’autres instruments de mesure, afin d’évaluer les premières étapes de la validité basée sur les relations avec d’autres variables (Balbinotti, 2024). Ces analyses peuvent également inclure des tests statistiques tels que l’analyse factorielle confirmatoire (Balbinotti, 2023).

Question 22

Qu’est ce que le réajustement de l’échelle à l’étape 4 de la structure interne de l’échelle retravaillé?

Answer 22

Après avoir évalué la fiabilité et la validité, il peut être nécessaire de réviser à nouveau l’échelle. Les items peu fiables ou ceux qui ne contribuent pas à la validité globale de l’instrument doivent être supprimés ou modifiés

Question 23

Quel sont les 4 éléments important de la structure interne de l’échelle retravaillé (étape 4) ?

Question 24

Qu’est ce que le concept de dimensionalité lors de la détermination de la dimensionalité (étape 5 )?

Answer 24

La dimensionalité fait référence au nombre de «facteurs, composantes ou dimensions» sous-jacents à un ensemble d’items (Balbinotti, 2005, 2023). Un instrument peut être unidimensionnel (ne mesurant qu’un seul concept) ou multidimensionnel (mesurant plusieurs aspects d’un concept)

Question 25

Qu’est ce que l’analyse factorielle exploratoire lors de la détermination de la dimensionalité (étape 5 )?

Answer 25

Technique statistique fréquemment utilisée pour explorer la structure factorielle d’un instrument. Cette technique permet de regrouper les items en fonction des corrélations entre eux et d’identifier les dimensions sous-jacentes

Question 26

Qu’est ce que l’analyse factorielle confirmatoire lors de la détermination de la dimensionalité (étape 5 )?

Answer 26

Une analyse factorielle confirmatoire (AFC) peut être effectuée pour valider la structure factorielle préalablement identifiée (Balbinotti, 2024). L’AFC permet de tester l’adéquation des données à un modèle prédéfini et d’évaluer la pertinence des dimensions identifiées

Question 27

Qu’est ce que l’ajustement des items en fonction des résultats lors de la détermination de la dimensionalité (étape 5 )?

Answer 27

Après les analyses factorielles, certains items peuvent ne pas s’intégrer clairement dans une dimension spécifique ou peuvent être redondants. À ce stade, il pourrait être encore nécessaire de «réviser ou supprimer les items» qui ne contribuent pas de manière significative à la structure factorielle globale de l’instrument (Balbinotti, 2023, 2024).

Question 28

Qu’est ce que l’importance de la multi dimensionnalité de la mesure lors de la détermination de la dimensionalité (étape 5 )?

Answer 28

Dans le cas où un construit (ou concept mesuré) est «multidimensionnel», il est essentiel que chaque dimension soit mesurée de manière adéquate (Balbinotti, 2005). Cela garantit que l’instrument capture toutes les facettes pertinentes du concept étudié (DeVellis, 2016).

Question 29

Quels sont les 4 éléments à prendre en considération lors de la détermination de la dimensionalité (étape 5 )?

Question 30

Qu’est que la révision des items durant l’étape 6, soit à la révision des items et des pré-tests ?

Answer 30

Après la détermination de la dimensionnalité, il est encore important de «réviser les items» pour s’assurer qu’ils sont clairs, non ambigus, et qu’ils mesurent bien les aspects du concept prévus (revisitant la validité basée sur le contenu). Cette révision peut encore impliquer des petits ajustements dans la formulation des items, la suppression d’items redondants ou la réécriture d’items problématiques (Balbinotti, 2005).

Question 31

Qu’est ce que le pré-test de l’instrument durant l’étape 6, soit à la révision des items et des pré-tests?

Answer 31

À cette étape, le pré-test de l’instrument consiste à réadministrer l’instrument révisé à un échantillon issu de la population cible. L’objectif est d’évaluer si les répondants comprennent bien les items révisés et si cette révision permet d’obtenir les résultats attendus (Balbinotti, 2023).

Question 32

Qu’est ce que l’ajustement après le pré-test durant l’étape 6, soit à la révision des items et des pré-tests?

Answer 32

À cette étape, les résultats du pré-test peuvent encore révéler des problèmes inattendus dans l’instrument, tels que des items mal compris ou des échelles de réponse mal adaptées. Sur cette base, il pourrait être nécessaire d’apporter des «ajustements supplémentaires» avant d’administrer l’instrument à une plus grande population

Question 33

Qu’est ce que la collecte de données durant l’étape 6, soit à la révision des items et des pré-tests?

Answer 33

Il est possible d’effectuer une première validation de l’instrument «définitif» sur un nouveau échantillon encore plus large (Balbinotti, 2005). Cette première preuve de «validation initiale» permet de vérifier la structure interne des items (validité et fidélité) avant son utilisation à grande échelle

Question 34

Quels sont les 4 éléments à prendre en compte durant l’étape 6, soit à la révision des items et des pré-tests

Question 35

Qu’est ce que l’administration de l’instrument définitif à l’étape 7 de l’administration de l’instrument final?

Answer 35

L’instrument, après avoir été révisé et pré-testé, est maintenant prêt à être administré à un grand nombre de participants. Cela permet de vérifier comment il fonctionne dans un contexte réel et d’évaluer ses performances psychométriques à une plus grande échelle (Balbinotti, 2023).

Question 36

Qu’est ce que la récolte des données à l’étape 7 de l’administration de l’instrument final?

Answer 36

L’objectif principal de cette étape est de «collecter des données fiables» sur un échantillon large et «représentatif». Ces nouveaux données serviront à confirmer la validité et la fiabilité de l’instrument dans différents contextes et auprès de différentes populations (Balbinotti, 2005).

Question 37

Qu’est ce que l’analyse des résultats à l’étape 7 de l’administration de l’instrument final?

Answer 37

• Vérifier la cohérence interne de l’instrument (par exemple, préférablement via les mesures congénérique – Congeneric measures : Omega, Composite Reliability, et Construct Reliability) (Balbinotti, 2023).
• Confirmer la validité de construit (Balbinotti 2005).
• Examiner la structure factorielle en utilisant des méthodes comme l’analyse factorielle confirmatoire (DeVellis, 2016; Balbinotti, 2024).

Question 38

Qu’est ce que l’évaluation des biais potentiels à l’étape 7 de l’administration de l’instrument final?

Answer 38

Il est également crucial d’identifier et d’évaluer les «biais potentiels» qui pourraient affecter les réponses des participants. Les biais de désirabilité sociale, les biais liés à la formulation des questions ou encore les biais d’échantillonnage peuvent tous avoir un impact sur la qualité des résultats

Question 39

Qu’est ce que les ajustements finaux à l’étape 7 de l’administration de l’instrument final?

Answer 39

Après avoir analysé les données et identifié les éventuels problèmes, des «ajustements finaux» peuvent être apportés à l’instrument. Il peut s’agir encore de modifier certains items ou de réviser l’échelle de réponse afin d’améliorer encore la qualité et l’efficacité de l’instrument (DeVellis, 2016).

Question 40

Quels sont les 5 éléments importants durant l’administration de l’instrument final (Étape 7)?

Question 41

Qu’est ce que l’importance de l’évaluation continue à l’Étape 8 de l’évaluation continue?

Answer 41

L’évaluation continue permet de vérifier si l’instrument conserve sa qualité au fil du temps et s’il peut être utilisé dans des contextes différents. Les conditions d’utilisation peuvent évoluer ou la population cible peut changer, ce qui nécessite une surveillance continue de la performance de l’instrument (Balbinotti, 2023).

Question 42

Qu’est ce que la collecte de donnée dans l’étape 8 dans l’évaluation continue?

Answer 42

Lors de l’utilisation continue de l’instrument, il est important de «collecter régulièrement de nouvelles données» (Balbinotti, 2023, 2024). Ces nouveaux données permettent de vérifier la constance des résultats obtenus avec l’instrument et de tester sa validité dans différents contextes

Question 43

Qu’est ce que la révision de la fiabilité à l’Étape 8 de l’évaluation continue?

Answer 43

La fiabilité de l’instrument peut fluctuer avec le temps ou en fonction des changements dans la population cible. Il est donc nécessaire de réévaluer la consistance interne (par exemple, via le coefficient alpha de Cronbach) et la stabilité test-retest des résultats pour garantir que l’instrument reste fiable

Question 44

Qu’est ce que la réévaluation de la validité à l’Étape 8 de l’évaluation continue?

Answer 44

De la même manière, la «validité» de l’instrument doit être régulièrement réévaluée

Question 45

Quels sont les ajustements et améliorations à faire à l’Étape 8 de l’évaluation continue?

Answer 45

Sur la base de l’évaluation continue, des «ajustements» peuvent être nécessaires pour améliorer l’instrument. Cela peut inclure la révision ou la suppression d’items, ou même l’ajout de nouveaux items pour mieux capter les dimensions émergentes du concept mesuré

Question 46

Quels sont les adaptation à différents contexte à faire à l’Étape 8 de l’évaluation continue?

Answer 46

L’évaluation continue permet aussi d’adapter l’instrument à de nouveaux contextes culturels, linguistiques ou démographiques. Un instrument de mesure peut avoir besoin d’être modifié pour garantir sa validité dans des populations ou des environnements différents de ceux dans lesquels il a été initialement conçu