cours 11

Question 1

les huit étapes les plus explorés dans la littérature

Answer 1

1.Détermination de ce que l’on souhaite mesurer;
2.Génération d’un ensemble d’items;
3.Analyse des items;
4.Validation de l’échelle (tests de fiabilité et de validité);
5.Détermination de la dimensionalité;
6.Révision des items et pré-tests.
7.Administration de l’instrument final.
8.Évaluation continue de la fiabilité et de la validité (après la collecte des données, amélioration continue basée sur les résultats).

Question 2

1. Détermination de ce que l’on souhaite mesurer:

Answer 2

*Comprendre le concept ou la variable à mesurer
*Conceptualisation et définition opératoire
*Identifier les dimensions du concept
* Importance de la clarté conceptuelle
* Avoir la collaboration des experts du domaine

Question 3

• Comprendre le concept ou la variable à mesurer

Answer 3

• Important de définir le construit (même chose que variable latente)de manière précise et exhaustive. Avant de créer un instrument de mesure, il est essentiel de bien comprendre le concept ou la variable que l’on cherche à évaluer. Cela peut être une variable psychologique (comme l’anxiété, la motivation), sociale (comme la satisfaction au travail) ou physique (comme la fréquence cardiaque). Il est crucial de s’assurer que ce concept soit défini de manière précise et sans ambiguïté pour éviter tout malentendu.

Question 4

• Conceptualisation et définition opératoire

Answer 4

• Cette étape consiste à spécifier les manifestations observables (comportements) ou les caractéristiques du concept qui peuvent être évaluées par des indicateurs mesurables.
• Tout ce qui est variable
• Ex: l’humeur c’est des choses qui ne sont pas directement observable.

Question 5

• Identifier les dimensions du concept

Answer 5

• Beaucoup de concepts à mesurer ne sont pas unidimensionnels. Ils ont plusieurs dimensions ou facettes. Devellis (2016) souligne l’importance de décomposer un concept complexe en ses différentes dimensions pour que chaque aspect puisse être mesuré correctement.
• Par exemple, la qualité de vie peut inclure des dimensions physiques, psychologiques, et sociales.

Question 6

• Importance de la clarté conceptuelle

Answer 6

• Sans une clarté conceptuelle dès le départ, le processus de développement de l’instrument peut être compromis. Il est possible de créer un instrument qui ne mesure pas réellement ce qu’il est censé mesurer (problème de validité). Par conséquent, il est crucial de consacrer suffisamment de temps et de réflexion à cette étape pour s’assurer que l’instrument sera pertinent et bien construit (Balbinotti, 2023, 2024).
• De plus, une mauvaise définition de ce que l’on veut mesurer peut mener à des résultats ambigus, difficiles à interpréter, ou à des conclusions erronées (DeVellis, 2016). Cela peut également affecter la fiabilité de l’instrument, car des items mal formulés peuvent générer des réponses inconsistantes.

Question 7

• Avoir la collaboration des experts du domaine

Answer 7

*Balbinotti (2005) et Devellis (2016) recommandent aussi d’avoir la collaboration des experts du domaine pour affiner la définition du concept à mesurer.

*perspectives théoriques ou pratiques supplémentaires, aidant à clarifier des aspects qui pourraient ne pas être immédiatement évidents pour le développeur de l’instrument.

*Les experts peuvent également aider à identifier les dimensions pertinentes du concept, ainsi que les méthodes les plus appropriées pour mesurer chacune de ces dimensions.

Question 8

2. Génération d’un ensemble d’items

Answer 8

*Qu’est-ce qu’un item ?
*Étendue des items
*Sources des items
*Clarté et pertinence des items
*Préparer les items pour une analyse future

Question 9

-Qu’est-ce qu’un item ?

Answer 9

• Un item est généralement une question ou une affirmation à laquelle les répondants doivent réagir. Chaque item est conçu pour capter un aspect particulier du concept à mesurer. Ces items sont ensuite compilés pour former l’instrument de mesure complet (DeVellis, 2016).

Question 10

• Étendue des items

Answer 10

• Il est important de générer un large ensemble d’items lors de cette étape, même si tous ne seront pas utilisés dans l’instrument final (DeVellis, 2016). La raison est que le processus de construction d’un bon instrument de mesure passe par une phase de révision et d’élimination des items inefficaces ou redondants.

Question 11

*Sources des items

Answer 11

• Littérature scientifique : Les recherches antérieures peuvent offrir des exemples d’items qui ont déjà été validés pour mesurer des concepts similaires.
• Consultation d’experts : Les spécialistes du domaine peuvent aider à générer des items pertinents et adaptés au contexte.
• Groupes de discussion : Les échanges avec des personnes représentatives de la population cible peuvent aussi fournir des idées d’items (Balbinotti, 2005, 2023).

Question 12

• Clarté et pertinence des items

Answer 12

Il est essentiel que chaque item soit clair, simple et pertinent. Les items ambiguës ou trop complexes risquent de fausser les résultats car les répondants peuvent les interpréter différemment (DeVellis, 2016). Il faut faire 5 traductions avant de choisir la manière dont on formule nos items

Question 13

3. Analyse des items

Answer 13

• Fiabilité des items
• Validité des items
• Analyses factorielles exploratoire et confirmatoire (analyse de réduction d’information)
• Révision des items
• Pré-test de l’instrument

Question 14

• Fiabilité des items

Answer 14

• Un item est considéré comme fiable s’il donne des résultats cohérents lorsque mesuré à plusieurs reprises dans les mêmes conditions (DeVellis, 2016).

Question 15

• Validité des items

Answer 15

• Fait référence à la capacité de l’instrument à mesurer ce qu’il est censé mesurer, et cela seulement.
  -On dit maintenant validité de contenu/structure interne)- maintenant on fait le lien avec la fiabilité

Question 16

• Analyses factorielles exploratoire et confirmatoire (analyse de réduction d’information)

Answer 16

• Elle permet d’identifier les dimensions principales d’un ensemble d’items et de regrouper les items qui mesurent des aspects similaires d’un concept. Cela aide à affiner l’instrument et à retirer les items redondants ou moins pertinents.
• Il fit d’avantage avec quelle dimension ou facteur du modèle
• Ex: questionnaire de Beck (20 items: on veut savoir son niveau de dépression pas que le personne pleurs)
• Confirmatoire : c’est confirmer qu’effectivement les items fit dans les résultats

Question 17

• Révision des items

Answer 17

• il est souvent nécessaire de « réviser ou éliminer certains items ». Les items peu fiables, redondants ou ambigus doivent être modifiés ou supprimés (Balbinotti, 2005, 2023).

Question 18

• Pré-test de l’instrument

Answer 18

• Une fois les items révisés, il est important de procéder à un « pré-test de l’instrument » auprès d’un « échantillon représentatif » = entre parenthèses car le prof n’est pas d’accord- il estime que représentatif n’existe pas dans un pré-test(important =oui) de la population cible. Cela permet de s’assurer que les items soient compris de manière cohérente et qu’ils mesurent correctement le concept

Question 19

4. Structure interne de l’échelle retravaillée

Answer 19

• Fiabilité de l’échelle
• Validité de l’échelle
• Analyses complémentaires
• Réajustement de l’échelle

Question 20

• Fiabilité de l’échelle

Answer 20

• Une échelle fiable doit produire des résultats constants lorsqu’elle est administrée à plusieurs reprises dans les mêmes conditions. De plus, une mesure congénérique (caculs basés sur ça) (par ex.: alpha ordinal, Omega, fidélité composite(mode), entre autres) quand supérieur à 0,7 est généralement considéré comme « acceptable », en révélant la cohérence des items de l’échelle retravaillée (Balbinotti, 2005, 2023).

Question 21

• Validité de l’échelle

Answer 21

• La validation de l’échelle permet de s’assurer que l’instrument mesure bien le concept qu’il est censé mesurer, et cela seulement.

Question 22

• Analyses complémentaires

Answer 22

• À cette étape, des « analyses complémentaires » peuvent être effectuées, telles que des corrélations entre les résultats de l’échelle et d’autres instruments de mesure, afin d’évaluer les premières étapes de la validité basée sur les relations avec d’autres variables (Balbinotti, 2024). Ces analyses peuvent également inclure des tests statistiques tels que l’analyse factorielle confirmatoire (genre d’analyse complémentaire) (Balbinotti, 2023).

Question 23

• Réajustement de l’échelle

Answer 23

• Après avoir évalué la fiabilité et la validité, il peut être nécessaire de réviser à nouveau l’échelle. Les items peu fiables ou ceux qui ne contribuent pas à la validité globale de l’instrument doivent être supprimés ou modifiés (DeVellis, 2016; Balbinotti, 2005, 2023). (Changements/adaptations/items à sortir- étapes avance mais le processus revient)

Question 24

5.Détermination de la dimensionalité

Answer 24

• Concept de dimensionalité
• Analyse factorielle exploratoire
• Analyse factorielle confirmatoire
• Ajustement des items en fonction des résultats
• Importance de la multidimensionnalité de la mesure

Question 25

• Concept de dimensionalité

Answer 25

• La dimensionalité fait référence au nombre de « facteurs (synonymes, analyse factorielle), /dimensions (va fit pour les facteurs mais aussi composante) VS composantes(composante principale ( lorsque les comportements déterminent les construits- je pleure constamment car quelque chose me fait pleurer: la dépression) » sous-jacents à un ensemble d’items (Balbinotti, 2005, 2023). Un instrument peut être unidimensionnel (ne mesurant qu’un seul concept) ou multidimensionnel (mesurant plusieurs aspects d’un concept) (DeVellis, 2016).

Question 26

• Analyse factorielle exploratoire

Answer 26

• technique statistique fréquemment utilisée pour explorer la structure factorielle d’un instrument. Cette technique permet de regrouper les items en fonction des corrélations entre eux et d’identifier les dimensions sous-jacentes (Balbinotti, 2005, 2023).

Question 27

• Analyse factorielle confirmatoire

Answer 27

• Une analyse factorielle confirmatoire (AFC) peut être effectuée pour valider la structure factorielle préalablement identifiée (Balbinotti, 2024). L’AFC permet de tester l’adéquation des données à un modèle prédéfini et d’évaluer la pertinence des dimensions identifiées (DeVellis, 2016; Balbinotti, 2024).

Question 28

• Ajustement des items en fonction des résultats

Answer 28

• Après les analyses factorielles, certains items peuvent ne pas s’intégrer clairement dans une dimension spécifique ou peuvent être redondants. À ce stade, il pourrait être encore nécessaire de « réviser ou supprimer les items » qui ne contribuent pas de manière significative à la structure factorielle globale de l’instrument (Balbinotti, 2023, 2024).

Question 29

• Importance de la multidimensionnalité de la mesure

Answer 29

• Dans le cas où un construit (ou concept mesuré) est « multidimensionnel », il est essentiel que chaque dimension soit mesurée de manière adéquate (Balbinotti, 2005). Cela garantit que l’instrument capture toutes les facettes pertinentes du concept étudié (DeVellis, 2016).

Question 30

6. Révision des items et pré-tests

Answer 30

• Révision des items
• Pré-test de l’instrument
• Ajustements après le pré-test (à partir d’ici on s’attend à des items définitifs
• Collecte des Données

Question 31

• Révision des items

Answer 31

• Après la détermination de la dimensionnalité, il est encore important de « réviser les items » pour s’assurer qu’ils sont clairs, non ambigus, et qu’ils mesurent bien les aspects du concept prévus (revisitant la validité basée sur le contenu). Cette révision peut encore impliquer des petits ajustements dans la formulation des items, la suppression d’items redondants ou la réécriture d’items problématiques (Balbinotti, 2005).

Question 32

• Pré-test de l’instrument

Answer 32

• À cette étape, le pré-test de l’instrument consiste à réadministrer l’instrument révisé à un échantillon issu de la population cible. L’objectif est d’évaluer si les répondants comprennent bien les items révisés et si cette révision permet d’obtenir les résultats attendus (Balbinotti, 2023).

Question 33

• Ajustements après le pré-test (à partir d’ici on s’attend à des items définitifs

Answer 33

• À cette étape, les résultats du pré-test peuvent encore révéler des problèmes inattendus dans l’instrument, tels que des items mal compris ou des échelles de réponse mal adaptées. Sur cette base, il pourrait être nécessaire d’apporter des « ajustements supplémentaires » avant d’administrer l’instrument à une plus grande population (Balbinotti, 2005).

Question 34

• Collecte des Données

Answer 34

• Il est possible d’effectuer une première validation de l’instrument « définitif » sur un nouveau échantillon encore plus large (Balbinotti, 2005). Cette première preuve de « validation initiale » permet de vérifier la structure interne des items (validité et fidélité) avant son utilisation à grande échelle (DeVellis, 2016; Balbinotti, 2005, 2023, 2024).

Question 35

7. Administration de l’instrument final

Answer 35

• Administration de l’instrument « définitif » - question espistémologique (la science s’en fiche du vrai (domaine de la télomogie - vrai)
• Récolte des données
• Analyse des résultats
• Évaluation des biais potentiels
• Ajustements finaux

Question 36

• Administration de l’instrument « définitif » - question espistémologique (la science s’en fiche du vrai (domaine de la télomogie - vrai)

Answer 36

• L’instrument, après avoir été révisé et pré-testé, est maintenant prêt à être administré à un grand nombre de participants. Cela permet de vérifier comment il fonctionne dans un contexte réel/vrai et d’évaluer ses performances psychométriques à une plus grande échelle (Balbinotti, 2023).

Question 37

• Récolte des données

Answer 37

• L’objectif principal de cette étape est de « collecter des données fiables » sur un échantillon large et « représentatif ». Ces nouveaux données serviront à confirmer la validité et la fiabilité de l’instrument dans différents contextes et auprès de différentes populations (Balbinotti, 2005).

Question 38

• Analyse des résultats

Answer 38

• Vérifier la cohérence interne de l’instrument (par exemple, préférablement via les mesures congénérique – Congeneric measures : Omega, Composite Reliability, et Construct Reliability) (Balbinotti, 2023).
• Confirmer la validité basé sur la structure interne (Balbinotti 2005).
• Examiner la structure factorielle en utilisant des méthodes comme l’analyse factorielle confirmatoire (DeVellis, 2016; Balbinotti, 2024).

Question 39

• Évaluation des biais potentiels

Answer 39

• Il est également crucial d’identifier et d’évaluer les « biais potentiels » qui pourraient affecter les réponses des participants. Les biais de désirabilité sociale, les biais liés à la formulation des questions ou encore les biais d’échantillonnage peuvent tous avoir un impact sur la qualité des résultats (Balbinotti, 2023).

Question 40

• Ajustements finaux

Answer 40

• Après avoir analysé les données et identifié les éventuels problèmes, des « ajustements finaux » peuvent être apportés à l’instrument. Il peut s’agir encore de modifier certains items ou de réviser l’échelle de réponse afin d’améliorer encore la qualité et l’efficacité de l’instrument (DeVellis, 2016).

Question 41

8. Évaluation continue (fiabilité et validité)

Answer 41

• Importance de l’évaluation continue
• Nouvelle collecte de nouvelles données
• Révision de la fiabilité
• Réévaluation de la validité
• Ajustements et améliorations
• Adaptation à différents contextes

Question 42

• Importance de l’évaluation continue

Answer 42

• L’évaluation continue permet de vérifier si l’instrument conserve sa qualité au fil du temps et s’il peut être utilisé dans des contextes différents. Les conditions d’utilisation peuvent évoluer ou la population cible peut changer, ce qui nécessite une surveillance continue de la performance de l’instrument (Balbinotti, 2023).

Question 43

• Nouvelle collecte de nouvelles données

Answer 43

• Lors de l’utilisation continue de l’instrument, il est important de « collecter régulièrement de nouvelles données » (Balbinotti, 2023, 2024). Ces nouveaux données permettent de vérifier la constance des résultats obtenus avec l’instrument et de tester sa validité dans différents contextes (DeVellis, 2016).

Question 44

• Révision de la fiabilité

Answer 44

• La fiabilité de l’instrument peut fluctuer avec le temps ou en fonction des changements dans la population cible. Il est donc nécessaire de réévaluer la consistance interne (par exemple, via le coefficient alpha de Cronbach) et la stabilité test-retest des résultats pour garantir que l’instrument reste fiable (Balbinotti, 2005, 2023, 2024).

Question 45

• Réévaluation de la validité

Answer 45

• De la même manière, la « validité » de l’instrument doit être régulièrement réévaluée (Balbinotti, 2005, 2023, 2024).
• Les résultats « semblent »…. Car on est pas certain – toujours des erreurs

Question 46

• Ajustements et améliorations

Answer 46

• Sur la base de l’évaluation continue, des « ajustements » peuvent être nécessaires pour améliorer l’instrument. Cela peut inclure la révision ou la suppression d’items, ou même l’ajout de nouveaux items pour mieux capter les dimensions émergentes du concept mesuré (Balbinotti, 2023).

Question 47

• Adaptation à différents contextes

Answer 47

• L’évaluation continue permet aussi d’adapter l’instrument à de nouveaux contextes culturels, linguistiques ou démographiques. Un instrument de mesure peut avoir besoin d’être modifié pour garantir sa validité dans des populations ou des environnements différents de ceux dans lesquels il a été initialement conçu (DeVellis, 2016).

Question 48

à quoi sert un manuel d’utilisateur

Answer 48

Les objectifs pour lesquels le test a été créé:
* A quoi serve-t-il ?
* Dans quel contexte sera-t-il utilisé ?
* Que doit-il mesurer ?
* Est-ce une variante d’un test existant?
* Quelle population est concernée ?
* Précision de la forme (individuel, collectif, papier-crayon, internet, etc.)
* Spécification des caractéristiques de l’échantillon + passation
* Administration (procédures), directives, limites de temps, mode de correction, etc.
* Le constructeur doit assumer une responsabilité éthique:
* Les informations du manuel doivent garantir un usage correct du test, dans le respect des principes éthiques.