Cours 11 Flashcards

1
Q

Quelles sont les huit étapes les plus explorés dans la littérature pour construire un instrument de mesure?

A
  1. Détermination de ce que l’on souhaite mesurer;
  2. Génération d’un ensemble d’items;
  3. Analyse des items;
  4. Validation de l’échelle (tests de fiabilité et de validité);
  5. Détermination de la dimensionalité;
  6. Révision des items et pré-tests.
  7. Administration de l’instrument final.
  8. Évaluation continue de la fiabilité et de la validité (après la collecte des données, amélioration continue basée sur les résultats).
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Lors de la première étape, détermination de ce que l’on souhaite mesurer, comment comprendre le concept ou la variable à mesurer?

A

Balbinotti (2005) et plus récemment DeVellis (2016) soulignent l’importance de définir le construit de manière précise et exhaustive. Avant de créer un instrument de mesure, il est essentiel de bien comprendre le concept ou la variable que l’on cherche à évaluer. Cela peut être une variable psychologique (comme l’anxiété, la motivation), sociale (comme la satisfaction au travail) ou physique (comme la fréquence cardiaque). Il est crucial de s’assurer que ce concept soit défini de manière précise et sans ambiguïté pour éviter tout malentendu.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Lors de la première étape, la détermination de ce que l’on souhaite mesurer, qu’est-ce que la conceptualisation et la définition opératoire?

A

Une fois le concept bien compris, il faut le conceptualiser en termes mesurables, c’est-à-dire le traduire en des indicateurs concrets. C’est ce qu’on appelle une définition opératoire. Cette étape consiste à spécifier les manifestations observables (comportements) ou les caractéristiques du concept qui peuvent être évaluées par des indicateurs mesurables.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Dans la première étape, la détermination de ce que l’on souhaite mesurer, qu’est-ce que l’identification des dimensions du concept?

A

Beaucoup de concepts à mesurer ne sont pas unidimensionnels. Ils ont plusieurs dimensions ou facettes. Par exemple, la qualité de vie peut inclure des dimensions physiques, psychologiques, et sociales. Devellis (2016) souligne l’importance de décomposer un concept complexe en ses différentes dimensions pour que chaque aspect puisse être mesuré correctement.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Dans la première étape, la détermination de ce que l’on souhaite mesurer, quelle est l’importance de la clarté conceptuelle?

A

Sans une clarté conceptuelle dès le départ, le processus de développement de l’instrument peut être compromis. Il est possible de créer un instrument qui ne mesure pas réellement ce qu’il est censé mesurer (problème de validité). Par conséquent, il est crucial de consacrer suffisamment de temps et de réflexion à cette étape pour s’assurer que l’instrument sera pertinent et bien construit (Balbinotti, 2023, 2024).

De plus, une mauvaise définition de ce que l’on veut mesurer peut mener à des résultats ambigus, difficiles à interpréter, ou à des conclusions erronées (DeVellis, 2016). Cela peut également affecter la fiabilité de l’instrument, car des items mal formulés peuvent générer des réponses inconsistantes.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Dans la première étape, la détermination de ce que l’on souhaite mesurer, pourquoi avoir la collaboration des experts du domaine?

A

Balbinotti (2005) et Devellis (2016) recommandent aussi d’avoir la collaboration des experts du domaine pour affiner la définition du concept à mesurer. Ces experts peuvent offrir des perspectives théoriques ou pratiques supplémentaires, aidant à clarifier des aspects qui pourraient ne pas être immédiatement évidents pour le développeur de l’instrument.

Les experts peuvent également aider à identifier les dimensions pertinentes du concept, ainsi que les méthodes les plus appropriées pour mesurer chacune de ces dimensions.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Qu’est-ce qu’un item?

A

Un item est généralement une question ou une affirmation à laquelle les répondants doivent réagir. Chaque item est conçu pour capter un aspect particulier du concept à mesurer. Ces items sont ensuite compilés pour former l’instrument de mesure complet (DeVellis, 2016).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Pourquoi faut-il générer un large ensemble d’items lors de la deuxième étape (génération d’un ensemble d’items)?

A

Il est important de générer un large ensemble d’items lors de cette étape, même si tous ne seront pas utilisés dans l’instrument final (DeVellis, 2016). La raison est que le processus de construction d’un bon instrument de mesure passe par une phase de révision et d’élimination des items inefficaces ou redondants.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Quelles peuvent être les sources des items lors de la deuxième étape, la génération d’un ensemble d’items?

A
  • Littérature scientifique : Les recherches antérieures peuvent offrir des exemples d’items qui ont déjà été validés pour mesurer des concepts similaires.
  • Consultation d’experts : Les spécialistes du domaine peuvent aider à générer des items pertinents et adaptés au contexte.
  • Groupes de discussion : Les échanges avec des personnes représentatives de la population cible peuvent aussi fournir des idées d’items (Balbinotti, 2005, 2023).
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Pourquoi faut-il une clarté et pertinence des items à la deuxième étape, la génération d’un ensemble d’items?

A

Il est essentiel que chaque item soit clair, simple et pertinent. Les items ambiguës ou trop complexes risquent de fausser les résultats car les répondants peuvent les interpréter différemment (DeVellis, 2016).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Pourquoi préparer les items pour une analyse future dans la deuxième étape, la génération d’un ensemble d’items?

A

Lorsque vous créez les items, il est important de garder à l’esprit les méthodes statistiques qui seront utilisées pour analyser les réponses plus tard (DeVellis, 2016).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Quels éléments sont compris à la troisième étape, l’analyse des items?

A
  • Fiabilité des items
  • Validité des items
  • Analyses factorielles exploratoire et confirmatoire
  • Révision des items
  • Pré-test de l’instrument
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Qu’est-ce que la fiabilité des items?

A

La fiabilité fait référence à la cohérence des items dans le temps et entre les différents répondants. Un item est considéré comme fiable s’il donne des résultats cohérents lorsque mesuré à plusieurs reprises dans les mêmes conditions (DeVellis, 2016).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Qu’est-ce que la validité des items?

A

La validité est un concept central dans l’évaluation des items. Elle fait référence à la capacité de l’instrument à mesurer ce qu’il est censé mesurer, et cela seulement (Balbinotti, 2005, 2023).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Que sont les analyses factorielles exploratoires et confirmatoires? Que permettent-elles?

A

L’analyse factorielle est une technique statistique souvent utilisée à cette étape pour déterminer la structure sous-jacente des items. Elle permet d’identifier les dimensions principales d’un ensemble d’items et de regrouper les items qui mesurent des aspects similaires d’un concept (Balbinotti, 2005, 2023). Cela aide à affiner l’instrument et à retirer les items redondants ou moins pertinents.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Qu’est-ce que la révision des items lors de l’analyse des items (étape 3)?

A

Après avoir effectué les analyses de fiabilité, de validité (à l’aide des analyses factorielles), il est souvent nécessaire de «réviser ou éliminer certains items». Les items peu fiables, redondants ou ambigus doivent être modifiés ou supprimés (Balbinotti, 2005, 2023).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Que permet un pré-test de l’instrument à la troisième étape (analyse des items)?

A

Une fois les items révisés, il est important de procéder à un «pré-test de l’instrument» auprès d’un échantillon « représentatif » de la population cible. Cela permet de s’assurer que les items soient compris de manière cohérente et qu’ils mesurent correctement le concept (DeVellis, 2016).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Quels éléments sont compris dans la quatrième étape, la structure interne de l’échelle retravaillée?

A
  • Fiabilité de l’échelle
  • Validité de l’échelle
  • Analyses complémentaire
  • Réajustement de l’échelle
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Que comprend le concept de fiabilité de l’échelle dans la quatrième étape, la structure interne de l’échelle retravaillée?

A

Une échelle fiable doit produire des résultats constants lorsqu’elle est administrée à plusieurs reprises dans les mêmes conditions (DeVellis, 2016). De plus, une mesure congénérique (par ex.: alpha ordinal, Omega, fidélité composite, entre autres) quand supérieur à 0,7 est généralement considéré comme «acceptable», en révélant la cohérence des items de l’échelle retravaillée (Balbinotti, 2005, 2023).

20
Q

Que permet la validité de l’échelle?

A

La validation de l’échelle permet de s’assurer que l’instrument mesure bien le concept qu’il est censé mesurer, et cela seulement.

21
Q

Qu’est-ce qu’incluent les analyses complémentaire et que permettent ces analyses à la quatrième étape (structure interne de l’échelle retravaillée) ?

A

À cette étape, des «analyses complémentaires» peuvent être effectuées, telles que des corrélations entre les résultats de l’échelle et d’autres instruments de mesure, afin d’évaluer les premières étapes de la validité basée sur les relations avec d’autres variables (Balbinotti, 2024). Ces analyses peuvent également inclure des tests statistiques tels que l’analyse factorielle confirmatoire (Balbinotti, 2023).

22
Q

Comment effectuer un réajustement de l’échelle dans la quatrième étape (structure interne de l’échelle retravaillée)?

A

Après avoir évalué la fiabilité et la validité, il peut être nécessaire de réviser à nouveau l’échelle. Les items peu fiables ou ceux qui ne contribuent pas à la validité globale de l’instrument doivent être supprimés ou modifiés (DeVellis, 2016; Balbinotti, 2005, 2023).

23
Q

Quels éléments sont compris dans la cinquième étape (détermination de la dimensionalité)?

A
  • Concept de dimensionalité
  • Analyse factorielle exploratoire
  • Analyse factorielle confirmatoire
  • Ajustement des items en fonction des résultats
  • Importance de la multidimensionalité de la mesure.
24
Q

Qu’est-ce que le concept de dimensionalité?

A

La dimensionalité fait référence au nombre de «facteurs, composantes ou dimensions» sous-jacents à un ensemble d’items (Balbinotti, 2005, 2023). Un instrument peut être unidimensionnel (ne mesurant qu’un seul concept) ou multidimensionnel (mesurant plusieurs aspects d’un concept) (DeVellis, 2016).

25
Q

Qu’est-ce que l’analyse factorielle exploratoire?

A

technique statistique fréquemment utilisée pour explorer la structure factorielle d’un instrument. Cette technique permet de regrouper les items en fonction des corrélations entre eux et d’identifier les dimensions sous-jacentes (Balbinotti, 2005, 2023).

26
Q

Qu’est-ce que l’analyse factorielle confirmatoire?

A

Une analyse factorielle confirmatoire (AFC) peut être effectuée pour valider la structure factorielle préalablement identifiée (Balbinotti, 2024). L’AFC permet de tester l’adéquation des données à un modèle prédéfini et d’évaluer la pertinence des dimensions identifiées (DeVellis, 2016; Balbinotti, 2024).

27
Q

Comment et pourquoi faire un ajustement des items en fonction des résultats à l’étape 5 (détermination de la dimensionalité)?

A

Après les analyses factorielles, certains items peuvent ne pas s’intégrer clairement dans une dimension spécifique ou peuvent être redondants. À ce stade, il pourrait être encore nécessaire de «réviser ou supprimer les items» qui ne contribuent pas de manière significative à la structure factorielle globale de l’instrument (Balbinotti, 2023, 2024).

28
Q

Quelle est l’importance de la multidimensionalité de la mesure à l’étape 5 (détermination de la dimensionalité)?

A

Dans le cas où un construit (ou concept mesuré) est «multidimensionnel», il est essentiel que chaque dimension soit mesurée de manière adéquate (Balbinotti, 2005). Cela garantit que l’instrument capture toutes les facettes pertinentes du concept étudié (DeVellis, 2016).

29
Q

Quels éléments sont compris dans la sixième étape, la révision des items et pré-tests?

A
  • Révision des items
  • Pré-test de l’instrument
  • Ajustement après le pré-test
  • Collecte de données
30
Q

Qu’est-ce que la révision des items à la sixième étape (révision des items et pré-tests)?

A

Après la détermination de la dimensionnalité, il est encore important de «réviser les items» pour s’assurer qu’ils sont clairs, non ambigus, et qu’ils mesurent bien les aspects du concept prévus (revisitant la validité basée sur le contenu). Cette révision peut encore impliquer des petits ajustements dans la formulation des items, la suppression d’items redondants ou la réécriture d’items problématiques (Balbinotti, 2005).

31
Q

Qu’est-ce que le pré-test de l’instrument à la sixième étape (révision des items et pré-tests)?

A

À cette étape, le pré-test de l’instrument consiste à réadministrer l’instrument révisé à un échantillon issu de la population cible. L’objectif est d’évaluer si les répondants comprennent bien les items révisés et si cette révision permet d’obtenir les résultats attendus (Balbinotti, 2023).

32
Q

Qu’est-ce que l’ajustement après le pré-test à la sixième étape (révision des items et pré-tests)?

A

À cette étape, les résultats du pré-test peuvent encore révéler des problèmes inattendus dans l’instrument, tels que des items mal compris ou des échelles de réponse mal adaptées. Sur cette base, il pourrait être nécessaire d’apporter des «ajustements supplémentaires» avant d’administrer l’instrument à une plus grande population (Balbinotti, 2005).

33
Q

Qu’est-ce que la collecte de données à la sixième étape (révision des items et pré-tests)?

A

Il est possible d’effectuer une première validation de l’instrument «définitif» sur un nouveau échantillon encore plus large (Balbinotti, 2005). Cette première preuve de «validation initiale» permet de vérifier la structure interne des items (validité et fidélité) avant son utilisation à grande échelle (DeVellis, 2016; Balbinotti, 2005, 2023, 2024).

34
Q

Quels sont les éléments compris dans la septième étape (administration de l’instrument finale)?

A
  • Administration de l’instrument «définitif»
  • Récolte des données
  • Analyse des résultats
  • Évaluation des biais potentiels
  • Ajustements finaux
35
Q

Qu’est-ce que l’administration de l’instrument « définitif » à la septième étape (administration de l’instrument final)?

A

L’instrument, après avoir été révisé et pré-testé, est maintenant prêt à être administré à un grand nombre de participants. Cela permet de vérifier comment il fonctionne dans un contexte réel et d’évaluer ses performances psychométriques à une plus grande échelle (Balbinotti, 2023).

36
Q

Qu’est-ce que la récolte des données à la septième étape (administration de l’instrument final)?

A

L’objectif principal de cette étape est de «collecter des données fiables» sur un échantillon large et «représentatif». Ces nouveaux données serviront à confirmer la validité et la fiabilité de l’instrument dans différents contextes et auprès de différentes populations (Balbinotti, 2005).

37
Q

Qu’est-ce que l’analyse des résultats à la septièmes étape (administration de l’instrument final)?

A
  • Vérifier la cohérence interne de l’instrument (par exemple, préférablement via les mesures congénérique – Congeneric measures : Omega, Composite Reliability, et Construct Reliability) (Balbinotti, 2023).
  • Confirmer la validité de construit (Balbinotti 2005).
  • Examiner la structure factorielle en utilisant des méthodes comme l’analyse factorielle confirmatoire (DeVellis, 2016; Balbinotti, 2024).
38
Q

Qu’est-ce que l’évaluation des biais potentiels à la septième étape (administration de l’instrument final)?

A

Il est également crucial d’identifier et d’évaluer les «biais potentiels» qui pourraient affecter les réponses des participants. Les biais de désirabilité sociale, les biais liés à la formulation des questions ou encore les biais d’échantillonnage peuvent tous avoir un impact sur la qualité des résultats (Balbinotti, 2023).

39
Q

Que sont les ajustements finaux à la septième étape (administration de l’instrument final)?

A

Après avoir analysé les données et identifié les éventuels problèmes, des «ajustements finaux» peuvent être apportés à l’instrument. Il peut s’agir encore de modifier certains items ou de réviser l’échelle de réponse afin d’améliorer encore la qualité et l’efficacité de l’instrument (DeVellis, 2016).

40
Q

Quels éléments sont compris à la huitième étape (évaluation continue - fiabilité et validité)?

A
  • Importance de l’évaluation continue
  • Collecte de nouvelles données
  • Révision de la fiabilité
  • Réévaluation de la validité
  • Ajustements et améliorations
  • Adaptation à différents contextes
41
Q

Quelle est l’importance de l’évaluation continue?

A

L’évaluation continue permet de vérifier si l’instrument conserve sa qualité au fil du temps et s’il peut être utilisé dans des contextes différents. Les conditions d’utilisation peuvent évoluer ou la population cible peut changer, ce qui nécessite une surveillance continue de la performance de l’instrument (Balbinotti, 2023).

42
Q

Qu’est-ce que la collecte de données permet à la huitième étape (évaluation continue - fiabilité et validité)?

A

Lors de l’utilisation continue de l’instrument, il est important de «collecter régulièrement de nouvelles données» (Balbinotti, 2023, 2024). Ces nouveaux données permettent de vérifier la constance des résultats obtenus avec l’instrument et de tester sa validité dans différents contextes (DeVellis, 2016).

43
Q

Pourquoi effectuer une révision de la fiabilité et une réévaluation de la validité à la huitième étape (évaluation continue)?

A

La fiabilité de l’instrument peut fluctuer avec le temps ou en fonction des changements dans la population cible. Il est donc nécessaire de réévaluer la consistance interne (par exemple, via le coefficient alpha de Cronbach) et la stabilité test-retest des résultats pour garantir que l’instrument reste fiable (Balbinotti, 2005, 2023, 2024).

De la même manière, la «validité» de l’instrument doit être régulièrement réévaluée (Balbinotti, 2005, 2023, 2024).

44
Q

Que sont les ajustements et les améliorations à la huitième étape (évaluation continue)?

A

Sur la base de l’évaluation continue, des «ajustements» peuvent être nécessaires pour améliorer l’instrument. Cela peut inclure la révision ou la suppression d’items, ou même l’ajout de nouveaux items pour mieux capter les dimensions émergentes du concept mesuré (Balbinotti, 2023).

45
Q

Qu’est-ce que l’adaptation à différents contextes à la huitième étape (évaluation continue)?

A

L’évaluation continue permet aussi d’adapter l’instrument à de nouveaux contextes culturels, linguistiques ou démographiques. Un instrument de mesure peut avoir besoin d’être modifié pour garantir sa validité dans des populations ou des environnements différents de ceux dans lesquels il a été initialement conçu (DeVellis, 2016).

46
Q

Quels sont les autres éléments importants à considérer?

A

Documentation
La rédaction d’un manuel d’utilisateur:
* Les objectifs pour lesquels il a été créé:
- A quoi serve-t-il ?
- Dans quel contexte sera-t-il utilisé ?
- Que doit-il mesurer ?
- Est-ce une variante d’un test existant?
- Quelle population est concernée ?
- Précision de la forme (individuel, collectif, papier-crayon, internet, etc.)
* Le constructeur doit assumer une responsabilité éthique:
- Les informations du manuel doivent garantir un usage correct du test, dans le respect des principes éthiques.

Spécification des caractéristiques de l’échantillon + passation

Administration (procédures), directives, limites de temps, mode de correction, etc.