Cours 7 - Élaboration d’un questionnaire

Question 1

Définition d’opérationnaliser un construit. (3 éléments)

Answer 1

Traduire le construit en comportements observables, le rendre quantifiable, évaluable. Impliquera de faire un état des connaissances sur le construit et sur son évaluation. Développer un nouvel instrument de mesure devrait répondre à un besoin particulier, à une lacune observée.

Question 2

Il faut consulter la documentation scientifique pour connaître … (4)

Answer 2

1. Les concepts et variables connexes ou liés.
2. Les instruments de mesure du construit et les contraintes d’évaluation.
3. Les comportements permettant d’observer le construit.
4. Les définitions actuelles du construit et les dimensions reconnues.

Question 3

Définir le construit, c’est aussi _______ le construit et __________ le construit.

Answer 3

Spécifier le construit et délimiter le construit.

Question 4

Spécifier le construit, c’est considérer … (2)

Answer 4

1. Considérer la clientèle visée
2. Considérer le contexte d’utilisation

Question 5

En consultant la documentation scientifique, déterminer les variables liées établie … (2)

Answer 5

1. Établir le lien entre le construit et diverses concepts liées
2. Établir le lien entre le construit et d’autres variables.

Question 6

Quand est-ce qu’on dresse un réseau nomologique?

Answer 6

Quand on établie le lien entre le construit et diverses concepts liés.

Question 7

Définition d’une dimension.

Answer 7

Une dimension est une composante du construit, une sous-catégorie de celui-ci.

Question 8

Une dimension est ____ concrète que le construit.

Answer 8

plus concrète

Question 9

Une dimension est plus _______ que l’indicateur.

Answer 9

plus abstraite

Question 10

Vrai ou Faux. Lorsqu’on a identifier les dimensions de notre construit, il n’est pas nécessaire que le définir comme on a fait avec le construit.

Answer 10

Faux. Il importe de les définir de façon concrète.

Question 11

Définition d’un indicateur.

Answer 11

Manifestation concrète d’un construit, il est supposé signaler sa présence.

Question 12

Même s’il est pertinent, un indicateur peut … (2)

Answer 12

1. Signaler la présence d’un construit en son absence.
2. Signaler l’absence du construit en sa présence.

Il est donc toujours imparfait!

Question 13

Puisque l’indicateur est imparfait, il importe donc de … (2)

Answer 13

1. D’inclure plusieurs indicateurs pour évaluer un construit.
2. De considérer la qualité de la mesure.

Question 14

Diverses contraintes sont à prendre en compte lorsque vient le temps de générer les items. Lesquelles? (2)

Answer 14

1. La population à laquelle on s’adresse.
2. Les contraintes pratiques de l’étude

Question 15

Pour assurer la validité ________, les items sont générés en fonction de la définition opérationnelle du construit.

Answer 15

la validité de contenu

Question 16

Pourquoi fait-on un tableau de spécifications?

Answer 16

Pour guider l’élaboration.

Question 17

La redondance de contenu est à la base de la …

Answer 17

de la cohérence interne.

Question 18

Qu’est-ce que la redondance de contenu?

Answer 18

Répétition du contenu véhiculé par un item à d’autres items (idées similaires exprimées en d’autres mots).

Question 19

Vrai ou Faux. Il faut éliminer la redondance de contenu, elle n’est pas nécessaire.

Answer 19

Faux! Elle est à la base de la cohérence interne. Le contenu commun des items s’additionne.

Question 20

Puisque le contenu commun des items s’additionne, le score total au test sera… (2)

Answer 20

1. Moins entaché d’erreurs
2. Plus susceptible de fournir un indice valide du construit

Question 21

Quel sorte de redondance doit-on éliminer?

Answer 21

La redondance inutile (grammaticale)

Question 22

Il est impossible de spécifier le nombre d’items qui devrait être inclus, mais plus on aura d’items… (2)

Answer 22

1. Plus on pourra être sélectif
2. Plus la cohérence interne sera grande.

Question 23

De quoi dépend le nombre d’items? (2)

Answer 23

1. Du construit à mesurer
2. Du format de mesure choisi

Question 24

Vrai ou Faux. Plus le format de mesure permet une grande variabilité dans les scores, plus le nombre d’items requis est grand.

Answer 24

Faux. Plus le nombre d’items requis est petit.

Question 25

Quelles sont les 2 caractéristiques des bons items?

Answer 25

1. Clarté (transparence du construit)
2. Concision (simplicité de lecture)

Question 26

Que signifie la clarté des items?

Answer 26

Il faut éviter les items pour lesquels il subsiste un doute quant au sens en fonction du construit. Il faut reformuler les items peu clairs ou les éliminer.

Question 27

Que signifie la concision des items?

Answer 27

Les phrases plus complexes grammaticalement sont plus difficiles à comprendre et nécessitent un plus haut niveau de lecture. Les phrases brèves peuvent aussi contenir des mots compliqués.

Question 28

Quelles sont les 3 choses qu’il faut éviter pour faire de bons items?

Answer 28

1. Éviter les items à négations multiples
2. Éviter les items à plusieurs idées principales
3. Éviter les items discriminatoires (liés au sexe, culture, ethnie…)

Question 29

Qu’est-ce que la discriminance?

Answer 29

La discriminance est une caractéristique recherchée. Elle signifie qu’un item permet de bien distinguer les individus qui présentent le trait évalué ce ceux qui ne le présentent pas.

Question 30

Pour éviter les biais de réponse ou les contrôler, on … (5)

Answer 30

1. Formule les items d’une certaine façon
2. Privilégie certains formats de mesure
3. Inclut des items particuliers
4. Inclut des échelles de validité de profil
5. Inclut des indices administratifs

Question 31

Quels sont les principaux biais de réponse sont à contrôler ou à détecter? (5)

Answer 31

1. Désirabilité sociale (gestion des impressions)
2. Falsification négative (gestion des impressions)
3. Acquiescement
4. Désapprobation
5. Réponse aléatoire ou incohérence

Question 32

Pour contrôler les biais de réponse, comment bien formuler des items? (2)

Answer 32

1. Formuler des items à sens négatif et d’autres à sens positif (contrôle des biais de oui et de non)
2. Opter pour des formulations moins sujettes à la gestion des impressions.

Question 33

Pour contrôler les biais de réponse, comment bien faire les choix du format de mesure? (2)

Answer 33

1. Éviter d’inclure un choix neutre.
2. Opter pour des items à choix forcé.

Question 34

Qu’est-ce qu’un item tampon?

Answer 34

Item qui traite d’un sujet autre que celui que l’on souhaite mesurer.

Question 35

À quoi les items tampons peuvent être utiles?

Answer 35

Utiles afin de camoufler le but du test, lorsqu’on pense que savoir ce que mesure le test va biaiser la réponse.

Question 36

Quelle est la meilleure façon de contrôler l’acquiescement et la désapprobation?

Answer 36

Inclure un nombre équivalent d’items à sens positif qu’à sens négatif.

Question 37

Comment le participant va répondre s’il fait de la désirabilité sociale? Falsification négative? Réponse aléatoire? Incohérence?

Answer 37

1. Items positifs qui sont rarement endossés ou items négatifs rarement réfutés.
2. Items négatifs rarement endossés ou items positifs rarement réfutés.
3. Items qui ne font pas de sens, si endossés.
4. Ces échelles incluent des paires d’items à contenu hautement compatibles. Si les items d’une paire ne sont pas répondus de façon compatible, c’est incohérent.

Question 38

Qu’est-ce que l’inclusion d’indices administratifs?

Answer 38

Ce sont des patrons de réponses. On calcule le nombre de réponses dans chacune des catégories de réponse possibles. On fait l’analyse de la fluctuation des réponses ensuite. Si c’est hors normes, c’est qu’il y a des biais de réponse (oui, non, aléatoire)

Question 39

Pour le choix du format de mesure, le choix dépendra de…(2)

Answer 39

1. De ce que l’on désire mesurer (accord, intensité…)
2. Du degré de précision que nous voulons

Question 40

Il existe deux types d’échelles de mesure. Nommez les.

Answer 40

1. Échelles différentielles.
2. Échelles additives.

Question 41

Quels types d’échelles de mesure est le plus fréquemment utilisé?

Answer 41

Échelles additives

Question 42

Décrivez les échelles différentielles.

Answer 42

Les items ont un poids différent, ils signalent la présence d’un niveau variable du construit. Le choix d’un item détermine le score de l’individu.

Question 43

Vrai ou Faux. Dans les échelles différentielles, le poids attribué aux items est déterminé a posteriori par une étude de calibration auprès d’experts de contenu.

Answer 43

Faux. a priori

Question 44

Décrivez les échelles additives.

Answer 44

Les items sont additionnés afin de constituer une mesure du construit. Pour chaque item, c’est l’échelle de réponse qui signale la présence plus ou moins forte du construit. Les éléments ont le même poids.

Question 45

Dans les échelles additives, il faut éviter les items extrêmes car ils affecteront ______________ de la mesure.

Answer 45

la cohérence interne

Question 46

Décrivez l’échelle différentielle de type Thurstone.

Answer 46

Le score d’un répondant est déterminé par l’item le plus élevé qui obtient une réponse affirmative dans une liste d’items. Les items à poids variables sont présentés dans le désordre.

Question 47

Décrivez l’échelle différentielle de type Guttman.

Answer 47

Le score d’un répondant à une échelle Guttman est indiqué par l’item le plus élevé qui obtient une réponse affirmative dans une liste d’items. Les items sont présentés en ordre de poids.

Question 48

Quels sont les avantages des échelles différentielles? (2)

Answer 48

1. Mesures considérées à intervalles égaux.
2. Permettent alors un plus grand nombre d’opérations mathématiques

Question 49

Quels sont les désavantages des échelles différentielles? (2)

Answer 49

1. Difficulté de construction: trouver des items à intervalles égaux.
2. S’entendre sur le niveau de l’item, sur sa calibration.

Question 50

Décrivez les échelles additives de type Likert.

Answer 50

Chaque item est une phrase déclarative suivie d’options de réponses à intervalles égaux indiquant des niveaux variables d’endossement.

Question 51

Quels sont les niveaux variables d’endossement? (3) (échelle Likert)

Answer 51

1. Niveau d’occurrence
2. Niveau d’accord
3. Niveau d’intensité

Question 52

Dans l’échelle de Likert, le nombre variable d’options de réponse dépend de … (4)

Answer 52

1. La capacité des sujets à discriminer entre les options
2. La volonté du chercheur à discriminer les niveaux
3. La volonté d’inclure ou non un choix neutre
4. Le type d’études

Question 53

Décrivez les échelles additives de type différenciateur sémantique.

Answer 53

Échelle présentant une liste d’adjectifs pairés. Chacune des paires représente la fin d’un continuum défini par les adjectifs.

Question 54

Dans les échelles de type différenciateur sémantique, les adjectifs peuvent être… (2)

Answer 54

1. bipolaires
2. unipolaires

Question 55

Vrai ou Faux. Dans les échelles de type différenciateur sémantique, les items peuvent être des phrases ou des verbes au lieu d’adjectifs.

Answer 55

Vrai.

Question 56

Décrivez les échelles additives de type analogue visuel.

Answer 56

Ressemblent aux différenciateurs sémantiques. Descripteurs rejoints par une ligne ou sous forme de thermomètre. Pour répondre, le sujet doit faire une marque au point de la ligne qui représente son opinion.

Question 57

En raison de la sensibilité des échelles de type analogue visuel, très utilisé dans les études portant sur…(2)

Answer 57

1. L’évaluation de l’intensité de la douleur.
2. L’évaluation de changements subtils dans le temps.

Question 58

Dans les échelles additives de type analogue visuel, la _________________ est déterminée par le chercheur qui assigne un score aux points de l’échelle.

Answer 58

finesse de différentiation

Question 59

Qu’est-il nécessaire de faire pour les échelles de type analogue visuel, pour faciliter la codification?

Answer 59

Nécessaire de se donner une règle pour la précision, car la codification peut être lourde.

Question 60

Décrivez les échelles additives de type binaire ou dichotomique.

Answer 60

Chaque item est une phrase déclarative suivie de deux options de réponses comme oui/non, vrai/faux, accord-désaccord. Les échelles sont remplies plus rapidement et sont conceptuellement plus simples. Ce sont des échelles qui permettent de moins discriminer les niveaux possibles d’un construit.

Question 61

(Lecture) Qu’est-ce que la déclaration d’intention ou l’usage anticipé d’un test?

Answer 61

Une description détaillée du ou des construits que mesure le test et du public cible. La formulation de ce type de déclaration devrait tenir compte du type d’interprétation que visent ultimement les résultats du test. Tient dans 1-2 phrases.

Question 62

(Lecture) Qu’est-ce qui motive l’élaboration de nouveaux tests (3 raisons principales)?

Answer 62

1. Nécessité de combler un besoin concret.
2. Certains tests sont élaborés à partir d’une base théorique. Souvent ces tests ne servent qu’à la recherche au début mais finissent par servir la psychométrie appliquée.
3. Réviser ou adapter des tests existants donc préparation des nouvelles éditions ou d’adaptations de tests existants. Des tests anglais peuvent aussi être traduits en français, des tests adaptés aux handicapés ou pour les populations particulières.

Question 63

(Lecture) Décrivez les quatre parties d’un item.

Answer 63

1. Le stimulus auquel le candidat répond ou prémisse de l’item. Peut prendre la forme d’une question.
2. Le format de la réponse, ou la méthode. Items à choix de réponses ou à développement.
3. Les conditions gouvernant la façon dont le candidat doit répondre au stimulus. Prévoit s’il y a une limite de temps pour répondre à un item, si un examinateur peut sonder des réponses ambiguës ainsi que le mode de consignation des réponses.
4. Procédure de cotation de réponses ou grilles de cotation. Portion critique: correct ou incorrect.

Question 64

(Lecture) Lorsqu’on parle des items à choix de réponses, qu’entend-on par point d’ancrage?

Answer 64

Le nombre de points d’ancrage est le nombre de choix réponses. Le nombre de points d’ancrage dépend de la volonté du concepteur à permettre l’indécision et dépend aussi de la capacité des examinés à distinguer les nuances entre les divers points d’ancrage et le construit qui est évalué.

Question 65

(Lecture) Quels sont les 3 avantages associés à l’emploi d’items à choix de réponses?

Answer 65

1. Élimine un risque important d’erreur de mesure, car ne demande pas de jugement. La fidélité interjuges est donc parfaite.
2. Optimisation temporelle: plus de temps pour répondre à plus de questions. Répondre à plus d’items = meilleure fidélité = meilleure validité.
3. Optimisation de la cotation: se corrige très rapidement par lecteur optique. Cela ne tient pas compte des défaillances pouvant être attribuables au système de cotation employé ou à l’évaluateur.

Question 66

(Lecture) Quels sont les 3 avantages associés à l’emploi d’items à développement?

Answer 66

1. Facilitent l’observation du comportement et des processus associés au test.
2. Permet d’explorer certaines zones inhabituelles que n’aurait jamais révélées le format à choix de réponses.
3. Favorise approche plus globale et valide de l’étude.

Question 67

(Lecture) La révision des items implique la prise en compte de plusieurs perspectives. Quelles sont les 3 principales perspectives de révision selon Hogan?

Answer 67

1. Révision linguistique s’attardant à la grammaire et à la conformité pour vérifier que les items clairement formulés et qu’ils respectent les règles de rédaction.
2. Révision pour l’exactitude de contenu.
3. Révision pour éliminer toute distorsion possible relative au sexe, à la race ou à l’origine ethnique des répondants.

Question 68

(Lecture) Qu’est-ce que l’analyse d’items et quelles démarches comprend-elle? (3)

Answer 68

Il s’agit de l’analyse statistique des données obtenues lors de la mise à l’essai des items. Les items retenus pour la version définitive d’un test le sont en fonction de l’analyse dont ils font l’objet.

3 démarches étroitement liées : la mise à l’essai, l’analyse statistique et la sélection des items.

Question 69

(Lecture) Décrivez les méthodes interne et externe pour déterminer le pouvoir discriminant d’un item.

Answer 69

Méthode externe : L’élément de base pour la détermination du groupe est externe au test. Nécessite d’avoir 2 groupes contrastés par rapport au trait mesuré selon un critère externe.

Méthode interne : L’élément de base est un critère interne au test. Les groupes sont contrastés selon un critère interne, généralement le score total au test.

Question 70

(Lecture) Qu’est-ce qu’un plan de normalisation ou d’étalonnage et que comprend-il?

Answer 70

C’est qu’une fois le test élaboré et mis à l’essai, le concepteur s’affaire à générer des normes. C’est le plan de normalisation. Commence une fois que les items ont été sélectionnés au terme de l’étape d’analyse. Lorsqu’il est prêt pour l’étalonnage, le test ne doit plus changer sa publication.