Cours 8 - Mise à l’épreuve d’un questionnaire

Question 1

Quelles sont les étapes d’élaboration d’un test? (4)

Answer 1

1. Préparation du test. Définir l’objectif du test et opérationnaliser le construit. Générer les items et déterminer le format de réponse.
2. Analyse de contenu. Révision des items par des experts du domaine. Opinion des experts sur l’opérationnalisation du construit, les items et le test en général.
3. Mise à l’épreuve. Analyse d’items (stade informel et stade formel). Analyse préliminaire de la validité du test (cours validité).
4. Étapes subséquentes. Étalonnage (cours Signification des résultats). Programme de recherches connexes (cours Fidélité/Validité). Préparation du matériel de testing final.

Question 2

Qu’est-ce que l’analyse de contenu?

Answer 2

Procédure s’interrogeant sur la qualité des items et qui vise principalement à maximiser la validité de contenu de l’instrument en développement.

Question 3

Vrai ou faux. L’analyse de contenu implique de consulter un groupe d’experts dans le domaine afin d’évaluer les items du questionnaire.

Answer 3

Vrai. Ils se posent les questions : Est-ce que les items reflètent bien le construit? Est-ce que les items sont bien formulés? Est-ce que le format de réponse convient? Est-ce que les items sont équitables? Est-ce que des biais de réponse sont attendus?

Question 4

Quel est l’objectif de la mise à l’épreuve d’un questionnaire ?

Answer 4

Vise à administrer le test à un grand nombre d’individus pour faire un premier examen des qualités métriques du test en développement.

Question 5

Vrai ou Faux. La mise à l’épreuve d’un questionnaire doit s’effectuer sur un échantillon représentatif de la clientèle visée.

Answer 5

Vrai. Autrement, la généralisation est difficile. Prendre en compte… La taille de l’échantillon, le niveau d’attribut, les circonstances entourant la sollicitation des participants, etc.

Question 6

Qu’est-ce que l’analyse d’items dans la mise à l’épreuve ?

Answer 6

À partir des données cumulées au cours de la mise à l’épreuve, procédure visant à maximiser la fidélité et la validité d’un test en éliminant les items qui sont les moins susceptibles de discriminer les individus qui possèdent le trait évalué de ceux qui le possèdent moins.

Question 7

Quels sont les 2 stades de l’analyse d’items ?

Answer 7

• Stade informel - analyse basée sur un petit échantillon (n=5 à 10) en vue de préparer le stade formel. Sert à voir les petits défauts pour s’ajuster.
• Stade formel - basé sur un plus grand échantillon et une variété d’indices statistiques.

Question 8

Qu’est-ce que l’analyse de validité dans la mise à l’épreuve ?

Answer 8

Suivant une mise à l’épreuve du test, procédure visant à en vérifier la validité en recourant à une multitude de méthodes d’estimation. Peut être réalisée simultanément à l’analyse d’items. On peut vérifier l’effet du retrait d’un item ou de plusieurs sur la validité du test.

Question 9

En fonction de l’usage prévu de l’instrument, et en faisant appel à une multitude d’indices statistiques, on s’intéresse ici à démontrer 4 types de validité. Quelles sont-elles?

Answer 9

1. La validité d’apparence de l’instrument
2. Sa validité critériée
3. Sa validité de construit
4. Sa validité de conséquence.

Question 10

Quels sont les aspects à évaluer dans l’analyse de contenu ? (3)

Answer 10

1. Pertinence de l’item en fonction du construit
2. Clarté grammaticale et format de réponse
3. Analyse de la possibilité des biais

Question 11

Dans l’analyse de contenu, il faut évaluer la pertinence de l’item en fonction du construit, avec l’aide d’experts. Qu’est-il important à cette étape? (4)

Answer 11

1. Nécessité de donner la définition du construit aux experts.
2. Nécessité de décrire le contexte d’utilisation du questionnaire ainsi que la clientèle visée.
3. Demander aux experts d’identifier la pertinence de l’item en fonction du construit ou la dimension sous-jacente.
4. Respect de la structure et des frontières du construit.

Question 12

Dans l’analyse de contenu, il faut vérifier la clarté grammaticale et le format de réponse. Qu’est-il important de vérifier à cette étape? (2)

Answer 12

1. Les items présentent-ils un niveau de lecture adéquat? Selon la clientèle visée.
2. Est-ce que le format de mesure est adéquat? Les juges pourraient suggérer (1)un mode de réponse plus sensible ou plus objectif ou (2)une présentation moins ambiguë des choix de réponses, etc.

Question 13

Dans l’analyse de contenu, il faut faire l’analyse de la possibilité de biais. Qu’est-il important de vérifier à cette étape? (2)

Answer 13

1. Les items sont-ils équitables (biais de genre, biais liés à l’origine ethnique, etc.)?
2. Des biais de réponse sont-ils attendus pour certains d’entre eux (p. ex.: désirabilité sociale?)

Question 14

Vrai ou Faux. Il est optionnel de construire une grille d’analyse des items afin de résumer le point de vue des experts.

Answer 14

Faux, c’est très important de le faire.

Question 15

La décision finale quant aux items revient au chercheur qui élabore l’échelle parce que les experts du domaine… (3)

Answer 15

1. N’ont pas nécessairement compris les motifs de l’élaboration du test.
2. Ne comprennent pas nécessairement les principes sous-jacents à la construction d’une échelle. Ex: la nécessité de redondance.
3. Ne sont pas toujours les meilleures personnes pour évaluer le niveau de vocabulaire employé, ni si les énoncés peuvent contenir des biais liés au sexe ou à l’origine ethnique.

Question 16

Quels sont les aspects à évaluer dans le stade informel? (5)

Answer 16

1. Clarté grammaticale des items
2. Clarté des consignes
3. Clarté de l’échelle de réponse
4. Présentation générale du questionnaire
5. Temps de passation, etc.

Question 17

Quels sont les aspects à évaluer dans le stade formel? (6)

Answer 17

1. Indices de difficulté
2. Données descriptives (moyennes, fréquences)
3. Corrélations inter-items
4. Indices de discrimination
5. Courbes caractéristiques d’items
6. Cohérence interne

Question 18

Quel est la définition de l’indice de difficulté?

Answer 18

Proportion d’individus qui a réussi un item (en %). Indice calculé à partir de mesures dichotomiques seulement. S’exprime à l’aide d’un « p ». Le p varie de 0 à 1. JAMAIS NÉGATIF! À noter que la sommation des p donne la moyenne au test. Le p réfère davantage aux tests à performance maximum, mais il peut aussi se calculer avec un test de personnalité. Il calcule alors le fait d’avoir répondu à l’item dans le même sens que le groupe critère (de présenter le construit).

Question 19

Quels sont les critères d’application pour ce qui est de l’indice de difficulté? (3)

Answer 19

1. On élimine les items qui sont réussis par tous ou manqués par tous (p=0; p=1): Ces items ont peu de chances de différencier les gens.
2. On vise habituellement un p = 0.5 car cela donne plus de chances de différencier les gens.
3. La difficulté moyenne des items dépendra toutefois de l’objectif d’utilisation du test (Ex: Dépistage vs Choix d’une élite) Dans un test de performance comme un examen, il est toutefois nécessaire d’avoir un niveau hétérogène de difficulté.

Question 20

Pour ce qui est des indices de tendance centrales des items (la moyenne), que vise-t-on?

Answer 20

On vise une moyenne centrale. Ex: Échelle de réponse variant de 1 à 5, 3 est le point milieu. Si l’item dispose d’une moyenne centrale, la probabilité que celui ci discrimine adéquatement les sujets possédant plus fortement un construit, est plus grande.

Question 21

Pour ce qui est des indices de dispersion pour chacun des items (l’écart-type), qu’étudie-t-on et que vise-t-on?

Answer 21

1. On étudie la distribution de fréquence à travers les choix de réponses
2. On vise une distribution s’approchant de la courbe normale. Si l’item dispose d’une distribution de fréquence normale, la probabilité que celui ci discrimine adéquatement les sujets possédant plus fortement un construit, est plus grande.

Question 22

Quel est l’objectif de l’analyse de corrélations inter-items?

Answer 22

Vise à s’assurer que les items mesurent le même trait tout en n’étant pas trop semblables.

Question 23

Quel sont les résultats attendus pour ce qui est de l’analyse de corrélations inter-items?

Answer 23

On doit s’attendre à un minimum de corrélation entre les items. Si trop faible (ex: r=0.10 et moins), les items ne mesurent pas la même chose. Des corrélations très élevées ne sont pas nécessairement meilleures. Si trop élevée (ex: r=0.90 et plus), les items sont trop semblables. Il n’est pas nécessaire d’avoir les deux.

Question 24

Dans les corrélations inter-items, quels sont les problèmes des corrélations négatives? (2)

Answer 24

1. S’il s’agit d’un test à performance typique, vérifier si l’item est à sens négatif et s’il a été recodé. Si l’item a été recodé et que la corrélation est négative avec plusieurs items, éliminer l’item car il ne va pas dans le même sens que les autres.
2. S’il s’agit d’un test à performance maximum et que l’item corrèle négativement avec plusieurs autres, retirer l’item.

Question 25

Vrai ou Faux. Dans le cadre des corrélations inter-items, il faut faire un tableau-résumé afin de synthétiser l’information.

Answer 25

Vrai. Les items à retrancher sont déterminés par le nombre de «mauvaises» corrélations observées pour un item.

Question 26

Quelle est la définition de l’indice de discrimination?

Answer 26

Degré auquel un item discrimine correctement les individus en ce qui a trait au construit évalué. Il s’agit de retenir les items qui discriminent le plus en fonction d’un critère. Par exemple: Un questionnaire qui mesure l’efficacité intellectuelle devrait discriminer entre les enfants doués et les enfants non doués. On éliminera les items qui ne permettent pas de le faire.

Question 27

Quelles sont les 3 méthodes de calcul des indices de discrimination?

Answer 27

Méthodes externes;

1. Méthode à 2 groupes extrêmes.
2. Méthode à 3 groupes.

Méthode interne;

3. Méthode basée sur les corrélations item-total.

Question 28

Qu’est-ce que la méthode à 2 groupes extrêmes ?

Answer 28

Comparaison de l’endossement des items pour 2 groupes d’individus reconnus pour se distinguer sur la variable d’intérêt selon un critère externe.

Question 29

Que fait-t-on dans la méthode à 2 groupes extrêmes ?(2)

Answer 29

1. Calcul de l’indice D = % d’endossement du groupe critère – % d’endossement du groupe contrôle (ce qui revient à comparer les indices p des groupes).
2. On conserve les items qui présentent une différence significative dans le taux d’endossement. Le seuil de signification de l’indice D est déterminé statistiquement. Il dépend principalement de la taille des groupes et de la fluctuation des scores dans chacun d’eux.

Question 30

Qu’est-ce que la méthode à 3 groupes?

Answer 30

Division de l’échantillon total en trois sous-groupes à partir du score total au test (tiers faible, tiers moyen, tiers fort).

Question 31

Que fait-t-on dans la méthode à 3 groupes?(2)

Answer 31

1. Calcul de l’indice de difficulté (p) pour chacun des groupes.
2. Calcul de l’indice D = p du groupe fort - p du groupe faible. Si l’indice D est plus bas que 0,3, il est préférable d’éliminer l’item. Si l’indice D est négatif et qu’il s’agit d’un item tiré d’un test à performance maximum, l’item est éliminé. Si l’indice D est négatif et qu’il s’agit d’un item tiré d’un test à performance typique, l’item est éliminé seulement s’il avait été préalablement recodé.

Question 32

Qu’est-ce que la méthode basée sur les corrélations item-total?

Answer 32

Dans un questionnaire, le score total est ce qui se rapproche le plus du construit. L’analyse des corrélations item-total est réalisée en fonction de la corrélation item-total corrigée: Cette statistique retire l’item du score total pour éviter une augmentation artificielle de la corrélation.(parce que l’item corrèle avec lui-même sinon).

Question 33

Dans la méthode basée sur les corrélations item-total, quelles corrélations sont jugées comme convenables ?

Answer 33

Les corrélations de 0,30 et plus, sont généralement considérées convenables, bien que cela dépend aussi du contexte et du construit. Les items qui corrèlent plus faiblement que 0,30 avec le total corrigé sont éliminés. (Ces items ne discriminent pas bien et réduisent généralement l’homogénéité du test.)

Question 34

Toujours dans l’analyse d’item, pour la cohérence interne(fidélité), quel est le niveau alpha requis selon le type de tests? (3)

Answer 34

1. Instrument visant à faire de la recherche, à établir des conclusions face à un groupe (0,65).

2 Instrument servant à évaluer les individus (0,70).

3. Instrument diagnostic ou à grande conséquence (0,90).

Question 35

Quelle est la contribution de l’item à la cohérence interne du test? (2)

Answer 35

1. Pas une analyse de la «fidélité de l’item», mais de la fidélité du test si l’item est enlevé.
2. Le niveau alpha du test sans tenir compte de l’item est calculé: Si l’alpha remonte lorsque l’item est enlevé, c’est que l’item est moins bon que les autres et qu’il nuit à l’homogénéité du test. Si l’alpha descend lorsque l’item est enlevé, c’est que l’item ne devait pas être retranché et qu’il contribue à l’homogénéité du test.

Question 36

Vrai ou Faux. L’alpha du test (dans le bas des tableaux) n’est pas important à prendre en compte.

Answer 36

Faux, on doit le prendre en compte pour le comparer à l’alpha si l’item est enlevé.

Question 37

Vrai ou Faux. Un tableau synthèse peut aider à se faire une idée de la qualité des items.

Answer 37

Vrai.

Question 38

Vrai ou Faux. Les indices permettant l’analyse d’items vont généralement dans le même sens. Plus il y a d’indices incitant à éliminer un item, plus il devrait être éliminé.

Answer 38

Vrai. Il faut enlever les items problématiques pour plus d’un aspect des analyses.

Question 39

Vrai ou Faux. Même pour des raisons cliniques, le concepteur ne peut pas décider de conserver un item, malgré des indices plus faibles.

Answer 39

TOUT À FAIT FAUX. Ex: Item « Je suis victime de mauvais traitement à l’école » dans un instrument visant à évaluer l’attitude face à l’école. L’item dit clinique ne contribue pas au score total, donc même si techniquement on l’enlèverait, on le garde parce que ses aspects cliniques sont parfois importantes à aller vérifier. On veut savoir si l’enfant est victime de mauvais traitement!

Question 40

Vrai ou Faux. Aucun test n’est une mesure parfaite.

Answer 40

Vrai.

Question 41

Dans la décision finale, quels sont les facteurs influençant les résultats de la mise à l’épreuve ? (4)

Answer 41

1. Procédure de sollicitation de l’échantillon de participants.
2. Caractéristiques particulières de l’échantillon (taille, niveau d’attribut, etc.).
3. Procédure ? Facteurs liés au contexte de passation?
4. Facteurs pouvant affecter la fidélité et/ou la validité? Se questionner sur les facteurs ayant pu influencer les résultats observés.

Question 42

Pour les corrélations, quelle est l’étape 1 ?

Answer 42

Formuler une hypothèse. La corrélation devrait-elle être faible, modérée, forte? La corrélation devrait-elle être positive ou négative?

Question 43

Pour les corrélations, quelle est l’étape 2 ?

Answer 43

Vérifier si les résultats sont concordants. Les résultats vont-ils dans le sens de l’hypothèse formulée. Interpréter la corrélation selon les critères de Guilford et en tenant compte du signe (+/-).

Question 44

Pour les corrélations, quelle est l’étape 3 ?

Answer 44

Signification en termes de variance commune. Calculer le coefficient de détermination (r2 * 100). Exprime le pourcentage de variance commune entre les deux variables.

Question 45

Plus un item est facile plus son indice de difficulté est …

Answer 45

élevé. (pourcentage de réussite!)

Question 46

Quels sont les 2 indices les plus importants à prendre en compte dans un résumé de l’analyse d’items?

Answer 46

1. Corrélations item-total
2. Cohérence interne

Question 47

(Lecture) Quels sont les conseils de DeVellis pour s’assurer de définir clairement ce que l’on souhaite mesurer (4 idées principales)?

Answer 47

1. Recourir à la théorie afin de favoriser la clarté de ce que l’on souhaite mesurer
2. Privilégier la spécificité afin de favoriser la clarté de ce que l’on souhaite mesurer
3. Ëtre précis sur le contenu de l’échelle
4. Choisir des items qui reflètent le but de l’échelle

Question 48

(Lecture) Avantages et inconvénients de l’échelle de type Guttman?

Answer 48

Avantages : Peuvent fonctionner assez bien dans des situations où c’est une nécessité logique de répondre positivement à un niveau de la hiérarchie et que celle-ci implique que tous les niveaux inférieurs de la hiérarchie sont similairement endossés.

Inconvénients : Pas bon quand le phénomène d’intérêt n’est pas concret (une personne peut être en accord avec l’item 3, mais pas le 2). + Une relation causale forte entre la variable latente et chacun des items ne peut être postulée.

Question 49

(Lecture) Avantages et inconvénients de l’échelle de type Likert?

Answer 49

Avantages : Hautement compatible avec les modèles théoriques

Inconvénients : pas tous la même définition de « fortement » ou « modérément ». Les deux formulations du point milieu ne veulent pas vraiment dire la même chose.

Question 50

(Lecture) Avantages de l’échelle de différenciateurs sémantiques?

Answer 50

Avantages : Hautement compatible avec les modèles théoriques.

Question 51

(Lecture) Avantages et inconvénients de l’échelle de mesure composées d’analogues visuels?

Answer 51

Avantages : Sensibilité potentielle : mesurer des phénomènes avant et après un événement particulier (intervention/manipulation qui a un effet relativement faible). Utilisées de façon répétée, il est difficile pour le sujet de volontairement rester constant dans le temps (faussant les réponses).

Inconvénients : une marque placée à un point spécifique sur une ligne peut ne pas vouloir dire la même chose pour tous les répondants. Empêche le calcul de la cohérence interne, la fidélité peut seulement être déterminée par la méthode du test-retest ou en la comparant à des mesures reconnues du même construit.

Question 52

(Lecture) Avantages et inconvénients de l’échelle de mesure à options binaires?

Answer 52

Avantages : Très faciles à répondre, donc fardeau du sujet est très faible. Peut permettre au concepteur d’atteindre une variation adéquate dans les scores d’échelles en augmentant le nombre d’items.

Inconvénients : Chacun des items possède une variabilité minimale.

Question 53

(Lecture) Quels sont les 2 types d’items évaluant la validité que le concepteur pourrait inclure dans son questionnaire?

Answer 53

1. Détecter des problèmes avec des réponses ou des biais : Peuvent avoir des motivations qui risquent de fausser leurs réponses.
2. Items qui pourraient être pertinents pour évaluer la validité de construit de l’échelle : offre un appui aux hypothèses de validité ou procure des pistes si la banque d’items ne produit pas les résultats escomptés.