Mise à l'essai d'un questionnaire

Question 1

Quels sont les étapes d’élaboration d’un test?

Answer 1

1. Préparation du test (autre cours)
2. Analyse de contenu (opinion des expert)
3. Mise à l’épreuve (informel, formel)
4. Étapes subséquentes (étalonnage, testing final, recherches connexes)

Question 2

À quoi sert l’analyse de contenu?

Answer 2

Cette procédure vise à s’interroger sur la QUALITÉ DES ITEMS et maximiser la validité de contenu de l’instrument en développement. Pour ce faire, on contacte des experts.

Question 3

À quoi sert la mise à l’épreuve?

Answer 3

Elle vise à administrer le test à un grand nombre d’individus pour faire un premier examen des qualités métriques du test en développement. Elle s’effectue sur un échantillon représentatif de la clientèle visée (taille, niveau d’attribut, circonstance).

Question 4

À quoi sert l’analyse d’items?

Answer 4

Cette procédure vise à maximiser la fidélité et la validité d’un en éliminant les items qui sont les moins susceptibles de discriminer les individus qui possèdent le trait de ceux qui ne le possède pas.

Question 5

Quels sont les deux stades de l’analyse d’items?

Answer 5

1. Stade INFORMEL
   - basé sur un petit échantillon (5 à 10)
   - sert d’analyse qualitative et non stat inférentielle
   - en vue de trouver des coquilles
2. Stade FORMEL
   - basé sur un plus grand échantillon
   - basé sur une variété d’indices statistiques

Question 6

Qu’est-ce qu’un analyse de validité?

Answer 6

Elle suit une mise à l’épreuve du test. Elle vise à vérifier la validité en recourant à une multitude de méthodes d’estimation. On peut y vérifier l’effet du retrait d’un item. On s’intéresse ici à une…

• validité d’apparence de l’instrument
• validité critériée
• validité de construit
• validité de conséquence

Question 7

Quels sont les aspects à évaluer pour faire une analyse de contenu?

Answer 7

PERTINENCE DE L’ITEM

• donner définition du construit à l’expert
• décrire le contexte d’utilisation du questionnaire ainsi que la clientèle visée
• demander aux experts d’identifier la pertinence de l’item en fct du construit
• respect de la structure et des frontièrs

CLARTÉ GRAMMATICALE et FORMAT DE RÉPONSE

• Niveau de lecture adéquat
• Format de mesure adéquat

ANALYSE DE LA POSSIBILITÉ DE BIAIS

• équitabilité
• biais de réponse pour les items?

… tout cela précède la mise à l’épreuve avec un grand groupe

Question 8

Qu’est-ce que comporte la grille d’analyse de contenu afin de résumer le point de vue des experts?

Answer 8

1. But du questionnaire
2. À qui s’adresse le questionnaire
3. Définition et Explication du construit
4. Nommer exemples
5. La consigne générale (demande)
6. Les consignes spécifiques (comment procédé pour évaluer)

Question 9

Pourquoi est-ce que la décision finale quant aux items revient au chercheur qui élabore l’échelle?

Answer 9

Parce que les experts du domaine…

• pas nécessairement compris les motifs
• comprennent pas nécessairement les principes sous-jacents à la construction d’une échelle (redondance)
• pas toujours les meilleures personnes pour évaluer le niveau de vocabulaire ou les questions éthiques

Question 10

Quels sont les aspects à évaluer au stade informel?

Answer 10

1. Clarté grammaticale
2. Clarté des consignes
3. Clarté de l’échelle de réponse
4. Présentation générale du questionnaire
5. Temps de passation

Question 11

Quels sont les aspects à évaluer au stade formel?

Answer 11

1. Indices de difficulté
2. Données descriptives (moyennes, fréquences)
3. Corrélations inter-items
4. Indices de discrimination
5. Courbes caractéristiques d’items
6. Cohérence interne

Question 12

Qu’est-ce qu’un indice de difficulté?

Answer 12

• C’est la proportion d’individus qui RÉUSSI un item en pourcentage.
• (p) qui varie en entre 0 et 1
• la sommation des p donne la moyenne au test
• davantage utilisé dans les tests à performance maximum

Question 13

Quels sont les critères d’application de l’indice de difficulté?

Answer 13

• On élimine les items qui sont réussis par tous ou manqués par tous (0 ou 1)
• On vise habituellement un 0.5
• La difficulté moyenne dépend de l’objectif d’utilisation du test
• On veut que la distribution des scores soit variable (distribution normale)

Question 14

Si l’item dispose d’une moyenne centrale, la probabilité que celui-ci discrimine adéquatement les sujets possédant plus fortement un construit est plus _____.

Answer 14

grande

… La moyenne se situe entre 1 et 5

Question 15

En ce qui concerne l’indice de dispersion, on vise une distribution s’approchant de _____.

Answer 15

la courbe normale.

Question 16

En ce qui concerne la corrélations inter-items, quels sont les objectifs et les résultats attendus?

Answer 16

1. S’assurer que les items mesurent le même trait tout en n’étant pas trop semblables.
2. On doit s’attendre à un minimum de corrélation entre les items (entre 0.10 et 0.90)
3. S’il s’agit d’un test à performance typique, il faut vérifier si l’item est à sens négatif et s’il a été recodé. (soit signal absence du construit ou soit réponse fausse qui donne point vers la gauche)
4. S’il s’agit d’un test à performance maximum et qu’ils corrèlent négativement avec plusieurs items, retirer l’item
5. Selon le principe de redondance minimale, on retire les items en bas de 0 et en haut de 0.90

Question 17

Qu’est-ce qu’un indice de discrimination?

Answer 17

C’est le degré auquel un item discrimine correctement les individus en ce qui a trait au construit évalué. On veut retenir les items qui discriminent le plus en fonction d’un critère

Question 18

Quels sont les trois méthodes de calcul des indices de discrimination?

Answer 18

1. Méthode externe
   - à 2 groupes extrêmes
   - à 3 groupes
2. Méthode interne (plus utilisé)
   - Méthode basée sur les corrélations item-total

Question 19

De quelle méthode s’agit-il?

• Comparaison de l’endossement des items pour 2 groupes d’individus reconnus pour se distinguer sur la variable d’intérêt selon un critère externe.
• Calcul de l’indice D (% d’endossement du groupe critère - % d’endossement du groupe contrôle) ou bien comparer les p des groupes
• On conserve les items qui présentent une différence significative dans le taux d’endossement (seuil de signification souvent 25 mais déterminé statistiquement selon la taille des groupes et la fluctuation des scores dans chacun d’eux)

Answer 19

La méthode à deux groupes

Question 20

De quelle méthode s’agit-il?

• Division de l’échantillon total en trois sous-groupes à partir du score total au test (tiers faible, tiers moyen, tiers fort)
• Calcul de l’indice de difficulté (p) pour chacun des groupes (pourcentage de réussite)
• Calcul de l’indice D (p groupe fort - p groupe faible)
• Si indice est plus bas que 0.3 il est préférable de l’éliminer
• Si indice est négatif et tiré d’un test à performance maximum, item retiré
• Si indice est nég et performance typique, item est éliminé seulement s’il avait été préalablement recodé

Answer 20

Méthode à trois groupes

Question 21

De quelle méthode s’agit-il?

• Dans un questionnaire, le score total est ce qui se rapproche le plus du construit
• L’analyse des corrélations item-total est réalisée en fonction de la corrélation item-total corrigé (on retire l’item du score total pour éviter une augmentation artificielle de la corrélation)
• Corrélations de 0.30 et plus sont convenables

Answer 21

Méthode basée sur les corrélations item-total

Question 22

Qu’est-ce qu’une question feelgood?

Answer 22

Une question qui a un indice de difficulté élevé et un indice de discrimination faible.

Question 23

Selon la cohérence interne (fidélité), quel est le niveau alpha requis selon les types de tests?

Answer 23

• Pour un instrument visant à faire de la recherche = 0,65
• Pour un instrument servant à évaluer les individus = 0,70
• Pour un instrument diagnostic ou à grande conséquence = 0,90

Question 24

Qu’est-ce qui caractérise la contribution de l’item à la cohérence interne du test?

Answer 24

Ce n’est pas une analyse de la fidélité de l’item mais bien de la fidélité du test si l’item est enlevé

• Si niveau alpha remonte lorsque l’item est enlevé = c’est que l’item est moins bon que les autres, qu’il nuit à l’homogénéité

Question 25

Qu’est-ce qui peut aider à prendre la décision finale suite à l’analyse d’item?

Answer 25

1. Un tableau synthèse peut aider à se faire une idée de la qualité des items
2. Les indices permettant l’analyse d’items vont généralement dans le même sens. Plus il y a d’indices incitant à éliminer l’item, plus il devrait être éliminé.
3. Pour des raisons cliniques, le concepteur peut décider de conserver un item, malgré les indices plus faibles (certains sx se traduisent moins bien en indicateurs mais on veut les mesurer)

Question 26

Quels sont les facteurs influençant les résultats à l’analyse d’items?

Answer 26

• Procédure de sollicitation de l’échantillon des participants
• Caractéristiques particulières de l’échantillon de participants (pas en bas de 100)
• Procédure? Les facteurs liés au contexte de passation?
• Facteurs pouvant affecter la fidélité et la validité
• Se questionner sur les facteurs ayant pu influencer les résultats observés

Question 27

Comment procéder à l’analyse de validité?(étapes)

Answer 27

1. Formuler hypothèse
2. Vérifier si les résultats sont concordants
3. Signification en termes de variance commune (coefficient de détermination