Mise À L'épreuve D'un Questionnaire Flashcards
Quelles sont les étapes d’élaboration d’un test?
- Préparation du test
- définir l’objectif du test et opérationnaliser le construit
- gérer les items et déterminer le format de réponse
- Analyse de contenu
- révision des items par des experts du domaine
- opinion des experts sur l’opérationnalisation du construit, les items et les tests en général
- Mise à l’épreuve
- analyse d’items (stade informe et stade formel)
- analyse préliminaire de la validité du test
- Étapes subséquentes
- étalonnage
- programme de recherches connexes
- préparation du matériel de testing
Quel est l’objectif de la mise à l’épreuve du questionnaire?
S’effectuer sur un échantillon représentatif de la clientèle. Autrement, la généralisation est difficile. Donc prendre en compte…
- la taille de l’échantillon
- le niveau d’attribut
- les circonstances entourant la sollicitation des participants, etc.
L’analyse d’items comprend deux stades. Quels sont-ils?
Stade informel: analyse basée sur un petit échantillon (n=5 à10) en vue de préparer le stade formel.
Stade formel: basé sur un plus grand échantillon et une variété d’indices statistiques.
À qui revient la décision finale? Pourquoi?
La décision finale revient au chercheur qui élabore l’échelle parce que les experts du domaine;
- n’ont pas nécessairement compris les motifs de l’élaboration du test;
- ne comprennent pas nécessairement les principes sous-jacents à la construction d’une échelle;
- ne sont pas toujours les meilleures personnes pour évaluer le niveau de vocabulaire employé, ni si les énoncés peuvent contenir des biais liés aux sexes ou à l’origine ethnique.
La clarté grammaticale des items, la clarté des consignes, la clarté de l’échelle de réponse, la présentation générale du questionnaire, le temps de réponse, etc. sont des aspects à évaluer dans quel stade de l’analyse d’items?
Stade informel
L’indice de difficulté, les données descriptives (moyennes fréquences), les corrélations inter-items, l’indice de discrimination, les courbes caractéristiques d’items et la cohérence interne sont des aspects de quel stade de l’analyse d’items?
Stade formel
Le ‘‘p’’ utilisé pour représenter l’indice de difficulté réfère à quoi?
Il réfère davantage aux tests à performance maximum, mais il peut aussi se calculer avec un test de personnalité.
- alors le fait d’avoir répondu à l’item dans le même sens que le groupe critère (permet de présenter le construit)
Quels sont les critères d’application de l’indice de difficulté?
- on élimine les items qui sont réussit par tous ou manqués par tous (p=0;p=1)
- on vise habituellement un p=0,5, car cela donne plus de chances de différencier les gens.
- la difficulté moyenne des items dépendra toutefois de l’objectif d’utilisation du test
- dans un test de performance comme un examen, il est toutefois nécessaire d’avoir un niveau hétérogène de difficulté, notamment pour ne pas décourager les gens.
Quels sont les deux indices possibles des données descriptives? Expliquez.
Indices de tendance centrale des items (la moyenne)
- dans l’impossibilité de calculer des p en raison de données non dichotomiques, on consultera les données descriptives des items (moyenne et écart type).
- on vise une moyenne central
Ex. Échelle de réponse variant de 1 à 5, 3 est le point milieu.
- si l’item dispose d’une moyenne centrale, la probabilité que celui-ci discrimine adéquatement les sujets possédant plus fortement un construit, est plus grande.
Indices de dispersion pour chacun des items (écart type)
- on étudie la distribution de fréquence à travers les choix de réponses.
- on vise une distribution s’approchant de la courbe normale
- si l’item dispose d’une distribution de fréquence normale, la probabilité que celui-ci discrimine adéquatement les sujets possédant plus fortement un construit est plus grande.
- on élimine les items qui ne respectent pas ces critères.
Quel est l’objectif de l’analyse et les résultats attendus des corrélation inter-items?
Vise à s’assurer que les items mesurent le même trait tout en n’étant pas trop semblables.
- on doit s’attendre à un minimum de corrélation entre les items.
- si trop faible (ex. r=0.10 et moins), les items ne mesurent pas la même chose.
- si trop élevé (ex. r=0.90 et plus) les items sont trop semblables. Il est donc pas nécessaire d’avoir les deux.
Que doit-on faire lorsqu’on rencontre un problème de corrélations négatives?
S’il s’agit d’un item à performance typique, vérifier si l’item est à sens négatif et s’il a été recodé.
- si l’item a été recodé et que la corrélation est négative avec plusieurs items, éliminer l’item, car il ne va pas dans le même sens que les autres.
S’il s’agit d’un test à performance maximum et que l’item corrèle négativement avec plusieurs autres, retirer l’item.
Quelles sont les deux méthodes de calcul externes de l’indice de discrimination?
Méthode à 2 groupes extrêmes
Méthode à 3 groupes
Expliquez la méthode de calcul externe à 2 groupes extrêmes.
Comparaison de l’endossement des items pour 2 groupes d’individus reconnus pour se distinguer sur la variables d’intérêt selon un critère.
Calcul de l’indice D= % d’endossement du groupe critère - % d’endossement du groupe contrôle (ce qui revient à comparer les indices p des groupes)
On conserve les items qui présentent une différence significative dans le taux d’endossement.
- le seuil de signification de l’indice D est déterminé statistiquement.
- il dépend principalement de la taille des groupes de la fluctuation des scores dans chacun d’eux.
Expliquez la méthode de calcul externe à 3 groupes.
Division de l’échantillon total en trois sous-groupes à partir du score total au test (tiers faible, tiers moyen, tiers fort).
Calcul de l’indice de difficulté (p) pour chacun des groupes
Calcul de l’indice D = p du groupe fort - p du groupe faible
- si l’indice D est plus bas que 0.3, il est préférable d’éliminer l’item
- si l’indice D est négatif et qu’il s’agit d’un item tiré d’un test à performance maximum, l’item est éliminé.
- si l’indice D est négatif et qu’il s’agit d’un item tiré d’un test à performance typique, l’item est éliminé seulement s’il avait été préalablement recodé.
Dans les méthodes de calcul, il existe une méthode interne quelle est-elle? Décrivez là.
La méthode basée sur les corrélations item-total.
- dans un questionnaire, le score total est ce qui se rapproche le plus du construit.
- l’analyse des corrélations item-total est réalisée en fonction de la corrélation item-total corrigée.
- cette statistique retire l’item du score total pour éviter une augmentation artificielle de la corrélation.
- les corrélations de 0.30 et plus, sont généralement considérées convenables, bien que cela dépend aussi du contexte et du construit.
- les items qui corrèlent plus facilement que 0.30 avec le total corrigé sont éliminés.
- ces items ne discriminent pas bien et réduisent généralement l’homogénéité du test.
