Analyse d'items Flashcards
Quelles sont les étapes d’analyse d’items? (3)
1) La mise à l’essai (prétest)
2) Analyse statistique
3) Sélection des items
Définis ce qu’est la mise à l’essai
Il y a 2 types de mise à l’essai:
1) Informelle; on consulte quelques personnes de la population destinée pour leur demander leur point de vue par rapport au test pour savoir s’il fonctionne bien
2) Formelle (3 approches):
1. Échantillon indépendant (approche la plus courante) Échantillon de 100-200 personnes utilisé pour l’analyse des items seulement
2. Ajouts: intégration à des tests existants. On arrive avec un bloc de nouveaux items qu’on compare aux anciens.
3. En continu (tests de rendement) : on change les questions dans toutes les versions du test. On garde un noyau d’items mais on en rajoute un peu à chaque version
* Pour la mise à l’essai, la taille de l’échantillon n’est pas très grande. environ une centaine suffit.
Qu’est-ce que la difficulté de l’item (p)?
P est un indice de facilité où il correspond au pourcentage de personnes qui ont répondu correctement.
Plus p est près de 1, plus l’item est facile. Plus p est près de 0, plus l’item est difficile.
Qu’est-ce que le pouvoir discriminant de l’item? (4)
- Le pouvoir discriminant cherche à répondre à la question suivante : Est-ce que les items distinguent divers groupes de répondants? (*on ne parle pas de discrimination raciale, sexuelle, etc. mais plutôt ceux qui maitrisent un domaine vs ceux qui ne le maitrisent pas)
- Il y a 2 façons pour déterminer le pouvoir discriminant:
- 1) critère externe (ex : les cote r au Cégep. Avoir suivi ou non tel cours)
- 2) critère interne (ex: les meilleurs à l’examen intra) - L’indice de discrimination peut être représenté de diverses façons: D, r, r corrigé, corrélation item-total. Il s’agit de la différence, en pourcentage, des personnes qui réussissent l’item dans chacun des groupes forts et faibles.
- Analyse des distracteurs (ou analyse des mauvaises réponses)
Qu’est-ce que l’analyse factorielle?
C’est une technique d’analyse des items pour les tests où il n’y a pas de bonne ou mauvaise réponse. Elle sert à s’assurer que la réponse à chaque items d’un même sous-construit convergent et n’appartiennent pas à un autre sous-construit. L’ordi utilise une corrélation entre 2 items pour former les sous-construits (sous-construits = facteurs) À cette étape-ci, l’analyse factorielle permet la confirmation de la structure de mon test. Elle permet de dire si l’item est bon pcq il se retrouve dans le bon facteur.
Elle est utilisée durant la conception du test et porte sur les items.
Cette technique est typiquement utilisée dans le domaine non-cognitif
C’est une approche de base.
Qu’est-ce que le fonctionnement différentiel des items?
C’est un autre type d’analyse qui touche les items. On veut s’assurer que les items ne sont pas biaisés. Par exemple, certains items ne permettent pas a tout le monde de s’exprimer de façon équitable. Ex des tests de QI où on posait des questions seulement sur le hockey et où dans certains contextes, seulement les hommes s’y intéressaient.
Comment fait-on pour déterminer si des items sont biaisés?
On propose les items à des représentants des groupes appartenant aux groupes qu’on ne veut pas discriminer.
Sinon, il y a aussi des approches statistiques (analyse de mantel- haenszel), CCI : permet d’avoir une courbe caractéristique de l’item (représentation graphique de l’info que l’item peut nous fournir)
Qu’est-ce que la courbe caractéristique de l’item?
La CCI montre le rapport entre la performance à un certain item et la présence du trait, ou de l’habileté que veut mesurer l’échelle. La performance à l’item est la probabilité de réussir l’item.
Comment analyser les items pour les tests critériés?
….. diapo 23…..
Quels sont les critères de sélection d’un item? (5)
1) Le nombre d’items par score (environ 10 ou plus)
2) Les valeurs du p
- La forme de la distribution selon le but du test.
- On veut que certains questions soient plus faciles que d’autres mais dans certains contextes seulement.
3) L’indice de discrimination (est en relation directe avec l’indice de facilité - indirectement proportionnel)
- La relation entre p et D
4) Considérations quant au contenu (la qualité d’un item est entre autre déterminé par son appartenance au construit)
5) Recyclage (reformuler un item qui est bon mais mal écrit)
Qu’est-ce que la standardisation? (4)
1) Cette étape survient après la confection des items, lorsqu’on est convaincu que notre test fonctionne bien.
2) Cette étape a le but de développer des normes et s’appelle le plan de normalisation ou étalonnage. C’est un procédé de recherche
- la clé: représentativité du groupe de comparaison
3) Il y a aussi le calibrage qui est à faire: entre les formes, niveaux et nouveautés.
4) Études de validité et de fidélité sont requises dans cette étape.
Que contient la version définitive d’un test? (5)
1) le test lui-même
2) les directives de passation
3) le manuel technique
4) les services et fascicules permettant la cotation et l’interprétation du test
5) le matériel supplémentaire (ex: études de cas)
