Mise à l'épreuve

Question 1

Objectif de le mise à l’épreuve

Answer 1

Administrer un test à plusieurs personnes pour faire un premier examen des qualités métriques

Question 2

Quelles caractéristiques permettent d’avoir un échantillon représentatif? (3)

Answer 2

1) taille de l’échantillon
2) niveau de l’attribut
3) circonstances du recrutement

Question 3

Quel est le but d’une analyse d’items?

Answer 3

Maximiser la validité et la fidélité d’un test en éliminant les items qui sont le moins susceptibles de discriminer les gens qui présentent le trait de ceux qui ne le présentent pas.

Question 4

Quels sont les stades d’une mise à l’épreuve d’analyse d’items? (2)

Answer 4

1) Stade informel

2) Stade formel

Question 5

Quelles sont les caractéristiques des stades de l’analyse d’items? (2/ stade)

Answer 5

1) stade informel: petit échantillon d’environ 10 personnes/ pas de calcul d’indices statistiques
2) stade formel: grand échantillon/ s’appuie sur des calculs d’indices statistiques

Question 6

À quoi sert l’analyse de validité?

Answer 6

vérifier l’effet du retrait d’un item sur la validité du test

Question 7

Quels sont les aspects à évaluer dans l’analyse de contenu? (3)

Answer 7

1) Pertinence de l’item en fonction du construit
2) clarté grammaticale et format de réponses
3) analyser les possibles biais

Question 8

Comment évaluer la pertinence de l’item en fonction du construit? (4)

Answer 8

1) Donner la définition du construit aux experts qui évaluent
2) Décrire le contexte d’utilisation du test et la clientèle visée
3) demander aux experts d’évaluer la pertinence d’un item en fonction du construit ou de la dimension
4) Respecter la structure et les frontières du construit

Question 9

Comment évaluer la clarté grammaticale et les formats de réponses? (2)

Answer 9

1) Niveau de lecture nécessaire à la compréhension

2) Formats de mesure adéquats

Question 10

Quelles sont les recommandations que les experts peuvent émettre concernant les formats de mesures? (2)

Answer 10

1) Choix de réponse plus sensibles ou plus objectifs

2) Présenter des choix de réponse moins ambigues

Question 11

Comment analyser les possibles biais et donner des exemples pour chaque catégorie? (2)

Answer 11

1) est-ce que les items sont équitables? (biais d’ethnicité, de genre)
2) Est-ce que la question favorise les biais? (désirabilité sociale)

Question 12

Le stade informel correspond à quelle étape d’analyse? Quelles sont les aspects à évaluer? (6 éléments)

Answer 12

1) Analyse d’items
2) Clarté grammaticale
3) clarté des consignes
4) Clarté de l’échelle de réponse
5) Présentation générale du questionnaire
6) Temps de passation

Question 13

Le stade formel correspond à quelle étape d’analyse? Quelles sont les aspects à évaluer? (7 éléments)

Answer 13

1) analyse d’items
2) Indices de difficultés
3) Données descriptives (moyennes, fréquences)
4) Corrélations inter-items
5) indices de discrimination
6) Courbes caractéristiques d’items
7) Cohérence interne

Question 14

Les indices de difficulté correspondent à quelle étape d’analyse et à quel stade? (2 éléments)

Answer 14

1) analyse d’items

2) stade formel

Question 15

Comment définit-on l’indice de difficulté? (4)

Answer 15

1) Proportion d’individus qui ont réussis un item
2) calculé à partir d’indices dichotomiques
3) Plus l’item est facile, plus l’indice de difficulté sera élevé.
4) Indice de difficulté s’exprime par «p» et varie entre 0 &1

Question 16

Dans quel contexte on utilise l’indice «p» et quelles sont ses particularités? (3)

Answer 16

1) Indice de difficulté s’exprime par «p» et varie entre 0 &1
2) La sommation des «p» est égale à la moyenne au test
3) Surtout utilisé dans les tests à performance maximale, mais aussi dans les tests de personnalité

Question 17

Quels sont les critères d’application d’un indice «p»? (4)

Answer 17

1) Éliminer les items dont l’indice correspond à 0 ou 1 (réussis ou ratés par tous)
2) viser un «p» de 0.5 car plus de chances de discriminer les gens
3) Établir la difficulté moyenne des items en fonction des objectifs du test (dépister un problème ou sélection d’une élite)
4) dans un examen il est important d’avoir un niveau hétérogène pour ne pas décourager les élèves

Question 18

Les données descriptives correspondent à quelle étape d’analyse et à quel stade? (2 éléments)

Answer 18

1) analyse d’items

2) stade formel

Question 19

Dans quel contexte on utilise les données descriptives et comment on s’en sert? MOYENNE (3)

Answer 19

1) Quand on ne peut pas utiliser l’indice «p» parce que les données ne sont pas dichotomiques
2) Viser une moyenne centrale (3 si les items vont de 1 à 5)
3) Si l’item a une moyenne centrale, il est plus susceptible de discriminer ceux qui ont le construit de ceux qui ne l’ont pas.

Question 20

Dans quel contexte on utilise les données descriptives et comment on s’en sert? ÉCART-TYPE (3)

Answer 20

1) Regarder la distribution de fréquence des réponses choisies
2) viser une distribution s’approchant de la courbe normale
3) Si l’item s’approche d’une distribution normale, il est plus susceptible de discriminer les individus qui présentent le construit de ceux qui ne l’ont pas.

Question 21

Les corrélations inter-items correspondent à quelle étape d’analyse et à quel stade? (2 éléments)

Answer 21

1) analyse d’items

2) stade formel

Question 22

Quels sont les objectifs de la corrélation inter-items et quels scores doit-on s’attendre à avoir? (3)

Answer 22

1) s’assurer que les items mesurent le même trait sans être trop similaires
2) une corrélation de 0.1 signifie que les items ne mesurent pas assez le même trait
3) une corrélation de 0.9 signifie que les items mesurent trop le même trait. (il n’est donc pas nécessaire d’avoir les deux)

Question 23

Quelles sont les particularités des corrélations inter-items? (à quoi doit-on faire attention?) (3)

Answer 23

1) Dans un test à performance typique, il faut faire attention aux items à sens négatifs et vérifier s’ils ont été recodés
2) Si l’item a été recodé, mais qu’il corrèle toujours négativement avec d’autres items il faut l’éliminer parce qu’il ne va pas dans le même sens que les autres
3) Si c’est un test à performance maximum et qu’un item corrèle négativement avec d’autres, il faut le retirer.

Question 24

Les indices de discrimination correspondent à quelle étape d’analyse et à quel stade? (2 éléments)

Answer 24

1) Analyse d’items

2) stade formel

Question 25

Comment définit-on l’indice de discrimination? (2) donner un exemple

Answer 25

1) degré auquel un item discrimine correctement les individus sur le construit d’intérêt
2) Retenir les items qui discriminent le plus en fonction d’un critère
Ex: un questionnaire sur l’efficacité intellectuelle doit être capable de discriminer un enfant qui est doué et un qui est déficient. Les items qui n’aident pas à le faire seront supprimés.

Question 26

Comment calculer un indice de discrimination? Quel est le nom des méthodes et de leurs sous-catégories? (2)

Answer 26

1) Méthodes externes
- à deux groupes extrêmes
- à 3 groupes
2) méthode interne
- basée sur les corrélations item-total

Question 27

Comment fonctionne la méthode à 2 groupes extrêmes?

Elle appartient à quelle catégorie de méthode? (4)

Answer 27

1) Comparer l’endossement des items à l’aide de 2 groupes reconnus pour se distinguer sur la variable d’intérêt selon un critère externe.
2) Calculer l’indice D (% d’endossement du groupe critère et % d’endossement du groupe contrôle)
* même chose que comparer indices «p» des deux groupes*
3) Ne conserver que les items ayant un taux d’endossement significativement différents
4) Appartient à la méthode externe

Question 28

Comment fonctionne la méthode à 3 groupes?

Elle appartient à quelle catégorie de méthode? (4)

Answer 28

1) Diviser l’échantillon en 3 groupes selon leur score total au test (faible/moyen/fort)
2) Calculer l’indice «p» pour chaque groupe
3) calcul de l’indice D= p des forts - p des faibles
- Si D est plus petit que 0,3 préférable d’éliminer l’item
- Si D est négatif et tiré d’un test à performance maximale, préférable retirer l’item
- Si D est négatif et tiré d’un test à performance typique, l’item est retiré juste s’il avait été recodé au préalable
4) Appartient à la méthode externe

Question 29

Comment fonctionne la méthode basée sur les corrélations item-total?
Elle appartient à quelle catégorie de méthode? (4)

Answer 29

1) le score total est celui qui est le plus proche du construit.
2) L’analyse des corrélations item-total est réalisée à partir des corrélations item-total corrigées. (retirer l’item du score total)
- les items qui corrèlent à 0.3 et plus sont convenables
- les items qui corrèlent à moins de 0.3 doivent être éliminés. (ne discriminent pas bien et nuisent à l’homogénéité du test)

Question 30

Les courbes caractéristiques d’items correspondent à quelle étape d’analyse et à quel stade? (2 éléments)

Answer 30

1) analyse d’items

2) stade formel

Question 31

La cohérence interne correspond à quelle étape d’analyse et à quel stade? (2 éléments)

Answer 31

1) analyse d’items

2) stade formel

Question 32

Quel est le niveau alpha minimal requis en fonction du type de test? (3)

Answer 32

1) 0.65: Instruments pour faire de la recherche et des conclusions sur un groupe
2) 0.70: instrument qui évalue des individus
3) 0.90: Instruments pour poser un Dx ou qui a de grandes conséquences

Question 33

À quoi sert de vérifier la cohérence interne? (3)

Answer 33

1) vérifier la fidélité du test si on enlève l’item
2) si l’alpha augmente quand on enlève l’item, c’est que l’item est moins bon et nuit à l’homogénéité
3) si l’alpha diminue quand on enlève l’item, c’est que l’item est bon et contribue à l’homogénéité.

Question 34

La décision finale correspond à quelle étape d’analyse et à quel stade? (2 éléments)

Answer 34

1) analyse d’item

2) stade formel

Question 35

Quel est le processus à suivre pour prendre une décision finale? (2)

Answer 35

1) Possibilité de faire un tableau synthèse des questions du test pour identifier lesquelles sont moins bonnes et lesquelles on doit garder.
2) généralement les autres résultats d’analyse d’items vont dans le même sens