C-Élaboration d'items

Question 1

Quelles sont les étapes de conception d’un test?

Answer 1

1. Définir le but du test
2. Questions de conceptions préliminaires
3. Préparation des items
4. Analyse d’items
   -Indice de difficulté (mesurer par % de réussite)
   -Indice de discrimination
5. Standardisation (analyse factorielle, exploratoire, confirmatoire
6. Publication une publication scientifique pour donner crédibilité)

Question 2

Que veut-dire discriminant dans ce contexte?

Answer 2

Item permet discriminer ceux qui réussissent vs ceux qui ne réussissent pas détermine une question

Question 3

Un item facile ou difficile, lequel est discriminant?

Answer 3

Ni un ni l’autre, un item discriminant est un item qui dit : si réussi, est-ce que les gens réussissent les autres items du test? Si échoué même chose

Question 4

Quels items sont à prendre en considération quand on élabore les objectifs d’un test?

Answer 4

Quel trait ou variable essayons-nous de mesurer ?
Et surtout, avoir défini adéquatement le trait et ses dimensions ! ex. de la depression dans les notes
Penser aux scores que nous obtiendrons
Pathologique (MMPI) vs Non pathologique (BigFive)
Détaillé (ex: MMPI)
Spécifie le public cible
Vérifier si un test existe déjà (gagner du temps)

Question 5

Comment faut-il s’y prendre pour traduire un test?

Answer 5

Méthode de double-traduction!
Pour éviter problème de validité de contenu
Ex. : How I Think Questionnaire / Traducteur 1 : EN au FR
Traducteur 2 : va faire FR à EN

Question 6

Comment un test pourrait-il être administré?

Answer 6

Papier crayon, évalué par un ps?

Question 7

Pourquoi la formation des utilisateur est à considérer?

Answer 7

ex. : compétences de neuropsy pour analyser échelle Weschler

Question 8

ex de format des items

Answer 8

-Choix multiples ou actions ou histoire (ex. : patte noire)

Question 9

Des exemples pour illustrer la considération pour le nombre de scores

Answer 9

Dépressif ou non/sévérité de la depression
Pk MMPI est aussi long parce que tu fais le tour au complet des pathologies, énormément de scores

Question 10

Nomme trois origines des tests qu’on détaillera après

Answer 10

1-Répondre à un besoin pratique
2-Base théorique
3-Révision et adaptation

Question 11

Quel est le besoin pratique dont on parle et quels sont les tests qui ont découlé de ce besoin?

Answer 11

L’éducation, les écoles et l’arée
Binet, Weschler, Woodworth (personnalité), MMPI(patho), Otis (habiletés scolaires)

Question 12

Pourquoi le Binet était un test utile?

Answer 12

établissement du système scolaire en Europe

Question 13

Donne une exemple de base théorique à l’origine des tests?

Answer 13

TAT du Murray (mesurer les motivations des gens) (pour que Murray teste sa théorie)

Question 14

Exemple de révision ou d’adaptation à l’origine des tests

Answer 14

Tests d’intelligence, matériel jugé accessible ou non
(comprehension du matériel ou non, ex. : enveloppes et timbre)
test à revoir….

Question 15

Trois composantes de l’item de test

Answer 15

-Stimulus (la question)
-Format de réponses, conditions (choix de réponses)
-Procédures de cotation
* E.g., Limite de temps

Question 16

Deux types d’échelle choix de réponses

Answer 16

Vrai ou faux (ex. MMPI), choix multiples
Likert (ordinale) ex. p.142,

Question 17

4 considérations possibles pour la cotations des items?

Answer 17

-correct/incorrect (difficulté % de rép. correct)
-Dans une certaine direction (e.g., Tout à fait d’accord, tout à fait en désaccord) (ex. dans likert)
-Donner ou non un choix neutre
-Pondération diverses possibles

Question 18

Est-ce qu’on met un choix neutre ou non dans une échelle de Likert?

Answer 18

Souvent on suggère d’enlever le choix neutre pour forcer la personne à aller d’un côté… personnes qui ont tendance à etre des éternels indécis

Question 19

Exemples d’items à développement

Answer 19

-Essai, question d’examen, performance(évaluation du rendement), portfolio (ensemble des travaux longs)
-Évaluation orale, test projectif

Question 20

Deux problèmes majeurs de la cotation (à développement?)

Answer 20

-Fidélité interjuge
-Schèmes conceptuels

Question 21

3 avantages des choix de réponses

Answer 21

-Fidélité
-Moins de temps (ex. : évaluer bcp de personnes en très peu de temps)
-Optimisation

Question 22

3 avantages des items à développement

Answer 22

-Observation du comportement
ex. : en neuro personnes a-t-elle des stratégies antérieures (lobe frontal/stratégies) ou stratégie postérieures (pariétal/essai-erreur)
-Couverture d’endroits imprévus
-Effets possibles sur les personnes évaluées
Choix de réponses = mémorisation ?
Item à développement = réflexion ?

Question 23

Suggestion pour des bons choix de réponses :

Answer 23

1 contenu précis et 1 seul trait
Ex: Mon cours de psychométrie m’épuise tellement que je me sens dépressif
Quoi répondre ?
Mon cours m’épuise mais je ne me sens pas dépressif
Mon cours ne m’épuise pas mais je me sens dépressif
éviter de tester deux contenus en 2-même temps
2-Simplicité
3-Éviter les Ne pas
4-Éviter les pièges
(car sinon on testerait les capacités de lecture)

Question 24

Les 3 phases de l’analyse d’item?

Answer 24

1. Mise à l’essai de l’item
2. Analyse statistique
3. Sélection

Question 25

Que veut dire la difficulté de l’item
Difficulté de l’item (p-value)

Answer 25

1- correct/incorrect
Note: Jusqu’à quel point l’item est facile ou non
ex. : réussite à combien de %
2- Va dans une certaine direction

Question 26

En gros qu’est-ce que le pouvoir discriminant l’item :

Answer 26

Globalement, est-ce que l’item est réussi surtout par ceux qui maîtrisent bien la matière (ex: ont réussi tout le reste de l’examen)
capacité à distinguer divers groupes de répondants
en général doit permettre de différencier les individus qui présentent davantage le trait qu’il est censé mesurer des individus qui le présentent le moins

Question 27

Qu’est-ce que la valeur p?

Answer 27

degré de difficulté d’un item
plus le p est élevé plus l’item est facile

Question 28

En lien avec difficulté d’un item, que veut dire va dans une direction?

Answer 28

% de bonnes réponses ou DIRECTION pour une question ou il n’y a pas de bonnes ou mauvaise réponse …
ex. : d’accord ou pas d’accord

Question 29

Exemple de critère externe de discrimination

Answer 29

ex. : item J’entends des voix
groupes discriminés, schizophrène, pas schizophrène… (donne le même tiem à deux groupes)

Question 30

critère interne?

Answer 30

score à un test discrimine les groupes

Question 31

Comment écrire l’indice de discrimination

Answer 31

D ou r (corrélation entre note à l’item,note au test) ou D % de diff entre ceux qui réussisent ou pas

Question 32

Quelle équilibre doit-on considérer lorsqu’on fait un test? Élabore des items?

Answer 32

Balance entre couverture de la matière et items discriminants

Question 33

Est-ce que difficile veut nécessairement dire discriminant?

Answer 33

Ex: item tellement difficile mais répondu au hasard par tout le monde

Question 34

Pourquoi je mettrais des items pas si discriminants?

Answer 34

Pour assurer la validité de contenu du cours

Question 35

Comment calculer l’indice de discrimination?

Answer 35

% de gens qui ont mieux réussi le temps qui ont eu bon la réponse - % de personnes qui ont moins bien réussi le test qui ont eu bon la réponse

Question 36

À quoi sert la courbe caractéristique de l’item (CCI) et à quoi sert-elle?

Answer 36

rapport entre la performance à un item et la présente du trait ou de l’habileté que veut mesurer l’échelle

Question 37

Que désgine thêta?

Answer 37

état du trait

Question 38

Valeurs thêta s’étendent de quoi à quoi?

Answer 38

-4 à 4
- nég = trait moins présent ou habileté

Question 39

p.157 courbe G veut dire quoi?

Answer 39

indice de discrimination négatif selon TCT un plus grand nombre du groupe faible de personnes répondent correctement

Question 40

Quel est le test final pour publication du questionnaire?

Answer 40

-Livret du test
-Manuel d’administration
-Manuel technique/ex. WAIS, études sur analyse factorielle…etc
-Fiches pour scores
-Appui d’une publication scientifique pour prevue de validité

Question 41

Se rappeler que…

Answer 41

questionnaire pas figé dans le temps, évolution perpétuelle