Cours 8 - post intra

Question 1

Définition des objectifs du test

Answer 1

L’élaboration d’un test commence par une déclaration d’intention (aussi appelée « usage anticipé »).

Question 2

Déclaration consiste en :

Answer 2

• Une description détaillée du construit que mesure le test
• Le public cible du test

Question 3

Une fois le précédent défini, il faut…

Answer 3

vérifier s’il existe déjà un test approprié

Il vaut la peine de prendre le temps de bien vérifier : l’élaboration d’un nouveau test est un travail long, difficile, coûteux…

Question 4

Avant de rédiger les items d’un test, il est nécéssaire de prendre en compte une série de questions préliminaires :

Answer 4

 Le monde d’administration (individuelle VS. en groupe)
 La longueur (nombre d’items, durée, précision)
 Les formats d’items (choix de réponses, vrai-faux, échelle de Likert, à développement)
 Le nombre de scores (score total, scores des dimensions)
 La formation des utilisateurs (administration, correction, interprétation)

La réponse à ces questions peut entraîner une reformulation de l’énoncé d’intention du test…

Question 5

3 raisons principales qui motivent l’élaboration de nouveaux tests :

Answer 5

1. La nécéssité de combler un besoin concret / un besoin pratique
    (p.ex. le test d’intelligence de Binet → échelle de Stanford-Binet → échelle de Wechsler) 2. Apporter des données probantes / soutenir une théorie
2. Apporter des données probantes/ soutenir une théorie
    (p.ex. le Test des aptitudes mentales primaires a été développé pour soutenir la théorie de l’intelligence de Thurstone)
3. Réviser ou adapter des tests existants
    (p.ex. mettre à jour un test, adapter un test à une population particulière, adapter un test dans une autre langue)

Question 6

La préparation des items comprend…

Answer 6

• leur formulation
• leur révision

Question 7

Anatomie d’un item

Answer 7

Stimulus : toute question, phrase, image, etc. qui demande une réponse

Format de réponse : choix multiple, à développement

Conditions de réponse : limite de temps, en papier/en ligne, etc.

Question 8

Items à choix de réponse

Answer 8

choisir parmi 2 ou plus des options de réponse.

o En test de rendement et d’aptitudes : réponses correctes ou incorrectes.

o En test de personnalité, d’intérêt et d’attitudes : réponses qui vont dans une certaine direction (p.ex. plus anxieux, mieux adapté, etc.)

Question 9

Items à développement

Answer 9

la personne n’est pas contrainte de choisir une réponse, elle doit formuler sa propre réponse.

Bien que la réponse soit « libre », elle est soumise à certaines règles (p.ex. limite de temps, réponse orale/par écrit, etc.).

Question 10

La cotation des items à développement s’accompagne de défis particuliers :

Answer 10

Garantir la fidélité inter-juges.
Conceptualise un système de cotation.

Question 11

Avantages des items à choix de réponses

Answer 11

• Fidélité de la cotation
• Optimisation temporelle
• Optimisation de la cotation

Question 12

Avantages des items à développement

Answer 12

o Facilitent l’observation du comportement
o Exploration de certaines zones inhabituelles

Question 13

Analyse items

Answer 13

Analyses statistiques des données obtenues lors de la mise à l’essai des items (prétest)

Question 14

Trois phases de l’analyse d’items

Answer 14

La mise en essai (prétest)
L’analyse statistique
La sélection d’items

Question 15

La mise en essai (prétest)

Answer 15

o Mise en essai informelle (essai auprès de quelques participants)
o Mise en essai formelle (administration à un échantillon de
participants)

Question 16

Il est important de réaliser un prétest afin de :

Answer 16

Obtenir des données préliminaires
Pouvoir identifier des détails importants qui ont pu passer inaperçus lors de la rédaction des items.

Question 17

Analyse statistique en test de rendement ou d’aptitudes

Answer 17

Difficulté de l’item
Pouvoir discriminant de l’item

Question 18

Analyse statistique en test de personnalité, d’attitudes, cliniques

Answer 18

Analyse de la cohérence interne
Analyses factorielles

Question 19

Difficulté de l’item

Answer 19

pourcentage de participants qui ont répondu correctement à l’item. C’est un indice de la « facilité » des items.

o Elle est représentée habituellement comme la « valeur p » (p pour « pourcentage » ou « proportion »)

o P.ex. un item avec une valeur p de 0,85 → 85% de participants y ont répondu correctement.

ATTENTION : ne pas confondre avec la « valeur p » (p-value) utilisée dans les analyses statistiques pour voir si les résultats sont significatifs (p < ,05).

Question 20

Pouvoir discriminant de l’item

Answer 20

capacité de l’item à distinguer divers groupes de participants (individus qui présentent le trait vs. individus qui le présentent moins).

Question 21

Méthode externe

Answer 21

il y a 2 groupes contrastés par rapport au trait mesuré, selon un critère externe

Question 22

Méthode interne

Answer 22

les groupes sont contrastés selon un critère interne : le score au test

Question 23

Le degré de discrimination peut être représenté par la valeur …

Answer 23

la « valeur D » (D pour « différence ») → différence, en pourcentage, des personnes qui répondent correctement à l’item dans chacun des groupes.

P.ex. 80% de réponses correctes dans le groupe 1 et 50% de réponses correctes dans le groupe 2 → 80% - 50% = 30% = valeur D de 0,30.

Question 24

Quel autre indice peut aussi être utilisé pour représenté le degré de discrimination ?

Answer 24

Le coefficient de corrélation bisérial (r) est aussi utilisé: corrélation entre la performance à un item et la performance au score total du test.

Question 25

Analyse de cohérence interne

Answer 25

afin de déterminer si les items sont appropriés (en termes de fidélité)
Corrélation item – score total.
Alpha du score total si un item est éliminé.

Question 26

Analyse factorielle (exploratoire)

Answer 26

afin d’explorer la structure du test
Le nombre de facteurs est théoriquement pertinent ? L’ajout/suppression d’items, comment modifié la structure du test?

Question 27

Sélection des items

Answer 27

il s’agit de choisir, parmi tous les items rédigés et mis à l’essai, ceux qui composeront le test à standardiser.

Question 28

Éléments à considérer dans la sélection des items :

Answer 28

Éléments à considérer :
o Déterminer le nombre d’items
o Déterminer le niveau de difficulté moyen du test (tests de rendement)
o Utiliser des items avec un bon indice de discrimination
o Vérifier si l’ajout/suppression des items modifie l’alpha de Cronbach du score total
o Vérifier comment l’ajout/suppression des items modifie les facteurs du test

Question 29

Étalonnage (ou plan de normalisation)

Answer 29

établissement des normes pour le test / comment les scores vont-ils être interprétés ?

o Pour ce faire, le test est administré à un vaste échantillon de participants, qui sont pris comme groupe de référence.

o Il peut y avoir d’autres recherches connexes qui aident à apporter d’autres données sur les propriétés psychométriques du test (p.ex. une 2e administration pour évaluer la fidélité test-retest, ou calibrer une version alternative du test).

Question 30

Publication d’un test

Answer 30

cela implique de rendre disponible le test (si commercial, par le biais d’une maison d’édition ; si non commercial, par le biais d’un article, p.ex.).

o Le test devrait s’accompagner d’un manuel technique (ou article) contenant : l’objectif du test, sa raison d’être, des renseignements sur sa fidélité, sa validité, et les normes établies pour interpréter les résultats.

o Au moment de sa publication, aucun test ne fait la démonstration infaillible de sa validité…

o La conception d’un test est un processus continu… toute mesure doit être analysée périodiquement afin de déterminer si une révision ou adaptation est nécessaire…

Question 31

Étapes de conception et validation des outils de mesure

Answer 31

1. Planification
2. Opérationnalisation
3. Validation

Question 32

Planification

Answer 32

o Formuler l’objectif de l’outil, et donner une première définition du concept.

o Faire une recension des écrits scientifiques (outils existants, théories, dimensions du concept).

o Si nécessaire, faire appel à des experts dans le concept d’intérêt.

o Formuler une nouvelle définition du concept, en spécifiant les dimensions à mesurer.

Question 33

Opérationnalisation

Answer 33

o Pour chaque dimension retenue, la tâche est de lui attribuer un certain nombre d’items.

o Générer les items (un nombre suffisant)
o Choisir les items (les meilleurs)
o Choisir l’échelle de réponse (approprié pour coter les items)

Question 34

Validation

Answer 34

o Prétester les items auprès de la population cible (étude pilote).

o Évaluer les différents types de fidélité : cohérence interne, fidélité test-retest, fidélité inter-juges

o Évaluer les différents types de validité : apparente, de contenu, de critère, de construit.

o Évaluer la sensibilité au changement et la réactivité clinique.

Question 35

Traduction et adaptation transculturelle

Answer 35

• La traduction et l’adaptation transculturelle d’un outil de mesure est un processus où il est nécéssaire de considérer les aspects de la traduction (linguistiques) et aussi les aspects de l’adaptation contextuelle (culture)

o L’évaluation d’un phénomène peut être réalisée à différents niveaux : intraindividuel, interindividuel, intergroupe, transculturel et transcontextuel.

o Au cours des dernières décennies… mondialisation… nouvelles technologies de communication… monde multiculturel → l’analyse transculturelle ou transcontextuelle est devenue de plus en plus essentielle sur le plan de la recherche…

Question 36

Sources possibles d’erreurs en recherche transculturelle :

Answer 36

 Définitions des concepts → les concepts pourraient ne pas se superposer d’une culture à une autre, seulement certaines dimensions du concept pourraient être pertinentes, absence d’un concept équivalent.

 Idiosyncrasie du contexte → familiarité avec le concept, désirabilité sociale, différences culturelles dans la manifestation du concept.

 Formulation et traduction des items → les items peuvent avoir une signification différente selon le contexte de la personne, ou ne pas exister un sens équivalent.

Question 37

Étapes pour la traduction et l’adaptation transculturelle d’un outil de mesure (6)

Answer 37

1. Traduction
2. Synthèse
3. Traduction inversée
4. Révision par un comité d’expert
5. Prétest du questionnaire
6. Évaluation des qualités psychométriques

Question 38

1. Traduction

Answer 38

Deux traducteurs traduisent de façon indépendante le questionnaire dans la langue ciblée (p.ex. de l’anglais vers le français).

Question 39

2. Synthèse

Answer 39

o Accompagnés par un médiateur, les deux traducteurs font la synthèse des deux traductions.

o Une traduction française qui tient compte des résultats de deux traducteurs est obtenue.

Question 40

3. Traduction inversée

Answer 40

Deux traducteurs retraduisent de façon indépendante la version française du questionnaire, vers la langue d’origine (l’anglais).

o Cette traduction inversée permet de relever des erreurs dans les premières traductions

Question 41

4. Révision par un comité d’expert

Answer 41

• Le comité expert est formé idéalement par le chercheur, les quatre traducteurs, et un expert du domaine ciblé.

o Une révision des questionnaires traduits dans les deux langues (anglais et français), ainsi que du questionnaire original est effectué par le comité expert.

o Chaque élément qui présente un écart ou qui ne fait pas consensus est revu.

o Une version quasi finale du questionnaire en français est produite.

Question 42

5. Prétest du questionnaire

Answer 42

• Un groupe de personnes de la population cible remplit le questionnaire (en français).

o L’objectif est de relever des ambiguïtés dans les items, une incompréhension ou un autre problème éventuel.

o Une révision du questionnaire se fait au besoin, et la version finale est obtenue

Question 43

6. Évaluation de qualités psychométriques

Answer 43

• Évaluer les différents types de fidélité et de validité.

o Analyses factorielles confirmatoires à deux ou plusieurs échantillons.