Cours 8 - post intra Flashcards
Définition des objectifs du test
L’élaboration d’un test commence par une déclaration d’intention (aussi appelée « usage anticipé »).
Déclaration consiste en :
- Une description détaillée du construit que mesure le test
- Le public cible du test
Une fois le précédent défini, il faut…
vérifier s’il existe déjà un test approprié
Il vaut la peine de prendre le temps de bien vérifier : l’élaboration d’un nouveau test est un travail long, difficile, coûteux…
Avant de rédiger les items d’un test, il est nécéssaire de prendre en compte une série de questions préliminaires :
Le monde d’administration (individuelle VS. en groupe)
La longueur (nombre d’items, durée, précision)
Les formats d’items (choix de réponses, vrai-faux, échelle de Likert, à développement)
Le nombre de scores (score total, scores des dimensions)
La formation des utilisateurs (administration, correction, interprétation)
La réponse à ces questions peut entraîner une reformulation de l’énoncé d’intention du test…
3 raisons principales qui motivent l’élaboration de nouveaux tests :
- La nécéssité de combler un besoin concret / un besoin pratique
(p.ex. le test d’intelligence de Binet → échelle de Stanford-Binet → échelle de Wechsler) 2. Apporter des données probantes / soutenir une théorie - Apporter des données probantes/ soutenir une théorie
(p.ex. le Test des aptitudes mentales primaires a été développé pour soutenir la théorie de l’intelligence de Thurstone) - Réviser ou adapter des tests existants
(p.ex. mettre à jour un test, adapter un test à une population particulière, adapter un test dans une autre langue)
La préparation des items comprend…
- leur formulation
- leur révision
Anatomie d’un item
Stimulus : toute question, phrase, image, etc. qui demande une réponse
Format de réponse : choix multiple, à développement
Conditions de réponse : limite de temps, en papier/en ligne, etc.
Items à choix de réponse
choisir parmi 2 ou plus des options de réponse.
o En test de rendement et d’aptitudes : réponses correctes ou incorrectes.
o En test de personnalité, d’intérêt et d’attitudes : réponses qui vont dans une certaine direction (p.ex. plus anxieux, mieux adapté, etc.)
Items à développement
la personne n’est pas contrainte de choisir une réponse, elle doit formuler sa propre réponse.
Bien que la réponse soit « libre », elle est soumise à certaines règles (p.ex. limite de temps, réponse orale/par écrit, etc.).
La cotation des items à développement s’accompagne de défis particuliers :
Garantir la fidélité inter-juges.
Conceptualise un système de cotation.
Avantages des items à choix de réponses
- Fidélité de la cotation
- Optimisation temporelle
- Optimisation de la cotation
Avantages des items à développement
o Facilitent l’observation du comportement
o Exploration de certaines zones inhabituelles
Analyse items
Analyses statistiques des données obtenues lors de la mise à l’essai des items (prétest)
Trois phases de l’analyse d’items
La mise en essai (prétest)
L’analyse statistique
La sélection d’items
La mise en essai (prétest)
o Mise en essai informelle (essai auprès de quelques participants)
o Mise en essai formelle (administration à un échantillon de
participants)
Il est important de réaliser un prétest afin de :
Obtenir des données préliminaires
Pouvoir identifier des détails importants qui ont pu passer inaperçus lors de la rédaction des items.
Analyse statistique en test de rendement ou d’aptitudes
Difficulté de l’item
Pouvoir discriminant de l’item
Analyse statistique en test de personnalité, d’attitudes, cliniques
Analyse de la cohérence interne
Analyses factorielles
Difficulté de l’item
pourcentage de participants qui ont répondu correctement à l’item. C’est un indice de la « facilité » des items.
o Elle est représentée habituellement comme la « valeur p » (p pour « pourcentage » ou « proportion »)
o P.ex. un item avec une valeur p de 0,85 → 85% de participants y ont répondu correctement.
ATTENTION : ne pas confondre avec la « valeur p » (p-value) utilisée dans les analyses statistiques pour voir si les résultats sont significatifs (p < ,05).
Pouvoir discriminant de l’item
capacité de l’item à distinguer divers groupes de participants (individus qui présentent le trait vs. individus qui le présentent moins).
Méthode externe
il y a 2 groupes contrastés par rapport au trait mesuré, selon un critère externe
Méthode interne
les groupes sont contrastés selon un critère interne : le score au test
Le degré de discrimination peut être représenté par la valeur …
la « valeur D » (D pour « différence ») → différence, en pourcentage, des personnes qui répondent correctement à l’item dans chacun des groupes.
P.ex. 80% de réponses correctes dans le groupe 1 et 50% de réponses correctes dans le groupe 2 → 80% - 50% = 30% = valeur D de 0,30.
Quel autre indice peut aussi être utilisé pour représenté le degré de discrimination ?
Le coefficient de corrélation bisérial (r) est aussi utilisé: corrélation entre la performance à un item et la performance au score total du test.
Analyse de cohérence interne
afin de déterminer si les items sont appropriés (en termes de fidélité)
Corrélation item – score total.
Alpha du score total si un item est éliminé.
Analyse factorielle (exploratoire)
afin d’explorer la structure du test
Le nombre de facteurs est théoriquement pertinent ? L’ajout/suppression d’items, comment modifié la structure du test?
Sélection des items
il s’agit de choisir, parmi tous les items rédigés et mis à l’essai, ceux qui composeront le test à standardiser.
Éléments à considérer dans la sélection des items :
Éléments à considérer :
o Déterminer le nombre d’items
o Déterminer le niveau de difficulté moyen du test (tests de rendement)
o Utiliser des items avec un bon indice de discrimination
o Vérifier si l’ajout/suppression des items modifie l’alpha de Cronbach du score total
o Vérifier comment l’ajout/suppression des items modifie les facteurs du test
Étalonnage (ou plan de normalisation)
établissement des normes pour le test / comment les scores vont-ils être interprétés ?
o Pour ce faire, le test est administré à un vaste échantillon de participants, qui sont pris comme groupe de référence.
o Il peut y avoir d’autres recherches connexes qui aident à apporter d’autres données sur les propriétés psychométriques du test (p.ex. une 2e administration pour évaluer la fidélité test-retest, ou calibrer une version alternative du test).
Publication d’un test
cela implique de rendre disponible le test (si commercial, par le biais d’une maison d’édition ; si non commercial, par le biais d’un article, p.ex.).
o Le test devrait s’accompagner d’un manuel technique (ou article) contenant : l’objectif du test, sa raison d’être, des renseignements sur sa fidélité, sa validité, et les normes établies pour interpréter les résultats.
o Au moment de sa publication, aucun test ne fait la démonstration infaillible de sa validité…
o La conception d’un test est un processus continu… toute mesure doit être analysée périodiquement afin de déterminer si une révision ou adaptation est nécessaire…
Étapes de conception et validation des outils de mesure
- Planification
- Opérationnalisation
- Validation
Planification
o Formuler l’objectif de l’outil, et donner une première définition du concept.
o Faire une recension des écrits scientifiques (outils existants, théories, dimensions du concept).
o Si nécessaire, faire appel à des experts dans le concept d’intérêt.
o Formuler une nouvelle définition du concept, en spécifiant les dimensions à mesurer.
Opérationnalisation
o Pour chaque dimension retenue, la tâche est de lui attribuer un certain nombre d’items.
o Générer les items (un nombre suffisant)
o Choisir les items (les meilleurs)
o Choisir l’échelle de réponse (approprié pour coter les items)
Validation
o Prétester les items auprès de la population cible (étude pilote).
o Évaluer les différents types de fidélité : cohérence interne, fidélité test-retest, fidélité inter-juges
o Évaluer les différents types de validité : apparente, de contenu, de critère, de construit.
o Évaluer la sensibilité au changement et la réactivité clinique.
Traduction et adaptation transculturelle
- La traduction et l’adaptation transculturelle d’un outil de mesure est un processus où il est nécéssaire de considérer les aspects de la traduction (linguistiques) et aussi les aspects de l’adaptation contextuelle (culture)
o L’évaluation d’un phénomène peut être réalisée à différents niveaux : intraindividuel, interindividuel, intergroupe, transculturel et transcontextuel.
o Au cours des dernières décennies… mondialisation… nouvelles technologies de communication… monde multiculturel → l’analyse transculturelle ou transcontextuelle est devenue de plus en plus essentielle sur le plan de la recherche…
Sources possibles d’erreurs en recherche transculturelle :
Définitions des concepts → les concepts pourraient ne pas se superposer d’une culture à une autre, seulement certaines dimensions du concept pourraient être pertinentes, absence d’un concept équivalent.
Idiosyncrasie du contexte → familiarité avec le concept, désirabilité sociale, différences culturelles dans la manifestation du concept.
Formulation et traduction des items → les items peuvent avoir une signification différente selon le contexte de la personne, ou ne pas exister un sens équivalent.
Étapes pour la traduction et l’adaptation transculturelle d’un outil de mesure (6)
- Traduction
- Synthèse
- Traduction inversée
- Révision par un comité d’expert
- Prétest du questionnaire
- Évaluation des qualités psychométriques
- Traduction
Deux traducteurs traduisent de façon indépendante le questionnaire dans la langue ciblée (p.ex. de l’anglais vers le français).
- Synthèse
o Accompagnés par un médiateur, les deux traducteurs font la synthèse des deux traductions.
o Une traduction française qui tient compte des résultats de deux traducteurs est obtenue.
- Traduction inversée
Deux traducteurs retraduisent de façon indépendante la version française du questionnaire, vers la langue d’origine (l’anglais).
o Cette traduction inversée permet de relever des erreurs dans les premières traductions
- Révision par un comité d’expert
- Le comité expert est formé idéalement par le chercheur, les quatre traducteurs, et un expert du domaine ciblé.
o Une révision des questionnaires traduits dans les deux langues (anglais et français), ainsi que du questionnaire original est effectué par le comité expert.
o Chaque élément qui présente un écart ou qui ne fait pas consensus est revu.
o Une version quasi finale du questionnaire en français est produite.
- Prétest du questionnaire
- Un groupe de personnes de la population cible remplit le questionnaire (en français).
o L’objectif est de relever des ambiguïtés dans les items, une incompréhension ou un autre problème éventuel.
o Une révision du questionnaire se fait au besoin, et la version finale est obtenue
- Évaluation de qualités psychométriques
- Évaluer les différents types de fidélité et de validité.
o Analyses factorielles confirmatoires à deux ou plusieurs échantillons.
