cours 10 Flashcards
Quel est le processus de construction d’un instrument de mesure ?
Étape 1 : La determination des utilisations prévues du test
Étape 2 : La définition de ce que l’on souhaite mesurer
Étape 3 : La création des items
Étape 4 : L’évaluation des items
Étape 5 : La détermination des propriétés métriques du test définitif
Qu’est-ce que la détermination des utilisations prévues ?
- Pourquoi je veux faire ce test là
- Le point de départ : un objectif plus général
- Pour ensuite définir, avec plus de précision, les caractéristiques psychologiques (ou dimensions) que le test devra mesurer
La validation du contenu du test repose sur quoi ?
- Précisément sur le travail préalable de définition de ce que l’on veut mesurer
- Dans l’étape de détermination des utilisations prévues
Quelle est la pertinence de la validité de contenu?
- Vérifier les dimensions
- Les gens vont juger de la dimensionnalité entre autre
Pour aider à mieux définir ce que l’on veut mesure, quels sont les 5 processus/méthodes qui peuvent être mis en action ?
- Définition des objectifs pédagogiques
- p. ex., préciser les performances dont les étudants devront être capables à un moment donné de leur formation - L’analyse de contenu des interviews
- Observation direct des comportements
- La méthode des incidents critiques
- La référence à un modèle théorique
Toutes les examens scolaires sont basées sur quelle méthode pour mieux définir ce que l’on souhaite mesurer ?
Définition des objectifs pédagogiques
Qu’est-ce que l’analyse de contenu des interviews ?
- Interviewer des personnes permet de recueillir un grand nombre d’informations qui seront sélectionnées et classées
En quoi l’observation directe des comportements définit ce que l’on souhaite mesurer ?
- Dans certain cas, il est préférable d’observer les sujets dans leur milieu de vie ou de travail
- Les indices que les comportements laissent
- Au Brésil, les chercheurs habitent avec les gens pendant 10 ans = batissent leur théorie/questionnaire à partir de ça
Dans la réalité, lorsqu’un questionnaire est valide, qu’est-ce que ça signifie ?
Que la théorie à laquelle est basé le questionnaire est valide
En quoi la méthode des incidents critiques définit ce que l’on souhaite mesurer ?
- On demande aux supérieurs de décrire des situations de travail où les employés ont agi de manière particulièrement efficace (ou inefficace)
- Ces comportements critiques sont mis en évidence pour construire des items
Selon la méthode des incidents critiques qu’est-ce que des incidents critiques ?
Àgir de manière efficace ou inefficace
En quoi la référence à un modèle théorique définit ce que l’on souhaite mesurer ?
- Cette méthode ne part pas de l’expérience, mais d’un modèle de la réalité
- Construit au cours de la recherches antérieurs
- Batir notre idée sur un modèle théorique et définir davantage ce que l’on veut mesurer
Quelle est la méthode la plus utiliser pour définir ce que l’on souhaite mesurer ?
- La référence à un modèle théorique
- 99% des chercheurs utilisent pour élaborer un instrument
Quelle était la citation de Gallup par rapport à la création des items ?
- Trop d’attention a été accordée à la constitution des échantillons et trop peu à la création des questions.
- Des différences dans la construction des questions conduisent souvent à des résultats qui présentent de plus grandes variations que celles habituellement observées en fonction des différentes techniques d’échantillonnage
Que signifiait la citation de Gallup ?
- Les gens se préoccupent trop de l’échantillon des personnes et peu à l’échantillon d’items
- Dépendamment de la création de mon item, ça devient un élément assez complexe
- En 1947 et c’est encore un problème pcq les gens accordent beaucoup d’attention au nombre de personnes et non au nombre d’items
- Alors que Gallup a mentionner d’accorder l’attention su rle nombre d’items et non le nombre de personne
Quelle est l’étape la plus complexe de la création d’un instrument de mesure et pourquoi ?
- La création des items
- Pcq il faut vraiment essayer de représenter les comportements que l’on veut mesurer
- Si je mets une virgule à mon item, ça peut changer le sens de ma question
- Augmenter la variabilité artificiellement (les indices de corrélation) en faisant une sous-échelle dans une échelle
Que faut-il clarifier dans la création des items ?
- Le formation des items
- Le niveau de difficulté des items
- La quantité d’items qu’il faut créer
En quoi le format des items influence la création des items ?
- Questions ou affirmation
- style de réponse ; ouvert, dichotomique, likert, etc.
Est-ce qu’il y existe un meilleur format des items ?
- Non, il n’y a pas de meilleur format
- Un format est bon s’il est adéquat au but et à la situation d’évaluation (à la population qui y répond)
- Le meilleur format d’item dépend de comment la population comprend l’item
En quoi le niveau de difficultés des items influence la création des items ?
- Dépend de l’objectif du test
- Dépend de la nature des informations que l’on désir recueillir ; population générale ou spécifique)
Le niveau de difficulté des items touchent quoi ?
- Les gens qui ont de la difficulté à répondre correctement
- Difficulté d’accorder correctement que c’est positif la réponse
En quoi l’échelle de type Likert est problématique quant au niveau de difficutlé des items ?
- Il n’y a pas de bonne et de mauvaise réponse ; Difficile d’accord un pointage élevé
- Difficulté de répondre positivement aux questions Likert
En quoi la quantité d’items qu’il faut créer influence la création des items ?
Dépend de plusieurs facteurs
- Durée du test
- Niveau de fidélité désiré
Si le test final doit contenu autour de 10 items, initialement il faut construit combien d’items ?
- 30, 40, 50.. ou plus
- Pcq je vais choisir les meilleurs, la décision de les garder est une décision arbitraires/subjectif de le garder ou non
Selon la création des items, qu’est-ce que la théorie de base nous indique ?
- Théorie de base = contenus théorique à explorer
- Si la théorie de base nous indique beaucoup de choses = créer beaucoup d’items
En quoi la durée du test influence la quantité d’items et donc la création d’items ?
- si en anglais j’ai 1 min pour répondre à la question, mais en français c’est plus de mot pour comprendre la question
- Est-ce que ça dérange que le test soit long ?
En quoi le niveau de fidélité influence la quantité d’items et donc la création des items ?
- Si j’augmente le nombre de questions = j’augmente artificiellement le niveau de fidélité
- Manipuler l’information pour trouver des calculs de fidélité élevé = avoir beaucoup soit de personnes (par convention) ou d’items
- Pour que mon attention soit sur les items, je dois bien représenter les comportements des personnes
La valeur diagnostique du test est basé sur quoi ?
- Basé sur la capacité d’élaborer des items
Si on a 2 items qui mesurent la même chose que fait-on et pourquoi ?
- corrélation parfaite ou très élevée (0.85/0.87)
- direction de l’économie mentale = exposer les gens à répondre plusieur fois à la même chose
- supprime puisque la variance de l’item supprimé est déjà expliqué par la sommes de plusieurs autres items
- Ce n’est pas éthique à plusieurs niveau (Sens de la personne pour ne pas faitguer + sens de la fidélité de mon questionnaire
- A moins que c’est pour s’assurer que la personne était attentive et est cohérente dans ses réponses = diminuer des biais
Quelles sont les démarches habituellement suivies pour l’évaluation des items ?
- Évaluation des items par des juges
- Réalisation d’une mise à l’essai des items
Qu’est-ce que l’évaluation des items par des juges ?
- Conformité des items par plusieurs biais :
1. clarté
2. pertinence
3. dimensionnalité
Qu’est-ce que la réalisation d’une mise à l’essai des items ?
- Faire passer tous les items à un échantillon de la population :
1. La taille de cet échantillon dépend de l’hétérogénéité de la population visée par le test - grande hétérogénéité = grand échantillon
2. Un échantillon trop homogène risque de masquer certains items problématiques - ça prend quand même une hétérogénéité ; pour être sur que ça ne soit pas les mêmes personnes (soit qu’ils répondent toutes bien ou toutes mal)
Les résultats d’une mise à l’essai dans l’évaluation des items doit être analysés comment ?
- D’un point de vue qualitatif = c’est moi qui décide (décision arbitraire)
- D’un point de vue quantitatif
- Évaluation pour trouver les meilleurs items, me débarasser des items pas bons
Comment détermine-t-on les propriétés métriques de la version définitive d’un test ?
- L’évaluation des indices de validité
- L’évaluation des incides de fidélité
- Établissement des normes
Quels sont les indices de validité qui influencent les propriétés métriques ?
- Construit avec la théorie
- Analyse factorielle, corrélation multitrait-multiméthode, critère (régression), CVC et Kappa de cohen
Quels sont les indices de fidélité qui influencent les propriétés métriques ?
- Avec les 5 types de fidélité
- Statistiques de base pour les 5 corrélations
En quoi l’établissement des normes influence les propriétés métriques ?
- Créer des normes = manuel
- Norme = performance liée à l’échantillon de normalisation au test avec écart type, score z, centile, moyenne, etc.
- Si je veux continuer de rouler mes analyses = score z, si je veux finir = centiles pcq plus facile à utiliser et interpréter mais la distance n’est pas égale et ça m’empêche de continuer mes analyses (ne respecte pas la paramétrie)
Quels sont les aspects importants à considérer ?
- La rédaction d’un manuel d’utilisateur
- Le constructeur doit assumer une responsabilité éthique
Qu’est-ce qu’on présente dans la rédaction d’un manuel d’utilisateur ?
- Les fonctions pour lesquelles il a été créer
- les bases théoriques du test
- les qualifications requises pour l’appliquer et l’interpréter
- les données métriques
Pourquoi faut-il indiquer les fonctions pour lesquelles il a été crée ?
- l’objectif
- justification est normalement théorique, mais des fois elle peut être qualitative
Pourquoi faut-il indiquer les bases théoriques du test ?
- Si un test a des bases théoriques bien établit, c’est facile d’élaborer un instrument
Pourquoi faut-il indiquer les qualifications requises pour appliquer et interpréter ?
- Pour savoir quelle personne peuve faire la passation du test
- Expliquer quel sens ces personne peuvent passer ce test-à (interprétation)
Pourquoi faut-il indiquer les données métriques ?
Pour assurer son utilisation futur
Le constructeur doit faire quoi dans la construction de son test ?
- Assumer une responsabilité éthique
- Les informations du manuel doivent garantir un usage correct du test, dans le respect des principes éthiques
Il est parfois nécessaire d’utiliser un instrument d’évaluation psychologique dans quel autre conteste ?
- Dans une langue différente de celle qui a été originellement créé
- Dans une culture différente
Les différents contextes impliquent quelles conséquences ?
De tester un modèle explicatif d’un comportement psychosocial (ou autre) qui a déjà été prouvé dans une culture, dans une autre culture
Pour bien procéder à la traduction d’un test, quelles sont les posibilités ?
- Élaborer plusieurs tests en considérant les différentes langues et cultures
- Traduire un seul et même test pour qu’on puisse l’utiliser en plusieurs langues et culture
Quels sont les points positifs et réflexions d’élaborer plusieurs tests ?
Décision arbitraire
- On respecte les caractéristiques de la culture cible
- important - Mais on n’a pas de points de comparaison
- on ne peut pas approfondir les nuances entre les cultures
Quels sont les points positifs/réflexions de traduire 1 seul test pour qu’on puisse l’utiliser en plusieurs langues et cultures ?
- Beaucoup moins de travail au niveau méthodologique
- notamment en ce qui concerne l’échantillonnage
- toutes les caractéristiques de l’échantillon ont été déjà pensé avant - Une diminution au niveau de la précision de la mesure, les normes et même d’autres qualités métrologiques
Quelle est la possible solution à l’élaboration de plusieurs test et la traduction ?
L’adaptation
- Se situe entre les 2 processus
En quoi l’adaptation se situe entre ces 2 processus ?
- Permet un plus grand respect des idiosyncrasies de la culture cible
- plus grand respect des caractéristiques de la culture - Permet qu’on garde une bonne précision de la mesure, entre autres indices métrologiques pertinents
- minimiser les effets moins bons de la traduction
- permet une bonne précision de la mesure)
Quels sont les autres avantages de l’adaptation ?
- Permet de s’assurer que le contenu et la structure factorielle du test soient relativement les mêmes
- Permet d’utiliser la même structure proposée à la présentation de l’instrument original
- Permet de démontrer l’équivalence d’épreuves administrées dans des langues et des cultures différentes
Qu’est-ce qui est impliqué dans une structure d’un instrument ?
- style de rédaction
- révision théorique
- méthodologie générale utilisée
- etc.
Quelles sont les difficultés de l’adaptation ?
- Les différences linguistiques et culturelles
2. Les difficultés méthodologiques
En quoi les différences linguistiques et culturelles est une difficulté dans l’adaptation ?
- Équivalence des concept
- posséder la même signification
- même mot signification différentes - Format du test
- degré de familiarité avec certain type d’item - Limite de temps
- Textes traduits peuvent être plus longs
En quoi les difficultés méthodologiques est une difficulté dans l’adaptation ?
- Le choix et la formation des traducteurs
- Le procédé de traduction ; forward translation et backward translation
Qu’est-ce que le forward translation ?
Je prends anglais et le je traduis en français
Qu’est-ce que le backward translation ?
- Il faut avoir 2 backward = 4 personnes qui ne se connaissent pas
- Pour aller chercher la variabilité de la traduction
1. 1 version anglaise
1. 4 versions français que j’ai traduit
2. Je les donne à 4 personnes pour les traduire en anglais
3. Je vais avoir 4 versions anglaises originales et 4 versions françaises traduites 4. comité décide quel des 4 versions françaises est la meilleure
Combien de juges je vais faire appele dans le processus backward ?
- 3 et 5 juges
- Pour avoir une bonne variabilité
Donnes des exemples de tests adaptés ?
- Résultats équivalents
- alpha de Cronback (original = 0,87 et version traduite 0,84 = équivalence)
- validité de critère - Corrélations entre les meusres obtenus aux différentes versions du test et des mesures similaires (validité convergente) ou différentes (validité discriminante)
- Validité de construit : une analyse factorielle devrait indiquer que les versions du test comportent le même nombre de facteurs et que les items de chacune des versions se regroupent de la même façon
Quelles sont les étapes à suivre pour adapter un test ?
- S’assurer de la pertinence du contenu du test pour la population visée
- Déterminer si une traduction est souhaitable
- Choisir les traducteurs
- Traduire et adapter le test (comité)
- Réviser (en comité) la version adaptée du test
- Conduire une mise à l’essai de la version adaptée
- Conduire une étude métrologique exhaustive de la version adaptée
- Documenter chacune des étapes de développement de la version adaptée
Qu’est-ce qu’une étude métrologique exhaustive dans l’adaption d’un test ?
- aspects à comparer
- aspects relatifs au développement théorique/technique
Pourquoi doit on documenter chacune des étapes de développement de la version adaptée ?
- On est transparent, on ne cache rien
- pcq les gens veulent répliquer notre étude
- si ça ne marche pas, c’est notre nom/crédibilité qui va écoper
- je dois donc mentionner quand je prends des décisions arbitraires
Quels sont les indicateurs de la qualité d’adaptation ?
- Équivalence au niveau du construit
- Validité
En quoi l’équivalence au niveau du construit est un indicateur de la qualité de l’adaptation ?
- Les items de chaque version devraient être équivalents en termes de saturation factorielle
En quoi la validité est un indicateur de la qualité de l’adaptation ?
- Concomitant ou convergente
- corrélation d’une mesure donnée avec une autre servant de critère et qui évalue sensiblement le même aspect - prédictive
- lorsqu’une mesure prédit correctement un comportement ultérieur
Traduction ou adaptation ?
- Si un test existe déjà, alors je ne vais pas le refaire, a moins d’avoir un motif
- L’adapation = Une alternative à la création de test en plusieurs langues ou à la simple traduction
Qu’est-ce qui est importnat dans l’adaptation des tests en plusieurs langues et cultures ?
- Important de bien suivre la procédure et la méthodologie
- Important que le processus soit bien documenté et transparent
