Cours 10A Flashcards
Quels sont les 5 étapes du processus de construction d’un instrument de mesure ?
1- La détermination des utilisations prévues du test
2- La définition de ce que l’on souhaite mesurer
3- la création des items
4- l’évaluation des items
5- la détermination des propriétés métriques du test définitif
En quoi consiste l’étape “la détermination des utilisations prévues” ?
on sélectionne un objectif plus général (ex:estime de soi, développement social…), pour ensuite définir, avec plus de précision, les caractéristiques psychologiques (ou dimensions) que le test devra mesurer. (la validation du contenu du test repose précisément sur ce travail préalable de définition de ce que l’on veut mesurer).
*On commence par des idées générales, et ensuite on définit avec plus de précision ce qu’on veut.
Sur quoi repose la validation su contenu du test ?
Sur le travail de définition de ce que l’on veut mesurer.
Lequel des 5 processus définit davantage ce que je veux mesurer ?
dans 95% du temps, la no 5: La détermination des propriétés métriques du test définitif;
Étape no 2 (définition de ce qu’on souhaite mesurer), cinq processus peuvent être mis en action pour aider à mieux définir ce que l’on souhaite mesurer. Quels sont-ils et quel est le plus utilisé ?
1- La définition des objectifs pédagogiques
2- L’analyse de contenu des interviews
3- l’observation directe des comportements
4- la méthode des incidents critiques
5- la référence à un modèle théorique
Qu’est-ce que la Ground Theory ?
Ground Theory: théorie qui va émerger de nos données. (en se basant sur les données existantes, j’établis une théorie qui n’était pas préalablement existante).
PS: Si j’ai une théorie déjà, j’interprète mes données en fonction de ces théories.
Donner un exemple pour chacune des 5 processus de la 2e étape (définition de ce que l’on souhaite mesurer).
- (1) La définition des objectifs pédagogiques:
* préciser les performances dont les étudiants devront être capables à un moment donné de leur formation;- (2) L’analyse de contenu des interviews:
- Interviewer des personnes permet de recueillir un grand nombre d’informations qui seront sélectionnées et classées;
- (3) L’observation directe des comportements:
- Dans certains cas, il est préférable d’observer les sujets dans leur milieu de vie ou de travail;
- (4) La méthode des incidents critiques:
- On demande aux supérieurs de décrire des situations de travail où les employés ont agi de manière particulièrement efficace (ou inefficace). Ces comportements « critiques » sont mis en évidence pour construire des items.
- (5) La référence à un modèle théorique:
- Cette méthode ne part pas de l’expérience, mais d’un modèle de la réalité, construit au cours de recherches antérieures. Par exemple, depuis le début des années 80, les développements de la psychologie cognitive ont conduit à la création de nombreux modèles théoriques utilisables par les constructeurs de tests.
- (2) L’analyse de contenu des interviews:
Je sélectionne des infos et j’élabore des questions de mes questionnaires à partir de ça. Ça correspond à quel processus de l’étape 2 ?
analyse du contenu des interviews
Si le questionnaire est valide, ça veut dire que ____ est valide.
La méthode
Quelle est la citation de Gallup en 1947 ?
« Trop d’attention a été accordée à la constitution des échantillons (de personnes) et trop peu à la création des questions […]. Des différences dans la construction des questions conduisent souvent à des résultats qui présentent de plus grandes variations que celles habituellement observées en fonction des différentes techniques d’échantillonnage »
On ne peut pas mettre une échelle dans une échelle. Qu’est-ce que ça veut dire ? Pourquoi on ne peut pas ?
(échelle dans échelle le «parfois» est une échelle en soi)
Ex: Parfois, je me sens inutile. Cocher de 1 à 5 allant de fortement d’accord à fortement en désaccord) Ça augmente la variabilité (et augmenter la variance augmente artificiellement l’indice de corrélation).
Donc mauvais choix d’item (ex: échelle dans échelle) -> augmente variabilité -> variance augmentée -> coefficient de corrélation artificiellement augmenté
Que faut-il clarifier lors de la création des items ?
- le format des items: Questions ou affirmations; style de réponse – ouverte, dichotomique, Likert, etc. – Il n’y a pas de « meilleur format »! Un format est bon s’il est adéquat au but et à la situation d’évaluation.
- le niveau de difficulté des items: Dépend de l’objectif du test (la nature des informations que l’on désire recueillir): Population en générale ou spécifique;
- La quantité d’items qu’il faut créer!
Dépend de plusieurs facteurs:
-> La durée du test;
-> Le niveau de fidélité désiré (plus long, plus fidèle);
-> Si le test final doit contenir autour de 10 items, initialement il faut construire 30, ou même plus…
Qu’est-ce qui définit si le format d’un item est bon ?
Un format est bon s’il est adéquat au but et à la situation d’évaluation.
De quoi dépend le niveau de difficulté des items ?
Dépend de l’objectif du test (la nature des informations que l’on désire recueillir): Population en générale ou spécifique
Qu’est-ce qui cloche avec le questionnaire de l’estime de soi de Rosenberg?
Parfois, je me sens inutile. échelle dans échelle. Ça complexifie trop les choses
Vrai ou faux: échelle likert meilleure que questions ouvertes ou dichotomiques.
faux: ça dépend
Qu’est-ce qu’un item difficile ?
deux possibilités: Items difficiles = les gens auront de la misère à répondre correctement à cet item OU certains items sont difficiles à accorder un pointage élevé(4 ou 5).
Quelle est la différence entre une échelle Likert et une échelle de type Likert ?
Échelle Likert: 4 points. Échelle de TYPE Likert: 5 points
La quantité d’items qu’il faut créer dépend de plusieurs facteurs. Comme quoi ?
- La durée du test;
- Le niveau de fidélité désiré (plus long, plus fidèle);
- Si le test final doit contenir autour de 10 items, initialement il faut construire 30, ou même plus…
Quel est le lien entre fidélité et nb. d’items ?
plus le questionnaire est long, plus il est fidèle
**QUESTION D’EXAMEN: Si j’augmente le nombre de questions, j’augmente mon niveau de fidélité et vice versa. Pourquoi ?
Si je diminue le nombre de questions, je diminue la variabilité. il y a moins d’éléments que je dois explorer, donc il y a moins de variabilité.
Si j’augmente le nombre d’items, c’est une façon artificielle pcq je vais augmenter la corrélation entre les items, ce qui augmente la variance.
Qu’est-ce que le principe d’économie mentale ?
pourquoi je vais demander 2x la même chose aux gens ? (si les contenus de 2 questions se chevauchent énormément, pk le demander 2x?). Cette logique détermine combien d’items je vais créer.
Qu’est-ce que la théorie de base nous indique p/r au nombre d’items ?
Si la théorie est large, + de questions. Si la théorie est restreinte ou je veux juste une partie de la théorie, - de questions.
Par exemple, la théorie de l’estime de soi est unidimentionnelle (unifactorielle), donc pas besoin de demander 40 questions, 6 seraient p-e suffisantes (mais 10 pr le moment)
Pourquoi on demande parfois deux fois la même chose dans un questionnaire (dis de façon différente) ?
Échelle de vérification: façon de vérifier si la personne a bien répondu. On demande 2 fois la même chose, mais dit de façon différente. Mais je n’utilise pas les deux items pour l’analyse factorielle. Sert à valider items.
Qu’est-ce que le principe de l’économie mentale dit sur le fait d’avoir 2 items qui mesurent la même chose dans un même questionnaire ?
Si on a 2 items qui mesurent la même chose, ça va dans la direction opposée de l’économie mentale.
Comment on peut savoir si des items mesurent la même chose ?
corrélation élevée entre ces deux items (plus de 0,85).
Quelles démarches sont habituellement suivies pour l’étape “évaluation des items” ?
- Évaluation des items par des juges
- Réalisation d’une mise à l’essai des items
Qu’est-ce que les juges évaluent dans leur évaluation des items ?
conformité des items (clarté, pertinence et dimensionnalité)
**cela réfère à la validité de contenu
Comment on fait une réalisation d’une mise à l’essai des items ?
Faire passer tous les items à un échantillon de la population (la taille de cet échantillon dépend de l’hétérogénéité de la population visée par le test; un échantillon trop homogène risque de masquer certains items problématiques);
Les résultats de cette mise à l’essai doit être analysés d’un point de vue qualitatif et quantitatif.
Qu’est-ce qu’on fait si on veut mesurer quelque chose d’unidimensionnel et qu’il y a deux items qui ne corrèlent pas entre eux (très faible corrélation)?
*ne corrèle pas = corrélation très faible -> autour de 0,05 = pas de rapport entre les 2 items
Si je suis en train de créer un nouvelle échelle d’estime de soi et je vois que deux items ont une très faible corrélation. Estime de soi -> unidimentionnel. Donc je peux pas avoir ces deux items, je dois seulement avoir des items qui corrèlent entre eux. Quel item des deux je garde? Celui qui corrèle le plus avec les autres items.
Synonymes de propriétés métriques ?
psychométrique, métrologique
À quel moment on détermine les propriétés métriques d’un test ?
Une fois les meilleurs items sélectionnés et la version définitive du test constituée
Quelles sont les propriétés métriques d’un test qu’il faut vérifier ?
- Évaluation des indices de validité;
- Évaluation des indices de fidélité;
- Établissement des normes.
Comment on mesure les validités ?
- de construit: analyses factorielles
- de critère: corrélations
- contenu: kappa de cohen, CVC (coefficient de validité des contenus)
Qu’est-ce que la fidélité de Kuder-Richardson et Coefficient Alpha ?
Il s’agit d’une seule passation d’une seule version d’un test. Cette fidélité a pour fondement la cohérence entre les réponses de tous les items du test;
Quelle est la statistique de base de la fidélité ?
corrélation
Sur quoi on établi les normes ?
Performance de l’échantillon normatif au test (. É-T, scores Z, centiles, moyennes, médiane, mode,… )
Quelle est la norme la plus utilisée ajd ?
les centiles
Pour les normes: quand est-ce que j’utilise le score Z vs quand est-ce que j’utilise le centile ?
Quand j’ai encore des analyses à rouler, j’utilise scores Z pcq respectent la paramétrie (2 est le double de 1). Quand j’ai fini toutes les analyses, j’utilise les centiles. Les centiles sont la dernière chose pcq ne respecte pas paramétrie donc on ne peut pas faire d’autres analyses (2 pas double de 1, pas même écart entre les points).
Pourquoi on utilise les centiles juste à la fin ?
. Les centiles sont la dernière chose pcq ne respecte pas paramétrie donc on ne peut pas faire d’autres analyses (2 pas double de 1, pas même écart entre les points).
Qu’est-ce qu’une corrélation très faible ?
autour de 0,05
Qu’est-ce qu’on met dans la rédaction d’un manuel d’utilisateur ?
- Les fonctions pour lesquelles il a été crée;
Les bases théoriques du test; - Les qualifications requises pour l’appliquer et l’interpréter;
- Les données métriques (pour assurer son utilisation).
Le rédacteur d’un manuel d’utilisation d’un test doit assumer ________. C’est-à-dire ?
il doit assumer une responsaiblité éthique, c’est-à-dire que les informations du manuel doivent garantir un usage correct du test, dans le respect des principes éthiques.
