Cours 10A Flashcards
Quels sont les 5 étapes du processus de construction d’un instrument de mesure ?
1- La détermination des utilisations prévues du test
2- La définition de ce que l’on souhaite mesurer
3- la création des items
4- l’évaluation des items
5- la détermination des propriétés métriques du test définitif
En quoi consiste l’étape “la détermination des utilisations prévues” ?
on sélectionne un objectif plus général (ex:estime de soi, développement social…), pour ensuite définir, avec plus de précision, les caractéristiques psychologiques (ou dimensions) que le test devra mesurer. (la validation du contenu du test repose précisément sur ce travail préalable de définition de ce que l’on veut mesurer).
*On commence par des idées générales, et ensuite on définit avec plus de précision ce qu’on veut.
Sur quoi repose la validation su contenu du test ?
Sur le travail de définition de ce que l’on veut mesurer.
Lequel des 5 processus définit davantage ce que je veux mesurer ?
dans 95% du temps, la no 5: La détermination des propriétés métriques du test définitif;
Étape no 2 (définition de ce qu’on souhaite mesurer), cinq processus peuvent être mis en action pour aider à mieux définir ce que l’on souhaite mesurer. Quels sont-ils et quel est le plus utilisé ?
1- La définition des objectifs pédagogiques
2- L’analyse de contenu des interviews
3- l’observation directe des comportements
4- la méthode des incidents critiques
5- la référence à un modèle théorique
Qu’est-ce que la Ground Theory ?
Ground Theory: théorie qui va émerger de nos données. (en se basant sur les données existantes, j’établis une théorie qui n’était pas préalablement existante).
PS: Si j’ai une théorie déjà, j’interprète mes données en fonction de ces théories.
Donner un exemple pour chacune des 5 processus de la 2e étape (définition de ce que l’on souhaite mesurer).
- (1) La définition des objectifs pédagogiques:
* préciser les performances dont les étudiants devront être capables à un moment donné de leur formation;- (2) L’analyse de contenu des interviews:
- Interviewer des personnes permet de recueillir un grand nombre d’informations qui seront sélectionnées et classées;
- (3) L’observation directe des comportements:
- Dans certains cas, il est préférable d’observer les sujets dans leur milieu de vie ou de travail;
- (4) La méthode des incidents critiques:
- On demande aux supérieurs de décrire des situations de travail où les employés ont agi de manière particulièrement efficace (ou inefficace). Ces comportements « critiques » sont mis en évidence pour construire des items.
- (5) La référence à un modèle théorique:
- Cette méthode ne part pas de l’expérience, mais d’un modèle de la réalité, construit au cours de recherches antérieures. Par exemple, depuis le début des années 80, les développements de la psychologie cognitive ont conduit à la création de nombreux modèles théoriques utilisables par les constructeurs de tests.
- (2) L’analyse de contenu des interviews:
Je sélectionne des infos et j’élabore des questions de mes questionnaires à partir de ça. Ça correspond à quel processus de l’étape 2 ?
analyse du contenu des interviews
Si le questionnaire est valide, ça veut dire que ____ est valide.
La méthode
Quelle est la citation de Gallup en 1947 ?
« Trop d’attention a été accordée à la constitution des échantillons (de personnes) et trop peu à la création des questions […]. Des différences dans la construction des questions conduisent souvent à des résultats qui présentent de plus grandes variations que celles habituellement observées en fonction des différentes techniques d’échantillonnage »
On ne peut pas mettre une échelle dans une échelle. Qu’est-ce que ça veut dire ? Pourquoi on ne peut pas ?
(échelle dans échelle le «parfois» est une échelle en soi)
Ex: Parfois, je me sens inutile. Cocher de 1 à 5 allant de fortement d’accord à fortement en désaccord) Ça augmente la variabilité (et augmenter la variance augmente artificiellement l’indice de corrélation).
Donc mauvais choix d’item (ex: échelle dans échelle) -> augmente variabilité -> variance augmentée -> coefficient de corrélation artificiellement augmenté
Que faut-il clarifier lors de la création des items ?
- le format des items: Questions ou affirmations; style de réponse – ouverte, dichotomique, Likert, etc. – Il n’y a pas de « meilleur format »! Un format est bon s’il est adéquat au but et à la situation d’évaluation.
- le niveau de difficulté des items: Dépend de l’objectif du test (la nature des informations que l’on désire recueillir): Population en générale ou spécifique;
- La quantité d’items qu’il faut créer!
Dépend de plusieurs facteurs:
-> La durée du test;
-> Le niveau de fidélité désiré (plus long, plus fidèle);
-> Si le test final doit contenir autour de 10 items, initialement il faut construire 30, ou même plus…
Qu’est-ce qui définit si le format d’un item est bon ?
Un format est bon s’il est adéquat au but et à la situation d’évaluation.
De quoi dépend le niveau de difficulté des items ?
Dépend de l’objectif du test (la nature des informations que l’on désire recueillir): Population en générale ou spécifique
Qu’est-ce qui cloche avec le questionnaire de l’estime de soi de Rosenberg?
Parfois, je me sens inutile. échelle dans échelle. Ça complexifie trop les choses
Vrai ou faux: échelle likert meilleure que questions ouvertes ou dichotomiques.
faux: ça dépend
Qu’est-ce qu’un item difficile ?
deux possibilités: Items difficiles = les gens auront de la misère à répondre correctement à cet item OU certains items sont difficiles à accorder un pointage élevé(4 ou 5).
Quelle est la différence entre une échelle Likert et une échelle de type Likert ?
Échelle Likert: 4 points. Échelle de TYPE Likert: 5 points
La quantité d’items qu’il faut créer dépend de plusieurs facteurs. Comme quoi ?
- La durée du test;
- Le niveau de fidélité désiré (plus long, plus fidèle);
- Si le test final doit contenir autour de 10 items, initialement il faut construire 30, ou même plus…
Quel est le lien entre fidélité et nb. d’items ?
plus le questionnaire est long, plus il est fidèle
**QUESTION D’EXAMEN: Si j’augmente le nombre de questions, j’augmente mon niveau de fidélité et vice versa. Pourquoi ?
Si je diminue le nombre de questions, je diminue la variabilité. il y a moins d’éléments que je dois explorer, donc il y a moins de variabilité.
Si j’augmente le nombre d’items, c’est une façon artificielle pcq je vais augmenter la corrélation entre les items, ce qui augmente la variance.
Qu’est-ce que le principe d’économie mentale ?
pourquoi je vais demander 2x la même chose aux gens ? (si les contenus de 2 questions se chevauchent énormément, pk le demander 2x?). Cette logique détermine combien d’items je vais créer.
Qu’est-ce que la théorie de base nous indique p/r au nombre d’items ?
Si la théorie est large, + de questions. Si la théorie est restreinte ou je veux juste une partie de la théorie, - de questions.
Par exemple, la théorie de l’estime de soi est unidimentionnelle (unifactorielle), donc pas besoin de demander 40 questions, 6 seraient p-e suffisantes (mais 10 pr le moment)
Pourquoi on demande parfois deux fois la même chose dans un questionnaire (dis de façon différente) ?
Échelle de vérification: façon de vérifier si la personne a bien répondu. On demande 2 fois la même chose, mais dit de façon différente. Mais je n’utilise pas les deux items pour l’analyse factorielle. Sert à valider items.
