Cours 4 Flashcards
C’est quoi que dit la Fiabilité en général
« Jusqu’à quel point mon instrument comporte-t-il de l’erreur de mesure? »
À l’étape de l’élaboration, la fidélité fait référence a quoi?
« Comment créer un instrument qui limite au maximum l’erreur de mesure?»
C’est quoi les objectifs de l’élaboration? (2)
Prévoir les sources d’erreurs de manière à les minimiser
Construction de l’instrument; rédiger item, choisir Q ouverte/fermé, etc.
C’est quoi les moyens de l’élaboration? (2)
- Lectures « psychométriques ». les meilleurs pratiques pour minimiser erreur.
- Inventaire des stratégies déjà employées
Les décisions prises auront une incidence sur le niveau d’erreur de mesure et la manière d’évaluer l’étendue de l’erreur. Il faut donc élaborer en faisant des choix éclairés par rapport (6):
- au type de test
- au type et au nombre d’items
- au type de réponse
- au type d’échelle
- à la méthode de cotation
- à la méthode d’administration
C’est quoi une erreur systématique? Les 2 types?
a) La même erreur de mesure affecte tous les scores d’un instrument de la même manière, dans la même direction. La même ampleur d’erreur(manière), surestimer/sous-estimé tous les résultats(direction).
- Par exemple une balance, elle ajoute toujours 5kilo peux importe ce que tu pèses.
b) La même erreur de mesure affecte tous les scores d’une personne de la même manière, dans la même direction.
Est-ce que la fiabilité est en danger dans l’erreur systématique?
La fiabilité est moins en danger (la mesure peut rester constante et reproductible).
Bien qu’importante et qu’il faille la minimiser, l’erreur systématique n’est pas considérée comme une source grave d’erreur de mesure.
C’est quoi l’erreur aléatoire?
N’affecte pas tous les scores de la même manière et direction: très problématique.
Quelles sont les 4 catégories d’erreur aléatoire et leur définition?
- Erreurs lors de la cotation; fidélité inter-juge par exemple, si pas de grille structuré.
- Variations dans les procédures d’administration; les consignes données, ce qui est relié au contexte
- Variations dues aux répondants; tous ce qui est interne, par exemple être malade vs pas malade.
- Variations en raison du contenu (items); s’il y a 2 versions a un examens, essaie de faire version équivalente, équivalence des réponses. Affecte pas le score de la même façon.
TYPES DE TESTS: Instrument normatif
Instruments dont l’interprétation des résultats repose sur la comparaison aux résultats compilés auprès d’un échantillon de la population à qui s’adresse l’instrument. Instrument relatif, tu peux te comparer a un groupe.
TYPES DE TESTS : Instrument critérié
Instruments dont l’interprétation des résultats repose sur le fait qu’un seuil critique a été, ou non, dépassé.
C’est quoi le seuil critique?
= valeur en dessous ou au-dessus qui est bonne.
TYPES DE TESTS: Vitesse
Comment sont les item?
Comment est la correction?
But:
Tous les items sont faciles et ont un niveau de difficulté égal (sauf lorsque le test est aussi de puissance)
Correction: Le nombre d’items complétés en X temps OU le temps nécessaire pour compléter tous les items.
On demande de faire le plus rapidement possible le test.
On peut aussi avoir un test de puissance avec un test rapide. Vrai ou Faux
Vrai
Types de tests : Puissance
Objectif?
Comment sont les items?
Objectif: Vérifier les limites des connaissances ou des habiletés du candidat
Les items sont ordonnés du plus facile au plus difficile
Peut inclure un temps limite (donc être vitesse aussi)
Je suis quelle type de test?
“échelle de dépression, il a une norme pour femme et homme”
Instrument normatif
Je suis quelle type de test?
“Test de traitement où l’on coche tous les « T » sur une page remplie de lettres”
vitesse
Je suis quelle type de test?
“Examen au baccalauréat en psychologie”
Instrument critérié
Je suis quelle type de test?
“Test d’intelligence”
Puissance
Types de test: Performance typique
But?
Comment la personne est-elle dans la vie de tous les jours ? Au quotidien.
Vise à mesurer le niveau habituel, pas les exceptionnelle.
Types de test: Performance maximale
- Comment la personne est-elle à son mieux?
* Vise à mesurer la meilleure performance possible
Types de test: Papier-crayon
Comment?
Type d’item?
Les personnes qui passent le test répondent à des items écrits.
Peux être formule mathématique (car on répond à une question), question de type Likert, etc.
Pas nécessairement un papier et crayon, peux être par ordinateur.
Type de test: Performance
Les personnes soumises au test effectuent une tâche.
C’est une tâche et non question.
Ce n’est pas un énoncé écrit, on ne répond pas à une question, on fait vraiment une tâche.
Types de test: Individuel
Instruments conçus pour être administrés à une personne à la fois.
ne peuvent PAS être administrés en groupe
Type de test: Groupe
Instruments conçus pour être administrés à plusieurs individus à la fois.
Peuvent être administrés à une personne lorsque les circonstances le dictent et lorsque le « manuel » décrit comment le faire. Tout dépend du design du créateur.
Pas impératif que c’est en groupe, peux être individuelle. Comme un test en ligne, tu peux le faire en classe ou tu peux le faire seul chez toi.
Je suis quelle type de test?
“Rorschach”
Individuel
Je suis quelle type de test?
” coche le plus de T, casse-tête”
Performance
Je suis quelle type de test?
“Questionnaire « Test de personnalité » avec question sur ordinateur”
Papier-crayon
Je suis quelle type de test?
“Exemple: Test de rendement, mesuré niveaux de connaissance après étude “
Performance maximale
Je suis quelle type de test?
“Exemple: Test de personnalité, test d’attitude, entrevue d’embauche”
Performance typique
Qu’est-ce qu’un item?
Le stimulus auquel répond le participant. C’est « la question »
Peux être écrit ou oral
Il y a 2 formats de réponse:
- réponse fermée (ou à choix de réponses)
2. réponse ouverte (ou à développement)
Nommez les types d’ITEMS À RÉPONSE FERMÉE. (6)
- Vrai ou Faux
- Oui ou non
- Likert
- Échelle d’évaluation graphique
- Choix de réponses
- Choix forcé (échelles ipsatives)
C'est qu'elle type d'item? -------- Quelle est votre sorte de macaroni au fromage préféré? a) Le Kraft Dinner b) Le Annie’s c) Celui que je me cuisine à la maison d) Autre e) Je n’aime pas le macaroni au fromage
Choix de réponses
Choisissez l’énoncé vous correspondant le mieux.
(peux être 2 items et +)
a) Je finirais un paquet entier de Kraft Dinner à moi tout.e seul.e
b) Je mangerais seulement du Kraft Dinner si c’était la seule nourriture disponible sur une île déserte
Choix forcé (échelles ipsatives)
ITEMS À QUESTION OUVERTE.
Comment est la réponse?
Elle nécessite toujours quoi?
La réponse à une question ouverte peut être d’un seul mot ou plus longue.
Il faut toujours une amorce (la question, stimulus, énoncé, image)
Nomme 4 exemple d’amorces
- Associations verbales;
- Compléter une phrase; je me sens nerveuse quand….
- Stimulus visuel ambigu; le rorschach
- Question à développement dans un examen; stimulus(question) + la réponse qu’on va donner
Les 3 avantages des choix fermés?
- Fidélité de la cotation ; choix de réponse, la cotation est fixe, la réponse vaut toujours la même chose, entre correcteur
- Optimisation du temps de passation; faire passer pls choix réponse à pls personne très vite.
- Optimisation du temps pour la cotation; programme qui peuvent quotter le tous sans humain.
Les 2 avantages au test a questions ouvertes?
- Facilite l’observation de comportements et de processus associés au test. On peut observer comportement, processus associé au test, mécanisme stress, façon d’aborder problème, etc.
- Richesse de l’information recueillie. On a pas besoin de beaucoup de question pour avoir beaucoup de richesse, on peut même avoir des réponse qu’on avait pas pensé à avoir.
TYPES D’ÉCHELLES (4)
- Nominale
- Ordinale
- Intervalles
- Rapport
Échelle nominal permet quoi
Cette échelle permet:
a) d’identifier les personnes
Échelle ordinal permet quoi
a) d’identifier les personnes
b) de les mettre en ordre de rang (leur résultat par rapport aux autres)
Échelle à intervalle permet quoi
a) d’identifier les personnes
b) de les mettre en ordre de rang
c) d’effectuer des additions et des soustractions
Échelle de rapport permet quoi?
a) d’identifier les personnes
b) de les mettre en ordre de rang
c) d’effectuer des additions et des soustractions
d) d’effectuer des multiplications et des divisions
Dans quelle échelle le 0 (zéro) ne signifie pas l’absence de l’attribut?
ÉCHELLE À INTERVALLES
L’échelle possède un zéro absolu, où 0 signifie l’absence de l’attribut, laquelle?
ÉCHELLE DE RAPPORT
Quel est ce type d’échelle?
” Numéro de dossard”
nominal
Quel est ce type d’échelle?
“Température en Kelvin”
échelle de rapport
Quel est ce type d’échelle?
“Température en Celsius ou en Fahrenheit”
Intervalle
Dans l’échelle a intervalle, comment sont les écarts?
Tous les écarts entre les nombres sont équivalents (équidistants).
Dans l’échelle a rapport, comment sont les écarts?
Tous les écarts entre les nombres sont équivalents (équidistants).
Quel est ce type d’échelle?
’” Rang de la personne la plus grande à la plus petite”
Ordinale
En psychologie, il y n’y a pas vraiment d’échelles ______. Les échelles sont principalement ________, ________ ou _________.
de rapport.
nominales, ordinales ou à intervalles
QU’EN EST-IL DES ÉCHELLES DE LIKERT?
Développé en 1932 dans un contexte d’items mesurant _______.
les attitudes.
L’échelle de Likert propose un nombre pair ou impair d’alternatives. Pourquoi c’est important? Ça permet quoi?
Très important pour mesuré attitude.
Un nombre paire empêche la neutralité.
Si impair on peut avoir le nombre de réponse neutre.
Parfois, c’est important avoir la neutralité quand on regarde la personnalité, mais peux être négatif si la personne refuse de se prononcer et dit neutre. Donc dépend vraiment de l’objectif du test.
Dans une échelle de Likert, le nombre d’alternatives dépend de….
Comment d’ancre en moyenne?
la capacité des répondants à faire la distinction entre elles.
5-7
Pour Likert, les écarts entre les alternatives adjacentes sont présumés ______.
équidistants.
NOMBRE D’ANCRES DANS UNE ÉCHELLE DE LIKERT: Elle devrait aussi en comporter un nombre assez restreint pour que ….
les choix soient assez distincts les uns des autres.
TYPES DE CORRECTION dépend de quoi? (3)
- La correction dépend directement du type d’item et de format de réponse choisi.
- Combien de points sont accordés par item, selon la réponse du répondant à l’item?
- Comment se calcule le score total à l’instrument?
CORRECTION DES ITEMS À RÉPONSE OUVERTE. Les 3 types?
- Cotation globale de l’évaluateur:
- Cotation analytique
- Qualification par points:
Cotation globale de l’évaluateur. Comment elle est?
jugement global sur le texte.
Le plus rudimentaire, le plus d’erreur de mesure, le moins de fidélité, autant consistance interne, stabilité temporelle et accord inter-juge.
Il a aucune indication sur comment on note, c’est vraiment jugement globale. Aucune ligne directrice qui oriente correction, pas de jugement guidé.
Cotation analytique. Comment elle est?
plusieurs critères déterminent l’évaluation du texte.
Il peut avoir certaine section qui a des points, ex : écrire un texte, des points pour les sources, structure, grammaire et idées.
On structure plus la correction, plus de chance que les juge s’entende.
Qualification par points, comment elle est?
Présence d’une réponse « parfaite » et chaque élément présent vaut un point.
Limite erreur de mesure, plus fidèle. Comme un examen, c’est vraiment « l’élément est tu là ou non ».
Les méthodes d’administration incluent (3):
- Les directives aux personnes évaluées ; les consignes données à chaque personne, plus c’est standardisé, plus sa sera les même consigne, plus réduit les chance d’erreur de mesures.
- Les conditions d’administration; Le temps alloué, le matériel permis, la formation évaluateur, test en groupe ou individuelle.
- La cotation (allocation des points). Influence les méthode d’administration.
CRÉATION D’ITEMS
L’item doit être conforme à ….
la définition du construit
CRÉATION D’ITEMS
L’item doit réduire au maximum ….
l’erreur de mesure
CRÉATION D’ITEMS
L’item doit utiliser un vocabulaire….
adapté aux bénéficiaires;
CRÉATION D’ITEMS
L’item doit pouvoir se répondre avec l’échelle de…
mesure utilisée
Les grandes lignes pour rédiger item!
Prioriser le « je »; opinion de la personne, sa permet de mieux se contextualisé
Favoriser une formulation affirmative plutôt qu’interrogative; on peut pas poser des question.
Éviter de mettre « deux idées » dans un même item; ex : je me sent heureuse et en forme aujourd’hui, car sa mesure 2 choses, une personne peux se sentir heureuse mais pas en forme, donc mieux de les séparer.
Éviter les métaphores; peux biaisé, pas tout le monde va le comprendre.
Éviter les items à négations multiples; enlève clarté
Favoriser une formulation claire des items; tous ce qui est superflu on doit le retirer
Favoriser une formulation concise des items
Attention aux adverbes; surtout quand on utilise Likert, si tu dis « je suis vraiment heureuse » ça sert à rien, car justement dans Likert tu répond comment tu te sens heureuse, avec le totalement accord/pas du tout
Varier le sens des items; item inversé, permet de démasquer les personnes qui « botch » le test.
C’est quoi un ITEMS INVERSÉS?
Un item dont la direction est opposée à celle des autres items (du même construit).
Un item inversé permet de détecter quoi?
Permet de détecter et de contrôler les tendances de réponses