cours 4 Flashcards
En quoi consiste l’étape 3 d’élaboration dans le modèle de la cible?
Concept de fiabilité et phase de préparation
Qu’est-ce que la fiabilité en général?
Jusqu’à quel point mon instrument comporte-t-il de l’erreur de mesure?
Qu’est-ce que la fiabilité à la phase de l’élaboration?
Comment créer un instrument qui limite au maximum l’erreur de mesure?»
Pourquoi faut-il élaborer en faisant des choix éclairés dans la phase de l’élaboration?
Car les décisions prises auront une incidence sur le niveau d’erreur de mesure et la manière d’évaluer l’étendue de l’erreur
Dans la phase de l’élaboration, il faut élaborer en faisant des choix éclairés par rapport à quoi?
au type de test
au type et au nombre d’items
au type de réponse
au type d’échelle
à la méthode de cotation
à la méthode d’administration
Qu’est-ce que la fidélité/fiabilité?
À quel point il y a de l’erreur de mesure
Qu’est-ce que l’erreur systématique?
a) La même erreur de mesure affecte tous les scores d’un instrument de la même manière, dans la même direction
OU
b) La même erreur de mesure affecte tous les scores d’une personne de la même manière, dans la même direction
Ecq l’erreur systématique est considérée comme une source grave d’erreur de mesure?
Non à cause de la notion de constance (ex: On peut faire -5g à tous les scores).
Pourquoi dit-on que la fiabilité est moins en danger dans l’erreur systématique?
Car la mesure peut rester constante et reproductible
Qu’est-ce que l’erreur aléatoire?
N’affecte pas tous les scores de la même manière : très problématique. On veut l’éviter le + possible.
Qu’est-ce qu’un test de vitesse?
Tous les items sont faciles et ont un niveau de difficulté égal (sauf lorsque le test est aussi de puissance). On a la même gradation.
Quelles sont les 4 catégories de l’erreur aléatoire?
Erreurs lors de la cotation: Cotation qui est trop floue
Variations dans les procédures d’administration
Variations dues aux répondants: Situations particulières à court terme (ex: une personne fatiguée/stressée avant un examen)
Variations en raison du contenu (items): ex: 2 versions d’examen dont l’une est + facile que l’autre donc les performances sont variées.
Qu’est-ce qu’un test instrument normatif?
Instruments dont l’interprétation des résultats repose sur la comparaison aux résultats compilés auprès d’un échantillon de la population à qui s’adresse l’instrument (ex: WAIS). On utilise souvent la norme percentile.
Qu’est-ce qu’un test instrument critérié?
Instruments dont l’interprétation des résultats repose sur le fait qu’un seuil critique a été, ou non, dépassé (ex: DSM)
Comment se fait la correction dans un test de vitesse?
le nombre d’items complétés en X temps OU le temps nécessaire pour compléter tous les items.
Quel est l’objectif d’un test de puissance?
Vérifier les limites des connaissances ou des habiletés du candidat
Qu’est-ce qu’un test de puissance?
Les items sont ordonnés/gradation du plus facile au plus difficile. Peut inclure un temps limite. On veut voir jusqu’où la personne peut se rendre.
Ecq un test peut être à la fois être de puissance et de vitesse?
Oui
Qu’est-ce qu’un test de performance typique?
Comment la personne est-elle dans la vie de tous les jours ?
La personne ne va pas étudier pour un test de performance typique.
Ecq dans un entretien d’embauche on veut évaluer la performance typique ou maximale?
Typique car c’est ce qu’on souhaite réellement évaluer, mais souvent on étudie plutôt la performance maximale.
Qu’est-ce qu’un test de performance maximale?
Comment la personne est-elle à son mieux?
À quoi vise à mesurer le test de performance typique?
le niveau habituel
À quoi vise à mesurer le test de performance maximale?
la meilleure performance possible
Qu’est-ce que le test papier-crayon?
Les personnes qui passent le test répondent à des items. Les personnes répondent à des questions, à un énoncé. Peut se faire à l’ordinateur.
Qu’est-ce qu’un test de performance?
Les personnes soumises au test effectuent une tâche.
Qu’est-ce qu’un test individuel?
Instruments conçus pour être administrés à une personne à la fois
ne peuvent PAS être administrés en groupe
Administrateur est avec le bénéficiaire 1 à 1.
Qu’est-ce qu’un test de groupe?
Instruments conçus pour être administrés à plusieurs individus à la fois
Peuvent être administrés à une personne lorsque les circonstances le dictent et lorsque le «manuel» décrit comment le faire
Qu’est-ce qu’un item?
À quoi le bénéficiaire peut réagir.
Le stimulus auquel répond le participant
C’est «la question»
Peut être écrit ou oral
Pour les items, quels sont les 2 formats de réponse?
réponse fermée (ou à choix de réponses)
réponse ouverte (ou à développement)
Quelles sont les avantages des items à choix de réponses?
Fidélité de la cotation
Optimisation du temps de passation
Optimisation du temps pour la cotation
Quelles sont les avantages des items à développement?
Facilite l’observation de comportements et de processus associés au test
Richesse de l’information recueillie
Quelles sont les 4 types de classification aux propriétés distinctes?
Nominale
Ordinale
Intervalles
Rapport
À l’aide de quoi les variables sont évaluées ou quantifiées?
À l’aide d’échelles de mesure
Qu’est-ce que permet l’échelle nominale?
D’identifier les personnes
Qu’est-ce qu’une échelle nominale?
C’est une échelle catégorielle, où les nombres représentent une caractéristique particulière
Le nombre n’a pas de sens particulier à part représenter la catégorie
On ne peut donc faire aucune opération mathématique avec ces nombres
Qu’est-ce que permet l’échelle ordinale?
a) d’identifier les personnes
b) de les mettre en ordre de rang
Qu’est-ce qu’une échelle ordinale?
Les nombres entretiennent une relation entre eux
On ne peut faire aucune opération mathématique avec ces nombres à part les classer en ordre
On ne connaît pas la distance entre chaque position
Qu’est-ce que permet l’échelle à intervalles?
a) d’identifier les personnes
b) de les mettre en ordre de rang
c) d’effectuer des additions et des soustractions
Qu’est-ce qu’une échelle à intervalles?
Tous les écarts entre les nombres sont équivalents (équidistants). Toutefois, l’échelle est arbitraire et le 0 (zéro) ne signifie pas l’absence de l’attribut.
Qu’est-ce que permet une échelle de rapport?
a) d’identifier les personnes
b) de les mettre en ordre de rang
c) d’effectuer des additions et des soustractions
d) d’effectuer des multiplications et des divisions
Qu’est-ce qu’une échelle de rapport?
Tous les écarts entre les nombres sont équivalents (équidistants).
L’échelle possède un zéro absolu, où 0 signifie l’absence de l’attribut
Quelle opération/sophistication est permise dans l’échelle nominale?
Identifier
Quelles opérations/sophistication est permise dans l’échelle ordinale?
Identifier et ordonnancer
Quelle opération/sophistication est permise dans l’échelle intervalle?
Identifier
Ordonnancer
AdditionSoustraction
Quelle opération/sophistication est permise dans l’échelle rapport?
Identifier
Ordonnancer
Addition
Soustraction
Multiplication
Division
Quelles échelles sont le plus utilisées en psychologie?
Nominales, ordinales ou à intervalles
Quel type d’échelle (intervalle ou ordinale) est l’échelle de Likert?
Intervalle car on associe avec des nombres.
Qu’est-ce que l’échelle de Likert?
Développé en 1932 dans un contexte d’items mesurant les attitudes
Propose un nombre pair ou impair d’alternatives
Le nombre d’alternatives dépend de la capacité des répondants à faire la distinction entre elles
Les mots (ancres) doivent être bien choisis
Les mots (ancres) supposent un ordonnancement en termes d’intensité du phénomène d’intérêt
Les écarts entre les alternatives adjacentes sont présumés équidistants
Quel est le désavantage de l’échelle de Likert?
Sujet à un billet d’interprétation (la distance entre)
Quel est le nombre d’ancres dans une échelle de Likert?
L’échelle devrait comporter assez d’ancres pour que la personne puisse faire un choix
Elle devrait aussi en comporter un nombre assez restreint pour que les choix soient assez distincts les uns des autres
L’échelle doit être adaptée à la population cible
Quels sont les types de correction dans l’échelle de Likert?
La correction dépend directement du type d’item et de format de réponse choisi
Combien de points sont accordés par item, selon la réponse du répondant à l’item?
Comment se calcule le score total à l’instrument?
Moyenne, somme, score brut, score transformé, etc.
Quels sont les types de correction des items à réponse fermée?
Tests de rendement ou d’aptitudes et tests de personnalité, d’attitudes, d’intérêt
Comment se fait la correction des items à réponse fermée d’un test de rendement ou d’aptitudes?
La bonne réponse vaut 1 et les mauvaises valent 0
2 points pour la meilleure réponse, 1 point pour une réponse correcte, 0 points pour une mauvaise réponse
1 point pour la bonne réponse, -1 pour une mauvaise réponse
Comment se fait la correction des items à réponse fermée d’un test de personnalité, d’attitudes, d’intérêt?
Vrai ou faux : 1 ou 0
Oui ou non : oui = 1, ne sais pas = 0, non = -1
Échelle de Likert : 1, 2, 3, 4, 5 OU -2, -1, 0, 1, 2
Choix forcé : 1 ou 0
Tests personnalité, attitudes, intérêt : Pas d’importance si bonne réponse ou non.
Quels sont les types de correction des items à réponse ouverte?
Cotation globale de l’évaluateur, cotation analytique et qualification par points
Qu’est-ce que la cotation globale de l’évaluateur?
Jugement global sur le texte. La personne regarde la chose et l’évalue. Très subjectif, sans critère.
Qu’est-ce que la cotation analytique?
Plusieurs critères déterminent l’évaluation du texte. Pas un point par critère, si on voit des éléments à quelque part on évalue plus haut.
Qu’est-ce que la qualification par points?
présence d’une réponse «parfaite» et chaque élément présent vaut un point
Qu’est-ce que la fiabilité inter-juge?
Il est impératif que les réponses soient évaluées de la même façon et que les évaluateurs évaluent les réponses de la même façon
Quelles sont les méthodes d’administration?
Les directives aux personnes évaluées ;
Les conditions d’administration ;
La cotation (allocation des points).
Quand peut-on qualifier les méthodes d’administration de standardisées?
Lorsque les méthodes d’administration sont observées systématiquement
Quelles sont les règles à suivre pour la création d’items?
L’item doit être conforme à la définition du construit
L’item doit réduire au maximum l’erreur de mesure
L’item doit utiliser un vocabulaire adapté aux bénéficiaires
L’item doit pouvoir se répondre avec l’échelle de mesure utilisée
Prioriser le «je»
Favoriser une formulation affirmative plutôt qu’interrogative
Éviter de mettre «deux idées» dans un même item
Éviter les métaphores
Éviter les items à négations multiples
Favoriser une formulation claire des items
Favoriser une formulation concise des items
Attention aux adverbes
Varier le sens des items
Qu’est-ce qu’un item inversé?
Un item dont la direction est opposée à celle des autres items (du même construit).
Qu’est-ce que permettent les items inversés?
Permet de détecter et de contrôler les tendances de réponses
