Cours 6 Flashcards
Biais et échelles de validité
Vrai ou Faux : Tous les instruments d’évaluation sont biaisés (ex: selon l’âge, selon le sexe/genre, selon le groupe ethnique, selon le groupe clinique, etc.)
Faux, c’est parfois le cas et c’est le devoir de l’utilisateur.trice des tests d’en être informé.e
Qu’est-ce qu’un biais?
de l’erreur systématique, n’est pas aléatoire
Vrai ou Faux : La différence de moyenne entre des groupes constitue un biais. (Question là-dessus for sure)
Les différences de moyenne entre certains groupes ne constituent pas a priori un biais puisque certaines sont attendues sur le plan théorique/ conceptuel.
Ex: À l’adolescence, peu ou pas de différences de moyenne entre groupes ethniques pour problèmes de comportement, mais différences selon le sexe/genre
Mais…
À l’âge adulte, présence de différences selon le sexe/genre dans certains traits de personnalité, mais peu ou pas à l’adolescence
Un instrument est biaisé si…
« les différences entre les membres de différents groupes sont identifiées sur la base de caractéristiques AUTRES que celles que l’instrument prétend évaluer »
Autrement dit, il y a présence de biais pour un instrument si le contenu, la procédure ou l’utilisation f___________ ou d___________ systématiquement les membres d’un ______ plutôt qu’un autre et si cette différenciation est _____ pertinente à l’objectif de l’instrument.
favorise | défavorise | groupe | non
La validité peut être affectée directement par (deux éléments de réponses)…
a) biais de réponse aux items individuels
b) biais des scores à une échelle (scores composites)
Rappel!
La _________ des scores d’un instrument d’évaluation peut être compromise par différentes sources d’erreur de mesure.
Et
Les inférences et les interprétations permises avec des scores procurés par un instrument d’évaluation sont tributaires du degré de ___________ de ces scores.
Fidélité | Validité
En quoi consiste le biais de réponse?
Les personnes qui sont évaluées et doivent répondre aux questions, que ce soit à propos, d’elles-mm ou en tant qu’informatrices pour un tiers, risquent toujours d’être en partie biaisées. (question d’examen : tout le monde est tjr biaisé!!!)
Par exemple, lors d’une entrevue d’embauche où une personne doit répondre à un questionnaire de personnalité, est-ce qu’elle voudrait paraitre à son mieux? Ou mm mieux qu’à son mieux?
Même à un niveau de base, il est maintenant reconnu que le système cognitif de l’humain est « v_________ » de plusieurs h_____________ ou b______ cognitifs.
victime | heuristique | biais
Que sont les heuristiques?
Heuristiques : Stratégies cognitives utilisées pour simplifier et accélérer une décision en situation d’incertitude.
- parfois appelées « raccourcis mentaux
- s’appliquent à l’évaluation/estimation des comportements
- très utiles pour le cerveau quand on ne connait pas assez bien une personne à évaluer
Les heuristiques peuvent mener à des e________ de jugement et à « s______________ » les personnes.
erreurs | stéréotyper
Nommer quatre exemples connus d’heuristiques (sans les expliquer).
- heuristique de la représentativité
- heuristique de la disponibilité
- heuristique de primauté / de récence
- heuristique de l’affect
Qu’est-ce que l’heuristique de la représentativité?
Évaluation d’une caractéristique spécifique en fonction de son degré de concordance à un prototype (ex: évaluer l’attention d’un enfant en fonction de notre prototype du TDAH)
Qu’est-ce que l’heuristique de la disponibilité?
- Évaluation qui est influencée par les choses qui viennent plus facilement (ou fréquemment) en tête à l’évaluateur.trice (ex: comportements d’agressivité des enfants)
- Ces choses qui viennent en tête plus facilement sont considérées plus fréquentes et plus représentatives de la réalité
Qu’est-ce que l’heuristique de primauté / de récence?
Évaluation qui est influencée par la première vs la dernière impression de l’individu.
Qu’est-ce que l’heuristique de l’affect?
Évaluation teinté par l’état émotionnel et affectif actuel (ex: mauvaise humeur mène à estimer la présence de davantage de problèmes de comportement)
Les biais de réponse peuvent sembler b______, mais ils peuvent être très g______ puisqu’ils influencent d__________ la validité des scores obtenus à un test.
banals | graves | directement
- La validité diminué peut en retour compromettre la qualité des inférences et des décisions cliniques qui sont prises à propos d’un individu (ou d’un groupe) évalué
Quels sont les huit grands types de biais de réponse?
- Extrémité
- Indécision
- Acquiescement
- Objection
- Désirabilité sociale
- Gestion défavorable des impressions (malingering)
- Réponse aléatoire ou négligente
- Deviner (guessing)
Quel est la définition du biais de réponse d’extrémité?
- Tendance à répondre très souvent par les catégories « extrêmes », peu importe le niveau de l’individu sur le construit (cad: score à l’échelle)
- Pour des items à choix de réponses multiples.
Quel est la définition du biais de réponse d’indécision?
- Tendance à répondre très souvent par la catégorie centrale peu importe le niveau de l’individu sur le construit (cad: score à l’échelle)
- Pour des items à choix de réponses multiples
Quel est la définition du biais de réponse d’acquiescement?
- Tendance à endosser des items, sans égard à leur contenu.
- Répondre « oui » ou « vrai » dans les items dichotomiques; répondre du côté positif pour les items avec plus de deux choix de réponse.
- Aussi parfois appelée « gestion favorable des impressions »
Quel est la définition du biais de réponse d’objection?
- Tendance à rejeter des items, sans égard à leur contenu.
- Répondre « non » ou « faux » dans les items dichotomiques; répondre du côté négatif pour les items avec plus de deux choix de réponse.
Quel est la définition du biais de réponse de désirabilité sociale?
- Tendance à répondre de façon socialement désirable ou exagérément positive à des items positifs improbables, de façon à exagérer ses qualités.
- Aussi parfois appelée « échelle de mensonge ».
Quel est la définition du biais de réponse de gestion défavorable des impressions?
Tendance à répondre de façon socialement indésirable ou exagérément négative de façon à exagérer ses limites ou ses problèmes d’adaptation.
Quel est la définition du biais de réponse de réponse aléatoire ou négligente?
Répondre aux items de façon aléatoire ou avec très peu d’attention au contenu des items.
Quel est la définition du biais de réponse de deviner?
- Tendance à tenter de deviner la bonne réponse aux items.
- Pertinent seulement pour les tests de performance.
Que faire pour prévenir ou ministre les biais de réponse? (3)
Trois choses à faire :
1. Gestion de la situation d’évaluation
- Anonymat. minimiser la frustration, donner des avertissements (cad, prévenir qu’il y a des échelles de validité)
- Gestion du contenu des tests
- Items simples (niveau de langage), items avec contenu neutre (cad: non-suggestif), choix de réponse conceptuellement clairs - Utiliser des tests ou échelles de validités spécialisées
Toutes les échelles de validité spécialisées sont basées sur le mm principe. Lequel? (Question d’exam!)
des scores très élevés ou extrêmes (cad: endosser un nombre anormalement élevé d’items) suggèrent un PROBLÈME POTENTIEL.
En quoi consiste l’échelle de validité d’indétermination?
- On fait la somme des items non répondus, ou des items avec plusieurs réponses sur mm item
- Le questionnaire MMPI-2 complet compte plus de 567 questions
Quels sont les deux types d’échelles de désirabilité sociale?
- Échelle de désirabilité sociale de Marlowe-Crowne : ex. « je ne mens jamais »; « j’aime tous les gens que je connais »; « je ne me suis jamais mis en colère ».
- Inventaire balancé de style de réponse socialement désirable
Quels sont les deux échelles distinctes du type l’inventaire balancé de style de réponse socialement acceptable? Et en quoi consistent-ils?
- Auto-déception : réponses généralement honnêtes, mais exagérément positives
- Gestion des impressions : réponses malhonnêtes, le biais positif sert à a) plaire aux autres ou b) obtenir des avantages
En quoi consiste l’échelle de validité de gestion défavorable des impressions?
Tendance à répondre positivement à des items négatifs improbables (ex: « je ne suis bon.ne à rien »; « je n’ai aucun talent »)
- effet difficile à départager avec cas cliniques sévères (ex: dépression majeure ou trouble de personnalité dépressive, etc.)
En quoi consiste l’échelle de validité de style de réponse extrême?
- Choisir un nb de fois anormalement élevé (le premier ou le septième choix des items)
- Critères proposés par l’EDC
En quoi consiste l’échelle de validité d’indécision?
- Choisir un nb de fois anormalement élevé la catégorie centrale, soit le quatrième choix (celui du centre) des items.
- Critères proposés par l’EDC
En quoi consiste l’échelle de validité d’incohérence variable des réponses (VRIN)?
- Somme du nb de paires d’items qui ont été répondues de façon incohérente
Similaire : « je ne pense pas avant d’agir » - « j’agis sans réfléchir aux conséquences »
Différent : « je ne pense pas avant d’agir » - « j’y pense bien avant de prendre des décisions »
- On donne 1 pt pour chaque paire incohérente et calcule une somme
À quoi sert l’échelle de validité d’incohérence variable des réponses (VRIN)?
Sert à détecter les réponses aléatoires (intentionnelle ou non) ou la confusion dans un questionnaire.
En quoi consiste l’échelle de validité d’incohérence vraie des réponses (TRIN)?
- On utilise seulement des paires d’items qui sont conceptuellement différentes
- On calcule une somme des paires d’items répondues vrai de façon incohérente, moins la somme des paires d’items répondues faux de façon incohérente
À quoi sert l’échelle de validité d’incohérence vraie des réponses (TRIN)?
Sert à détecter les réponses incohérentes qui révèlent l’acquiescement (score très élevé) ou l’objection (score très faible, possiblement négatif)
Quels sont les quatre types de biais?
1) Biais des items
2) Biais structurel (ou factoriel)
3) Biais critériel (ou critérié)
4) Biais de la fidélité
En quoi consiste le biais des items?
- Il ne s’agit pas des différences de scores sur le trait, mais de différences systématiques dans la probabilité de répondre d’une façon donnée pour chaque item individuellement, une fois que le niveau du trait est controlé
- On compare la probabilité d’endosser les items d’une échelle pour des individus de différents groupes qui ont le mm score/niveau sur le trait
- mm principe que les variables de contrôle dans les études prédictives (ex: lorsqu’on « contrôle pour le SSÉ »)
De quoi s’agit le biais structurel (ou factoriel) pour un instrument unidimensionnel?
- Pour un instrument unidimensionnel, il peut s’agir de différences significatives des saturations factorielles entre deux groupe
- Pas banal puisque ceci signifie que le trait n’est pas mesuré de la mm façon dans différents groupes
De quoi s’agit le biais structurel (ou factoriel) pour un instrument multidimensionnel?
Pour un instrument multidimensionnel, a) différences des saturations et b) la structure factorielle n’est pas la mm dans différents groupes
ex: analyse factorielle révèle 3 facteurs pour les hommes, mais seulement deux pour les femmes
En quoi consiste le biais critériel (ou critérié)?
S’applique autant à la validité de critère concomitante (critère indépendant et groupes contrastés) qu’à la validité prédictive
ex: un trait tempéramental qui prédit l’adaptation ultérieure pour un groupe d’enfants, mais pas pour un autre
ex: un test de QI prédit la réussite pour un groupe culturel, mais pas pour un autre
ex: nouvelle échelle d’engagement scolaire pour prédire réussite scolaire
Vrai ou Faux: l’observation de différence entre des groupes pour les relations prédictives peut être attendue parce que ceci est justifié théoriquement… il s’agit alors d’un biais.
Faux! il ne s’agit pas d’un biais!!!
En quoi consiste le biais de la fidélité?
- Les estimés de la fidélité sont significativement différents dans différents groupes
- La variation entre les individus d’un mm groupe (variance intragroupe) peut être énorme
ex: hommes = 0,80 femme = 0,58
Le biais de la fidélité peut être potentiellement important pour l’interprétation. Pourquoi?
- S’il y a un biais, le niveau de confiance qu’on peut avoir envers les scores d’une échelle varie d’un groupe à l’autre
- Les différences de groupe observées au niveau des moyennes peuvent alors être en partie expliquées par de l’erreur
Bien que faire du « testing » en comparant des groupes selon le sexe/genre, l’origine ethnique ou culturelle, le groupe clinique, etc., puisse être informatif pour plusieurs chercheurs.euses, souvent, on fait de la « ____-_______________».
sur-généralisation
En tant que psychoéducateur.trice il ne faut jamais perdre de vue que l’objectif d’une ______________ psychoéducative est d’interpréter les scores et de faire des recommandations pour ____ individu ____________.
évaluation | UN | particulier
