Examen intra

Question 1

Selon le Petit Robert, l’évaluation est “l’action d’évaluer, de déterminer la valeur ou l’importance (d’une chose)”.

Pourquoi l’évaluation est-elle lourde de conséquence en psychoéducation ?

Answer 1

En psychoéducation, ceci est lourd de conséquence puisque vous portez un jugement sur une personne, ses limites et ses forces, son potentiel adaptatif, son avenir, sa famille, etc.

Question 2

L’évaluation est indissociable de l’intervention. Expliquez.

Answer 2

L’évaluation occupe (ou devrait occuper) une place centrale en sciences sociales, incluant dans la pratique psychoéducative.

En fait, c’est un problème éthique de ne pas faire une évaluation avant d’intervenir

Question 3

En clinique, beaucoup de temps est alloué à l’évaluation d’une intervention. Vrai ou faux ?

Answer 3

Faux.

Des sondages auprès de psychologues révèlent qu’en réalité :

• peu de temps est dévoué à l’évaluation
• peu de cliniciens évaluent systématiquement les effets de leurs thérapies/interventions

Des études ont montré que même en psychologie, où la formation à l’évaluation est obligatoire, les psychologues se servent peu des données disponibles et basent leurs pratiques sur leur «sens clinique» de ce que le client a besoin ou de ses progrès …

Question 4

Pourquoi dit-on que l’évaluation est négligée en psychoéducation au Québec ?

Answer 4

En psychoéducation au Québec, il y a encore trop peu d’évaluation et en plus, elle est trop souvent effectuée de façon un peu négligée (instruments non validés au Québec, pas de normes québécoises, non respect du protocole d’administration, etc.)

Question 5

Pourquoi le rapport d’évaluation psychoéducative est-il l’exemple parfait de l’importance de l’évaluation ? (2)

Answer 5

1. Il reste associé à vous pour la postérité !
   Un rapport d’évaluation daté et signé – qu’il s’agisse d’une œuvre géniale ou d’un travail bâclé honteux – est un acte professionnel qui vous sera attribué pour toute votre carrière
2. Peut avoir des implications légales
   Si vous faites partie d’un ordre professionnel, vous pourriez même être poursuivi pour le contenu d’un rapport d’évaluation … et ça arrive !

Question 6

L’acte d’évaluer est au cœur même de la définition de la profession. Qu’est-ce que l’évaluation selon l’OPPQ ?

Answer 6

«L’évaluation consiste en la description, l’analyse et l’interprétation d’une situation ou d’un phénomène en vue de fournir des données utiles à la prise de décision dans la poursuite d’un objectif ou d’un but »

L’évaluation exige que le professionnel pose un JUGEMENT sur la situation d’une personne à partir des informations dont il dispose

Question 7

Quelles sont les différentes étapes de l’évaluation selon l’OPPQ ? (3)

Answer 7

1. une étape de collecte de données visant à décrire et à comprendre la situation problématique
2. une étape d’analyse des données dans le but de dresser un bilan clinique
3. une étape de communication qui inclut généralement la rédaction d’un rapport et/ou un exposé dans une équipe multidisciplinaire

Question 8

Les professionnels de l’intervention psychosociale adoptent de plus en plus une pratique basée sur l’évidence empirique, ou basée sur des données probantes, ou fondée sur des preuves, etc.

Pour que la pratique soit prise au sérieux, il faut donc une approche basée sur l’évidence empirique. Quels sont les problèmes que cette approche tente de résoudre ? (3)

Answer 8

1. Problèmes dans la sélection des méthodes d’évaluation
   Ex. Mesures projectives pour déterminer la garde d’un enfant ?
2. Problèmes dans la valeur scientifique des instruments d’évaluation employés (i.e., propriétés psychométriques)
3. Problèmes dans l’interprétation des données cliniques tirées d’un instrument

Question 9

Quels sont les deux principes qui sous-tendent l’évaluation basée sur l’évidence empirique ?

Answer 9

(1) Les théories du développement normal et de psychopathologie développementale ainsi que les recherches scientifiques doivent guider la sélection des construits à être évalués ainsi que les méthodes d’évaluation à utiliser
(2) Des instruments avec de bonnes propriétés psychométriques démontrées doivent être utilisées

Question 10

Quels sont les sept grands objectifs de l’évaluation ?

Answer 10

1. Dépister : déterminer les populations plus à risque de présenter un trouble
2. Établir un diagnostic
3. Établir un pronostique
4. Faire une conceptualisation de cas (en psychoéducation, «évaluation fonctionnelle»)
5. Évaluation des effets d’une intervention
6. Évaluation de la mise en œuvre d’une intervention
7. Développement de programmes d’intervention

Question 11

Comment la théorie influence-t-elle l’évaluation ? (2)

Answer 11

1. La théorie guide l’intervention
   - Propose les facteurs qui devraient être changés ou modifiés, les médiateurs de l’intervention, etc.
2. La théorie devrait aussi guider l’évaluation
   Propose les concepts qui devraient être évalués
   «Les observations impliquent toujours la théorie»

Par ex., Théorie à la base de la psychoéducation (i.e., Gendreau):

• Intervention en groupe (jeunes, intervenants, processus de groupe)
• Activités de réadaptation (e.g., entrainement aux habiletés sociales, régulation de la colère, etc.)

Question 12

Quels sont les grandes catégories d’instruments d’évaluation utiles en psychoéducation ? Y a-t-il beaucoup d’instruments qui y sont associés ?

Answer 12

1. Comportements, émotions et cognitions des individus en difficulté ou à risque : il en existe plusieurs, même probablement trop
2. Processus de groupe : il en existe quelques uns, mais somme toute peu
3. Nature et qualité de l’intervention : il en existe très peu. Peu d’instrument pour mesurer l’intervention psychoéducative.

Question 13

Selon Gendreau (2001) et Renou (2005), l’évaluation est une opération professionnelle qui accompagne le processus d’intervention tout au long de sa séquence.

Pourquoi l’évaluation doit-elle nécessairement précéder une intervention ? (2)

Answer 13

Sinon :
1. Comment savoir sur quoi intervenir?

2. Comment savoir si les choses ont réellement changées, donc si notre intervention est efficace?
   Si elle a des effets iatrogènes?

Question 14

Au Québec, les instruments d’évaluation qui étaient traditionnellement utilisés en psychoéducation étaient la consultation des rapports existants et des observations directes dans le milieu et les grilles d’observation «maison» (e.g., cahier de bord, etc.)
«Vécu partagé» et discussions de cas entre intervenants, informelles ou en équipe

Les choses n’ont pas beaucoup changé au Québec pendant ~30 ans, mais on constate une grande amélioration, surtout suite au PL 21. Quelles sont ces améliorations ? (4)

Answer 14

1. des instruments ont été développés dans le cadre de recherches évaluatives
2. des exigences éthiques/déontologiques plus strictes ont vues le jour suite à la mise en place de l’OCCOPPQ, maintenant l’OPPQ. Développements législatifs (e.g., PL 21)
3. Reconnaissance accrue de l’importance d’évaluer la nature et l’efficacité de nos interventions
4. Tout ça a mené à des efforts de traduction et d’adaptation d’instruments en français

Question 15

La question de l’évaluation des jeunes en difficulté revient régulièrement à l’ordre du jour des réflexions des gestionnaires et des praticiens à l’occasion de comités consultatifs, de tables de concertation et de colloques professionnels

Les commissions gouvernementales rappellent constamment, depuis au moins 45 ans, la nécessité de faire de l’évaluation (différentes commissions d’enquêtes).

Quel est l’état de l’évaluation dans les Centres Jeunesse ?

Answer 15

Les deux lois relatives à la jeunesse en difficulté (LPJ, LSJPA) sont plutôt évasives concernant l’évaluation
Les Centres jeunesse au Québec ne proposent généralement pas aux intervenants des protocoles d‘évaluation standardisés à utiliser de façon systématique

Les intervenants disposent donc seulement de leur «protocole d’évaluation personnel», qu’ils appliquent plus ou moins systématiquement

Une des raisons est qu’on manque d’instruments d’évaluation en français développés et validés selon des critères scientifiques rigoureux

Question 16

Les questionnements reliés à l’évaluation et à la prédiction des comportements sont-ils nouveaux dans l’histoire ?

Answer 16

Fonctionnaires de l’empire chinois (1er Empire Chin) évaluaient les individus pour sélectionner les dirigeants militaires et ceux qui travailleraient pour l’empereur

Philosophes de l’Antiquité et de la Renaissance tentaient de prédire le comportement à partir du «tempérament»

De façon plus contemporaine, l’évaluation dite «standardisée» a débutée à la fin du 19e et au début du 20e siècle par l’évaluation de l’intelligence (capacités cognitives)
- Travaux de Binet pour identifier les enfants «déficients mentaux», travaux de Galton et Cattell pour évaluer différents aspects de l’intelligence, etc.

Un peu plus tard, l’évaluation de la personnalité pour les recrues et les hauts gradés des forces armées et pour les organisations de travail

Question 17

Avec la montée de l’approche scientifique, les citoyens et les ordres professionnels (et, en réaction, les politiciens) s’attendent à ce que les méthodes d’intervention utilisées avec les individus en difficulté aient une certaine rigueur scientifique.

À quoi s’attendent-ils ? (3)

Answer 17

1. Leur efficacité démontrée empiriquement
2. L’absence d’effet délétères (ou iatrogènes) doit aussi être démontrée («primum non nocere»)
3. Pour qu’un phénomène ou un construit soit dit «scientifique», il doit pouvoir être mis à l’épreuve par la méthode scientifique, et donc, doit être mesurable, vérifiable et reproductible

Question 18

Qu’est-ce qu’un construit ?

Answer 18

Les construits sont des entités dont on croit à l’existence dans la nature (i.e., on croit que ça existe vraiment), mais que généralement on ne peut pas mesurer directement.

Un construit est une «entité abstraite, hypothétique, qui est inférée à partir d’un ensemble de choses directement observées (e.g., pensées, émotions, comportements)» (Raykov & Marcoulides, 2011)

C’est pour cette raison qu’on parle aussi souvent de «construit latent» ou de «trait latent»

e.g., On croit à l’existence de la dépression, mais on ne peut pas mesurer «ça» directement (c’est latent), il faut poser des questions sur l’humeur, le sommeil, l’alimentation, les pensées suicidaires, etc. (observés)

Question 19

Sur quoi sont basés les construits ?

Answer 19

Les construits, qu’ils soient dans les sciences physiques (présumées plus «dures») ou humaines et psychologiques (présumées plus «molles»), sont souvent basés sur une théorie de ce qu’on pense de l’univers dans lequel on vit. Les construits qui sont utilisés en sciences humaines sont souvent basés sur une théorie (ex., dépression majeure ou TDAH selon le DSM, psychopathie selon Hare, etc.)

e.g., en astrophysique, où les chercheurs font des prédictions largement plus précises qu’en psychologie ou même qu’en médecine, on étudie les supernovas, les trous noirs, etc.

Question 20

Quels sont les éléments nécessaires pour qu’un construit soit considéré comme scientifique ? (2)

Answer 20

1. pouvoir les mesurer adéquatement (validité) et de façon précise (fidélité)
2. pouvoir les mettre à l’épreuve empiriquement de façon répétée – implique donc une grande rigueur

Question 21

Selon l’OPPQ, qu’est-ce qui doit être évalué?

Answer 21

«L’évaluation réservée est différentielle et multifactorielle, c’est-à-dire qu’elle tient compte d’une variété de facteurs dont la mise en relation permettra d’arriver à cerner le problème de la personne.» (OPPQ, 2014)

Question 22

Que doit-on évaluer en psychopathologie développementale ?

Answer 22

« les expert.e.s en psychopathologie développementale cherchent à faire uneÉVALUATION EXHAUSTIVE des processus biologiques, psychologiques, sociaux et culturels et tenter de COMPRENDRE COMMENT ces différents niveaux d’analyse influencent les différences individuelles, la continuité et la discontinuité des profils D’ADAPTATION ET D’INADAPTATION ainsi que les différentes TRAJECTOIRES par lesquelles les formes d’adaptation apparaissent»

Interactions entre les caractéristiques individuelles (p. ex. biologiques, psychologiques) et l’environnement (p. ex. ami.e.s, emploi)

Question 23

“Un problème d’adaptation est une adaptation d’un individu face à un environnement inadéquat” Expliquez.

Answer 23

Des comportements inadaptés dans un milieu peuvent être parfaitement adaptés dans un autre.

Ex. les jeunes de Pinel ne savent pas des habiletés sociales de base car ils ont appris les habiletés sociales autres de leur milieu.

Question 24

L’évaluation et l’intervention doivent cibler les caractéristiques ________ ET __________.

Answer 24

Personnelles
Environnementales

Autrement dit, l’évaluation doit se faire dans plusieurs contextes pour être sur que le comportement n’est pas du à l’environnement plutôt qu’uniquement à la personne.

Question 25

Pourquoi est-il important d’évaluer les compétences, les forces et les facteurs de protection en psychopathologie développementale ?

Answer 25

Évaluer les compétences et les forces puisqu’elles sont souvent des leviers utiles dans un PI efficace

Plus difficile de changer un comportement «inadapté» ou un facteur de risque; plus facile de travailler avec les individus en misant entre autres sur leurs forces et leurs préférences

Question 26

Un système de classification est nécessaire pour organiser les aspects centraux d’une discipline scientifique. En psychiatrie/psychologie la classification est la base pour organiser les connaissances scientifiques. Qu’est-ce qu’une classification ?

Answer 26

Placer des objets (ou des construits psychologiques) dans des catégories distinctes, ou sous-groupes, à partir de certaines règles

On peut classifier des items (approche dimensionnelle et modèle multivarié) ou des individus (approche catégorielle et modèle médical)

Question 27

Quelle est la différence entre un corrélat, un facteur de risque statique et un facteur de risque causal ?

Answer 27

Corrélats : facteurs qui arrivent en général en même temps, mais dont la corrélation n’a pas été encore confirmée expérimentalement. Prédécesseur du facteur de risque.

Facteur de risque statique : permanent dans le temps. Ex. Abus à l’enfance, être un homme, etc.

Facteur de risque causal : qui est l’élément déclencheur. Peut être difficile à déterminer.

Question 28

Dans l’approche dimensionnelle, on classifie des _______ pour former des _________ ou des ______________.

On cherche une __________ qui permet de classifier tous les items qui définissent le (ou les) construit d’intérêt dans des dimensions qu’on veut mutuellement exclusives (ou orthogonales) : est-ce que les items sont assez liés pour mesurer le même construit ?

Answer 28

Items (ou facteurs)
Dimensions
Traits latents

structure factorielle : on fait passer le questionnaire à beaucoup de gens et ont regarde si ils répondent de la même façon aux mêmes questions.

Question 29

Quel est le coefficient limite pour mesurer si les items mesurent le même construit ?

Answer 29

Au dessus de 0,4.

Question 30

Dans l’approche dimensionnelle, les traits sont _________. Expliquez.

Answer 30

Bipolaires : on identifie des différences entre les individus le long d’un continuum.

Il est assumé que tous les individus «possèdent»le trait, mais à divers degrés.

On identifie donc des différences quantitatives entre les personnes (aka, différences individuelles)entre un pôle positif et un pôle négatif

On doit choisir un critère pour déterminer si un niveau (score) est normal ou «anormal», à l’aide d’une norme.

Question 31

Selon l’approche catégorielle, on classifie des individus pour former des _______, ou ____________ ou _________.

On ne veut pas des regroupements d’items, mais des regroupements de personnes

P. ex. les enfants qui manifestent un nombre déterminé de symptômes d’inattention et d’hyperactivité sont classifiés dans les types de TDAH (type mixte ou type inattention seulement), alors que les enfants qui n’atteignent pas le nombre de symptômes sont classifiés dans le type «sans problème»

Answer 31

Types
Profils latentes
Classes latentes

Question 32

Quels sont les trois types de regroupements de personnes dans l’approche catégorielle ?

Answer 32

1. Sur une base exclusivement théorique
   P. ex., typologie Myers-Briggs, typologie de la violence conjugale de Johnson, théorie de la délinquance de Moffitt, typologie des habiletés parentales de Baumrind

2) À partir de recension des connaissances tirées de la littérature scientifique
P. ex., DSM-5, ICD-11

3) Sur une base empirique (typologies empiriques), basée sur la recherche.
On utilise des analyses statistiques : analyse de regroupement (“cluster analysis”) ou modélisation de distributions mixtes (“mixture modeling”).
Ex. Une typologie de l’adaptation comportementale de l’enfant basée sur l’évaluation des parents.

Question 33

Dans l’approche catégorielle, on cherche une typologie (qu’on appelle parfois taxinomie) qui permet de classifier tous les individus de la population dans des _____________, mutuellement exclusives

On identifie donc des différences ________ entre les personnes

Certains types sont des individus bien adaptés (la majorité), d’autres sont des individus «inadaptés»

Answer 33

catégories discrètes

qualitatives

Question 34

Le DSM-5 est un système de classification (ou nosologiques) des troubles mentaux (ou psychopathologies) qui est très utilisé, et utile pour la communication entre intervenants, entre les institutions, etc… mais attention à l’étiquetage!!

Quels sont les problèmes de validités des diagnostics du DSM ? (3)

Answer 34

1) La complexité de l’adaptation humaine fait qu’il est souvent irréaliste de dichotomiser (perd sévérité)
2) Tous les symptômes pertinents ne sont pas nécessairement présents dans la liste préétablie
3) Problèmes avec algorithmes de classification : comme les symptômes sont très différents d’un individu à l’autre ayant le même diagnostic, comment déterminer le cas le plus grave ou celui avec un pronostic négatif ?

Question 35

Qu’est-ce qu’un modèle mixte ?

Answer 35

Un modèle qui inclus les approches dimensionnelle et catégorielle.

Question 36

Selon l’OPPQ (2014), « l’évaluation réservée implique le__________ du professionnel, au même titre que le diagnostic du médecin, ainsi que la communication de ce jugement.

L’évaluation et ses conclusions ont ___________ sur le plan professionnel

Il en est tout autrement de la détection, du dépistage, de l’appréciation et de la contribution … qui ne conduisent pas à statuer sur l’existence de difficultés précises ni sur les répercussions à plus long terme de ces difficultés dans la vie de la personne

Answer 36

Jugement clinique

Statut d’autorité

Question 37

Qu’est-ce que la détection ?

Answer 37

relever des indices de trouble non encore identifié ou de facteurs de risque dans le cadre d’interventions dont les buts sont divers»

Question 38

Qu’est-ce que le dépistage ?

Answer 38

«départager les personnes qui sont probablement atteintes d’un trouble non diagnostiqué ou d’un facteur de risque d’un trouble, des personnes qui en sont probablement exemptes»

Question 39

Qu’est-ce que l’appréciation ?

Answer 39

«prise en considération des indicateurs (symptômes, manifestations cliniques, difficultés ou autres) obtenus à l’aide d’observations cliniques, de tests ou d’instruments»

Question 40

Qu’est-ce que la contribution ?

Answer 40

«réfère à l’aide apportée par différent.e.s intervenant.e.s à l’exécution de l’activité réservée au professionnel»

Question 41

Comment compare-t-on l’évaluation et le dépistage ?

Answer 41

Dépistage veut prédire des problèmes pas encore présents ou pas encore cliniquement graves

Question 42

Comment compare-t-on un trouble et le diagnostic ?

Answer 42

Trouble est la condition clinique d’un patient, le diagnostic est l’étiquette qui représente l’information à propos de cette condition

Question 43

Comment compare-t-on un diagnostic et une hypothèse Clinique/Diagnostique ?

Answer 43

Diagnostic: Assignation formelle d’un individu dans une catégorie d’un système de classification (p. ex., DSM-5)

Hypothèse diagnostique: Hypothèse de travail clinique servant à faire une conceptualisation de cas et à guider l’intervention (peut être dérivée des mêmes critères)

Question 44

Comment compare-t-on un pronostic et une hypothèse pronostique? Qu’est-ce qu’il faut connaitre pour statuer sur le pronostic ?

Answer 44

Pronostic: jugement porté sur l’évolution, la durée (ou la stabilité) et les conséquences futures d’un diagnostic, dans le cas où aucune intervention ne serait effectuée

À noter que pour établir un pronostic valide et fiable, il faut connaître :

1. Continuité / stabilité du trouble
2. Facteurs de risque, d’aggravation, de persistance et de récidive / rechute
3. Facteurs de protection et de désistement

Question 45

Quels sont les 4 grandes étapes du diagnostic différentiel ?

Answer 45

1. Est-ce qu’on est vraiment en présence d’un problème, d’une psychopathologie, ou est-ce un problème contextuel ou réactionnel transitoire ?
2. Considérer explicitement différentes hypothèses diagnostiques plausibles
3. Décider quelle est l’hypothèse diagnostique principale à partir du cadre théorique choisi, des données cliniques recueillies et surtout, du niveau d’urgence
4. Établir une hypothèse pronostique

C’est juste un cheminement mental. Il faut considérer plusieurs hypothèses avant de se prononcer

Question 46

Qu’est-ce que la comorbidité ?

Answer 46

Terme médical qui signifie la présence de deux (ou plus) diagnostics chez un individu

Pour les tenants de l’approche dimensionnelle, on utilise plus souvent le terme co-occurrence

À noter qu’en évaluation clinique, on tente d’expliquer le pourquoi de la comorbidité autant que celui du diagnostic principal

Question 47

Comment compare-t-on l’évaluation diagnostique et l’évaluation fonctionnelle ?

Answer 47

Évaluation diagnostique: l’objectif est explicitement de poser un diagnostic

Ne s’intéresse généralement pas aux causes et aux processus expliquant le pourquoi du problème

Les psychoéducateurs ne peuvent pas légalement poser de diagnostic, mais peuvent tout à fait collaborer à une évaluation diagnostique (p. ex. appréciation, contribution)

Évaluation fonctionnelle: L’objectif de l’évaluation est de collecter des données afin d’aider à comprendre les processus explicatifs (i.e., facteurs de risque et de protection, mécanismes de développement, trajectoire) et les fonctions d’un problème d’adaptation

En raison de son objectif, est aussi souvent appelée «analyse de résolution de problème»

Attention : faire la distinction avec «l’analyse fonctionnelle» dans le cadre d’une intervention cognitive-comportementale (cours approche C-C)

Question 48

En psychoéducation, toujours garder en tête que l’objectif n’est pas «d’évaluer pour évaluer» ou pour poser un diagnostic, mais pour : (4)

Answer 48

1. Cerner la problématique et les besoins de services de la personnes en difficulté
2. Formuler un jugement clinique sur les capacités et déficits adaptatifs de la personne et de son milieu
3. Élaborer, appliquer et faire le suivi d’un PI psychoéducatif
4. Mettre en place des pratiques d’intervention efficaces et rigoureuses

Question 49

Le modèle exhaustif d’évaluation (MCÉ) se base toujours sur le motif de référence comme point de départ.

C’est un modèle qui spécifie que conceptuellement, l’évaluation doit être : (3)

Answer 49

1. Multidimensionnelle
   Multiples dimensions de l’adaptation doivent être évaluées (exemple :
   Biologie (p. ex., hormones, neurotransmetteurs, etc.)
   Fonction exécutive (p. ex., attention) et réussite académique
   Cognitions (p. ex., habiletés cognitives, distorsions cognitives, schémas, etc.)
   Stratégies de coping, de gestion des émotions
   Traits tempéramentaux ou traits de personnalité
   Comportements adaptatifs (routines de base, tâches quotidiennes, etc.)
   En somme, il faut une approche holistique de l’évaluation
2. Multi-contextuelle (ou Multiniveau)
   Multiples contextes dans lesquels l’individu évolue doivent être évalués :
   - Contextes proximaux
   Structure familiale, pratiques parentales, relations avec les pairs, relations avec les enseignants, activités routinières, etc.
   - Contextes distaux
   Statut socioéconomique (SSÉ), communauté (ou quartier), culture (valeurs, croyances partagées), etc.

En somme, il faut une approche éco-systémique (ou écologique) de l’évaluation

3. Dynamique (ou développementale)
   Ce sont les processus de développement qui s’opérationnalisent par les interactions entre les dimensions et les contextes qui sont importantes
   Ce n’est pas tant les niveaux sur les dimensions individuelles ou contextuelles qui sont importantes, mais plutôt les interactions entre tous ces éléments pour un individu particulier

Il y a plusieurs façons de conceptualiser ces interactions, ou «transactions»
Relations additives, interactives (modération) et indirectes (médiatisation) entre différents facteurs (voir figure)

L’aspect développemental est fondamental, donc en somme, il faut une approche transactionnelle de l’évaluation

Question 50

Quelle est la différence entre la mutlifinalité et l’équifinalité ?

Answer 50

Un même facteur de risque peut mener à des profils d’inadaptation différents (multifinalité), alors que des facteurs de risque différents peuvent mener à un même profil d’inadaptation (équifinalité)

Concepts importants puisqu’ils influencent les hypothèses clinique et pronostique et, ultimement, l’intervention privilégiée

Question 51

Qu’est-ce qu’un facteur de protection ?

Answer 51

Trajectoires développementales peuvent changer en raison de facteurs de protection

Facteurs qui réduisent les risques de développer un problème, malgré la présence de facteurs de risque (sinon on dit facteurs de promotion ou compensatoires)

Question 52

Selon le MCÉ, l’évaluation doit être méthodologiquement : (2)

Answer 52

1. Multi-informateurs
   Tous les informateurs procurent une part d’information valide, mais tous sont aussi en partie influencés par des biais
   Individu en difficulté, parents, enseignant, intervenant, conjoint(e), ami(e), etc.
2. Multi-méthodes
   Échelles d’évaluation ou questionnaires, entrevue structurées ou semi-structurées, observation systématique, tâches expérimentales, etc.

Question 53

Quels sont les différents types d’instruments de mesure ? (4)

Answer 53

1. Échelles d’évaluation et questionnaires
   «Rating scale» versus «checklist»
   Outils les plus utilisés: faciles et rapides à employer
   On peut recourir à différents informateurs
   Offrent la possibilité de mesurer systématiquement le fonctionnement dans différents contextes
   - Problèmes avec les échelles d’évaluation
   Intentions et motivations, compréhension, style de réponse, indulgence ou sévérité, etc.
2. Entrevues
   Structurées et semi-structurées
   Structurées généralement associées à des systèmes de classification (e.g., DSM-V)
   Demande un entraînement avancé, mais souvent nécessaires en clinique (semi-structurée)
3. Observation systématique
   en milieu d’intervention ou en milieu naturel
4. Méthodes projectives
   Postulat: réponse à des stimuli ambigus peut révéler des choses …
   Cotation et interprétation hautement subjective

Question 54

Qu’est-ce qu’une théorie implicite ?

Answer 54

Un ensemble plus ou moins cohérent de croyances a priori à propos des caractéristiques ou propriétés d’un objet, incluant les humains (Plaks, 2016)

S’appliquent à la personnalité, aux problèmes d’adaptation, aux relations et rôles sociaux, etc.

Évidemment, nos croyances a priori peuvent être justes (valides) ou erronées (biais)

Les théories implicites s’appliquent à tou.te.s et aussi aux intervenant.e.s!

Il est normal de catégoriser pour se simplifier la vie (ex. Reconnaitre qu’une table est une table meme si elle est différente)

Les clinicien.ne.s utilisent toujours une théorie implicite de la psychopathologie pour les aider à classifier (diagnostiquer) une personne et, ultimement, choisir une intervention particulière

Des études ont montré que les «symptômes centraux» de leur théorie ont subjectivement beaucoup de poids :
Plusieurs semaines après avoir rencontré une personne en entrevue, ils se rappellent davantage de ces symptômes et y donnent plus de poids dans leur diagnostic

Le diagnostic (et l’évaluation en général) est un acte de catégorisation, qui lui en est toujours influencé par la «théorisation» de l’évaluateur

Question 55

Il faut être très prudent et éviter que nos évaluations ne soient que des ____________ de ce qu’on croit implicitement

Même avec des instruments dits «objectifs» et «athéoriques», notre théorie implicite va influencer l’interprétation des scores, le poids qu’on donne à certaines informations dans l’interprétation, ce qui, en retour, peut influencer nos décisions cliniques (i.e., le genre de P.I. qu’on privilégie, la façon de mesurer l’atteinte d’objectifs, etc.)

Dans un contexte moins structuré comme en entrevue, cette influence peut être encore bien plus grande …

Answer 55

tentatives de confirmation

Très rare que les choses sont totalement objectives. Attention quand on creuse des informations qui ne font que confirmer ce que l’on pense.

Question 56

Le besoin de quantifier, de mesurer ce qu’il y autour de nous est fondamental – nous aide à comprendre et à agir sur notre monde

Comment on mesure et avec quelle précision on peut le faire obsède les scientifiques de toutes les disciplines et depuis longtemps

Pourquoi est-ce aussi important ?

Answer 56

Il faut avoir de bons outils pour pouvoir reproduire les résultats.

Importance de la standardisation de la mesure (i.e., tout le monde le fait de la même façon)

Question 57

Quelles sont les sept unités fondamentales de mesure ?

Answer 57

1. Temps
   - Probablement la première chose qui a été mesurée (e,g., avec le soleil, les étoiles)
   - Nombre 12 encore beaucoup utilisé parce que très divisible (a commencé au Moyen-Orient)
   - Aujourd’hui, nous avons une horloge atomique assez précise … elle perd une seconde en 130 millions d’années
2. Distance
   A longtemps été basée sur des parties du corps des dirigeants, des rois et reines (e.g., pieds)
   Aujourd’hui on a le mètre, né de l’Académie française des sciences après la révolution
3. Masse
   Système métrique
   L’étalon international du kilogramme est gardé sous haute sécurité à Paris …
   mais problème : il perd de la masse
4. Mole (ou quantité)
   On a le litre, ml, etc.
5. Lumière
   plusieurs façons: Longueur d’ondes (nanomètres), fréquence (Hertz), énergie (électron/volts)
6. Chaleur
   Thermomètre (en Celsius ou Fahrenheit)
7. Électricité
   Volt, ampère, Watts, KW, MW, etc.

Question 58

Qu’est-ce que la mesure?

Answer 58

«La mesure, prise au sens large, consiste à associer des nombres à des objets ou à des événements selon certaines règles»

«La mesure en psychologie est une opération qui consiste à associer des nombres à des personnes de telle sorte que certains des attributs de ces personnes sont représentés fidèlement par certaines propriétés des nombres»

Question 59

Quelles sont les propriétés d’une échelle de mesure nominale ?

Answer 59

On donne un numéro à une entité. Le numéro ne veut rien dire. ex. numéro de joueurs de hockey

Pas de magnitude (l’un n’est pas meilleur que l’autre), pas d’intervalles égaux, pas de 0 absolu.

Question 60

Quelles sont les propriétés d’une échelle de mesure ordinale ?

Answer 60

Les numéros sont donnés dans un ordre, mais l’un n’est pas meilleur que l’autre. Ce sera la position, (ex 1e, 2e, 3e) qui est importante, même si on ne connait la distance exactes entre ces positions.

Magnitude mais pas d’intervalles égaux ni de 0 absolu.

Question 61

Quelles sont les propriétés d’une échelle de mesure intervalle ?

Answer 61

Interval (aussi appelé relative): c’est une mesure mais le 0 n’est pas absolue (il y a toujours une certaine quantité de ce que l’on mesure). Gradation, mais l’écart entre les réponse / point de l’échelle est toujours le même (ex.: degré de colère entre 1 et 5). Opérations: addition et soustraction. Ne peut pas avoir de 0

Magnitude et intervalles égaux, mais pas de 0 absolu.

Question 62

Quelles sont les propriétés d’une échelle de mesure ratio ?

Answer 62

Ratio (aussi appelé échelle absolue) : présence de 0 absolue. L’écart entre les réponse / point de l’échelle est toujours le même. Un plus grand nombre d’opérations est possible (ex.: 5 secondes est deux fois plus rapide que 10 secondes). L’absence totale (zéro) est concevable. Opérations: addition, soustraction, multiplication et division.

Magnitude, intervalles égaux et zéro absolu.

Question 63

Pour des concepts psychosociaux, on utilise souvent le terme «instrument de mesure» plutôt que «test». Pourquoi ?

Answer 63

Parce qu’on évalue pas les gens pour savoir s’ils ont la bonne réponse ou pas (p. ex., test de mathématiques, test de QI)

Question 64

Qu’est-ce qu’un test ? (4)

Answer 64

Selon Anastasi et Urbina (1997), un test est «une (1) mesure (2) standardisée et (3) objective d’un (4) échantillon de comportements»

Question 65

Qu’est-ce qu’une mesure ?

Answer 65

Associer des nombres à des caractéristiques d’un individu (peut aussi être des caractéristiques de l’environnement)

Question 66

Qu’est-ce que veut dire standardisé ?

Answer 66

Uniformité de la procédure d’administration de l’instrument

Principe du contrôle rigoureux de la démarche de toute observation scientifique

Administration standard d’un test : Questions (items), consignes et conditions d’administration doivent être les mêmes pour tous les répondant.e.s

ex. l’examinateur ne peut rephraser les questions, il doit uniquement la répéter pour éviter d’ajouter de la subjectivité au test.

Question 67

Qu’est-ce que l’objectivité ?

Answer 67

Signifie que (a) les items doivent être compris de façon non-ambiguë et de la même façon par tous les évalué.e.s et (b) les résultats obtenus (scores) devraient systématiquement procurer de l’information sur le construit ciblé, indépendamment (ou en dépit) du jugement subjectif d’un évaluateur.rice

On veut un estimé du construit qu’on mesure, pas un estimé contaminé par d’autres facteurs confondants

P. ex., Un questionnaire avec des items au niveau de langage trop sophistiqué, pas compris par plusieurs évalué.e.s

Ex. attention à utiliser des items très précis/spécifique ou qui ne s’appliquent pas à la personne, comme «bouger vous bcp sur votre chaise au théâtre» à des itinérants (facteur confondant : ).

Question 68

Qu’est-ce qu’un échantillon de comportements ?

Answer 68

Signifie qu’on ne couvre pas toutes les manifestations possibles d’un construit, on sélectionne soigneusement un échantillon restreint, mais représentatif du concept

Ce n’est pas les items spécifiques qui sont d’intérêt, mais la qualité de l’inférence qu’on peut faire avec ceux qui sont utilisés

Ce qui est important, c’est de bien sélectionner l’échantillon de comportements, pas quels items spécifiques sont utilisés

Question 69

Urbina (2014) souligne qu’il est important de ne jamais oublier que les instruments d’évaluation sont des outils

Que veut-elle dire ?

Answer 69

Ceci veut dire qu’ils sont toujours un moyen pour atteindre une fin, mais jamais une fin en soit
Lorsque bien validés et utilisés correctement, ils peuvent être des aides très utiles pour les professionnel.le.s

Par contre, lorsqu’ils sont peu valides ou fiables et/ou mal utilisés, ils peuvent mener à des conséquences négatives

Analogie du marteau: outil très simple, peut être tellement utile qu’on peut se construire une maison avec … mais on peut aussi faire du mal avec (coup sur le doigt … ou agresser quelqu’un.e)

En évaluation psychoéducative, cela peut être un «étiquetage» dommageable pour un.e client.e !

Question 70

Une des particularités de la mesure en sciences sociales est que les construits théoriques ne sont généralement pas observables directement. Comment appelle-t-on ces traits ?

Answer 70

Des traits latents

Question 71

Lorsqu’on a recours aux traits latents, on accepte de facto deux postulats :

Answer 71

Postulat théorique : On postule que le construit existe (sinon quel serait l’intérêt ?)

Postulat de mesure : On postule que même si on ne peut le mesurer directement, on peut le faire indirectement avec un échantillon représentatif d’indicateurs observables, valides et fiables

Question 72

Qu’est-ce que le mode et la médiane ? L’étendue ? La variance ? L’écart-type ?

Answer 72

Mode : score le plus fréquent obtenu

Médiane : score qui coupe la distribution en deux.

Étendue : scores min à max

Variance : coefficient de dispersion

Écart-type (ÉT) : racine carrée de la variance

Question 73

Quelles sont les % de la distribution sous la courbe en fonction de un , deux et trois écart-types ?

Answer 73

1 ÉT = 68,2 % des individus ont un score à l’intérieur d’un ÉT de la moyenne
2 ÉT = 95,4 % des individus
3 ÉT = 99,8 % des individus

Question 74

Donnons-nous le score brute aux sujets que nous évaluons ? Quels scores donnons-nous ?

Answer 74

Non, car les scores brutes sont difficiles à interpréter.
Ex. un score de 3/6 n’est pas nécéssairement “dans la moyene”.

Pour déterminer si un individu présente un score «anormal» ou «problématique», on a besoin de comparer le score obtenu avec un critère de comparaison, avec une norme objective et systématique : les scores standardisés.

Question 75

En général, il y a deux grands types de normes utilisés pour qualifier et interpréter les scores de la majorité des instruments psychométriques :

Answer 75

1. Qualification basée sur un critère de référence : score critère établi a priori par les auteur.rice.s d’un instrument qui permet de conclure qu’une «performance» ou un «statut» a été atteint

Probablement l’exemple le plus simple sont les seuils du DSM : i.e., à partir de 3 symptômes et plus, il y a présence d’un TC chez un enfant

2. Qualification basée sur une norme de référence : recueillir les réponses d’un échantillon de personnes représentatives de la population ciblée et d’utiliser la moyenne de ces personnes comme critère

Lorsqu’on évalue une nouvelle personne avec l’instrument, on peut qualifier son score par rapport à la moyenne normative (ou dit autrement, à un «individu moyen»)

La majorité des instruments d’évaluation utilisés en psychologie, psychoéducation, utilise cette méthode
C’est pour cela qu’on parle «d’évaluation normative»

Question 76

Pour utiliser une norme, il faut calculer ses scores standardisés (ou score standards) basées sur un échantillon normatif. Quelles sont les trois caractéristiques d’un bon échantillon normatif ?

Answer 76

1. Représentatif de la population ciblée
   Idéalement échantillon national stratifié
2. Grande taille
3. Récent

Question 77

Quels sont les problèmes avec les normes générales ?

Answer 77

Si pas de normes selon le sexe : les différences liées au sexe sont en quelque sorte perdues ou «noyées»

P. ex., Échelle d’humeur dépressive
Général, M = 50, Garçons, M = 40, Filles, M = 60

Donc, avec des normes générales, il y aurait autant de gars que de filles avec scores très élevés, alors qu’en réalité il y a plus de filles

Surtout, sur le plan clinique, un score de 50 est problématique pour un garçon, mais pas pour une fille

Question 78

Comment fait-on pour calculer un score standardisé ?

Answer 78

Scores bruts qui ont été transformés pour avoir une distribution avec une M et un ÉT prédéterminés (p. ex., M = 50; ÉT = 10) et avoir des intervalles égaux le long du continuum

Comment fait-on :

1. Recueillir des données auprès d’un échantillon représentatif
2. Calculer les scores bruts, utiliser la M et ÉT de ces scores bruts pour appliquer une transformation mathématique afin d’en arriver à une distribution connue, p. ex., la distribution Z

Zi = (xi – Mbruts) / ÉTbruts

Question 79

En raison de leurs intervalles égaux (i.e., échelles à intervalles), les scores standardisés permettent d’indiquer ____________________ (i.e., M de l’échantillon normatif)

P. ex., en terme de scores-T, la distance entre des scores de 20 et 30 est la même que la distance entre des scores de 55 et 65

Answer 79

de combien, en valeur d’écart-type, un score observé se situe au-dessus ou au-dessous de la moyenne normative

Question 80

Quelles sont les deux grandes fonctions ou utilités des scores standardisés ?

Answer 80

1. Déterminer la position relative d’un individu par rapport à la population d’intérêt (i.e., déterminer si un score est significativement différent de la moyenne normative)
2. Faire des comparaisons entre différentes échelles qui n’ont pas la même métrie brute
   - Comparer des scores sur une échelle similaire (agressivité) provenant de différents instruments
   - Comparer des scores sur différentes échelles provenant d’un même instrument

Question 81

Quel est un grand problème avec les scores standardisés ?

Answer 81

Les scores standardisés sont obtenus avec une transformation linéaire des scores bruts

Donc, la forme de la distribution originale n’est pas changée après la transformation

Malheureusement, les auteur.rice.s utilisent souvent une telle transformation sur une distribution non-normale (p. ex., échelle d’attitudes antisociales), ce qui peut compliquer l’interprétation (p. ex., comparaison de deux échelles avec des distributions différentes; normale vs non-normale)

Il est possible d’utiliser une transformation non-linéaire pour ramener les scores vers une distribution qui se rapproche plus d’une distribution normale pour obtenir des scores normalisés

Question 82

Quels sont la moyenne et écart-type d’un score Z ? D’un score-T ? Du QI ?

Answer 82

Scores-Z : (xi – M) / ÉT
M = 0; ÉT = 1
varient surtout de -3 à 3

Scores-T : zi (10) + 50
M = 50; ÉT = 10
varient surtout de 10 à 90
Les score T sont plus faciles à interpréter car ils ne sont pas négatifs et moins précis (64 au lieu de 0,24)

Quotient intellectuel (QI)
M = 100;  ÉT = 15

Question 83

Quels sont les critères «usuels» basés sur les principes psychométriques généraux (i.e., différences en terme d’écart-type considérant une distribution normale de scores) du score T ?

Il faut connaitre ces critères parce que les auteur.rice.s de certains instruments ne procurent pas de scores critères prédéterminés (sauf si les auteurs donnent leurs propres critères, ex. EDC)

Answer 83

Pour les scores-T (dans le cas d’un construit négatif ou socialement non désiré; un «problème»):

Scores entre 41 et 59 : Dans la moyenne normative
«Adaptation moyenne», «Adaptation normative», «Pas de problème», «Pas à risque»

Scores de 60 à 69 : Significativement au-dessus de la moyenne normative
«Scores problématiques», «À risque»

Scores de 70 et plus : Très significativement au-dessus de la moyenne normative
«Scores très problématiques», «Très à risque»

Scores de 31 à 40 : Significativement au-dessous de la moyenne
«Bonne adaptation»

Scores de 30 et moins : Très significativement au-dessous de la moyenne
«Très bonne adaptation»

Question 84

Centiles sont des scores qui permettent de déterminer la position relative d’un individu par rapport à un échantillon de normalisation en terme de pourcentage d’individus

Pourquoi l’utilise-t-on ?

Answer 84

Scores standardisés peuvent être complexes pour les gens sans formation en psychométrie

Pour faciliter la communication des résultats à des non spécialistes, on peut utiliser les centiles

Centile: pourcentage de personnes dont le score est égal ou inférieur à un score standardisé donné

Un centile de 80 signifie que 80% des individus ont un score plus bas ou égal au score observé

Question 85

Quel est le problème avec les centiles ?

Answer 85

La distance entre les scores n’est pas égale le long du continuum : informent moins bien où la personne se situe

Différences de scores entre les centiles sont très petites près de la moyenne et très grandes aux extrêmes de la distribution

Donc, les intervalles ne sont pas égaux le long de la distribution de centiles, contrairement aux scores standardisés

P. ex., la différence de scores standardisés entre le 51e et le 55e centiles peuvent être très petites (p. ex. T=3), alors que la différence entre le 95e et le 99e centiles peut être très grande (p.ex., T=20)

Question 86

Les corrélations expriment le degré de correspondance (corrélation) entre deux séries de scores

Sont-elles standardisées ?

Answer 86

Oui. Elles varient toujours entre -1 et 1 et sont mesurées à partir des scores Z. On peut donc les comparer entre elles (comparer plusieurs échelles entre elles).

Question 87

Une corrélation faible (prêt de 0) signifie que les individus ne sont pas dans le même __________ (entre deux échelles, deux temps de mesure, etc.), pas plus que le niveau attendu au hasard

Answer 87

Ordre relatif

Question 88

La corrélation est un indice de la ______________ des individus. Expliquez.

Answer 88

R est un indice de la position relative des individus, n’informe pas sur le niveau absolu, ou la moyenne

Pour le niveau de signification, on teste si la corrélation observée est différente de 0

Question 89

La corrélation est centrale en psychométrie.

P. ex., Plusieurs des coefficients de fidélité (que nous verrons plus tard) sont simplement des transformations d’une corrélation afin qu’ils varient de 0 à 1 (plutôt que de −1 à 1)

Il existe plusieurs types de corrélations :

• Pearson: deux variables continues
• Spearman: deux variables ordinales (ou non normales)
• Point-bisérielle: une variable continue et l’autre dichotomique
• Tétrachorique: deux variables dichotomiques

Malheureusement :

Answer 89

Les corrélations appropriées ne sont malheureusement pas toujours utilisées

Question 90

Qu’est-ce que la fidélité ?

Answer 90

Concerne la précision de notre mesure, ou dit autrement, le niveau d’erreur de mesure qu’elle génère

Fait qu’un instrument «devrait donner les mêmes résultats d’une administration à l’autre»

Ex. si on se pèse 5 fois sur une balance mais qu’on a à chaque fois une valeur différente : mesure pas précise

Sur le plan clinique, avant de prendre des décisions importantes, on veut savoir à quel point les variations des résultats (entre différents individus, ou entre différents moments de mesure) résultent de différences réelles sur le construit qui nous intéresse ou plutôt d’imprécisions (erreurs) de l’instrument de mesure qu’on utilise
Autrement dit, on veut savoir à quel point le score «vrai» est estimé avec justesse

Score observé = score vrai + erreur de mesure.

Question 91

Il y a toujours de l’erreur de mesure, dans tous les instruments. Vrai ou faux ?

Answer 91

Vrai

Les chercheur.se.s tentent de construire des instruments qui vont la limiter le plus possible

Les praticien.ne.s doivent bien connaître la fidélité des instruments qu’ils utilisent, pour faire une interprétation rigoureuse et pondérée

Question 92

Supposons que la corrélation vraie entre l’impulsivité et la délinquance des adolescents est de 0,40 et les deux mesures sont très fiables (α = 0,90).

Comment calcule-t-on la corrélation dans cette situation ?

Answer 92

rxy = 0,40 √ (0,90) (0,90)

Question 93

Quelles sont les deux grands types d’erreurs de mesure ?

Answer 93

1. Aléatoires

2. Systématiques (ou biais)

Question 94

Qu’est-ce qu’une erreur aléatoire ? Par quoi est-elle causée ? Comment la minimiser ? Comment l’évaluer ?

Answer 94

Fluctuations statistiques non reproductibles, toujours présentes pour tous les instruments. Autant au-dessus qu’en dessous de la moyenne (la moyenne reste la même). Distribuées normalement.

Causée par la variation dans l’échantillonnage.

Comment le minimiser : plus grands échantillons. Plus de moments de mesure (ex. la mesure est prise le soir, ce qui fait que les gens sont plus anxieux, on va contrôler l’erreur pus facilement en faisant la mesure le matin. ).

Évaluation : peut être facilement estimées/contrôlées statistiquement.

Question 95

Qu’est-ce qu’une erreur systématique ? Par quoi est-elle causée ? Comment la minimiser ? Comment l’évaluer ?

Answer 95

Fluctuations constantes et reproductibles, qui sont toujours dans la même direction. Pas dans tous les instruments. Surestimation ou sous-estimations constante des paramètres (la moyenne bouge). Pas distribuées normalement.

Causée par une mauvaise utilisation de l’instrument, des conditions d’administration inadéquates ou une imperfection de l’instrument. Ex. faire passer un test en espagnol a des gens qui ne parlent pas espagnol.

Difficile à détecter, souvent ne sont pas connues.

Plus difficile à quantifier statistiquement.

Question 96

Quels sont les quatre types de fidélité en fonction des sources d’erreur de mesure possible ? Quel est l’indice de fidélité utilisé pour estimer cette erreur ?

Answer 96

1. Erreur d’échantillonnage de contenu dans les instruments pour lesquels des résultats cohérents au sens large sont souhaités
2. Erreur d’échantillonnage dans le temps dans des instruments de mesure de traits ou comportements relativement stables
3. Incohérence interne ou inter items dans des instruments qui requièrent une grande cohérence interne ou inter-item

Incohérence interne : deux construit peuvent ne pas être corrélés mais mesurer la même chose. Ex. une personne peut être active si elle bouge 4 fois par semaine et aussi si elle s’entraine uniquement la fin de semaine, mais beaucoup.

4. Incohérence inter-informateurs dans des instruments qui impliquent un degré relativement élevé de subjectivité

Question 97

Quel est l’indice de fidélité utilisé pour estimer l’erreur d’échantillonnage de contenu ?

Answer 97

Coefficient de fidélité des formes parallèles (cou coefficient de congruence).

Mesure classique de la fidélité : on développe deux formes équivalentes du même instrument et on estime la corrélation des scores entre les deux formes pour les mêmes individus. Ces échelles sont tout à fait similaires conceptuellement, mais avec des items légèrement différents (formes parralèles). On se demande si le fait de prendre des items aux hasards de plusieurs échelles donnent les mêmes résultats.
Ex. prendre toutes les échelles d’agressivité et mettre tous les items dans un chapeau et piger au hasard 15 items.

Les items sont choisis de façon QUASI-ALÉATOIRE (ex. si tous les items parlent de coup de poings on en choisit d’autres).

Comme les deux formes parallèles sont supposées mesurer le construit de la même façon, l’objectif est donc de voir le degré d’erreur dans le contenu

Corrélation élevée suggère bonne précision, ou dit autrement, peu d’erreurs de mesure
Pas vraiment de «coefficient limite» attendu, puisque la corrélation dépendra du contenu (complexité du construit), en plus de facteurs personnels des individus évalués

On s’attend quand même à 0,70 au minimum

Question 98

Quel est l’indice de fidélité utilisé pour estimer l’erreur d’échantillonnage dans le temps ?

Answer 98

Coefficient de fidélité test-retest (ou stabilité temporelle).

Si on évalue les mêmes individus avec le même instrument à deux reprises dans le temps, est-ce qu’ils obtiennent les mêmes résultats ?

Pour l’estimer, l’intervalle de temps doit être assez court (environ 2 semaines à 1 mois)

Une corrélation élevée suggère bonne précision, peu d’erreurs de mesure
Pas vraiment de «coefficient limite», mais si la corrélation est forte (au moins 0,70), l’instrument est considéré fiable

Mais s’il y a un écart entre les résultats (corrélation faible), il est parfois difficile de déterminer les raisons :
Intervalle de temps? changement réel chez les individus? quantité d’erreurs de mesure?
De façon générale, il ne faut pas s’attendre à des corrélations très élevées pour la fidélité test-retest car certains construits changeants à travers le temps
P. ex., problèmes intériorisés changent plus facilement et rapidement que problèmes extériorisés
P. ex., Émotivité change plus qu’Extraversion

Question 99

Quels sont les indices de fidélité utilisés pour estimer l’incohérence interne ou inter-items ?

Answer 99

1. Coefficient de fidélité moitié-moitié : les chercheurs divisent en deux les items d’une échelle et on estime ensuite les corrélations entre ces deux moitiés, de façon quasi-aléatoire.
   Une corrélation élevée indique bonne fidélité
2. Coefficient de cohérence interne :
   les chercheur.se.s estiment l’homogénéité de tous les items d’une échelle (un indice par échelle)
   Il s’agit d’un indice statistique quantifiant l’ensemble des inter-corrélations entre tous les items d’une échelle

Est-ce que les items d’une échelle forment un tout cohérent sur le plan empirique, sont assez fortement corrélés – et donc, génèrent peu d’erreurs de mesure

Question 100

Quel est l’indice de fidélité utilisé pour estimer l’incohérence inter-informateurs ?

Answer 100

Coefficient de fidélité inter-juges (ou accord inter-juge).

Est utilisé quand la mesure est plus subjective (ex. consommation de drogue, comportement sexuels).

Pour l’estimer, si des informateur.rice.s (i.e., évaluateur.rice.s ou «juges») différents évaluent les mêmes individus avec le même instrument mesure, est-ce que la corrélation sera élevée ?

Question 101

Qu’est-ce que la cohérence interne ?

Answer 101

Lorsque les chercheur.se.s créent des échelles, ils tentent de regrouper des items qui forment un tout cohérent, autant sur le (a) plan conceptuel que sur (b) le plan empirique.

On veut que les items représentent bien le construit mesuré. Est-ce qu’on a des items qui n’ont pas rapport dans mon construit et qui viennent générer de l’erreur de la mesure?

Ex. mordre quelqu’un n’est pas représentatif de son plaisir. Ou inquiétude avec coup de poing.

Autrement dit, il ne suffit pas que des experts suggèrent qu’un groupe d’items mesurent bien un construit, mais il faut aussi que les items soient significativement corrélés entre eux.

Avec des faibles corr., on peut se demander s’ils mesurent vraiment le même construit. Les échelles qui mesurent deux construits différents (hyperactivité et inattention) vont donc être un peu moins fidèles (alpha plus bas).

Question 102

Quel est le problème méthodologique dans la cohérence interne avec le coefficient moitié-moitié ?

Answer 102

Problème méthodologique : avec moins d’items, les corrélations vont toujours être moins fortes, nonobstant le niveau de fidélité

«Prophétie de Spearman»: plus il y a d’items dans une échelle, plus sa fidélité est élevée.

Moins d’items : plus petites corrélations,

Plus il y a d’items : plus la fidélité est élevée : si on ajoute beaucoup d’items semblables, cela augmente la représentation.

Échelle brève : on peut appliquer la transformation de Spearman-Brown pour déterminer quelle serait la corrélation avec plus d’items

Question 103

Quels sont les deux indices très utilisés pour le coefficient interne ?

Answer 103

1. Alpha de Cronbach (α ; mesure l’homogénéité d’items continus) : varie entre 0 et 1. En clinique, on s’attend à 0,8 au moins. En recherche, 0,6. 0,7 est satisfaisant.

Si score près de 0 = l’échelle n’est pas précise ; elle génère beaucoup d’erreurs de mesure? Suggère que les questions de l’échelle sont trop indépendantes, ne vont pas ensemble

Si près de 1, suggère que les items d’une échelle sont cohérents, forment un tout; donc l’échelle génère peu d’erreurs de mesure

2. Kuder-Richardson-21 (KR-21; pour items dichotomiques)

Question 104

Un indice de Cronbach de 0,95 est considéré comme excellent. Vrai ou faux ?

Answer 104

Des indices plus élevés que Faux.

Des indices plus élevés que 0,95 sont parfois considérés moins intéressants parce que ceci suggère qu’il y a potentiellement redondance (trop de questions), certaines questions mesurent la même chose

Principe de parcimonie : les auteurs pourraient enlever certaines questions

Question 105

Un indice de Cronback de 0,5 pour une échelle de 3 items est nécessairement considéré comme mauvais. Vrai ou faux ?

Answer 105

Faux.

Si les indices ne sont pas très élevés pour des échelles avec peu d’items (exemple α = 0,50 pour une échelle à 2 ou 3 items), cela ne signifie pas de facto un problème de précision

C’est attendu (i.e., «Prophétie de Spearman»)
On peut alors appliquer la transformation de Spearman-Brown pour connaitre la fidélité projetée de l’échelle si elle avait davantage d’items

Question 106

Dans les instruments normatifs (ex. entrevues), les corrélations inter-juges sont généralement élevées. Vrai ou faux ?

Answer 106

Faux.

Pour les instruments normatifs (ex. entrevues), on obtient généralement des corrélations significativement plus faibles que pour les autres types de fidélité

Très rare d’avoir des corrélations parfaite entre parents, par exemple.

Différent.e.s informateur.rice.s provenant de différents contextes peuvent procurer de l’information différente (et complémentaire) à propos d’un même individu évalué

Question 107

Donc, en dépit d’un coefficient de fidélité inter-juge plus faible, différents informateurs procureraient un profil comportemental plus «écologiquement valide» de l’individu. Expliquez.

Answer 107

Un enfant peut se comporter de façon différente selon le contexte, et son comportement peut être perçu de façons différentes. Ce n’est pas moins valide.

Question 108

Quelle est la corrélation moyenne entre informateurs similaires (deux parents) ? Entre différents informateurs ? Entre le sujet et un autre informateur ?

Answer 108

Deux parents : 0,6

Différents informateurs : 0,28

Enfant-autre informateur : 0,22 (corrélations plus fortes pour EXT que INT)

Question 109

Quels facteurs maximisent l’accord entre évaluateurs dans l’accord inter-juge ? (2)

Answer 109

Les informateurs :
1. Connaissent bien l’enfant (familiarité avec l’enfant, temps passé avec lui/elle assez élevé)

2. Proviennent d’un même contexte d’observation (p. ex., deux enseignant.e.s, deux parents)

Question 110

Qu’est-ce que l’erreur standard de mesure (ESM) ?

Answer 110

Parfois aussi appelée «erreur type de mesure»

Donne une indication du degré d’erreur de mesure associée aux scores d’une échelle.

En termes de score standardisé, il s’agit de l’ÉCART-TYPE DE LA DISTRIBUTION DES ERREURS. À quel point nos erreurs sont dispersés autour de la moyenne.

Le score vrai est théorique, on tente de l’estimer

P. ex., si un individu rempli 50 fois la même échelle, il n’obtiendrait pas le même score 50 fois, on observerait plutôt une distribution, avec une moyenne (qui serait le score «vrai»). La fidélité est pour savoir si on obtient toujours le même résultat d’une mesure à l’autre. Si on obtient pas les mêmes scores, on a beaucoup de variance et donc une grande erreur de mesure.

À partir de ces scores, une distribution des erreurs de mesure peut aussi être dérivée

Question 111

L’ESM est inversement liée à la fidélité. Vrai ou faux ?

Answer 111

Vrai. Plus la fidélité est élevée, moins l’erreur standard de mesure est grande, et vice versa

Question 112

Avec quoi l’ESM est-elle estimée ?

Answer 112

L’ESM est estimée à l’aide d’un coefficient de fidélité (Alpha de Cronbach ou autre)

ESM = ÉTt √ (1 – rt)

• ÉTt est l’écart-type des scores au test
• rt est la fidélité du test

Question 113

Dans la pratique en évaluation, les ESM servent a construire un _______________autour du score observé. Qu’est-ce que c’est ?

Answer 113

Intervalle de confiance

Un intervalle de confiance est un estimé probabiliste permettant de situer le score observé à l’intérieur d’une étendue de scores donnée

Permet une interprétation plus rigoureuse qui tient compte de l’erreur de mesure

Selon les instruments, on peut parfois avoir des intervalles à 68% (1 ESM) et à 95% (2 ESM)

Pour la calculer, on doit additionner et soustraire la valeur de l’ESM au score standardisé observé

Question 114

Que veut dire un intervalle de confiance de 95% ?

Answer 114

Intervalle de 95% = 5% de chance de se tromper. On est sur que la réponse est dans la zone de 95%.

95% = deux écart-type de la distribution des erreurs
68% = un écart-type

Question 115

Un intervalle de confiance de 95% est plus précis mais également plus flou. Expliquez.

Answer 115

Un ESM plus précis (2 ESM) inclut un écart plus grand de vraies réponses possibles. Il est plus rigoureux mais également plus flou.

Ex. le score pourrait se retrouver dans deux étalons différents (dépasser le score critère). L’intervalle de confiance est plus grand que le score critère (celui qui fait basculer d’un écart-type vers un autre). On ne peut pas être sur qu’elle est réellement au dessus de la moyenne dans ce cas.
On doit se poser la question quant à la signification clinique de ce score : utiliser son jugement clinique et confirmer avec d’autres méthodes (ex. entrevue pour explorer l’enfance et la symptomatologie).

Quand on est pas loin du score critère, l’interprétation est plus compliquée à cause de l’erreur de mesure. Le score vrai peut être à plusieurs places différentes. Interpréter avec prudence : nommer qu’on est près des scores critères.

Importance de se fier à plusieurs types de tests/méthodes

Si l’erreur de mesure est plus petite (meilleure fidélité) alors cela réduit les scores probables et donc ce problème.

Question 116

Qu’est-ce que la validité ?

Answer 116

Lorsqu’on évalue la validité d’un instrument de mesure, on veut généralement savoir s’il mesure vraiment ce qu’il prétend ou devrait mesurer

On veut savoir si l’échantillon d’items (i.e., les questions)de l’échelle représente bien le construit qu’on veut mesurer

Question 117

Que détermine le degré de validité ?

Answer 117

Le degré de validité détermine l’interprétation et les inférences que l’on peut faire à partir des scores d’une échelle

Question 118

Le nom d’un test ou d’une échelle ne constitue pas toujours un indice adéquat du construit mesuré. Vrai ou faux ?

Answer 118

Vrai.

Question 119

Pour plusieurs auteurs, demander si un instrument «mesure vraiment ce qu’il prétend ou devrait mesurer» est trop général et fait peu de sens.

La vraie question n’est pas «est-ce que cet instrument est valide ou pas», mais bien :

Answer 119

«est-ce que cet instrument est une mesure valide de ce construit, pour cette population et pour cette application particulière»

Ex. Un outil utilisé pour les ado n’est pas valide pour un adulte. Un test pour une population particulière (ex. Québec) n’est pas valide pour une population différente (ex. Sénégal). Un test catégorielle ne peut pas mesurer de façon dimensionnelle un construit.

Si on utilise un test moins adapté pour une population, il faut en tenir compte dans l’explication du rapport et l’interprétation des résultats.

Question 120

La validité d’un instrument ou d’une mesure doit donc être évaluée relativement à trois choses :

Answer 120

1. Est-ce qu’il mesure bien le construit qu’il prétend mesurer ?
2. Est-ce qu’il mesure bien ce construit pour la population ciblée (p. ex., groupe d’âge, niveau académique, groupe clinique particulier, etc.) ?
3. Est-ce qu’il mesure bien ce construit pour une application particulière (p. ex., classifier dans des groupes diagnostiques, donner une valeur quantitative sur continuum, etc.) ?

Question 121

Les organisations professionnelles soulignent trois points clés à propos de la validité des tests :

Answer 121

1. La validité concerne l’interprétation des scores procurés par un instrument pour un construit spécifique; ce n’est pas une caractéristique de l’instrument
2. La validité est une question de degré; ce n’est pas une question absolue, de «tout ou rien. C’est plutôt un degré selon la population et les circonstances.
3. La validité d’un test repose sur de solides bases théoriques et empiriques

Question 122

Quelles sont les différents types de validité ? (et leurs sous-types) (3)

Answer 122

1. Contenu
2. Construit
   - Factorielle
   - Convergente
   - Discriminante
3. Critère
   - Concomitante
   - Prédictive
   - Incrémentielle

Question 123

Qu’est-ce que la vraisemblance ?

Answer 123

Le degré auquel une mesure semble adéquate et reliée à un construit spécifique selon le jugement de (a) ceux qui utilisent l’instrument et / ou (b) ceux qui sont évalués (i.e., non-experts qui sont évalués, ou représentants légaux reliés à la population ciblée, etc. P. ex., parents, enseignants, etc.)

Une mesure détient une bonne vraisemblance lorsque ceux qui l’utilisent jugent qu’elle semble pertinente pour mesurer ce qui doit être mesuré

Question 124

La vraisemblance est un type de validité. Vrai ou faux.

Answer 124

Faux. Pas une forme ou source de validité

Parfois confondue avec la validité de contenu

Si l’instrument ne paraît pas valide ou vraisemblable pour ceux qui l’utilisent dans les situations concrètes d’évaluation, cela peut devenir une menace à la validité : si une personne qui subit le test n’a pas l’impression que la mesure est efficace, alors cela affecte la validité puisqu’elle répondra moins sérieusement.

P. ex., mesurer le niveau d’agressivité physique d’un enfant en lui faisant faire un dessin … ?

P. ex., l’item «je sens parfois mon âme sortir de mon corps» serait perçu comme peu valide dans plusieurs contextes (p. ex., sélection du personnel)

Question 125

Quels sont les facteurs qui peuvent influencer la vraisemblance ?

Answer 125

1. Contexte d’évaluation (p. ex., endroit physique de l’administration, les consignes, attitude et apparence physique de l’évaluateur, etc.) : si on a pas l’air professionnel, la personne ne croira pas les résultats.
2. Capacités cognitives des répondants
3. Santé mentale et état psychologique des répondants
4. Personnalité des répondants

On veut diminuer l’effet qu’on peut avoir sur la personne quand elle va passer le test (bruit).

Question 126

Qu’est-ce que la validité de contenu ?

Answer 126

Réfère au degré de représentativité des items (questions) utilisés pour mesurer un construit

La plupart du temps établie de façon déductive (avec un groupe d’experts qui déterminent si chaque item représente le construit ou non).

Question 127

Comment la validité de contenu est-elle obtenue ? (2)

Answer 127

Typiquement, on demande à un groupe d’experts indépendants de se prononcer sur :

Est-ce que :
1. Chaque item individuellement correspond bien au construit ?

2. Tous les items d’une échelle considérés dans l’ensemble constituent un échantillon représentatif de tous les domaines (ou sous-domaines) expliqués par le construit d’intérêt ?

Question 128

Plus un construit est complexe, plus il est facile de faire un bon échantillonnage de contenu. Vrai ou faux.

Answer 128

Faux.

Plus le construit latent est complexe, plus il va être difficile à définir, car il va inclure beaucoup de sous-construits, et de sous-sous-construits. etc.
Ex. Problèmes extériorisés = opposition, hyperactivité, agression (crier, frapper, insulter, …), délinquance. Les niveaux de construits latents s’étendent à l’infini.

Si les tests sont trop longs, c’est une menace à la fidélité et la validité, car les sujets ne veulent pas compléter. Il faut être concis. Ex. tests de 3h en centres jeunesse.

Question 129

En validité de contenu, la représentativité est centrale. Quelles aspects devons-nous nous évaluer ? (2)

Answer 129

1. Tous les domaines (et sous-domaines) du construit sont-ils représentés ?
   P. ex., agressivité physique, relationnelle, etc.
2. Éviter la sur- ou sous-représentation d’items des différents sous-domaines du construit

Question 130

Avant de construire une échelle, il faut toujours décrire en détails et de la façon la plus compréhensive possible les différents domaines et sous-domaines du construit d’intérêt.

Donnez un exemple de questions qu’il faut se poser avec une échelle de problèmes extériorisés.

Answer 130

1. Quels sont les domaines inclus?
   - Quelle est l’importance relative de chacun?
2. Y a-t-il des sous-domaines selon la théorie?
   - Quelle est leur importance relative?
3. Avec quels items peut-on bien représenter ces domaines et/ou sous-domaines?

Question 131

À partir de quoi les chercheurs définissent un construit (et donc, son contenu) ? (3)

Answer 131

1. Théories
2. Recherches empiriques (recension)
3. Connaissances et expériences professionnelles

Question 132

Quels sont les deux types de validité de contenu ?

Answer 132

1. Nominale : auteurs du test

2. Consensuelle : groupe de spécialistes indépendants

Question 133

Comment estimer la validité de contenu empiriquement ? (2)

Answer 133

On demande à des experts indépendants d’estimer si :

(a) chacun des items d’une mesure est pertinent et représentatif du construit d’intérêt
(b) à quel point l’ensemble des items est un bon échantillon représentatif du contenu du construit

Afin de quantifier le degré de validité de contenu, on donne aux experts un choix de réponse avec une gradation à propos de chaque items afin de systématiser le tout :

P. ex., «Dans une situation sociale impliquant plusieurs personnes, j’ai de la difficulté à aller vers les autres»

• pas du tout pertinent / représentatif = 0
• un peu pertinent / représentatif = 1
• assez pertinent / représentatif = 2
• très pertinent / représentatif = 3

Puisqu’on a des données numériques, on peut donc calculer un Indice de validité de contenu.

Question 134

Qu’est-ce que l’IVC-I et l’IVC-É ?

Answer 134

Ce sont des indices de validité de contenu.

IVC-I = Nombre d’experts qui ont jugés l’item représentatif (choix 2 ou 3), divisé par le nombre total d’experts

IVC-É = Proportion d’items jugés représentatifs (choix 2 ou 3) – ou dit autrement, la moyenne des IVC-I – divisée par le nombre total d’experts

Question 135

Quelles sont les deux grandes menaces à la validité de contenu ?

Answer 135

1. Inclusion de contenu conceptuellement / théoriquement non pertinent

P. ex., des items d’hyperactivité sont intégrés dans une échelle d’inattention

2. Sous-représentation conceptuelle / théorique du construit (manque d’items)

P. ex., Théoriquement, le construit «Extraversion» inclut les domaines de l’activité, la sociabilité, la dominance sociale et la recherche de sensation, mais une échelle ne contient que des items de sociabilité et de dominance sociale

Question 136

Qu’est-ce que la validité de construit ? Quelles sont les deux façons de la vérifier ?

Answer 136

Réfère au degré de (a) reproductibilité de la structure théorique sous-jacente à l’instrument ainsi que les (b) relations du construit d’intérêt avec d’autres construits externes

Deux grande façons de la vérifier :

1. Validité factorielle
2. Validité convergente / discriminante

Question 137

Avant d’entamer les évaluations de la validité de construit, il faut :

Answer 137

bien connaitre la théorie sous-jacente au construit (savoir ce qu’on évalue et pourquoi)

Question 138

Qu’est-ce qu’un réseau nomologique ? (validité de construit)

Answer 138

La théorie expliquant le construit par le biais de ses interrelations avec d’autres construits

Nomologie est «l’étude des lois», donc bien plus qu’une liste de domaines ou sous-domaines (étude des relations)

RN devrait donc représenter les interrelations (ordonnées et prévisibles) les plus importantes entre les domaines ou sous-domaines à la base du construit

Concerne souvent relations concurrentes, mais peut inclure des facteurs étiologiques et des conséquences développementales plus distales

RN devrait toujours être dans le manuel du test, mais y est rarement

Question 139

Qu’est-ce qu’une relation concurrente ? étiologique ? distale ?

Answer 139

1. Concurrente : arrive en même temps
2. Étiologique = qui amène à (trouble des conduites vers personnalité antisociale)
3. Distales = relation très éloignée et imparfaite (ex. TDAH et consommation de drogue à l’adolescence).

Question 140

Un facteur est toujours latent. On pourrait donc dire qu’il est un synonyme de construit. Vrai ou faux.

Answer 140

Vrai.

La position du facteur détermine s’il est un domaine ou un sous-domaine.

Question 141

Comment déterminer quels concepts sont apparentés dans un réseau nomologique ?

Answer 141

Déterminer les concepts apparentés est un choix de chercheur pour leur outils.

Question 142

Qu’est-ce que la validité factorielle ?

Answer 142

On veut vérifier si la structure factorielle théorique est reproduite sur le plan empirique (i.e., avec des données)

On utilise généralement le terme «facteur» (ou trait latent) pour représenter une dimension

Pour savoir si nos items sont reliés, on fait une analyse factorielle. Est-ce que si on passe nos questionnaires, est-ce que les réponses vont s’agencer selon ce qui était prévu ?

Question 143

Qu’est-ce qu’un facteur ?

Answer 143

Une réduction parcimonieuse de plusieurs variables (items ou questions) en une variable latente ou hypothétique

Dans les instruments multidimensionnels, les items se regroupent évidemment en plus d’un facteurs

Question 144

En validité factorielle, quels sont les deux questions à se poser pour savoir si deux items sont inter-reliés dans la structure factorielle théorique (réseau nomologique) ?

Answer 144

1. Les items sont-ils significativement (statistiquement) reliés au trait (construit) auquel ils devraient être reliés ?
2. Dans le cas d’un instrument multidimensionnel, la structure hiérarchique est-elle reproduite (sous-domaines liés aux domaines, traits primaires et traits d’ordre supérieur) ?

Question 145

Quels sont les deux types d’analyse factorielle ?

Answer 145

1. Analyse factorielle exploratoire

2. Analyse factorielle confirmatoire

Question 146

Qu’est-ce que l’analyse factorielle exploratoire ?

Answer 146

On identifie des regroupements d’items pour lesquels les individus donnent des réponses similaires

P. ex., Si les individus qui ont tendance à répondre oui à la Q#1 ont aussi tendance à répondre oui à Q#5 et à Q#8, ces items seront donc dans un même facteur

On impose aucune restriction à la matrice de corrélations (ou de covariances) entre les items

Critère classique : on devrait avoir des saturations de 0,40 ou plus pour les items associés à un trait

Question 147

Qu’est-ce que l’analyse factorielle confirmatoire ?

Answer 147

Le chercheur impose une structure stricte a priori à la matrice de corrélations (ou de covariances) et teste si elle correspond aux données

C’est la méthode qu’il faudrait normalement employer à l’étape de la validation d’un instrument de mesure puisqu’on est supposé connaitre sa structure (ce n’est pas toujours le cas)

Dans le tableau : présence de 0. Les scores augmentent donc puisqu’on enlève certains chiffres du calcul.

Question 148

Lorsqu’on fait des corrélations dans un tableau d’analyse factorielle, on obtient toujours la valeur vraie. Vrai ou faux.

Answer 148

Faux. On ne peut savoir ce que sont les vrais scores.

Question 149

Qu’est-ce que la validité convergente et discriminante ?

Answer 149

1. Validité convergente
   - Degré auquel les scores d’une échelle sont associés avec ceux d’une autre échelle existante qui se rapporte au même construit théorique
2. Validité discriminante
   - Degré auquel les scores d’une échelle ne sont pas associés avec une échelle qui ne se rapporte pas au même construit.
   Ex. comparer une échelle d’introversion à une échelle d’extraversion pour vérifier qu’ils ne sont pas corrélés.

Question 150

L’idéal pour tester rigoureusement la validité C / D est d’employer la méthode de la _____________.

Answer 150

Matrice multitraits-multiméthodes

Question 151

Si on évalue un seul construit avec la même méthode deux fois de suite, quel est l’aspect que l’on évalue ?

Answer 151

Fidélité test-retest

Question 152

Si on évalue deux construits différents au moyen de la même méthode, quel type de validité évalue-t-on ?

Answer 152

Validité discriminante (la méthode discrimine-t-elle bien les deux construits?)

Question 153

Si je compare le même construit avec deux méthodes différentes, quel type de validité évalue-t-on ?

Answer 153

Validité convergente (le même construit est évalué avec deux méthodes différentes).

Question 154

Si je compare deux construits différents sur deux échelles différentes, quel type de validité évalue-t-on ?

Answer 154

Validité discriminante.

On ne cherche pas un critère de corrélation de base (une valeur fixe). On veut juste voir s’il y a une différence.

Question 155

Qu’est-ce que la validité de critère ?

Answer 155

Aussi appelé «validité pragmatique»

Réfère au degré auquel les scores à une échelle peuvent prédire l’adaptation (ou la performance) des individus

Les scores à l’échelle sont donc comparés à un critère externe

Il y a deux grands types de validité de critère :
Concomitante et prédictive

Question 156

Dans la validité de critère, les scores à l’échelle sont comparés à un critère externe. Que devrait être ce critère ?

Answer 156

Le critère devrait être une mesure objective et indépendante, mais reliée conceptuellement au construit d’intérêt (réseau nomologique)

C’est un construit qui n’est pas le même que celui mesuré et qui est mesuré avec un différent outils.

Question 157

Quelles sont les deux méthodes pour faire une validité de critère concomitante ?

Answer 157

1) Corrélation avec un critère indépendant
- Intelligence avec réussite académique
- Empathie (faible) avec conduites délinquantes

2) Méthode des groupes contrastés
- Différences de scores entre des groupes
P. ex., Pour EDC, on prend un échantillon d’enfants déjà identifiés avec des troubles du comportement (par psychologues scolaires) et on les compare avec un groupe d’enfants sans trouble du comportement afin de déterminer si les scores à l’EDC distinguent bien les groupes

Question 158

Qu’est-ce que la validité de critère prédictive ?

Answer 158

Le degré auquel une mesure est capable de prédire un critère externe prospectivement, i.e. plus tard dans le temps

Besoin d’une étude longitudinale prospective

Question 159

Qu’est-ce que la validité incrémentielle ?

Answer 159

Dans les faits, une forme spécifique de validité de critère (concomitante et prédictive) (Haynes & Lench, 2003)

À quel point un test a une «valeur ajoutée» pour prédire un critère externe, au-delà de la capacité d’autres facteurs prédictifs importants ?

En contexte de classification par ex., une échelle de prédiction qui procure une meilleure sensibilité et spécificité qu’une autre échelle similaire

Sur le plan clinique, ceci signifie qu’on prend de meilleures décisions avec la nouvelle échelle

Peut aussi s’appliquer à la révision d’un test
- La nouvelle version procure une meilleure sensibilité et spécificité que l’ancienne version

Question 160

Qu’est-ce que la sensibilité ?

Answer 160

Capacité d’une échelle de procurer un résultat positif pour les personnes présentant le statut (p. ex., un trouble) qu’elle prétend identifier

Se rapporte donc à la capacité de détection

Dans le tableau 2X2, on voit qu’il s’agit des vrais positifs

Question 161

Qu’est-ce que la spécificité ?

Answer 161

Capacité d’une échelle de procurer un résultat négatif pour les personnes ne présentant pas le statut (p. ex., un trouble) qu’elle prétend identifier

Se rapporte donc à sa capacité de discrimination

Dans le tableau 2X2, on voit qu’il s’agit des vrais négatifs

Question 162

Les indices de sensibilité et de spécificité sont des observations empiriques de la _____________d’un test calculés à partir d’une classification de différents groupes diagnostiques (ou d’attributs autres). Ces indices renseignent sur la capacité de classification d’une échelle ou d’un test lorsque ce dernier est utilisé avec des personnes dont le statut est connu. Toutefois, en clinique, les tests sont utilisés avec des personnes dont le statut n’est pas connu (ou pas confirmé), par ex. pour le dépistage

On estime la proportion des individus dont le statut est ______ en regard du trouble mesuré qui obtiennent un score au dessus ou au dessous d’un score critère.

Ces indices sont déterminés par le ________ établi par les auteurs du test.

Answer 162

Performance rétrospective = on doit connaitre le vrai statut de la personne pour connaitre la performance du test.

Connu

Score critère

Question 163

Si le score critère suggéré pour identifier le trouble est changé, les indices de sensibilité et de spécificité de l’échelle vont aussi changer. Vrai ou faux.

Answer 163

Vrai.

Question 164

Plus le score critère augmente, plus la sensibilité baisse, et plus la spécificité augmente. Vrai ou faux .

Answer 164

Vrai.

Question 165

Comment détermine-t-on le score critère en fonction de la sensibilité et de la spécificité ?

Answer 165

On trouve le score T avec le plus de compromis en terme de pourcentage, et on le prend comme score critère

Question 166

En clinique, la tâche de l’évaluateur est de déterminer le niveau de confiance qui peut être accordé à un résultat positif (ou un résultat négatif) pour un individu classifié. Qu’est-ce que cela veut dire ?

Answer 166

Autrement dit, on veut savoir la probabilité qu’un individu présente réellement le trouble, étant donné un résultat positif à un test

Question 167

Comment obtient-on les indices permettant d’estimer le niveau de confiance d’une échelle ?

Answer 167

Pour obtenir des indices probabilistes de ce genre, il faut calculer le pouvoir prédictif d’une échelle

Question 168

Qu’est-ce que le pouvoir prédictif positif (PPP) ?

Answer 168

La probabilité qu’un individu avec un résultat positif sur une échelle ait réellement le statut prédit

i.e., proportion d’individus ayant un trouble qui obtiennent un résultat positif, parmi tout ceux qui ont obtenu un résultat supérieur au score critère

Question 169

Qu’est-ce que le pouvoir prédictif négatif (PPN) ?

Answer 169

La probabilité qu’un individu avec un résultat négatif sur une échelle n’ait réellement pas le statut prédit

i.e., proportion d’individus n’ayant pas de trouble qui obtiennent un résultat négatif, parmi tout ceux qui ont obtenu un résultat inférieur au score critère

Question 170

Les PPN et PPN sont des indices de performance ____________ d’un test et ils dépendent de la prévalence du trouble

Autrement dit, pour une sensibilité et spécificité données, les PPP et PPN vont varier selon la prévalence

Answer 170

extrinsèques

Question 171

Sensibilité et spécificité sont des paramètres d’un test – ils ne sont pas influencés par le score critère choisi (la prévalence est fixe, puisqu’elle est connue). Vrai ou faux ?

Answer 171

Faux. Ils sont influencés par le score critère choisi

Question 172

PPP et le PPN sont des paramètres d’un test ET de la prévalence du trouble. Vrai ou faux ?

Answer 172

Vrai.

Question 173

Plus la prévalence est élevée, plus le pouvoir prédictif positif augmente. Vrai ou faux ?

Answer 173

Vrai.

Question 174

Plus la prévalence est élevée, plus le pouvoir prédictif négatif augmente, Vrai ou faux ?

Answer 174

Faux. Il diminue.

Question 175

Un test qui évalue un phénomène très rare aura un bon pouvoir prédictif positif. Vrai ou faux ?

Answer 175

Faux. Il aura un pouvoir prédictif très mauvais.

Question 176

Avec une prévalence de 10%, Dépis-Dép classifie correctement 78 personnes, alors que 22 sont mal classifiées

24 personnes sont identifiées avec dépression, mais seulement 6 étaient vraiment dépressives
Le PPP est donc 6 / 24 = 0,25

76 personnes sont identifiées sans dépression, dont 72 étaient vraiment non dépressives
Le PPN est donc 72 / 76 = 0,95

Clairement, on peut avoir davantage confiance aux résultats ________ qu’aux résultats ________.

Answer 176

négatifs
positifs

Dans ce cas, si résultat +, on investigue plus.

Question 177

Mais supposons que vous utilisez le Dépis-Dép dans un contexte où la prévalence est de 30%

Dans un échantillon de 100, 30 personnes seraient dépressives

Parce que la sensibilité est de 60%, 18 de ces 30 personnes obtiendraient un résultat positif, alors que 12 obtiendraient un faux négatif
SI 60% de sensibilité,
0,6 x 30 = 18
0,4 x 30 = 12

Parmi les 70 personnes sans dépression, puisque la spécificité est de 80%, 56 obtiendraient un résultat négatif, alors que 14 obtiendraient un faux positif
Si 80% de spécificité
0,2 x 70 = 14
0,8 x 70 = 56

Le PPP devient donc 18 / (18+14) = 0,56
Le PPN devient donc 56 / (12+56) = 0,82

Ainsi, on peut avoir davantage confiance en un résultat _______ sur l’échelle lorsque la prévalence est de 30% que lorsqu’elle est de 10%

Answer 177

positif

Question 178

Quelle est la règle générale pour l’ensemble des tests de dépistage ?

Answer 178

Lorsque la prévalence est faible, le PPN > PPP – et l’inverse lorsque prévalence élevée

Question 179

Nommez deux problèmes avec les indices de sensibilité, spécificité et de pouvoir prédictif.

Answer 179

1. L’estimation de la sensibilité et de la spécificité à partir de catégories diagnostiques qui ne sont pas valides ou fiables peut clairement limiter la généralisation des résultats (p. ex., DSM ?)
2. L’estimation de la prévalence réelle dans différents contextes cliniques peut être difficile

Néanmoins, des estimés imprécis (sans être grossièrement incorrects) n’ont pas un impact important sur le calcul du pouvoir prédictif pour les échelles qui ont une sensibilité et spécificité élevées.

Question 180

Comment la fidélité et la validité sont-elles reliées ? (3)

Answer 180

1. La fidélité est une condition nécessaire à la validité
   - Est-ce qu’on mesure vraiment ce qu’on prétend mesurer si on fait beaucoup d’erreurs de mesure ?
2. La validité est un préalable à la fidélité
   - À quoi sert de ne pas faire d’erreur de mesure si on ne sait pas ce qu’on mesure vraiment ?
3. Les indices de validité sont directement influencés par la fidélité
   - Quantité d’erreur influence la taille des corrélations; le nombre d’items aussi (Prophétie de Spearman). Moins on a d’items dans notre échelle, moins notre fidélité est bonne. Cela modifie les corrélations de la validité. Les deux sont interreliés.

Question 181

En fait, vous ne devez jamais oublier que les chercheurs valident l’utilisation d’un instrument pour une _______________________.

Answer 181

population particulière et/ou une utilisation particulière

Un instrument peut être tout à fait valide et fiable pour une population et une utilisation, mais pas du tout pour une autre

Question 182

Ne jamais oublier : autant la fidélité que la validité est une ___________.

Answer 182

question de degré