Cours 7 : Aspects, fonctions, dimensions et modalités d’évaluation Flashcards
Quelles sont les fonctions de l’évaluation ? (7)
1) Sélectionner/classifier les participants
2) Poser un dx
3) Mesurer l’effet de la VI sur VD
4) Vérifier l’intégrité de la manipulation expérimentale
5) Évaluer les mécanismes de changement
6) Évaluer le maintien des bénéfices thérapeutiques
7) Évaluer l’évolution de la VD (longitudinale)
Quelles sont les mesures (aspects) d’évaluation ? (3)
1) Variable indépendante
2) Processus médiateurs
3) Variables dépendantes
Quelles sont les dimensions de l’évaluation ? (6)
1) Globale/spécifique
2) Comportement observable/expérience personnelle
3) Caractéristique stable (trait)/temporaire (état)
4) Directe/indirecte
5) Étendue des domaines d’intérêt (simple/multiples)
6) Format (vrai/faux, choix multiples, ouvertes, échelles numériques)
Quelles sont les principales modalités d’évaluation ? (7)
1) Évaluation globale externe
2) Questionnaires/échelle d’auto-évaluation
3) Mesure d’auto-enregistrement
4) Mesure comportementale
5) Mesure psychophysiologique
6) Entrevue (ami) structurée
7) Évaluation informatisée
Quels sont les trois critères de sélection des mesures principaux en évaluation ?
1) Validité de construit
2) Autres qualités psychométriques
3) Sensibilité
Il est essentiel de présenter les évidences supportant la validité de construit. Qu’est-ce qui caractérise la validité de construit ?
Est-ce que l’instrument choisi mesure adéquatement le domaine/trait/la caractéristique d’intérêt?
Plusieurs mesures d’un même construit peuvent en fait évaluer des aspects distincts/être peu corrélées entre elles
Quelles autres qualités psychométriques doivent être considérées dans la sélection des mesures ? (2)
La fidélité : Constance de la mesure (cohérence interne, formes équivalentes, test-retes, inter-juge)
et la validité : Contenu, à quel point on évalue le construit (de contenu, reliée à un critère (mesure étalon), concurrente, prédictive, convergente, discriminante)
Il est préférable d’utliser une mesure dont la sensibilité est démontrée. Qu’est-ce qui caractérise la sensibilité ?
Est-ce que la mesure choisie est suffisamment sensible pour détecter les changements?
Mesure doit permettre d’éviter effets de plancher et de plafond
Sensibilité requise varie en fonction du protocole (plus la VI est similaire entre 2 groupes, plus la mesure doit être sensible)
Quelles sont les autres critères de sélection des mesures ? (5)
1) Considérations culturelles
2) Nombre de mesures (limiter erreur de type I et limiter le fardeau imposé aux participants)
3) Utilisation antérieure
4) Complémentarité
5) Réactivité
Quelles sont les effets possibles de la réactivité à la mesure ? (2)
1) Peut contribuer à la performance d’un individu : désir de se présenter sous un angle différent + performance influencée par l’évaluateur
2) Est-ce que les résultats sont généralisables ? Menace à la validité externe.
Quelles sont les solutions possibles pour pallier à la réactivité à la mesure ? (5)
1) Assurer la confidentialité/discrétion/anonymat
2) Ajouter des items pour rendre le construit moins apparent
3) Utiliser des mesures informatisées
4) Utiliser des mesures discrètes
5) Utiliser l’observation directe sur une période prolongée
Que faut-il faire pour justifier le choix des mesures ?
1) Justifier les modalités d’évaluation et les instruments
2) Fournir une brève description des mesures
Pourquoi utiliser plusieurs mesures ?
1) Nature multifactorielle de tout problème clinique
2) Spécificité des réponses selon les conditions (documenter plusieurs contextes et situation ex. maison, école)
3) Variance entre les méthodes d’évaluation
Qu’est-ce que la Matrice multitraits-multiméthodes ? (2)
Elle évalue plusieurs comportements cibles par plusieurs méthodes/mesures (minimum de deux) et permet d’évaluer les validité convergente et discriminante
Qu’est-ce que la validité convergente ?
Lorsqu’on évalue la validité d’une mesure avec d’autres mesures qui sont reconnues pour mesurer un construit similaire ou avec lesquelles notre mesure devrait corréler.
Qu’est-ce que la validité discriminante ?
On s’attend à une corrélation faible entre notre mesure d’intérêt et une mesure n’est pas supposées être reliée au construit
Qu’est-ce que la validité reliée à un critère ?
On s’attend à obtenir une corrélation entre notre mesure et un autre critère administré au même moment (concurrente) ou plus tard (prédictive)
Différentes modalités d’un même construit sont généralement moins bien corrélées entres elles que différents construits évalués par une même modalité (deux mesures objectives). Pourquoi ? (4)
1) Varibailité des méthodes et formats de réponse
2) Nature multidimensionnelle du construits ; vient pas chercher les mêmes éléments du construit
3) Intensité des symptômes est variable selon la modalité (meilleure correspondance si intensité des sx est élevée)
4) Différences temporelles dans les changements (différentes mesures tendent à converger avec le temps)
Qu’est-ce que l’évaluation globale externe ?
Impression globale de personnes en contact avec les patient (thérapeute, clinicien, parent)
Évaluation de concepts généraux comme la sévérité, de l’impact, du changement
Quels sont les avantages reliés à l’évaluation globale externe ? (4)
1) Évaluation sommaire de l’évolution du client
2) Mesure indépendante de celle du participant
3) Provient d’une personne qui a une perspective différente
4) Facile à obtenir
Quelles sont les limites de l’évaluation globale externe ? (5)
1) Générale ; qu’est-ce que ça mesure ?
2) Peut changer avec le temps, indépendamment de l’évolution
3) Peu manquer de sensibilité
4) Changement de critères
5) Biais lorsque remplie par thérapeute
Quelles sont les caractéristiques des questionnaires ou des échelles d’auto-évaluation ? (2)
1) Modalité la plus utilisée en psychologie clinique
2) Très utile dans l’évaluation et la sélection initiale
Quelles sont les avantages reliées à l’utilisation de questionnaires ou d’échelles d’auto-évaluation ? (4)
1) Permet de mesurer des construits pouvant être évalués seulement par le participant
2) Permet un large échantillonnage du domaine d’intérêt
3) Facile à administrer et peu coûteux
4) Très sensible aux changement
Quelles sont les limites reliées à l’utilisation de questionnaires ou d’échelles d’auto-évaluation ? (4)
1) Les réponses peuvent être influencées par le choix de mots, format, ordre des items
2) Biais possibles (endossement, valeurs extrêmes, rappel)
3) Désirabilité sociale
4) Effet Hello-goodbye en essai clinique (tendance à endosser certains items de façon exagérée pour entrer dans l’étude + minimiser les sx après intervention pour remercier thérapeute et quitter étude sur bonne note. )
Que sont les mesures d’auto-enregistrement ?
Mesures prospective d’auto-observation
Auto-notation de comportements, émotions, pensées.
Données obtenues sur une base continue, quotidienne, par intervalle.
Quelles sont les avantages reliées à l’utilisation de mesures d’auto-enregistrement ? (4)
1) Mesures répétées
2) Milieu naturel du participant
3) Moins vulnérable au biais de rappel
4) Peu coûteux
Quelles sont les limites reliées à l’utilisation de mesures d’auto-enregistrement ? (2)
1) Problème d’observance ; utiliser réponse vocale, interface électronique pour limiter
2) Biais similaire à l’auto-évaluation (amplification/minimisation des sx) ; atténuation avec le temps
À quoi réfèrent les mesures comportementales ?
Évaluation directe et objective d’un comportement d’intérêt. Définition opérationnelle essentielle. Évaluation possible dans le milieu naturel/situation analogue.
Les comportements sont enregistrés et codifiés par des juges.
Quelles sont les avantages reliées à l’utilisation de mesures comportementales ? (3)
1) Mesure objective
2) Très pertinent pour certains domaines
3) Utile pour des problèmes définis uniquement par des comportements
Quelles sont les limites reliées à l’utilisation de mesures comportementales ? (3)
1) Réactivité à la mesure
2) Validité écologique de la situation expérimentale
3) Représentativité de l’échantillonnage de temps
Que sont les mesures psychophysiologiques ?
Évaluation de paramètres physiologiques reliés aux états psy; mesure la plus directe/pertinente dans certains domaines. Souvent perçue comme la mesure étalon.
Quelles sont les avantages reliées à l’utilisation de mesures psychophysiologiques ? (4)
1) Mesure plus directe
2) Moins susceptible aux biais
3) Excellente pour vérifier l’observance thérapeutique
4) Possibilité d’évaluation ambulatoire
Quelles sont les limites reliées à l’utilisation de mesures psychophysiologiques ? (4)
1) Interprétation difficile
2) Équipement dispendieux et sujet à plusieurs artefacts
3) Accès limité
4) Réactivité possible (effet du sarrau)
À quoi correspond l’évaluation semi-strucutrée ?
À un canevas d’entrevue avec des questions clés. Évaluation de présence de psychopathologies ou sévérité des sx.
Entrainement nécessaire. Évaluation de compétence, fidélité inter-juges : écoute d’enregistrement et cotation indépendante.
Quelles sont les avantages reliées à l’utilisation d’entrevues semi-structurée ? (3)
1) Possibilité d’obtenir un dx
2) Standardisation
3) Permet un jugement clinique
Quelles sont les limites reliées à l’utilisation d’entrevue semi-structurée ? (4)
1) Entrainement préalable
2) Demande très bonne connaissance des critères dx (DSM)
3) Demande bon jugement critique
4) Plus couteux (temps, argent)
À quoi correspond l’évaluation informatisée ?
Peut être utilisée pour différentes modalités d’évaluation
Inclus l’évaluation en ligne
Quelles sont les avantages reliées à l’évaluation informatiée ? (6)
1) Standardisée
2) Économique
3) Réduit les erreurs
4) Diminue la désidérabilité sociale
5) Flexible
6) Permet d’accéder à un large bassin de population
Quelles sont les limites reliées à l’évaluation informatisée ? (5)
1) Exige minimum d’expérience avec l’ordinateur
2) Produit plus de profils invalides
3) Omet l’information qualitative
4) Usage abusif potentiel
5) Éthique/confidentialité (en ligne)
Que sont les tests diagnostiques ou de dépistage ?
Test visant à classifier l’échantillon en deux groupes : sujet avec et sans le diagnostic.
On peut faire varier le point de rupture (cutoff) entre les deux groupes, ce qui influence leur composition.
La classification obtenue par le test est comparée avec la mesure étalon.
À quoi réfère la puissance prédictive ?
Au % d’individus identifié comme cas qui sont réellement des cas
À quoi réfère la puissance prédictive négative ?
Au % d’individus identifiés comme des non-cas et qui sont réellement des non-cas
À quoi réfère la sensibilité ?
Capacité d’un test à bien identifier les individus avec la maladie (cas)
À quoi réfère la spécificité ?
Capacité d’un test à bien identifier les individus sans la maladie (non-cas)
À quoi réfère la puissance positive ?
Nombre de vrai cas positif divisé par tous les participants pour lesquels le tests est positif.
Comment se nomme la courbe pour illustrer la performance d’un test diagnostique selon les différents seules sélectionnés ?
La courbe de la fonction d’efficacité du récepteur (courbe ROC)
Plus l’aire sous la courbe est importante, plus le test a de bonnes qualité prédictives
