cours 3 Flashcards
qu’est ce qui est au coeur de la mesure et l’évaluation en psychoéducation
DES DIFFÉRENCES ENTRE LES PERSONNES
la fondation de toutes les méthodes d’évaluation des propriétés psychométriques
La variabilité dans les scores générés par un instrument
on cherche quoi dans un instrument d’évaluation clinique ?
la variabilité, s’il n’y a pas de variance alors il n’y a pas de discrimination/ distinction/ séparation des personnes donc le test deviens inutile
statistiquement, les différences dans les scores sont représenté par ?
variance
quels sont les 2 différences importantes dans un instrument d’évaluation
1) INTERindividuelles (entre les personnes)
2) INTRAindividuelles (à l’intérieur de la personne par exemple son inattention)
entre différentes contextes ou à travers le temps.
VRAI OU FAUX
est-ce que les instruments psychométriques concernent seulement les Construits individuels (intelligence, personnalité, psychopathologie) ?
EXAMEN
Faux
les instruments psychométriques sont aussi employés pour évaluer une foule de construits «environnementaux», dans la mesure où ils distinguent ou différencient les gens
e.g., environnement familial, environnement scolaire, qualité des relations conjugales (en partie relié à nos caractéristiques personnelles mais aussi environnementales), pratiques parentales, etc.
l’idée principale c’est LA VARIABILITÉ, est-ce que je peux distinguer les gens correctement.
Pourquoi, le besoin de quantifier, de mesurer ce qu’il y autour de nous est fondamental ?
comprendre le monde qui nous entoure et agir sur le monde
standardisation de la mesure
tout le monde fait les choses de la même façon
c’est quoi la mesure ?
La mesure, prise au sens large, consiste à associer des nombres à des objets ou à des événements ou des caractéristiques (émotions, pensées des personnes etc) selon certaines règles.
c’est quoi les différentes échelle de mesure ? et expliquer celle qui nous intéresse nous particulièrement ?
- nominale (nombre utilisé au lieu des mots : sexe feminin et masculin)
- ordinale (nombre utilisés pour mettre en ordre : ordre des naissances)
- intervalle : la force + intervalles égaux mais pas de 0 absolu (journée intervalle égale de 24 heures, mais pas les mois car pas le même nombre de jours)
- ratio ( poids, mesure de longueur)
questionnaire de supervision parentale () il y a :
- des items proposant une échelle de mesure pour quantifier : jamais/rarement/souvent/toujours
- on attribue un nombre de 0,1,2,3, respectivement
- La progression des nombres suit la progression conceptuelle de la fréquence de la supervision
Avec au moins deux items, on peut alors créer un score composite (moyenne ou somme) avec une valeur numérique pour mesurer la «supervision parentale»
Pourquoi, pour des concepts psychologiques ou psychosociaux, on utilise souvent le terme «instrument de mesure» plutôt que «test» ?
parce qu’on n’évalue pas les gens pour savoir s’ils ont la bonne réponse ou pas (e.g., test de mathématiques, test de QI)
Selon Anastasi et Urbina (1997), un test est une «(1) mesure (2) standardisée et (3) objective (4) d’un échantillon de comportements»
elle veut dire quoi
1) la mesure ?
1) Mesure : associer des nombre à des personnes ( caractéristiques individuelle et environnementale)
Selon Anastasi et Urbina (1997), un test est une «(1) mesure (2) standardisée et (3) objective (4) d’un échantillon de comportements»
elle veut dire quoi par
2) mesure standardisé ?
(2) standardisée: Uniformité de la procédure d’administration de l’instrument
Principe du contrôle rigoureux de la démarche de toute observation scientifique
Administration standard d’un test : suivre les consignes et conditions d’administration, les questions (items) doivent être les mêmes pour tous les répondants.es
Selon Anastasi et Urbina (1997), un test est une «(1) mesure (2) standardisée et (3) objective (4) d’un échantillon de comportements»
elle veut dire quoi par objective ?
signifie que
(a) les items doivent être compris de façon non-ambiguë et de la même façon par tous.tes les évalués.es et que (niveau primaire)
(b) les résultats obtenus (scores) devraient systématiquement procurer de l’information sur le construit ciblé, indépendamment (ou en dépit) du jugement subjectif d’un évaluateur
On veut un estimé du construit qu’on mesure, pas un estimé contaminé par d’autres facteurs confondants
e.g., Un questionnaire contenant des items avec un niveau de langage non adapté pour certaines personnes ou groupes de personnes évalués
si contaminé faut faire très attention à l’interprétation des scores
Selon Anastasi et Urbina (1997), un test est une «(1) mesure (2) standardisée et (3) objective (4) d’un échantillon de comportements»
elle veut dire quoi par : un échantillon de comportement ?
Le terme «comportements» est ici utilisé de façon très large; en fait, il peut aussi s’agir de cognitions, émotions, sentiments, valeurs, attitudes, motivations, pratiques parentales, etc.
(4) échantillon de comportements: signifie qu’on ne couvre pas toutes les manifestations possibles d’un construit, mais qu’on sélectionne soigneusement un échantillon restreint, mais représentatif du contenu du construit
Ce n’est pas tant quels sont les items spécifiques intégrés dans une mesure qui est d’intérêt, mais la qualité de l’inférence qu’on peut faire avec ceux qui sont utilisés
Ce qui est important, c’est la représentativité de l’échantillon de comportements, pas quels items spécifiques sont utilisés
Dans une distribution normale combien d’individus se situe à l’intérieur de plus au moins 1 écart-type de la moyenne ?
68,2% des individus (chaque bord 34,1 +34,1)
Dans une distribution normale combien d’individus se situe à 2 écart-type de la moyenne ?
95,4 % des individus (chaque bord : 13,6+13,6)
Dans une distribution normale combien d’individus se situe à 3 écart-type de la moyenne ?
99,8 % individus (chaque bord : 2,1+2,1)
les scores bruts sont-til facile à interpreter dans un intrument de mesure ?
Non
ex. Questionnaire de Supervision parentale : Scores peuvent varier de 0 à 6, que veux dire score de 1 ? un score de 3 ?
Pour un comportement rare ou fréquent dans la population générale ou une population clinique, le score de 3 n’est pas nécessairement un «niveau moyen»
Pour déterminer dans un intrument de mesure (ex le questionnaire de supervision parentale) si un individu présente un score «différent», ou «anormal», ou «problématique», on a besoin de X?
Pour déterminer si un individu présente un score «différent», ou «anormal», ou «problématique», on a besoin de comparer le score obtenu avec un CRITÈRE de comparaison, avec une NORME
Pour déterminer si un individu présente un score «différent», ou «anormal», ou «problématique», on a besoin de comparer le score obtenu avec un critère de comparaison, avec une norme.
Mais quel critère de comparaison devrait-on employer ?
Un critère basé sur une justification théorique ?
Un critère numérique arbitraire déterminé par des spécialistes ? (algorite DSM)
Comparer avec les résultats obtenus par d’autres personnes ? Si oui, quelles personnes au juste ?
Dans une approche scientifique, on ne peut pas répondre à cette question de façon désinvolte, il faut être OBJECTIF et SYSTÉMATIQUE
C’est quoi les deux grands types de qualification et interprétation des scores de la majorité des instruments psychométriques :
1) Qualification basée sur un critère de référence
2)Qualification basée sur une norme de référence
La qualification basée sur un critère ?
À partir d’un score établi a priori par les auteurs.trices d’un instrument qui permet de conclure qu’une «performance» ou un «statut» a été atteint
On l’appelle aussi interprétation critériée
Probablement l’exemple le plus simple et connu sont les seuils des algorithmes du DSM-5
e.g., la manifestation de 3 symptômes et plus dans les 12 derniers mois = présence d’un trouble des conduites chez un enfant
Qualification basée sur une norme :
-À partir de la moyenne des réponses d’un groupe de référence, ou groupe étalon. La moyenne de ce groupe devient le critère comparatif dont on se sert pour qualifier les évaluations subséquentes avec l’instrument
-Lorsqu’on évalue une nouvelle personne avec un instrument, on peut qualifier son score obtenu comparativement à la moyenne normative (ou par rapport à un «individu moyen»)
On l’appelle aussi interprétation normative ou interprétation normée
Qualification basée sur une norme
comment on détermine l’échantillon normatif ?
On sélectionne un échantillon d’individus qui sont représentatifs de la population d’intérêt et ils sont évalués avec l’instrument
On utilise alors la moyenne de cet échantillon (selon l’âge/groupe d’âges, le sexe/genre, le niveau scolaire, etc.) comme critère de comparaison
il existe 3 grandes catégories de normes, quelles-sont elles ?
- scores standardisés
- centiles
- normes développementale
à quoi servent les scores standardisés ? et sur quoi sont-il basé?
Les scores standardisés offrent une solution pratique simple (scores bruts difficile à interpréter pour la qualification et l’interprétation des scores
Sont presque toujours basés sur les caractéristiques et principes de la distribution normale
les deux grands avantages des scores standardisés en général ?
ils permettent d’utiliser les principes de la distribution normale
ils ont des intervalles égaux le long du continuum de scores
Il y a plusieurs types de scores standardisés mais il sont presque tous basé sur les scores ?
SCORE Z
Il s’agit essentiellement des scores bruts qui ont été transformés pour avoir une distribution avec une M et un ÉT prédéterminés (e.g., M = 0; ÉT = 1) et avoir des intervalles égaux le long du continuum
Comment on obtien le score Z
Collecter des données auprès d’un échantillon représentatif de la population d’intérêt
Calculer les scores bruts (e.g., somme, moyenne) et utiliser la M et ÉT de ces scores bruts pour appliquer une transformation mathématique afin d’en arriver à une distribution connue, e.g, la distribution Z
Zi = (xi – Mbruts) / ÉTbruts
Si désiré, transformer les scores-Z pour qu’ils aient une M et un ÉT différents de 0 et 1
En raison de leurs intervalles égaux (i.e., ils la propriété d’être des d’échelles à intervalles), les scores standardisés permettent d’indiquer de ?
combien, en valeur d’écart-type, un score obtenu à un test se situe au-dessus ou au-dessous de la moyenne normative (i.e., M de l’échantillon normatif)
C’est quoii les deux grandes fonctions ou utilités des scores standardisés ?
1) Déterminer la position relative d’un individu par rapport à la population d’intérêt (groupe de référence)
i.e., déterminer si un score est significativement différent de la moyenne normative
Faire des comparaisons entre différentes échelles qui n’ont pas la même métrie en valeur brute
Comparer des scores sur une échelle similaire (e.g., anxiété) provenant de différents instruments (e.g., GAD7 vs HAM-A)
Comparer des scores sur différentes échelles provenant d’un même instrument (e.g., anxiété vs dépression)
Qu’est-ce qui veut dire quand on dit que les scores standardisés sont obtenus avec une transformation linéaire des scores bruts ?
la forme de la distribution originale n’est pas changée après la transformation
la majorité des construits suivent une courbe normale (trait de personnalité, pratiques parentales)
Dans la majorité des cas, les construits ou concepts d’intérêt se distribuent relativement normalement (e.g., traits de personnalité, pratiques parentales, etc.) mais qu’est ce qu’on fait quand ce n’est pas le cas comme les valeurs antisociales (non normales dans la société)?
Il est possible d’utiliser une transformation non-linéaire pour ramener les scores vers une distribution qui se rapproche plus d’une distribution normale pour obtenir des scores normalisés.
Habituellement repose sur les scores-Z et les centiles en ce qui concerne les surfaces de la courbe – on applique des pondérations pour obtenir une métrie plus proche de la distribution normale
est-ce que le score standardisé meme chose que score normalisé ?
Non, le score normalisé est une transformation non-linéaire pour ramener les scores vers une distribution qui se rapproche plus d’une distribution normale
C’est quoi les scores le plus utilisé ?
SCORE T
La qualification usuelle pour les scores-T (dans le cas d’un construit négatif ou socialement non désiré; un «problème»):
c’est quoi les scores dans la moyenne normative
Scores entre 41 et 59
La qualification usuelle pour les scores-T (dans le cas d’un construit négatif ou socialement non désiré; un «problème»):
c’est quoi les scores Significativement au-dessus de la moyenne normative
Scores de 60 à 69
La qualification usuelle pour les scores-T (dans le cas d’un construit négatif ou socialement non désiré; un «problème»):
c’est quoi les scores Très significativement au-dessus de la moyenne normative
Scores de 70 à 79
La qualification usuelle pour les scores-T (dans le cas d’un construit négatif ou socialement non désiré; un «problème»):
c’est quoi les scores extrêmes
Scores de 80 et plus
c’est quoi la moyenne et l’écart type des score T
Moyenne : 50
Écart-type : 10
La qualification usuelle pour les scores-T (dans le cas d’un construit négatif ou socialement non désiré; un «problème»):
c’est quoi les scores Significativement au-dessous de la moyenne («Bonne adaptation»)
scores de 31-40
La qualification usuelle pour les scores-T (dans le cas d’un construit négatif ou socialement non désiré; un «problème»):
c’est quoi les scores Très significativement au-dessous de la moyenne«Très bonne adaptation» et scores extremes
Scores de 30 et moins : très bonne adaptation
Scores de 20 et moins : Scores extrêmes
sur quoi sont bas. les critères usuels ?
sur les principes psychométriques généraux, i.e., différences en terme d’écart-type par rapport à la moyenne, considérant une distribution normale de scores
Les utilisateurs.trices des instruments doivent connaitre ces critères parce que les auteurs.trices de certains instruments ne suggèrent pas de scores critères prédéterminés à utiliser
Parfois certains auteurs.trices de différents tests vont parfois proposer des critères différents des critères usuels donner un exemple ?
Par exemple, les auteurs de l’EDC, ils marchent avec un demi-écart type car cherche le depistage
Les scores standardisés peuvent être complexes à saisir pour les gens sans formation en psychométrie ou en statistiques
Pour faciliter l’interprétation et la communication des résultats à des profanes (non spécialistes), on peut utiliser les centiles
C’est quoi ?
Centiles sont des scores qui permettent de déterminer la position relative d’un individu par rapport à un échantillon normatif en terme de pourcentage d’individus
Centile: pourcentage de personnes dont le score est égal ou inférieur à un score standardisé donné
Un centile de 80 signifie que 80% des individus ont un score plus bas ou égal au score observé
c’est quoi le problème avec les centilles ?
la distance entre les scores n’est pas égale le long du continuum
Différences de scores entre les centiles sont très petites près de la moyenne et très grandes aux extrêmes de la distribution
Les intervalles ne sont donc pas égaux le long de la distribution de centiles, contrairement aux scores standardisés
Lorsque le construit d’intérêt se développe ou change systématiquement dans le temps (avec les enfants)
il est possible de créer des normes ?
développementales
Deux formes de normes développementales sont couramment utilisées en psychologie et en psychoéducation:
1) les équivalents d’âge :employés dans différents tests d’aptitudes ou habiletés cognitives (i.e., tests d’intelligence)
2) les équivalents de niveau scolaire (degre scolaire test de ministère)
comment on fait pour obtenir les scores pour les normes developpementales ? comme le score d’âge mental
, il s’agit essentiellement de calculer des scores moyens (ou médians) à différents âges successifs ou différentes périodes développementales
Le calcul du score d’âge mental tient compte de l’âge chronologique et des moyennes normatives à différents âges
e.g., un enfant qui obtient un score nettement plus élevé à un test que ce qui correspond à la moyenne normative correspondant à son âge chronologique aura donc un score «d’âge mental» plus élevé
Selon les instruments ou tests, les groupes de référence sont différents et donc, différentes «formes de normes» existent
Normes nationales : représentatives de toute la population L’EDC
Normes de convenance (ou de commodité)
Normes de sous-groupes : sexe/genre, origine ethnique, groupe professionnel, condition clinique (TC, TDAH), etc.
Normes institutionnelles : commission scolaire, un CISSS ou un CIUSSS, UdeM (e.g., bourses excellence), etc.
Normes locales : une école, un hôpital
c’est quoi le problème avec les normes générales (tout le monde est dans l”échantillon normatif vs normes de sous-groupes)
Si pas de normes selon le sexe/genre : les différences liées au sexe sont en quelque sorte perdues ou «noyées»
e.g., Échelle d’humeur dépressive chez les adolescents.es
Général, M = 50, Garçons, M = 40, Filles, M = 60
En utilisant des normes générales, on postule qu’il y a autant de garçons que de filles avec scores très élevés, alors qu’en réalité il y a plus de filles
Surtout, sur le plan clinique, un score de 50 est problématique pour un garçon, mais pas pour une fille
la qualité des normes est TRÈS IMPORTANTES elle depend de quoi ?
dépend de la qualité du groupe de référence servant de norme, ou dit autrement, de l’échantillon normatif
Les normes sont établies à l’étape de la normalisation (ou programme de normalisation) ou de l’étalonnage (calculer les normes)
Pourquoi il est PRIMORDIAL qu’un.e utilisateur.trice d’instrument connaisse bien la qualité de l’échantillon normatif,
puisque cela affecte le degré de prudence à appliquer dans l’interprétation des scores standardisés
Trois caractéristiques d’un BON échantillon normatif
1) Représentatif de la population d’intérêt
- Idéalement échantillon national stratifié si population générale
- Souvent basés sur quelques caractéristiques sociodémographiques de base (e.g., âge, sexe/genre, lieu de résidence), mais certaines demeurent négligées
2) Grande taille (500 representatif cest mieux qu’une etude de 10000)
- Basé sur les principes probabilistes des méthodes asymptotiques
3) Récent (10 ans ca reste recent, 20 ans maximum cest le temps de le mettre a jour)
la représentativité est de loin la plus importante
dans les caractéristiques d’un BON échantillon normatif
S’il y a des déviations de la représentativité qui sont mineures ou modérées, il est possible d’appliquer ?
des pondérations statistiques qui donnent plus de poids à certains cas dans le calcul des scores :
Alors on va donner plus d’importance au gens qui sont moins representé dans l’échantillon ou vice versa donner moins d’importance au gens qui se retrouve en grand nombre
