Cours 3 Flashcards
Quelle capacité est au coeur de la mesure et l’évaluation en psychoéducation?
La capacité d’identifier des différences entre les personnes
Quelle est la fondation de toutes les méthodes d’évaluation des propriétés psychométriques?
Les différences individuelles, et donc la variabilité dans les scores générés par un instrument
Quelle est la différence entre les différences interindividuelles et intraindividuelles?
Inter: Entre les personnes
Intra: Pour une même personne, mais entre différents contextes (ou conditions) ou à travers le temps
Complète la phrase:
Ainsi, les items et ultimemement… sinon ils sont trop inutiles
Les scores d’un instrument doivent discriminer/distinguer/séparer les personnes
Statistiquement, ces différences de scores sont représentés par la variabilité ou la variance
L’emphase mise sur les différences individuelles mène certaines personnes à croire quoi sur les instruments psychométriques? Est-ce vrai?
Que les instruments psychométriques concernent seulement les construits individuels (e.g., intelligence, personnalité, psychopathologie, etc.)
Fausse croyance, puisque les instruments psychométriques sont aussi employés pour évaluer une foule de construits environnementaux, dans la mesure où ils distinguent ou différencient les gens
Le besoin de quantifier, de mesurer, nous aide à comprendre quoi? Il est quoi?
Le monde qui nous entoure et, éventuellement à agir sur lui, le modifier
Il est fondamental
Quelles sont deux questions scientifiques qui obsèdent les scientifiques de toutes les disciplines scientifiques depuis les débuts de la science?
- Comment mesure-t-on?
- Avec quelle précision
Qu’est-ce que la standardisation de mesure? Et pourquoi dit-on qu’elle est si critique?
Tout le monde fait de la même façon
Elle est si critique qu’il y a des organisations nationales et internationales de supervision de la mesure
Il existe sept unités fondamentales de mesure pour comprendre notre monde. Quelles sont-elles?
- Temps
- Distance
- Masse
- Mole (ou quantité)
- Lumière
- Chaleur
- Électricité
Laquelle des sept unités fondamentales de mesure a probablement été la première chose qui a été mesurée?
Temps
Laquelle des sept unités fondamentales de mesure a longtemps été basée sur des parties du corps des dirigeants, rois et reines?
Distance
Le système métrique correspond à quelle unité fondamentale de mesure?
Masse
Au sens large, en quoi consiste la mesure?
À associer des nombres à des objets ou à des événements selon certaines règles
En psychologie, en quoi consiste la mesure?
Opération qui consiste à associer des nombres à des personnes de telle sorte que certains des attributs de ces personnes sont représentés fidèlement par certaines propriétés des nombres
Quelles sont les propriétés des nombres selon différentes échelles de mesure?
Nominale = aucune magnitude, aucun intervalle égaux ni de 0 absolue (nombres au lieu des mots) (ex: numéro des joueurs de hockey)
Ordinale = juste une magnitude (nombres utilisés pour mettre en ordre des séries hiérarchiques) (ex: classement des équipes de hockey)
Intervalle = magnitude et intervalles égaux (intervalles égaux entre les unités représentés par les nombres) (ex: échelle de température)
Ratio = magnitude, intervalle égaux et 0 absolu (signifie l’absence de quelque-chose) (ex: poids, mesure de longueur, période de temps)
Comment interpréter ou qualifier les informations des questionnaires?
Écouter la réponse verbatim et interpréter
-ou-
Utiliser un instrument avec des items proposant une échelle de mesure servant à quantifier
La progression des nombres suit la progression conceptuelle
Avec combien d’items peut-on créer un score pour mesurer quelque chose? Et quel est ce score?
Au moins 2 items
Score composite avec une valeur numérique
Pourquoi, dans les domaines psychosociaux, le terme instrument de mesure est plus utilisé que le terme test?
Parce que n’on n’évalue pas les gens pour savoir s’ils ont la bonne réponse ou pas
La définition d’un test comporte 4 concepts, lesquels?
(1) mesure
(2) standardisée et
(3) objective
(4) d’un échantillon de comportements
Dans la définition d’un test, que signifie le concept de mesure?
Associer des nombres à des caractéristiques d’une personne
(Pas seulement caractéristiques individuelles, aussi environnementales)
Dans la définition d’un test, que signifie le concept de standardisée?
Uniformité de la procédure d’administration de l’instrument
Administration standard d’un test: consignes et conditions d’administration, les questions (items) doivent être les mêmes pour tous les répondants (on peut lier ceci au principe de contrôle rigoureux de la démarche de toute observation scientifique)
Dans la définition d’un test, que signifie le concept de objective?
(A) les items doivent être compris de façon non-ambiguë et de la même façon par toustes évaluées
(B) les résultats obtenus (scores) devraient systématiquement procurer de l’information sur le construit ciblé, indépendamment (ou en dépit) du jugement subjectif d’un évaluateur
(On veut un estimé du construit qu’on mesure, pas un estimé contaminé par d’autres facteurs confondants)
Dans la définition d’un test, que signifie le concept d’échantillon de comportements?
On ne couvre pas toutes les manifestations possibles d’un construits, mais on sélectionne soigneusement un échantillon restreint, mais représentatif du contenu du construit
- Ce n’est pas tant quels sont les items spécifiques intégrés dans une mesure qui est d’intérêt, mais la qualité de l’inférence qu’on peut faire avec ceux qui sont utilisés
- Ce qui est important, c’est la représentativité de l’échantillon de comportements, pas quels items spécifiques sont utilisés
Complète la phrase:
Il est important de ne jamais oublier que les instruments d’évaluation sont…
Des outils!
Cela veut dire qu’ils sont toujours un moyen pour atteindre une fin, mais jamais une fin en soit.
Qu’arrive-t-il lorsque les instruments d’évaluation sont bien validés et utilisés correctement? Et quand ils le sont mal?
Bien: Peuvent être des aides très utiles pour les professionnels
Mal: Peuvent mener à des conséquences négatives
(Analogie du marteau: outil très simple, peut être tellement utile qu’on peut se construire une maison avec… mais peut aussi servir à faire du mal
Si la distribution de scores d’une variable est normale, quel est le pourcentage de gens qui se trouve dans le 1 ÉT? Dans le 2? Et dans le 3?
1 ÉT = 68.2% des individus ont un score à l’intérieur de +- un ÉT de la moyenne
2 ÉT = 95.4%
3 ÉT = 99.8%
Pour les échelles d’évaluation dimensionnelles, quels scores sont difficiles à interpréter?
Les scores bruts
De quoi a-t-on besoin pour déterminer si un individu présente un score différent ou anormal ou problématique?
De comparer le score obtenu avec un critère de comparaison
Il y a deux grands types de qualification et interprétation des scores de la majorité des instruments psychométriques, lesquels?
- Qualification basée sur un critère de référence
- Qualification basée sur une norme de référence
Qu’est-ce qu’une qualification basée sur un critère?
À partir d’un score établi a priori par les auteurs.trices d’un instrument qui permet de conclure qu’une performance ou un statut a été atteint
Aussi appelé interprétation critériée
Qu’est-ce que la qualification basée sur une norme?
À partir des réponses d’un groupe de référence, ou groupe étalon. La moyenne de ce groupe devient le critère comparatif dont on se sert pour qualifier les évaluations subséquentes avec l’instrument.
Aussi appelé interprétation normative ou normée
Dans la qualification basée sur une norme, qu’arrive-t-il lorsqu’on évalue une nouvelle personne avec un instrument?
On peut qualifier son score obtenu comparativement à la moyenne normative (par rapport à un individu moyen)
Pourquoi parle-t-on d’évaluation normative?
Parce que la majorité des instruments d’évaluation utilisés en psychologie et en psychoéducation utilise la méthode de qualification basée sur une norme
Qu’est-ce qui est utilisé comme critère de comparaison pour l’échantillon d’individus?
La moyenne
Comment faire une qualification basée sur une norme?
On sélectionne un échantillon d’individus qui sont représentatifs de la population d’intérêt et ils sont évalués avec l’instrument
On utilise alors la moyenne de cet échantillon (selon l’âge/groupe d’âges, le sexe/genre, le niveau scolaire, etc.) comme critère de comparaison
Quelles sont les trois grandes catégories de normes?
- Basées sur les scores standardisés
- Basées sur les Centiles (ou Percentiles)
- Normes développementales
Quels sont les autres noms des scores standardisés?
Scores…
- Standards
- Étalonnés
- Pondérés
Pourquoi les scores bruts sont-ils difficiles à interpréter?
Puisque différents instruments ont différents formats d’items (nombre de choix de réponse), différents nombre d’items, etc.
Donc, qu’offrent les scores standardisés?
Et ils sont presque toujours basés sur quoi?
Une solution pratique simple pour la qualification et l’interprétation des scores
Basés sur les caractéristiques et principes de la distribution normale
Quels sont les deux grands avantages des scores standardisés en général?
- Ils permettent d’utiliser les principes de la distribution normale
- Ils ont des intervalles égaux le long du continuum de score
Cette famille de scores est très nombreuse, mais ils sont presque tous basés sur les scores-z
Il s’agit essentiellement des scores bruts qui ont été transformés pour avoir une distribution avec une M et un ÉT prédéterminés et avoir des intervalles égaux le long du continuum
Comment obtenir les scores standardisés?
- Collecter des données auprès d’un échantillon représentatif de la population d’intérêt
- Calculer les scores bruts (e.g., somme, moyenne) et utiliser la M et ÉT des scores bruts pour appliquer une transformation mathématique afin d’en arriver à une distribution connue, e.g., la distribution Z
- Ensuite, si désiré, transformer les scores-Z pour qu’ils aient une M et un ÉT différents de 0 et 1
Que permettent les intervalles égaux des scores standardisés?
Permettent d’indiquer de combien, en valeur d’écart-type, un score obtenu à un test se situe au-dessus ou au-dessous de la moyenne normative
Quelles sont les deux grandes fonctions ou utilités des scores standardisés?
- Déterminer la position relative d’un individu par rapport à la population d’intérêt (i.e., déterminer si un score est significativement différent de la moyenne normative)
- Faire des comparaisons entre différentes échelles qui n’ont pas la même métrie en valeur brute (scores sur une échelle similaire provenant de différents instruments et scores sur différentes échelles provenant d’un même instrument)
De quelle façon les scores standardisés sont-ils obtenus à partir des scores bruts?
La distribution originale est-elle changée?
Avec une transformation linéaire des scores bruts
Donc, la forme de la distribution originale n’est PAS changée après la transformation
Dans la majorité des cas, en sciences sociales, les construits ou concepts d’intérêts se distribuent-ils normalement?
Oui.
Toutefois, certains construits ne se distribuent pas normalement (e.g., dépression, valeurs antisociales, etc.) et donc, utiliser les principes de la distribution normale pour interpréter les scores de ces échelles devient potentiellement problématique
Dans quel cas la transformation non-linéaire est-elle utilisée?
Pour ramener les scores vers une distribution qui se rapproche plus d’une distribution normale pour obtenir des scores normalisés
Quelle est la qualification usuelle des scores standardisés (pour les scores-T)
- 20 et moins: Scores extrêmes
- 21 à 30: Très significativement au-dessous de la moyenne
- 31 à 40: Significativement au-dessous de la moyenne
- 41 et 59: Dans la moyenne normative
- 60 à 69: Significativement au-dessus de la moyenne normative
- 70 à 79: Très significativement au-dessus de la moyenne normative
- 80 et plus: Scores extrêmes
Pourquoi dit-on que la qualification usuelle des scores standardisés sont des critères usuels?
Il s’agit de critères usuels basés sur les principes psychométriques généraux, i.e., différences en terme d’écart-type par rapport à la moyenne, considérant une distribution normale des scores
Pourquoi les utilisateurs des instruments doivent connaitre ces critères (usuels - scores standardisés)?
Parce que les auteurs.trices de certains instruments ne suggèrent pas de scores prédéterminés à utiliser
Les critères usuels sont-ils les mêmes dans tous les tests?
Non, les auteurs.trices vont parfois proposer des critères différents des critères usuels, par exemple avec l’EDC
Les scores standardisés sont-ils complexes à saisir pour les gens sans formation? Si oui, que peut-on utiliser?
Oui
Pour faciliter l’interprétation et la communication des résultats à profanes (non spécialistes), on peut utiliser les centiles
Que permettent de déterminer les centiles?
Ce sont des scores qui permettent de déterminer la position relative d’un individu par rapport à un échantillon normatif en termes de pourcentage d’individus
Qu’est-ce qu’un centile?
Pourcentage de personnes dont le score est égal ou intérieur à un score standardisé donné
Que signifie un centile de 80?
Que 80% des individus ont un score plus bas ou égal au score observé
Quel est le problème avec les centiles?
La distance entre les scores n’est pas égale le long du continuum
- Différences de scores entre les centiles sont très petites près de la moyenne et très grandes aux extrêmes de la distributon
- Les intervalles ne sont donc pas égaux le long de la distribution de centiles, contrairement aux scores standardisés
Quand est-il possible de créer des normes développementales?
Lorsque le construit d’intérêt se développe ou change systématiquement et rapidement dans le temps
Quelles sont les deux formes de normes développementales qui sont couramment utilisées en psychologie et en psychoéducation?
Équivalents d’âge
Équivalents de niveau scolaire
Dans quels tests les équivalents d’âge sont-ils employés?
Dans différents tests d’aptitudes ou habiletés cognitives (i.e., tests d’intelligence)
S’appliquent davantage pour les tests évaluant les aptitudes durant l’enfance, en raison des changements significatifs et rapides de certaines structures et fonctions cognitives
Les équivalents d’âge sont aussi parfois appelés comment? Comment faire pour obtenir ces scores?
Âge mental
Bien que les calculs soient un peu plus complexes, il s’agit essentiellement de calculer des scores moyens (ou médians) à différents âges successifs ou différentes périodes développementales
De quoi tient compte le calcul du score d’âge mental?
De l’âge chronologique et des moyennes normatives à différents âges
(Ex.: un enfant qui obtient un score significativement plus élevé à un test que ce qui correspond à la moyenne normative de son âge chronologique aura donc un score d’âge mental plus élevé)
Les principes sont les mêmes pour les équivalents de niveau scolaire
Selon les instruments ou tests, les groupes de référence sont différents et donc, différentes formes de normes existent. Lesquelles?
- Normes nationales: représentatives de toute la population
- Normes de convenance (ou de commodité)
- Normes de sous-groupes: sexe/genre, origine ethnique, groupe professionnel, condition clinique, etc.
- Normes institutionnelles: commission scolaire, CISSS, UDEM, etc.
- Normes locales: une école, un hôpital
Quels sont les problèmes avec les normes générales (vs sous-groupes)?
- Si pas de normes selon le sexe/genre: les différences liées au sexe sont en quelque sorte perdues ou noyées
- En utilisant des normes générales, on postule qu’il y a autant de garçons que de filles avec scores très élevés, alors qu’en réalité il y a plus de filles
- Surtout, sur le plan clinique, un score de 50 est problématique pour un garçon (mais identifié normal), mais pas pour une fille
La qualification/interprétation des scores présentée depend de quoi?
De la qualité du groupe de référence servant de norme, ou dit autrement, de l’échantillon normatif
À quelle étape les normes sont-elles établies?
Normalisation ou de l’étalonnage
Pourquoi est-il primordial qu’une utilisatrice d’instrument connaisse bien la qualité de l’échantillon normatif?
Puisque cela affecte le degré de prudence à appliquer dans l’interprétation des scores standardisés
Quelles sont les trois caractéristiques d’un bon échantillon normatif?
- Représentatif de la population ciblée (idéalement échantillon national stratifié si population générale) (souvent basés sur quelques caractéristiques sociodémographiques de base, mais certaines demeurent négligées)
- Grande taille (basé sur les principes probabilistes des méthodes asymptotiques)
- Récent
Des trois caractéristiques d’un bon échantillon normatif, laquelle est la plus importante?
La représentativité
L’échantillon que l’on souhaite obtenir doit-il être parfaitement représentatif?
Non (très complexe et couteux), mais doit l’être le plus possible
Qu’est-il possible de faire s’il y a des déviations de la représentativité qui sont mineures ou modérées?
Il est possible d’appliquer des pondérations statistiques qui donnent plus de poids à un certain cas dans le calcul des scores
