Examen 2 Flashcards
3 “étapes” d’un test psychométrique/psychologique
Mesure, Évaluation, Analyse de données
Définition de la mesure
Attribuer des chiffres aux construits psychosociaux selon des règles bien déterminées qui doivent établir une correspondance entre des cpts et des chiffres en respectant:
Cueillette de donnée, nature des données et propriété des construits
L’application rigoureuse des règles dans le cadre de la mesure contribue à quoi ?
À ce que les résultats obtenus soient précis et reproductibles
Le psychométriste se concentre sur 1 objectif. Quels sont les deux objectifs sur lesquels il peut se concentrer ?
- Passation des tests
- Élaboration des tests
Si le psychométriste se concentre sur l’élaboration des tests (objectif), son attention sera portée sur quoi?
l’échantillon d’items
Si le psychométriste se concentre sur la passation des tests (objectif), son attention sera portée sur quoi?
l’échantillon de personnes/participants / sur les résultats
Quel domaine d’étude concerne la théorie et la méthodologie de construction et d’utilisation des échelles de mesure des caractéristiques mentales comme la mémoire
La mesure
Domaine d’étude de la mesure concerne…
Concerne la théorie et la méthodologie de construction et d’utilisation des échelles de mesure des caractéristiques mentales comme la mémoire
Exemples de caractéristiques mentales
Connaissances, traits de personnalité, composantes de la cognition (langage, intelligence)
Un des seuls actes réservés au psychologue
L’évaluation
Définition de l’évaluation
Processus technique qui vise à présenter une interprétation (jugement de valeur fondé) à une personne/groupes de personnes, en la comparant avec un barème préétabli
2 choses à connaître avant de faire l’évaluation
connaître ce qu’on mesure (unité de mesure) et les limites du phénomènes (descriptifs, fidélité, validité, erreur, etc)
Qu’est-ce qu’on mesure…
LA VARIANCEEEE(ex de la dépression) et non la dépression elle-même
qu’est-ce qu’on veut dire par limites du phénomène?
Écart-type, indices de fidélité, analyses descriptives, etc.
Comment on peut décrire l’évaluation?
Dynamique, source d’infos explicatives sur des phénomènes psychologiques
Les résultats des évaluations psychologiques ont un grand impact sur quoi?
Personnes, groupes, société
Comment on peut comprendre l’évaluation
Comme une démarche exploratoire et de communication qui soutient l’élaboration du plan d’intervention dans un cadre de soin et de rédaction d’un rapport d’expertise
L’évaluation est un processus exhaustif qui sert à déterminer quoi?
Problèmes et troubles psychologiques
Les analyses de données est un domaine important qui permet quoi
Faire progresser les connaissances et trouver réponses aux préoccupations. Implique la collecte et le traitement de données
Ex de progression des connaissances
RIASEC de John Holland, on parlait de 6 composantes de la personnalité et ajd on parle de 7
Analyses de données, processus qui nécessite compréhension approfondie de quoi ?
- Des méthodes statistiques
- une capacité à interpréter correctement les résultats
L’analyse stats est utilisée pourquoi?
Synthétiser données sous forme de :
résumés numériques, tableaux, représentations graphiques
afin de :
Répondre à des questions, tester hypothèses, évaluer ou construire des nouveaux modèles explicatifs du comportement
Qu’est-ce qu’il faut toujours prendre en compte concernant les analyses de données?
Les dernières recommandations de l’APA concernant les analyses de données (taille d’effet, inférences, estimateur)
Qui propose de classer des échelles de mesure en fonction des propriétés des valeurs qui peuvent être rangées en 4 niveaux (ou dimensions)
Stevens 1946
Les corrélations et régressions sont basées sur quoi
Moyenne
Abérrations sur les échelles de type likert
Échelle de type likert qui contient l’absence de phénomène sauf si c’est pour discriminer les participants
4 types d’échelles
Ordinale, nominale, ratio, intervalle
Quelles stats ont fait sur une échelle nominale
Corrélations (phi, tétrachorique)
l’échelle nominale (5)
- Chaque observation se trouve dans une seule catégorie
- Son utilisation est limitée aux sciences humaines pcq fournit pas d’indications sur amplitude des attributs
3.Rigueur de la discrimination dépend de la capacité d’observation de l’évaluateur - Aucune opération arithmétique permise
- Permettent de ranger les individus dans des catégories différentes sur la base de leur égalité selon une variable donnée
Stats sur échelle ordinale
Corrélations (spearman, polychorique)
8 points échelles ordinale
- permettent de ranger individus selon la relation “plus petit” ou “plus grand”
- Ordre relatif des individus est important (variable doi tavoir un ordre inhérent)
- Symboles numériques sont attribués aux individus sont des rangs
- Distances pas égales
- On ne peut pas dire “combien de fois plus que”
- permet pas de savoir si absence totale de l’attribut
- relation entre observations est transitive : si A>B et B>C alors A>C
- Par convention, on peut encore calculer une moyenne d’une échelle ordinale (likert seulement), mais est cible de fortes critiques
Critiques stats sur échelle ordinale
Par convention, on fait encore moyenne sur échelle likert mais critiqué
Quelles stats sur échelles d’intervalles égaux
Corrélations (pearson)
Échelles d’intervalles (4)
- Également distant, selon le degré auquel ils présentent l’attribut, la distance qui les sépare peut être comprise comme une unité linéaire de mesure (et cela ouvre tout en espace au domaine de la statistique)
- Permettent d’ordonner les individus, prennent en compte la distance existante entre eux
- L’échelle d’intervalle peut être transformée en ordinale, mais pas l’inverse
- Permettent la mesure des différences entre les degrés de présence des attributs, mais elles n’indiquent pas l’amplitude absolue de ces degrés, car elles n’admettent pas le zéro absolu - le point zéro est défini de façon arbitraire
Échelle proprotionnelle/Ratio quelles stats
Corrélations (pearson)
Échelle de ratio 4 points
- Ordonnement, prend en compte distance, zéro absolu (absence de caractéristique mesurée)
- Chiffres représentent le degré de présence d’un attribut chez un individu
- On peut établir que l’individu a le double du degré de l’attribut présenté par l’individu 1
Quelle est la seule échelle qui accepte l’absence d’un phénomène
Ratio
La classification des échelles de mesure c’est un affaire de ___________ et _______________
Convention et utilité
Vrai ou faux, par convention, les données relatives aux attributs psychologiques sont encore acceptées comme compatibles avec les techniques puissantes d’analyse stats paramétrique?
Vrai
Utilité des échelles de mesure
Auteurs ont tjrs accepté l’utilisation de logiciels stats avec ressources d’analyses (estimateurs) limités parce qu’historiquement pas bcp d’option. Les logiciels disponibles avaient le stigma d’être utiles. Actuellement, la notion d’utilité est remise en question avec le développement de nouveaux logiciels.
Quel problème comporte la classification et les échelles de mesures
problème d’échantillonnage
Qu’est-ce que le problème d’échantillonnage?
ne pas sélectionner bon échantillon
2 types d’échantillons
individus et ontenu
V ou F, il est possible de gérer 2 échantillons simultanément (d’individu et d’items)
Faux
Comment faire face au problème d’échantillonnage
Tenir compte explicitement d’un échnatillon, en gardant à l,esprit que l’autre peur influencer négativement les résultats
Que dit l’approche préconisé lorsqu’on fait face au problème d’échantillonnage
Utiliser un échantillon d’individus suffisamment grand pour que l’erreur ‘échantillonnage soit minime. Le problème de représentativité de l’échnatillon du contenu des items du test devient alors la préoccupation centrale du psychométriste
Qu’est-ce qu’on peut utiliser comme normes pour interpréter les scores
les centiles
considérations initiales des normes et interprétation des scores
Dans le but d’établir de façon plus précise la position d’une personne à l’intérieur de l’échantillon normatif, un score brut doit être transformé en une mesure relative
2 fonctions des centiles
- déterminent position de l’individu à l’intérieur de l’échantillon normatif, en permettant de comparer sa performance à celle des autres personnes
- permettent de comparer directement la performnce d’une même personne à des différents tests ou moments
Pourquoi est-ce intéressant d’utiliser les centiles
normes parfois trp larges, si on veut de la précision, la moyenne pas vrm best option. Avec les centiles, on peut dire que 110e centile est plus grand que 60e centile, moyenne on ne peut pas dire si + ou -
Les centiles sont …
score brut et relative
comment interpréter (en centile) : 28% des personnes réussissent 15 problèmes dans un test de raisonnement
un score brut de 15 = 28e centile, plus le centile est bas, plus le score de l’individu est faible
centile d’un score brut inférieur ;a tout autre score obtenu dans l’échnatillon normatif ?
0, C(0)
Centile d’un score brut plus élevé que tout autre score de l’échantillon normatif
100, C(100)
avantages des centiles (4)
Facile à calculer
Facilement compris
Universellement applicables
Conviennent à tous les types de tests
Inconvénient des centiles
Inégalité des distances entre les unités
Échelle de mesure et stats à faire avec centiles
Ordinale, corrélations spearman/polychorique
Quand faire spearman/polchorique?
0 pas absolu, pas de linéarité
Pourquoi on fait spearman/polychorique avec centiles
0 non absolu, pas de linéarité
À quoi fait référence l’analyse d’items dans le cadre de la psychométrie
aux analyses statistiques utilisées pour sélectionner les meilleurs items d’un test psychologique/psychométrique
comment on sélectionne les meilleurs items/qu’est-ce qu’on fait avec les items
inclure, retirer, maintenir
5 stats/normes dans l’analyse d’items
- Moyennes/écart-type
- Analyse de corrélation inter-item (matrice de corrélation)
- Alpha de cronbach
- Statistiques item-total
- Autres stats/stats complémentaires
L’alpha de cronbach ordinal fourni quel genre d’Estimateur
un estimateur congénérique
alpha de cronbach pas ordinal fourni quel genre d’estimateur
tau-équivalent
qu’est-ce que la tau-équivalence
les items ont la même importance
Omega a quel genre d’estimateur
Congénérique
Que dois inclure une interprétation de résultats
force, sens, niveau de signification, coefficient de détermination
calcul du coefficient de détermination
valeur corrélation x elle même
forces de corrélations
<30 = faible
30<x>49 = modérée
>50 = forte</x>
Compléter : Les corrélations sont en majorité classifiées comme modérées-fortes (entre r(109)>0,206 et r(109)<0,834), positives (conditions adéquate pour l’analyse d’items) et probablement significatives (condition non testée). Ces résultats suggèrent….
Que quelques items (les plus faibles corélations) pourraient être des candidats à élimination du pool d’items de cette dimension
Qu’est-ce qu’on fait pour vérifier le nombre de contenu par item
Il faut que le % variance réelle soit plus grand que le %de la variance randomisée et plus grand que % la variance au percentile 95
Comment vérifier la variablité des items
ÉT doit être plus petit que 1/2 de la moyenne et variance doit être plus grande que la moyenne
ÉT < X/2 < Variance
Calcul coefficient de corrélation
- calculer somme, moyenne des 2 variables (X,Y)
- calculer différence entre moyenne et chaque résultat, dans chaque variable
- faire ces résultats de différence avec la moyenne exposant 2
- faire multiplications des différences de moyennes entre chaque variable
- calculer écart-type de chaque variable
- calculer f corrélation
Quoi pour effectuer Analyse de corrélation inter-items
Grand nombre d’items candidats est présenté à un large échantilon ed paricipants de la population cible
Combien d’item de + idéalement dans analyse corrélation inter-item
5 à 10 fois + d’items candidats que la quantité finale souhaitée d’items du test/de la dimension
Que font les chercheurs dans l’analyse de corrélation inter-items
Appliquent diverses procédures stats basées sur corrélations afin d’éliminer les items moins satisfaisants
Critères pour éliminer items
ITEMS :
1. pas d’accord avec contexte exploré (ex : qualitative)
2. moyennes extremes (1 ou 5 dans échelle de likert)
3. peu de variation (1.1, 1.2, 4.8 4.9)
4. fortement corrélé (0.90+)
5. faiblement corrélés avec totalité des items restants
que fait la fidélité
Mesure qualité du test, degré de précision et de constance des scores obtenus par un test. Plusieurs dimensions de cette mesure sont importantes
Fidélité est formellement définie comme…
le rapport de la variance vraie à la variance totale du test
À quoi sont liés les critères de fidélité d’un test psychométrique
sont liées à sa précision et à sa constance (au temps). On espère que les score d’un test doivent présenter la plus petite marge d’erreur (variance d’erreur) possible
Qu’es-tce qu’on espère en fidélité par rapport à l’erreur
plus petite marge d’erreur possible (variance d’erreur)
Rapport entre corrélation, variance d’erreur et variance vraie
Plus corrélation = - erreur = + variance vraie
formule pour variable observable, variance vraie et variance d’erreur et que dire de ce modèle
X=t+e, modèle non défini
qu’est-ce qu’on veut pour augmenter fidélité
augmenter variance vraie et diminuer erreur, qui donne l’augmentation des corrélations
la variance d’erreur est réduite si…
les conditions de testage uniformes sont maintenues
qu’est-ce que les conditions de testage
- environnement
- consignes
- limites de temps
- climat interpersonnel
v/f aucun test n’est 100% fidèle. Quelle en est son importance?
vrai, importance du rapport sur le degré de fidélité (indice de fidélité) pour tout test
sous quelle réserve l’indice de fidélité caractérise bien le test
que le test soit administré dans les mêmes conditions standardisées et à des personnes similaires à celles qui composent l’échantillon normatif (caractéristiques de l’échantillon devraient être présentées ainsi que le type de fidélité)
qu’exprime le coefficient de fidélité?
corrélation, comprise entre 1 et 0
minimum et maximum corrélation/coefficient de fidélité
0.80 pour clinique
0.7 pour recherche
tests d’intelligence ont quoi comme coefficient
0.85 ou 0.90
V/F on veut stabilité et précision dans les tests psycho
vrai
à quoi il faut faire attention lorsqu’on veut augmenter la fidélité
attention pas trop augmenter corrélations pcq engendre colinéarité
types de fidélité
- test-retest 2.versions parallèle 3. Homogénéité 4. bissection 5. inter-juges
test retest explication
administer même test aux mêmes sujets
c’est quoi le coefficient de fidélité dans fidélité test-retest
corrélation entre scores obtenus par les mêmes personnes au cours des deux administrations
qu’indique le coefficient de fidélité test retest
l’ampleur que les scores peuvent être généralisés à différentes occasions.
relation fidélité et score des sujets test retest
+ fidélité test-retest = - scores sont susceptibles d’être affectés par les sources d’erreurs
que comprend les sources d’erreur
comprennent fluctuations aléatoires de la performance d’une session à l’autre
fluctuations peuvent résulter de quoi
conditions de testing mal contrôlées ou changement internes du sujet entre les passations
quel genre d’erreur est souhaite et non souhaitable
erreur aléatoire souhaitable, pas une tendance d’erreur
moyenne d’une fluctuation aléatoire (erreur aléatoire)
M=0
plus le coefficient de corrélation test-retest est élevé…
plus l’instrument a une bonne fidélité (stabilité) temporelle
avantages test-retest
- stabilité des résultats : résultats peuvent être reproduits
- indicateur de qualité : excellent indicateur de qualité métrique d’un instrument de mesure psychologique
inconvénients test retest
- effet de pratique
- changement d’opinion
- intervalle entre les deux administrations/passation
relation entre intervalle de temps et corrélation dans fidélité test-retest
plus d’intervalle de temps = moins de corrélation
version parallèle explication
deux versions différentes mais équivalentes en terme de contenu, difficulté, etc. , aux mêmes sujets.
coefficient de fidélité dans fidel. parallèle
coefficient de corrélation entre les scores de deux passations
précautions pour assurer parallélisme dans fidélité versions parallèle
- items même nombre, format, contenu
- item même niveau de difficulté stastistiquement (p<0.05)
- Passation (équivalence consignes, minutage, exemples, etc)
inconvénients versions parallèles
- coute cher et temps
- équivalence imparfaite
l’équivalence imparfaite s’ajoute à quoi dans versions parallèles
fluctuation s’ajoute à l’erreur de mesure, ce qui donne une suretimation de l’erreur
explication fidélité bissection/splithalf
diviser ensemble des items en 2 moitiés équivalentes, calculer corrélation entre scores obtenus pour chaque moitié
méthode split half permet quoi
de mesurer cohérence interne du test (à quel point les deux moitiés du test mesurent une même caractéristique)
inconvénientsplit half/bissection
- équivalence des deux parties
- influence de la méthode de bissection choisie
3.sous-estimation de la fidélité (le nombre d’item diminue, sous estime la fidélité)
avantages split half
- Pas de double administration
- mesure la cohérence interne
quel type de fidélité mesure la cohérence interne
homogénéité, split half
explication fidélité homogénéité
évaluer degré de cohésion des items qui composent un instrument
Indice de fidélité de fidélité par homogénéité
s’exprime par la mesure de la cohérence entre les items
inconvénients fidélité par homogénéité
- pas de stabilité temporelle
- dépendance à la longueur du test
avantages de fidélité par homogénéité
- pas de double administration
- mesure de cohérence interne
dans fidélité homogénéité, quel est le problème d’échantillonage
Focus sur quantité d’item pas de personne, consistance interne augmentée par le nombre d’item et par la quantité de possibilité réponse, attention variabilité artificielle
Quelle norme fait augmenter fidélité si on enlève item
Omega de mcdonald
Alpha de cronbach quelle fidélité
Par homogénéité
alpha de cronbach mesure quoi
Cohérence interne
Coefficient de cronbach élevé =….
n’égale pas bonne cohérence interne
Alpha de cronbach est influencé par quoi
nombre d’item, longueur du test (quantité item + = alpha augmenté, trop court = souffre)
modèle stats fidélité par homogénéité
mesures parallèles
ALpha de cronbahc est tau-équivalent ou mesure congénérique?
Tau-équivalent
MEsures parallèles dans fidélité homogénéité, (2 points(
- tau-équivalene
- items ont variances égales
Mesures congénériques, vrai ou faux On suppose que chaque item a sa propre charge factorielle unique, ce qui signifie que chaque item est corrélé de manière unique avec son construit sous-jacent. Cela permet une plus grande précision dans l’évaluation de la fidélité par homogénéité.
Des mesures de fidélité (comme composite et Omega de Mcdonald) sont utilisées lorsqu’on suppose un modèle congénérique
vrai
explication mesures congénériques dans fidélité homogénéité
Supposent que chaque item du test mesure le même construit, mais pas nécessairement avec la même importance. En d’autres termes, chaque item contribue de manière unique à la mesure du construit. Ces mesures n’exigent pas de variances statistiques égales.
fidélité interjuge mesure quoi
degré d’accord entre deux évaluateurs
situations utilisation fidélité interjuges
évaluations sont subjectives, comme l’évaluation des performances en milieu de travail, des compétences en éducation, des sx cliniques en psychologie, etc.
comment est évalué fidélité inter-juge
à l’aide de mesures statistiques telles que le coefficient de corrélation intra-classe, le coefficient Kappa de Cohen, ou d’autres mesures d’accord inter-juges (CVC)
Ex de test subjectif : Rorchach
inconvénient fidélité inter-juges
cout et temps
variabilité des évaluateurs
Avantages fidélité inter-juges
- réduction biais d’évaluation
- amélioration de la précision (en moyennant les scores de plusieurs évaluateurs)
Explication fidélité des tests de vitesse
Rapidité de la performance explique les différences individuelles observées (mesurées). On prépare ce type de test à l’aide d’items qui sont tous faciles et qui font partie eds habiletés maîtrisées par les sujets auxquels il est destiné. On fixe une limite de temps si courte que la personne ne peut pas compléter tous les items. Dans de telles conditions, le score de chaque personne reflète son rythme (ou sa vitesse) de travail.
explication fidélité des tests de puissances
Offre une limite de temps suffisamment longue pour que tous puissent tenter de répondre à chacun des items sans problèmes. Ceux-ci sont cependant ordonnés selon une échelle de difficulté qui augmente très rapidement jusqu’à des items à peu près insolubles, ainsi personne ou presque ne peut obtenir un score parfait
la variabilité est ou dans fidélité des tests de puissance et de vitesse?
nombre de questions bien répondues
Les tests de vitese et de puissance sont tous les deux…
Les 2 sont conçus pour empêcher une réussite parfaite. Pareille précaution s’explique par le fait qu’un score parfait est indéterminé. En ce sens, il est impossible de savoir quel score plus élevé le sujet aurait atteint si le test avait plus d’items ou des items encore plus difficiles.
La variation des résultat indique l’indice de fidélité = plus de variation, moins de fidélité
Variation fidélité puissance/vitesse indique quoi
La variation des résultat indique l’indice de fidélité = plus de variation, moins de fidélité
