Cours 3 : Suite normes + fidélité Flashcards
Comment utiliser les normes dans un rapport narratif?
Il faut se rappeler que les normes ont pour premier objectif de fournir un contexte qui permette d’interpréter un score brut.
Rédiger un rapport qui va dépendre des normes utilisées
- Traduire des scores standardisés en mots
On ne donne plus les scores bruts (pas permis par l’ordre des psychologues) et sert à rien de donner les scores standardisés, car la majorité de la population ne sait pas c’est quoi un score z.
- Traduire de l’information valide en mots
On va rédiger un rapport qui va servir plus aux professionnels qu’au client lui-même. Rédiger un rapport qui est compréhensible pour d’autres professions. On explique au client en disant : “la plupart des gens de votre âge…” => plus facile à comprendre pour lui.
Les rapports narratifs renvoient souvent au groupe de référence
Si notre test prédit le futur à 0.5 (coefficient de corrélation), on doit éviter les relations de causalité, car notre relation n’est pas causale. Pour parler de causalité, ça prend un plan expérimental qui est caractérisé par l’échantillonnage aléatoire des participants et la contrôlabilité de la variable. Sinon, on ne peut pas parler de causalité.
Se poser la question => Ce que j’écris sur mon client, est-ce que je suis capable de le prouver? Faire attention aux termes qu’on utilise, car on peut toujours être amené à défendre nos conclusions.
Si on n’a pas de coefficient de corrélation = on est entrain de spéculer, et spéculations = ne vaut pas grand chose.
Qu’est-ce que l’effet Barnum?
Très utilisé par l’astrologie par exemple.
Est-ce que ce que j’ai écrit amène réellement de l’information pertinente ou bien c’est applicable à tout le monde?
Conclusions qui sont trop larges, donc qui sont applicables à tout le monde.
Tendance qu’on les gens à accepter des descriptions très vagues qui sont probablement vraies pour tous, mais ne contiennent aucun renseignement spécifique découlant du test.
Les rapport narratifs doivent donner une information qui caractérise uniquement la personne et qui découle directement des résultats du test.
Quels sont les différents types de normes de groupes?
(Pas besoin de distinguer quel type de norme on a. Seulement savoir qu’il y en a différents types et dépendamment de la norme qu’on va utiliser, ça va influencer le résultat)
- Représentatives au niveau national (attention! : même si c’est représentatif au niveau national, on pourrait tomber sur des sous-groupes)
Normes fondées sur un groupe qui est représentatif du segment de la population nationale auquel le test est destiné.
- Internationales (rare)
Seules exceptions = plusieurs pays occidentaux qui répondent aux mêmes problèmes de mathématiques par exemple. Possible par la suite de faire des comparaisons. Dans le domaine de la psycho cependant = extrêmement rare. - Commodité (à déconseiller. Est-ce que le groupe (qui a été utilisé pour faire les normes) est représentatif de mon client?)
Groupes de commodité = viennent d’une même région géographique, ont un héritage culturel relativement homogène, peuvent appartenir à une tranche d’âge réduite, etc..
Certains tests présentent plusieurs normes distinctes fondées sur différents groupes. - Normes d’utilisateurs (très fréquent)
Ex: décider de faire passer de façon standardisée une batterie de tests prédéfinie aux utilisateurs d’un hôpital particulier par exemple pour faire une norme d’utilisateur pour cet hôpital. La population de référence sur laquelle est basée les normes (ex: enfants en pédopsychiatrie) = point de comparaison = enfants qui vont vraiment mal. Donc on ne peut pas utiliser ces normes d’utilisateurs avec des enfants normaux par exemple.
Donc normes d’utilisateurs = reposent sur les groupes qui se sont soumis au test, habituellement durant une période déterminée.
Que doit on faire quand on déclare que le groupe est représentatif?
- Comparer le groupe avec des variables clés.
Ex: Faire des normes sur les gens détenus pour meurtre dans une prison. N’importe qui qui a des problèmes de comportements dans la population générale passerait pour un gentil mouton à comparer des meurtriers.
Ce qui va déterminer les variables clés = en fonction de ce qu’on va mesurer. Ex: sexe est pertinent en neuropsy concernant les aptitudes verbales et visuospatiales par ex.
Ex: Pour conduite automobile: sexe, âge et état civil serait des variables pertinentes.
Dépend donc de ce qu’on mesure.
Que doit-on faire quand on ne déclare PAS que le groupe est représentatif?
- Aller chercher de l’information sur le groupe comme les données sociologiques (ex: sexe, niveau d’éducation, âge, état civil, revenu, etc…)
Quels sont les deux cas à porter attention lorsque l’on fait des normes?
- Effet de la non-participation
Ex: Faire passer un examen de psychométrie qui ne compte pas, après la session. Demander des volontaires. Les gens qui n’aiment pas la psychométrie ne participeront pas.
Quand on dit qu’on est représentatif = toujours représentatif des personnes qui ont servi pour construire les normes. Gens qui participent à l’établissement des normes ont probablement des caractéristiques particulières et on ne connait pas l’effet de la non participation sur les normes. - Effet de la motivation
Ex: personnes qui passent l’examen de psychométrie qui ne compte pas vont-ils vraiment se forcer autant qu’un étudiant qui fait l’examen qui compte pour 50% de sa session? => Non
Ex: personne qui se force énormément à un test psychométrique, car s’il échoue il perd son permis de conduire => bcp plus motivé qu’une personne qui fait le test juste pour le fun.
Se sert-on de la corrélation et de la prédiction pour la fidélité, la validité ou pour les deux?
Corrélation et prediction = on s’en sert pour la validité, mais on s’en sert aussi pour la fidélité. On se sert de la correlation et de la regression autant pour la validité que pour la fidélité. Même coefficient de correlation, mais qui est utilisé à travers deux concepts.
Qu’est-ce qui différencie la régression simple et le coefficient de corrélation?
Régression simple et coefficient de correlation = la même chose. En regression on peut faire de la regression multiple => utile quand on veut prédire le comportement à partir de plusieurs tests.
Explique très brièvement la théorie du score vrai.
On a toujours un score observe et on espère qu’il soit le plus possible le reflet du score vrai qu’on ne connait jamais et qu’on essaie d’estimer à partir des scores observes. À force de passer le questionnaire, on obtient environ toujours les mêmes résultats => estimation du score vrai. On ne connait jamais parfaitement le score vrai, toujours une inference qu’on va faire à partir des résultat du test.
Donne des exemples de cas plausibles qui démontrent un manque de fidélité.
2 étudiants à l’examen :
- Fluctuation en fonction du temps de la journée
- Échelle d’apathie à 8h30 !
Ex: Dépendamment de l’état dans lequel se retrouve l’étudiant, sa performance ne sera pas la même qu’un autre étudiant dans un état différent.
Fluctuations en fonction du temps de la journée => ex: échelle d’apathie passée à 8h30 le matin vs en début de soirée = probablement pas le même résultat.
Qui corrige l’examen ? :
- Prof Nice
- Prof Death
Dépendamment sur quel correcteur on tombe, on n’aura pas le même résultat. Idéalement, on ne voudrait pas que le résultat soit affecté par le correcteur. Coefficient Kappa (accord inter-juge)
Ajustement dans les conclusions des cliniciens
Explique brièvement ce qu’est la fidélité et donne quelques synonymes.
Fidélité = on obtient un résultat relativement similaire en l’absence de changement. Si exactement même réponse = fidélité parfaite (en pratique = pas vrm possible), mais on veut le coefficient de fidélité le plus élevé possible.
Quelques synonymes: consistance, stabilité
Quelles sont les 4 importantes distinctions à faire entre la validité et la fidélité?
- Fidélité vs Validité: Préalable à la validité (si un test peut être fidèle sans être valide, il ne peut être valide s’il n’est pas fidèle)
Ex: Étudiant qui est au percentile 10 pour agréabilité et deux semaine après au percentile 90 d’agréabilité. Pour valider le big 5, il faudrait que je corrèle mon questionnaire avec un critère quelconque. Ce qui pourrait être corrélé avec de l’agréabilité dans la vie de tous les jours = gentillesse. Trouver une manière de mesurer la gentillesse. Mesurer le nombre et l’intensité des conflits. Personnes faible en agréabilité = plus de conflits qu’une personne élevée en agréabilité.
Est-ce qu’on prend le 10 ou le 90 si on veut le corréler avec notre critère. Puisque notre mesure est tlm instable, on ne sait pas avec quoi corréler notre critère, donc inutile de faire ça.
Utilisation de tous les jours: Constance, reproductibilité, marge d’erreur (Marge d’erreur = concernant le score vrai. On va calculer un intervalle de confiance sur le vrai score. Z=1,96. Le vrai score du participant devrait être entre ça et ça dans 95% des cas. On calcule le vrai score à partir de ce qui a été observé.)
Un test fidèle donne de façon constante le même résultat ou des résultats similaires pour un individu,
Changement réel vs temporaire: Changement réel du trait ne relève pas de la fidélité (Quand la mesure est fidèle, le trait n’est pas supposé de changer. Ex: échelle d’estime de soi => conclusion = j’obtient 8/10 => bonne estime de soi. Pendant période des examens, note de D-, résultat à l’échelle d’estime de soi = 2/10. Ce n’est pas le questionnaire qui manque de fidélité, c’est en raison d’un changement réel du trait.
Fidélité = quand le trait n’a pas changé et que j’obtiens le même résultat. Ex: Sur une balance, je serais supposé avec le même poids si je me repèse après 5 minutes.)
Erreurs constantes ou non systématiques: La fidélité est intéressée par les erreurs non systématiques (Erreurs non systématiques => ex: Avoir le rhume avant un examen (on a pas toujours le rhume le matin d’un examen), Tout ce qui est en lien avec l’état de santé, conditions d’administration
Erreurs systématiques = un biais (en lien avec la validité). On va sous-estimer constamment la performance de notre participant.)
Qu’est-ce qu’une distribution bivariée?
Bivariée :
- Diagramme de dispersion
- Nuage de points
Bivariée = on travaille avec deux variables.
Chaque point du diagramme correspond aux coordonnées (X,Y) d’un cas.
Qu’est-ce qu’une corrélation?
Corrélation:
- De -1 à + 1
Corrélation va tjrs de +1 à -1. S’interprète en valeur absolue, donc corrélation de -0.5 = aussi bon que 0.5.
- Quelques barèmes:
0.5 = forte corrélation (= 25% de la variance)
0.3 = modéré (= 9% de la variance)
0.1 = faible. (=1% de la variance)
Quand on veut avoir le pourcentage de variance de la VD qui est expliquée par la VI, on utilise le r carré. Coefficient r au carré qu’on multiplie par 100 pour savoir le pourcentage de variance expliqué par la VI dans la VD.
Donc souvent un pourcentage important qui n’est pas expliqué par la VI.
Quand on explique un faible pourcentage de variance, normalement on devrait être très prudent dans nos prédictions
Corrélation = standardisé (pas affecté par les unités de mesure). Permet de «gérer» la variation qu’il peut y avoir entre les unités de mesures. Facilite l’analyse.
À l’examen, pas de question sur quelle manipulation spss faire. Mais possible qu’il soit demandé de faire des interprétations.
En utilisant la figure 4.2 à la page 5 du power point, explique les différents types de corrélation.
Différents exemples de corrélations.
A = corrélation positive parfaite (+1)
On quantifie la force (faible, modérée ou forte)
B= Corrélation nulle (si on essaye de passer une droite, on ne serait pas vrm capable dans ce cas là)
C= Corrélation négative parfaite (quand x augmente, y diminue)
D = modérée
E = un peu plus fort (droite de régression qui est facile à tracer)
F = pratiquement parfait (la droite est presque pile sur tous les points)
