Semaine 11 Flashcards
Quels sont les tests utiles en psychoéducation?
- Test d’aptitudes intellectuelles/capacités cognitives
- Tests de rendement
- Tests neuropsychologiques
- Mesures de personnalité/tempérament
- Mesures d’intérêts, attitudes et valeurs
- Mesures de psychopathologies/problèmes
d’adaptation - Mesures de construits environnementaux
Quelle grande catégorie est souvent oubliée dans les livres en psychologie (tests utiles en psychoéducation)?
Mesures de construits environnementaux
Ex.: Structure familiale, quartier, etc.
On sait qu’elles sont corrélées ou qu’elles aggravent certains problèmes
De façon générale, les organisateurs professionnels s’attendent à ce que les auteurs aient construit leur instrument en respectant les critères répertoriés dans les….
Standards du testing en éducation et en psychologie
La construction et la validation d’un test est un processus…
À long terme!
Pourquoi dit-on que la construction et la validation d’un test est un processus à long terme?
Parce qu’il
- Nécessite des révisions avant d’être pleinement
satisfaisant
- Peut s’échelonner sur plusieurs années, voire
quelques décennies
Vrai ou Faux : Les étapes du processus de construction des tests sont toutes les mêmes, sans dérogation à la règle
Faux, les étapes peuvent varier.
Certaines étant essentielles pour certains types de tests, alors que d’autres sont superflues ou même impossibles pour d’autres types de tests.
Vrai ou Faux : Certaines propriétés psychométriques sont critiques pour certains types de tests
Vrai
Ex. : Capacité de classification (sensibilité, spécificité, PPP et PPN) est essentielle pour les tests de dépistage des problèmes d’adaptation/psychopatho
Quelles sont les deux méthodes de construction des tests?
Déductive (ou rationnelle) : “Conclure en partant de propositions prises pour prémisses”
Inductive (ou empirique) : “Conclure en remontant des faits à la loi”
Qu’est-ce que la méthode déductive (rationnelle)?
C’est à partir d’un cadre théorique
Théorie scientifique : Construits, domaines, indicateurs (les concepteurs du test les déterminent en fonction de la théorie)
Théorie clinique : On veut répondre à un manque ou besoin pratique
- Ex.: Comment mesurer les schémas relationnels
des PSE? Comment mesurer la motivation au
changement?
Quel est l’avantage de la méthode déductive (rationnelle)?
Contexte théorique clair, cohérence logique (i. e., réseau nomologique souvent connu a priori)
Quels sont les désavantages de la méthode déductive (rationnelle)?
- Subjectivité face à la théorie, théorie implicite des
auteurs - On ne sait pas si cela fonctionne dans la réalité
sans faire des études empiriques (i. e., la structure
factorielle, la validité de critère, etc.) - On ne sait pas si les répondants interpréteront les
items inspirés de la théorie (et en conséquence, les
construits) de la même manière que le concepteur
du test le croyait- Ex.: Une échelle d’évaluation du mécanisme de
défense de l’humour est en fait reliée à
l’extraversion
- Ex.: Une échelle d’évaluation du mécanisme de
Qu’est-ce que la méthode inductive (empirique)?
C’est à partir d’une démarche empirique (ou factuelle, ou pragmatique)
Analyse d’items/Analyse factorielle : Les items statistiquement liés aux construits sont sélectionnés (corrélations item-total, saturations factorielles, etc.)
Sélection critériée : Ex.: Seuls les items qui différencient des groupes sont sélectionnés
- On prend 2 groupes (1 avec la condition et 1 sans
la condition), puis on ne garde que les items qui
différencient les 2 groupes
Toutefois, la démarche n’est jamais complètement empirique : Pour générer des items, les auteurs ont toujours une théorie sous-jacente, même si elle est implicite
Vrai ou Faux : La méthode inductive est la méthode la plus optimale
Faux, elle est très utilisé, mais pas nécessairement optimale (malgré les croyances populaires)
Quels sont les avantages de la méthode inductive (empirique)?
Plus grande objectivité et plus représentatif de la réalité
On vérifier notre compréhension d’un construit, appuyée explicitement par des données
Quels sont les désavantages de la méthode inductive (empirique)?
- On n’arrive pas nécessairement au résultat qu’on
voulait, les données dictent le résultats final (ex.:
structure factorielle, etc.)- Ex.: Les données suggèrent que les items
d’anxiété et de dépression sont combinés dans
un seul facteur
- Ex.: Les données suggèrent que les items
- Les statistiques peuvent parfois dénaturer les
concepts en raison des biais d’échantillonnage- Ex.: Les statistiques suggèrent d’éliminer un
aspect clinique important, alors que les
résultats discordants sons surtout le fruit d’un
mauvais échantillonnage, ou trop petit
échantillon
- Ex.: Les statistiques suggèrent d’éliminer un
EXAMEN
Si on a à choisir des items pour une échelle comment je vais choisir les items avec mon analyse factorielle?
On choisira les items avec les saturations factorielles les plus hautes (corrélation)
Expliquer ce qu’est l’analyse d’items
C’est une étape classique dans le développement d’un nouvel instrument d’évaluation
Sert à identifier les meilleurs items à inclure dans une échelle à partir d’analyses statistiques
Deux indices de base en psychométrie peuvent être utilisés : La difficulté et la discrimination des items
Quels sont les deux indices de base en psychométrie pouvant être utilisés pour faire l’analyse d’items?
La difficulté et la discrimination
Qu’est-ce que la difficulté de l’item?
La proportion (ou pourcentage) d’individus qui endossent ou répondent correctement à l’item
Peut aussi s’appliquer aux items à choix de réponses multiples; devient la proportion d’individus qui endossent chaque catégorie de réponse
Pourquoi le nom “difficulté” a-t-il été donné?
Parce qu’initialement, la difficulté a été développé avec des tests de performance
Comment est-ce qu’on calcul le niveau de difficulté d’une question?
Par la proportion d’individus qui ont eu la bonne réponse
Vrai ou. Faux : Les items trop difficiles ou trop faciles sont utiles
Faux
Idéalement, on veut des items de difficultés variées
Expliquer ce qu’est la discrimination de l’item
Le degré auquel les individus avec un score élevé sur un test répondent correctement à un item particulier - ou l’inverse
S’applique aussi aux items à choix multiples; il s’agit simplement de calculer une corrélation corrigée entre le score à l’échelle et à l’item
Comment appelle-t-on aussi la discrimination de l’item et pouquoi?
Effet de l’item, puisqu’il s’agit d’un indice de l’efficacité d’un item à discriminer les individus qui connaissent le contenu de ceux qui ne le connaissent pas
Si l’item discrimine bien, soit si les gens ont un score faible à cet item et un score faible à l’échelle, on devrait avoir une corrélation…
ÉLEVÉE
Vrai ou Faux : La discrimination des items ne s’applique qu’aux tests de performance
Faux, l’indice de discrimination s’applique aussi aux instruments de mesure de construits avec des items sans “bonne réponse”
Par exemple, corrélation entre le score à une échelle d’Émotivité négative et un item particulier (ex.: irritabilité) indique à quel point cet item est un bon indicateur permettant de différencier les individus qui ont un niveau élevé (ou faible) d’émotivité négative de ceux qui n’en ont pas un
Qu’est-ce que la corrélation item-total corrigée?
La corrélation entre l’item et le total de l’échelle (ex.: somme), sans l’item concerné (il faut retirer l’item qu’on considère)
En général, on veut un minimum de 0.30 et plus
Si je veux enlever des questions, j’enlève ceux qui ont la plus faible corrélation pour les corrélations d’item total corrigé
Qu’est-ce que la corrélation multiple au carré?
Corrélation multiple (variance expliquée) obtenue en régressant l’item concerné sur tous les autres items de l’échelle
Pas de “valeur critère”, mais plus est mieux
Mes autres items expliquent-ils la variance de cet item-là?
Pourquoi la présentation exhaustive et la catégorisation des items est-elle ardue?
Parce qu’il existe une foule de types d’items et encore plus de choix de réponse différents
Il existe différents items et choix de réponse possibles, selon…
Type de construit évalué
Utilisations particulières d’un instrument
Préférences personnelles des auteurs
De quelles façons les questions peuvent-elles être présentés?
- Oralement en entrevue
- Oralement en version informatique (i. e. appli que
“lit” les questions - Visuellement en version papier-crayon
- Visuellement en version informatique (sur
ordinateur fixe, ou avec appli sur un téléphone
intelligent, une tablette)
Quelle est la distinction la plus fondamentale quant à la présentation des réponses?
Le type de réponses qui est demandé à l’évalué entre :
- Items à réponses construites
- Items à réponses sélectionnées
Expliquer ce qu’est un item à réponse construite
Une prémisse est présentée à la personne évaluée, mais pas de contrainte sur un choix de réponse fixe
Il y a néanmoins certaines règles qui sont possibles, ce qui fait qu’il existe des questions ouvertes à réponse longue et des questions ouvertes à réponse courte
Comment appelle-t-on aussi les items à réponses construites?
Questions à développement ou à réponse ouverture ou à réponse libre
Les questions à réponses construite sont essentiellement en…
Entrevue
Expliquer ce qu’est un item à réponse sélectionnée
Une prémisse est présentée à la personne évaluée et elle est placée devant la contrainte cognitive d’un choix de réponse fixe
Comment appelle-t-on aussi les items à réponses sélectionnées?
Questions objectives, à choix forcé, à choix multiples, vrai ou faux
Quel type d’item est-il le plus utilisé dans les instruments d’évaluation en sciences humaines, sociales et psychologiques et pourquoi?
Les items à réponses sélectionnées est le type d’items le plus utilisé dans les instruments d’évaluation en sciences humaines, sociales et psychologiques parce qu’ils sont plus objectifs, il est plus facile de dériver un score numérique, ils sont plus fiables, souvent plus brefs, etc.
Lorsqu’une personne doit répondre à une question à réponse sélectionnée, elle doit effectuer 4 tâches cognitives. Quelles sont ces tâches?
- Compréhension : Comprendre le contenu pertinent
- Récupération : Récupérer l’information pertinente en mémoire qui est nécessaire pour répondre
- Jugement : Porter un jugement sur la base de l’information récupérée
- Répondre : Rapporter ce jugement, sur la base du choix de réponse disponible
Des biais peuvent être introduits à _______ des étapes cognitives (lorsque la personne doit répondre à une question à réponse sélectionnée) et avec le cumul, la réponse finale peut évidemment être _________.
Des biais peuvent être introduits à CHACUNE des étapes cognitives (lorsque la personne doit répondre à une question à réponse sélectionnée) et avec le cumul, la réponse finale peut évidemment être BIAISÉE.
Pourquoi est-il recommandé que les items aient certaines caractéristiques souhaitables et quelles sont ces caractéristiques?
Parce que des biais peuvent être introduits à chacune des étapes cognitives (lorsque la personne doit répondre à une question à réponse sélectionnée) et avec le cumul, la réponse finale peut évidemment être biaisée.
Un souhaite que ces items soient brefs, qu’ils aient un niveau de langage simple, des choix de réponses simples, qu’ils évitent les contenus multiples, absence de leurre (“tu devrais prendre la réponse a)”)
Les études montrent que les questions _____ _____ __________ __________ peuvent causer des problèmes particuliers, notamment augmentent la non-réponse, la dissimulation et la distorsion
Les études montrent que les questions SUR DES SUJETS SENSIBLES peuvent causer des problèmes particuliers, notamment augmentent la non-réponse, la dissimulation et la distorsion
Très souvent, on utilise des traductions…
Maison
1) Sans aucune étude vérifiant leurs propriétés psychométriques et/ou
2) Sans recueillir des normes québécoises
Parfois, une traduction _____ est suffisante; souvent une __________ des items est nécessaire
Parfois, une traduction SIMPLE est suffisante; souvent une ADAPTATION des items est nécessaire
EXAMEN
En termes de traduction et d’adaptation transculturelle, qu’est-ce qui est le plus important?
La compréhension du contenu, le sens/signification des items est plus important que la traduction exacte
Quelles sont les 6 étapes de l’adaptation transculturelle?
- Traduire et adapter les items (2 personnes minimum)
- Méthode de choix : Traduction à rebours
- Experts indépendants révisent la traduction
- Éliminer ou adapter les items selon leurs commentaires
- Étude pilote auprès des individus ciblés (étude pilote : on fait remplir l’instrument à quelques personnes seulement)
- Validation empirique formelle (évaluation détaillée des propriétés psychométriques)
- Standardisation (établir des normes)
EXAMEN!!!
Expliquer les 5 façons d’établir l’équivalence transculturelle
Équivalence sémantique : S’assurer que les items ont la même signification dans les deux langages/cultures
Équivalence de contenu : S’assurer que chaque item est pertinent dans les deux langages/cultures pour mesurer le construit
Équivalence factorielle : S’assurer que la structure factorielle est la même dans les deux langages/cultures
Équivalence critériée : S’assurer que validité de critère est similaire dans les deux langages/cultures
- Parfois difficile de conclure à la non-équivalence
critériée
- Ex. : Avec une mesure de pratiques parentales, une
pratique liée aux problèmes d’adaptation
seulement dans une version (ou culture) n’est pas
nécessairement un problème de l’instrument
Équivalence de la fidélité : S’assurer que les indices de fidélité sont similaires dans les deux langages/cultures (souvent cohérence interne)
- À quel point les tests génèrent des erreurs de
mesure
