Examen 3 Flashcards
Peut-on dire d’un test qu’il est valide après sa première validation?
Non, il faut attendre une dizaine d’années avant de dire qu’un test est valide
Même que ce n’est pas le test qui est valide, ce sont ses conditions générales et sa clientèle
Quels sont les 3 types de validités?
Validité de contenu
Validité pragmatique
Validité de construit
Qu’est-ce que la validité?
Degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement
Qu’est-ce que la validité concerne?
L’interprétation des résultats des items, et non l’instrument. Alors, ce n’est pas l’instrument qui est valide.
Le contexte de son utilisation (clientèle et conditions en général)
Le processus de validation est une façon de déterminer le niveau de certitude…..
qu’on peut avoir, en s’appuyant aux indices obtenus
L’évaluation de la validité est un processus _______ d’accumulation de ____ ou d’______
continu
preuves
évidences
Vrai ou faux
Le nom du test est une bonne preuve de ce que le test mesure
Faux
Vrai ou faux
La validité est une affaire de tout ou rien
Faux
C’est plutôt une question de degré selon les indices de validité vérifiés
Que concerne la validité de face?
La présentation du test, sa structure
Donnez un exemple de validité de face
Échelle likert en Am du Nord et échelle dichotomique en Am du Sud.
Puisqu’on est habitué aux échelles de Likert, on aurait peut-être de la difficulté à répondre à des échelles dichotomiques (on voudrait nuancer) vs si on présente des échelles likert en Am du Sud, ils auraient peut-être tendance à se ranger dans les extrêmes et ne pas nuancer
Quels sont les deux types de validité de contenu?
Contenu et apparente
Bien que certains disent que les deux sont équivalents et d’autres disent que ce n’est pas la même chose
Quels sont les deux types de validité pragmatique?
Critériée, prédictive
Quels sont les deux types de validité de construit?
Conceptuelle et théorique
Expliquez la validité de contenu
Désigne la capacité d’un instrument à mesurer (saisir) les aspects de contenu pour lesquels il a été conçu, et ceux-là seulement.
Expliquez la validité de contenu dans le cas d’une épreuve de connaissance
Il faut s’assurer que le contenu des items contribuent à évaluer les aspects fondamentaux de ce domaine de connaissance, qu’ils forment un échantillon des items importants.
Quand examine-t-on normalement la validité de contenu?
Normalement lors de la construction de l’instrument (choix des contenus des items)
Quelle méthode est normalement utilisée pour estimer la validité de contenu et en quoi consiste-t-elle?
Méthode des juges-experts
Des personnes qui ont une connaissance reconnue du concept à mesurer et aussi une expertise dans la construction d’instruments de mesure. Ces personnes sont invitées à se prononcer sur le contenu de chaque énoncé, soit : clarté, représentativité, exhaustivité, dimensionalité et pertinence
Dans la méthode des juges-experts, qu’est-ce que la représentativité?
Déterminer si l’item représente bien la théorie concernée
Dans la méthode des juges-experts, qu’est-ce que l’exhaustivité?
Est-ce que l’ensemble des items mesurent toute la théorie?
Dans la méthode des juges-experts, qu’est-ce que la dimensionalité?
Quels items touchent quelles dimensions?
Dans la méthode des juges-experts, qu’est-ce que la pertinence?
Est-ce que c’est pertinent ces contenus là à cette personne? Faut pas trop en demander aux gens, ni les gêner, sinon la variance d’erreur peut augmenter
Dans la méthode des juges-experts, qu’est-ce que la clarté?
Au niveau linguistique
Comment on calcule un % à partir d’un r de corrélatio?
On l’élève au carré (r2 = coefficient de détermination)
Pour quel type de données la Kappa de Cohen sert-il?
Données dichotomiques
Quelles sont les statistiques habituellement utilisées pour la validité de contenu?
Coefficient de validité de contenu
Corrélation (Pearson) intra-classe
Que mesure le coefficient de validité de contenu?
Proportion des réponses des juges-experts qui sont d’accord sur certains aspects relatifs au contenu inhérent aux items de l’instrument
Que mesure la corrélation intra-classe?
Association des opinions entre juges-experts ayant un certain degré de formation en termes de trait quantitatif et qualitatif
Qu’est-ce que la validation pragmatique?
Capacité d’un instrument à prédire (aussi explicite et invariable que possible) le niveau de performance (cpt) d’un groupe d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement
Donnez un exemple de validation pragmatique
Évaluation du QI et succès professionnel
Quelle est la procédure pour la validation pragmatique?
Calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents (pouvant être deux moment “présents” ou un moment présent et l’autre “futur”).
On utilise normalement l’analyse de régression pour ça.
Que permet la validité pragmatique?
Déterminer dans quelle mesure les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (% de variance expliquée)
Quels sont les deux types de validité pragmatique?
Concomitante/concourante
Prédictive
Comment se différencient les deux types de validité pragmatique?
Concomitante : association entre score au test et score à une mesure de référence, les deux tests étant administrés presque en même temps
Prédictive : Association entre score au test et réalité future, les deux étant séparé d’un laps de temps important
Quelles sont les statistiques souvent utilisées dans la validation pragmatique?
Coefficient de détermination
Corrélation multiple au carré R2 (aussi beta standardisé)
Quelle est la différence entre le coefficient de détermination et la corrélation multiple au carré R2?
Les deux expriment le % d’explication de la variance entre deux mesures. CD ne se préoccupe pas de l’ordre et R2 oui
Qu’est-ce que la validité de construit?
Justesse/certitude avec laquelle l’ensemble des items d’un instrument de mesure permet d’obtenir des résultats conformes aux concepts définis par son contexte théorique
La validité de construit indique dans quelle mesure les énoncés d’un instrument sont ___________ (__________ interne/externe) avec la théorie.
cohérents (avec la théorie)
structure interne
Quel est le surnom qu’on peut donner aux équations structurelles?
Destructeur de théorie
Que sont les construits?
Sont aussi considérés des “mini-théories” qui expliquent les relations entre différents concepts évalués par les items
On les appelle aussi “facteurs” qui sont expliqués par l’association entre les concepts inhérents aux variables directement mesurables.
Remet en ordre
Pseuso cause-effet
Analyse factorielle exploratoire
Analyse factorielle confirmatoire
Analyse factorielle exploratoire
Analyse factorielle confirmatoire
Pseuso cause-effet
Dans les diagrammes d’analyse factorielle, que veulent dire les flèches ronde et droite?
Ronde : Covariance ou corrélation
Droite : B de régression
Dans une analyse factorielle exploratoire de 2e ordre, que cherche-t-on?
Les items qui ont une haute saturation factorielle
Quel autre nom peut-on donner l’analyse factorielle confirmatoire?
Modelage d’équation structurelle exploratoire
Quelles sont les deux façons robustes de calculer la validité de construit?
Analyse multitrait-multiméthode
Analyse factorielle
Qu’est-ce que l’analyse multitrait-multiméthode et à quoi peut-on s’attendre?
Une matrice de corrélation entre les résultats obtenus à différents traits et différentes méthodes.
La plus forte corrélation devrait être même trait-même méthode, et à l’inverse, la plus faible devrait être pour traits différents-méthodes différentes
Quelle est la limite de la méthode multitrait-multiméthode?
Demande beaucoup de temps de la part des sujets (passation de plusieurs tests et deux moments différents) + difficulté à trouver et faire la passation des plusieurs tests qui évaluent le même trait.
Comment sont représentés les deux temps de mesure dans la matrice de corrélation multitrait-multiméthode?
Temps 2 en y
Temps 1 en x
Dans la matrice de corrélation multitrait-multiméthode, à quoi correspond la diagonale principale?
Fidélité test-retest
Comment fonctionne l’analyse factorielle exploratoire?
Avoir au moins 3 (préférablement plus) variables observées qui sont corrélées entre elles sur une nouvelle variable (latente) qui retient l’essentiel de la variance commune. Cette nouvelle variable représente le facteur.
Quelles sont les questions typiques que l’on peut se poser dans l’analyse factorielle exploratoire?
Combien de facteurs l’analyse nous propose
Quel est le pourcentage d’explication de la variance
Est-ce que tous les items sont valide ou existe-t-il des items nécessitant une reformulation/exclusion?
Pour te familiariser avec les sorties spss, va voir le ppt gros paresseux
Vrai ou faux
Un item qui a une saturation factorielle à deux facteurs est doublement valide
Faux
Non-valide, il faudrait l’exclure
Vrai ou faux
La validation de construit donne un chiffre à interpréter
Faux
Ça en donne plusieurs qui doivent être interprétés en lien avec les éléments théoriques sur lequel le test est basé.
Qu’est-ce qui peut aider à mesurer la validité de construit?
Si la théorie sur laquelle est basée le test est claire
Quels sont les deux types de validité de construit?
Validité convergente
Validité discriminante
Qu’est-ce que la validité convergente?
Association entre les résultats des items de l’échelle cible et les autres qui mesurent le même construit
Qu’est-ce que la validité discriminante?
Vérifier à quel point les résultats des items de l’échelle cible s’écartent d’autres mesures de construits différents
Vrai ou faux
Il est parfois nécessaire d’élaborer un nouvel instrument d’évaluation psychologique
Vrai
Vrai ou faux
On utilise toujours un instrument d’évaluation psy dans sa langue d’origine
Faux
Il est parfois nécessaire d’utiliser un instrument d’évaluation psy dans une langue différente de celle qui a été utilisée à l’origine
Vrai ou faux
Un instrument développé au brésil ne peut être qu’utilisé au brésil
Faux
Il est parfois nécessaire d’utiliser un instrument d’évaluation psy dans une culture différente de celle où le test a vu le jour (il va falloir l’adapter)
Vrai ou faux
Il est parfois nécessaire de tester un modèle explicatif d’un cpt dans une langue et/ou culture différente de celle où il a été originellement créé
Vrai
Quelles deux options se présentent au psychométristes lors de l’élaboration d’un test?
Élaborer plusieurs tests en considérant les différentes langues et cultures
Traduire un seul et même test pour qu’on puisse l’utiliser dans plusieurs langues et plusieurs cultures
Quels sont les points à réfléchir lors de l’élaboration d’un instrument d’évaluation des cpts ou de la personnalité?
Respecte-t-on les caractéristiques typiques?
Mais on n’a pas de point de comparaison
Quel est un avantage de traduire un seul et même test pour qu’on puisse l’utiliser dans plusieurs langues et plusieurs cultures?
Beaucoup moins de travail au niveau méthodologique, notamment dans la composition de l’échantillonnage
Quel est un inconvénient de traduire un seul et même test pour qu’on puisse l’utiliser dans plusieurs langues et plusieurs cultures?
Une diminution au niveau de la précision de la mesure et problématique au niveau de l’interprétation des normes
Quelle est une autre option pour qui permet de minimiser les problèmes associés à la traduction?
Adaptation du test
Que permet l’adaptation des tests?
Un plus grand respect des idiosyncrasies de la culture
Garder une bonne précision de la mesure
S’assurer que le contenu et la structure factorielle soient relativement les mêmes
Utiliser la même structure que le test original
Démontrer l’équivalence des épreuves administrées dans des langues et cultures différentes
Quelles sont les difficultés de l’adaptation?
Différences linguistique et culturelle
- Les mots doivent garder le même sens
- Format du test
- Limite de temps (sensiblement le mm nb de mots)
Difficultés méthodologiques
- Choix et formation des traducteurs
- Procédé de traduction (forward ou backward), dépendamment de la langue
Comment devrait être la validité de construit pour un test adapté?
Une analyse factorielle devrait indiquer le même nombre de facteurs dans les versions du test, et aussi que les items de chacune des versions se regroupent de la même manière.
Quelles sont les étapes a suivre pour l’adaptation d’un test?
S’assurer de la pertinence du contenu du test pour la population visée
Déterminer si une traduction est souhaitable (ou créer un nouvel instrument)
Choisir les traducteurs
Traduire (traducteurs) et adapter (juges-experts) le test au contexte voulu
Réviser (juge-experts) la version adaptée du test
Conduire une mise à l’essai de la version adaptée
Conduire une étude psychométrique exhaustive de la version adaptée
Produire un manuel de la version adaptée
Quels sont les indicateurs généraux de la qualité de l’adaptation?
Analyse d’items
Fidélité
Équivalence au niveau du construit
Validité pragmatique (de critère)
Comment s’applique l’analyse d’items dans l’adaptation d’un test?
Les items de chaque version devraient être équivalents en terme de difficulté et de discrimination
Comment s’applique la fidélité dans l’adaptation d’un test?
Les résultats calculés à partir des versions adaptées devraient présenter des indices de cohérence interne comparables
Comment s’applique l’équivalence au niveau du construit dans l’adaptation d’un test?
Les items de chaque version devraient être équivalents en terme de saturation factorielle
Comment s’applique la validité pragmatique dans l’adaptation d’un test?
Concomitante et prédictive
Vrai ou faux
La construction d’un test se termine lors de sa publication
Faux
Ce n’est pas nécessairement le cas
Quels éléments doivent être inclus dans un manuel de test?
Tous les éléments qui vont permettre au praticien d’évaluer la qualité de l’outil
Objectif du test, aspects/nuances théoriques
Forme finale, qualités métrologiques
Dimensionnement
Arranger les étapes de la construction d’un instrument de mesure
Spécifier les principes
Rédiger les items
Rédiger un manuel
Dimensionner/Calibrer
Analyser les besoins
Analyse les items
Pré tester
Identifier les cpts
Expertiser la 1ere version
- Analyser les besoins
- Identifier les cpts
- Spécifier les principes
- Rédiger les items
- Expertiser la 1ere version
- Pré tester
- Analyser les items
- Dimensionner/Calibrer
- Rédiger un manuel
Décrire l’étape : Analyser les besoins
Identifier les motifs qui justifient les besoins d’évaluation
D’autres mesures pourraient-elles répondre au même besoin
Décrire l’étape : Identifier les cpts
Quels sont les cpts observables qui sont susceptibles de représenter le construit
Décrire l’étape : Spécifier les principes
Présenter comment on va mesurer les cpts précédemment identifiés
Décrire l’étape : Rédiger les items
Il faut avoir un grand nombre d’items au départ pour avoir un certain nombre d’items utiles. Il faut observer le contenu des questions, la formulation, la séquence, le format de réponse souhaitée et la présentation du matériel
Complète les 9 commandements de la formulation d’items
1. Utilisez une communication _________ et des mots ____________
2. Évitez des mots __________
3. Évitez des questions qui suggèrent déjà les ____________
4. Évitez des questions avec des contenus ou de possible réactions de sentiments d’_________ ou de _____________ émotionnelle
5. Évitez des __________ à des mots ou concepts qui impliquent de l’acceptation ou du ________
6. Évitez des _________ implicites
7. Évitez des questions à deux __________
8. Évitez des questions ____________
9. Évitez qu’une question __________ à l’autre
- Utilisez une communication simple et des mots familiers
- Évitez des mots ambigus
- Évitez des questions qui suggèrent déjà les réponses
- Évitez des questions avec des contenus ou de possible réactions de sentiments d’approbation ou de désapprobation émotionnelle
- Évitez des références à des mots ou concepts qui impliquent de l’acceptation ou du rejet
- Évitez des alternatives implicites
- Évitez des questions à deux contenus
- Évitez des questions longues
- Évitez qu’une question réponde à l’autre
Décrire l’étape : Expertiser cette 1ere version
Soumettre à la vérification de la clarté du langage, pertinence théorique et dimensionnalité par un groupe d’expert. Attention à ne pas avoir de consanguinité formationnelle
Décrire l’étape : Pré tester
Prétester la 1ere version à l’aide d’un grand échantillon de la pop ciblée, visant à peaufiner cette version et développer la version finale
Décrire l’étape : Analyser les items
Résultats descriptifs et corrélationnels
Détecter les problèmes d’acquiescence
Détecter les inconvénients de la variabilité des items (est-ce que je mesure autre chose)
Vérifier la normalité des dimensions, si applicable
Chercher les possibles problèmes de colinéarité ou autres
Décrire l’étape : Dimensionner/calibrer
Après le pré-test, on fait des analyses de validité et fidélité avec un nouvel échantillon
Créer des normes avec l’échantillon définitif
Que permet le processus d’évaluation?
Faire une appréciation des forces, des faiblesses, des particularités et des comportements des individu
Pourquoi l’accès aux tests psychologiques est contrôlé?
Pour garantir que le matériel sera utilisé par une personne qualifiée
Caractéristiques des examinateurs bien formés
Ils ______ les tests qui conviennent à la fois au _________ visé et aux ___________ évaluées.
Ils __________ la documentation portant sur le test choisi et les derniers __________ qui le concernent
Ils sont capables d’évaluer les ________ ___________ des tests
Ils sont sensibles aux ______________ de passation
Ils font des ________ ou des ______________ seulement après avoir considéré les résultats en relation avec les ____________ de la personne évaluée
choisissent, but, personnes
connaissent, développements
qualités techniques
conditions
conclusions, recommandations, caractéristiques
Quand est-ce que les professionnels doivent contester la valeur des tests?
Quand ils conduisent à des interprétations hostiles à certains groupes
Qd ils constituent la seule base de décision
Quand les conséquences reliées au fait d’obtenir de faibles résultats sont trop importantes
Quelles sont les trois règles de la section V du code de déontologie des psychologues?
Le psy doit interpréter le matériel psychologique avec prudence
Le psy ne peut remettre à autrui les données brutes et non interprétées inhérentes à une consultation psychologique
Le psy doit éviter toute possibilité de fausse interprétation ou d’emploi erroné des infos qu’il fourni à autrui
Les tests peuvent faciliter et _____________ la ________ de ___________ en fournissant une info objective
Les tests ________ la ___________ au sein de laquelle ils ont été mis au point.
Plus le _______ ressemble à tous égards à l’échantillon _________, plus les comparaisons sont valables
Lorsque le client ________ du groupe normatif sur le plan de la _________, il est inacceptable d’interpréter de telles comparaisons comme des indications de sa ________
Compte tenu du grand nombre de ________ pouvant influencer négativement les résultats d’un test, il est essentiel de considérer les scores comme un ______________ et non comme des points précis
améliorer, prise, décision
favorisent, culture
client, normatif
diffère, culture, capacité
variables, classement
Utilisation compétente des tests
Accepter la __________ de l’utilisation compétente des tests
Avoir une _______________ satisfaisante du code de déontologie
Ne pas _______des documents protégés
Connaître les ________ légaux
Connaître le test et ses ________
Éviter que les personnes qui passent les tests les ___________
Être conscient de la nécessité d’avoir plusieurs __________ d’_____________ convergentes
Considérer les __________ d’___________ dans les résultats d’un test
Comprendre les __________ et leurs limites
Reconnaître que le __________ du test est limité
Connaître les répercussions de la ___________ d’un test
Considérer _________ de mesure
Appliquer les principes de la __________ des tests et les principes d’_____________ des résultats
responsabilité
connaissance
photocopier
standards
limites
consultent
sources d’informations
variances d’erreur
normes
contenu
validité
l’erreur-type
théorie, interprétation
