Examen 3 Flashcards

1
Q

Peut-on dire d’un test qu’il est valide après sa première validation?

A

Non, il faut attendre une dizaine d’années avant de dire qu’un test est valide

Même que ce n’est pas le test qui est valide, ce sont ses conditions générales et sa clientèle

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Quels sont les 3 types de validités?

A

Validité de contenu
Validité pragmatique
Validité de construit

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Qu’est-ce que la validité?

A

Degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Qu’est-ce que la validité concerne?

A

L’interprétation des résultats des items, et non l’instrument. Alors, ce n’est pas l’instrument qui est valide.

Le contexte de son utilisation (clientèle et conditions en général)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Le processus de validation est une façon de déterminer le niveau de certitude…..

A

qu’on peut avoir, en s’appuyant aux indices obtenus

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

L’évaluation de la validité est un processus _______ d’accumulation de ____ ou d’______

A

continu
preuves
évidences

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Vrai ou faux
Le nom du test est une bonne preuve de ce que le test mesure

A

Faux

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Vrai ou faux
La validité est une affaire de tout ou rien

A

Faux
C’est plutôt une question de degré selon les indices de validité vérifiés

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Que concerne la validité de face?

A

La présentation du test, sa structure

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Donnez un exemple de validité de face

A

Échelle likert en Am du Nord et échelle dichotomique en Am du Sud.

Puisqu’on est habitué aux échelles de Likert, on aurait peut-être de la difficulté à répondre à des échelles dichotomiques (on voudrait nuancer) vs si on présente des échelles likert en Am du Sud, ils auraient peut-être tendance à se ranger dans les extrêmes et ne pas nuancer

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Quels sont les deux types de validité de contenu?

A

Contenu et apparente
Bien que certains disent que les deux sont équivalents et d’autres disent que ce n’est pas la même chose

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Quels sont les deux types de validité pragmatique?

A

Critériée, prédictive

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Quels sont les deux types de validité de construit?

A

Conceptuelle et théorique

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Expliquez la validité de contenu

A

Désigne la capacité d’un instrument à mesurer (saisir) les aspects de contenu pour lesquels il a été conçu, et ceux-là seulement.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Expliquez la validité de contenu dans le cas d’une épreuve de connaissance

A

Il faut s’assurer que le contenu des items contribuent à évaluer les aspects fondamentaux de ce domaine de connaissance, qu’ils forment un échantillon des items importants.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Quand examine-t-on normalement la validité de contenu?

A

Normalement lors de la construction de l’instrument (choix des contenus des items)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Quelle méthode est normalement utilisée pour estimer la validité de contenu et en quoi consiste-t-elle?

A

Méthode des juges-experts
Des personnes qui ont une connaissance reconnue du concept à mesurer et aussi une expertise dans la construction d’instruments de mesure. Ces personnes sont invitées à se prononcer sur le contenu de chaque énoncé, soit : clarté, représentativité, exhaustivité, dimensionalité et pertinence

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Dans la méthode des juges-experts, qu’est-ce que la représentativité?

A

Déterminer si l’item représente bien la théorie concernée

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Dans la méthode des juges-experts, qu’est-ce que l’exhaustivité?

A

Est-ce que l’ensemble des items mesurent toute la théorie?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Dans la méthode des juges-experts, qu’est-ce que la dimensionalité?

A

Quels items touchent quelles dimensions?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Dans la méthode des juges-experts, qu’est-ce que la pertinence?

A

Est-ce que c’est pertinent ces contenus là à cette personne? Faut pas trop en demander aux gens, ni les gêner, sinon la variance d’erreur peut augmenter

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Dans la méthode des juges-experts, qu’est-ce que la clarté?

A

Au niveau linguistique

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Comment on calcule un % à partir d’un r de corrélatio?

A

On l’élève au carré (r2 = coefficient de détermination)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Pour quel type de données la Kappa de Cohen sert-il?

A

Données dichotomiques

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Quelles sont les statistiques habituellement utilisées pour la validité de contenu?
Coefficient de validité de contenu Corrélation (Pearson) intra-classe
26
Que mesure le coefficient de validité de contenu?
Proportion des réponses des juges-experts qui sont d'accord sur certains aspects relatifs au contenu inhérent aux items de l'instrument
27
Que mesure la corrélation intra-classe?
Association des opinions entre juges-experts ayant un certain degré de formation en termes de trait quantitatif et qualitatif
28
Qu'est-ce que la validation pragmatique?
Capacité d'un instrument à prédire (aussi explicite et invariable que possible) le niveau de performance (cpt) d'un groupe d'individus par rapport à des situations qu'ils rencontreront (ou pourraient rencontrer) ultérieurement
29
Donnez un exemple de validation pragmatique
Évaluation du QI et succès professionnel
30
Quelle est la procédure pour la validation pragmatique?
Calculer la corrélation entre les résultats obtenus par un même groupe d'individus à deux moments différents (pouvant être deux moment "présents" ou un moment présent et l'autre "futur"). On utilise normalement l'analyse de régression pour ça.
31
Que permet la validité pragmatique?
Déterminer dans quelle mesure les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (% de variance expliquée)
32
Quels sont les deux types de validité pragmatique?
Concomitante/concourante Prédictive
33
Comment se différencient les deux types de validité pragmatique?
Concomitante : association entre score au test et score à une mesure de référence, les deux tests étant administrés presque en même temps Prédictive : Association entre score au test et réalité future, les deux étant séparé d'un laps de temps important
34
Quelles sont les statistiques souvent utilisées dans la validation pragmatique?
Coefficient de détermination Corrélation multiple au carré R2 (aussi beta standardisé)
35
Quelle est la différence entre le coefficient de détermination et la corrélation multiple au carré R2?
Les deux expriment le % d'explication de la variance entre deux mesures. CD ne se préoccupe pas de l'ordre et R2 oui
36
Qu'est-ce que la validité de construit?
Justesse/certitude avec laquelle l'ensemble des items d'un instrument de mesure permet d'obtenir des résultats conformes aux concepts définis par son contexte théorique
37
La validité de construit indique dans quelle mesure les énoncés d'un instrument sont ___________ (__________ interne/externe) avec la théorie.
cohérents (avec la théorie) structure interne
38
Quel est le surnom qu'on peut donner aux équations structurelles?
Destructeur de théorie
39
Que sont les construits?
Sont aussi considérés des "mini-théories" qui expliquent les relations entre différents concepts évalués par les items On les appelle aussi "facteurs" qui sont expliqués par l'association entre les concepts inhérents aux variables directement mesurables.
40
Remet en ordre Pseuso cause-effet Analyse factorielle exploratoire Analyse factorielle confirmatoire
Analyse factorielle exploratoire Analyse factorielle confirmatoire Pseuso cause-effet
41
Dans les diagrammes d'analyse factorielle, que veulent dire les flèches ronde et droite?
Ronde : Covariance ou corrélation Droite : B de régression
42
Dans une analyse factorielle exploratoire de 2e ordre, que cherche-t-on?
Les items qui ont une haute saturation factorielle
43
Quel autre nom peut-on donner l'analyse factorielle confirmatoire?
Modelage d'équation structurelle exploratoire
44
Quelles sont les deux façons robustes de calculer la validité de construit?
Analyse multitrait-multiméthode Analyse factorielle
45
Qu'est-ce que l'analyse multitrait-multiméthode et à quoi peut-on s'attendre?
Une matrice de corrélation entre les résultats obtenus à différents traits et différentes méthodes. La plus forte corrélation devrait être même trait-même méthode, et à l'inverse, la plus faible devrait être pour traits différents-méthodes différentes
46
Quelle est la limite de la méthode multitrait-multiméthode?
Demande beaucoup de temps de la part des sujets (passation de plusieurs tests et deux moments différents) + difficulté à trouver et faire la passation des plusieurs tests qui évaluent le même trait.
47
Comment sont représentés les deux temps de mesure dans la matrice de corrélation multitrait-multiméthode?
Temps 2 en y Temps 1 en x
48
Dans la matrice de corrélation multitrait-multiméthode, à quoi correspond la diagonale principale?
Fidélité test-retest
49
Comment fonctionne l'analyse factorielle exploratoire?
Avoir au moins 3 (préférablement plus) variables observées qui sont corrélées entre elles sur une nouvelle variable (latente) qui retient l'essentiel de la variance commune. Cette nouvelle variable représente le facteur.
50
Quelles sont les questions typiques que l'on peut se poser dans l'analyse factorielle exploratoire?
Combien de facteurs l'analyse nous propose Quel est le pourcentage d'explication de la variance Est-ce que tous les items sont valide ou existe-t-il des items nécessitant une reformulation/exclusion?
51
Pour te familiariser avec les sorties spss, va voir le ppt gros paresseux
52
Vrai ou faux Un item qui a une saturation factorielle à deux facteurs est doublement valide
Faux Non-valide, il faudrait l'exclure
53
Vrai ou faux La validation de construit donne un chiffre à interpréter
Faux Ça en donne plusieurs qui doivent être interprétés en lien avec les éléments théoriques sur lequel le test est basé.
54
Qu'est-ce qui peut aider à mesurer la validité de construit?
Si la théorie sur laquelle est basée le test est claire
55
Quels sont les deux types de validité de construit?
Validité convergente Validité discriminante
56
Qu'est-ce que la validité convergente?
Association entre les résultats des items de l'échelle cible et les autres qui mesurent le même construit
57
Qu'est-ce que la validité discriminante?
Vérifier à quel point les résultats des items de l'échelle cible s'écartent d'autres mesures de construits différents
58
Vrai ou faux Il est parfois nécessaire d'élaborer un nouvel instrument d'évaluation psychologique
Vrai
59
Vrai ou faux On utilise toujours un instrument d'évaluation psy dans sa langue d'origine
Faux Il est parfois nécessaire d'utiliser un instrument d'évaluation psy dans une langue différente de celle qui a été utilisée à l'origine
60
Vrai ou faux Un instrument développé au brésil ne peut être qu'utilisé au brésil
Faux Il est parfois nécessaire d'utiliser un instrument d'évaluation psy dans une culture différente de celle où le test a vu le jour (il va falloir l'adapter)
61
Vrai ou faux Il est parfois nécessaire de tester un modèle explicatif d'un cpt dans une langue et/ou culture différente de celle où il a été originellement créé
Vrai
62
Quelles deux options se présentent au psychométristes lors de l'élaboration d'un test?
Élaborer plusieurs tests en considérant les différentes langues et cultures Traduire un seul et même test pour qu'on puisse l'utiliser dans plusieurs langues et plusieurs cultures
63
Quels sont les points à réfléchir lors de l'élaboration d'un instrument d'évaluation des cpts ou de la personnalité?
Respecte-t-on les caractéristiques typiques? Mais on n'a pas de point de comparaison
64
Quel est un avantage de traduire un seul et même test pour qu'on puisse l'utiliser dans plusieurs langues et plusieurs cultures?
Beaucoup moins de travail au niveau méthodologique, notamment dans la composition de l'échantillonnage
65
Quel est un inconvénient de traduire un seul et même test pour qu'on puisse l'utiliser dans plusieurs langues et plusieurs cultures?
Une diminution au niveau de la précision de la mesure et problématique au niveau de l'interprétation des normes
66
Quelle est une autre option pour qui permet de minimiser les problèmes associés à la traduction?
Adaptation du test
67
Que permet l'adaptation des tests?
Un plus grand respect des idiosyncrasies de la culture Garder une bonne précision de la mesure S'assurer que le contenu et la structure factorielle soient relativement les mêmes Utiliser la même structure que le test original Démontrer l'équivalence des épreuves administrées dans des langues et cultures différentes
68
Quelles sont les difficultés de l'adaptation?
Différences linguistique et culturelle - Les mots doivent garder le même sens - Format du test - Limite de temps (sensiblement le mm nb de mots) Difficultés méthodologiques - Choix et formation des traducteurs - Procédé de traduction (forward ou backward), dépendamment de la langue
69
Comment devrait être la validité de construit pour un test adapté?
Une analyse factorielle devrait indiquer le même nombre de facteurs dans les versions du test, et aussi que les items de chacune des versions se regroupent de la même manière.
70
Quelles sont les étapes a suivre pour l'adaptation d'un test?
S'assurer de la pertinence du contenu du test pour la population visée Déterminer si une traduction est souhaitable (ou créer un nouvel instrument) Choisir les traducteurs Traduire (traducteurs) et adapter (juges-experts) le test au contexte voulu Réviser (juge-experts) la version adaptée du test Conduire une mise à l'essai de la version adaptée Conduire une étude psychométrique exhaustive de la version adaptée Produire un manuel de la version adaptée
71
Quels sont les indicateurs généraux de la qualité de l'adaptation?
Analyse d'items Fidélité Équivalence au niveau du construit Validité pragmatique (de critère)
72
Comment s'applique l'analyse d'items dans l'adaptation d'un test?
Les items de chaque version devraient être équivalents en terme de difficulté et de discrimination
73
Comment s'applique la fidélité dans l'adaptation d'un test?
Les résultats calculés à partir des versions adaptées devraient présenter des indices de cohérence interne comparables
74
Comment s'applique l'équivalence au niveau du construit dans l'adaptation d'un test?
Les items de chaque version devraient être équivalents en terme de saturation factorielle
75
Comment s'applique la validité pragmatique dans l'adaptation d'un test?
Concomitante et prédictive
76
Vrai ou faux La construction d'un test se termine lors de sa publication
Faux Ce n'est pas nécessairement le cas
77
Quels éléments doivent être inclus dans un manuel de test?
Tous les éléments qui vont permettre au praticien d'évaluer la qualité de l'outil Objectif du test, aspects/nuances théoriques Forme finale, qualités métrologiques Dimensionnement
78
Arranger les étapes de la construction d'un instrument de mesure Spécifier les principes Rédiger les items Rédiger un manuel Dimensionner/Calibrer Analyser les besoins Analyse les items Pré tester Identifier les cpts Expertiser la 1ere version
1. Analyser les besoins 2. Identifier les cpts 3. Spécifier les principes 4. Rédiger les items 5. Expertiser la 1ere version 6. Pré tester 7. Analyser les items 8. Dimensionner/Calibrer 9. Rédiger un manuel
79
Décrire l'étape : Analyser les besoins
Identifier les motifs qui justifient les besoins d'évaluation D'autres mesures pourraient-elles répondre au même besoin
80
Décrire l'étape : Identifier les cpts
Quels sont les cpts observables qui sont susceptibles de représenter le construit
81
Décrire l'étape : Spécifier les principes
Présenter comment on va mesurer les cpts précédemment identifiés
82
Décrire l'étape : Rédiger les items
Il faut avoir un grand nombre d'items au départ pour avoir un certain nombre d'items utiles. Il faut observer le contenu des questions, la formulation, la séquence, le format de réponse souhaitée et la présentation du matériel
83
Complète les 9 commandements de la formulation d'items 1. Utilisez une communication _________ et des mots ____________ 2. Évitez des mots __________ 3. Évitez des questions qui suggèrent déjà les ____________ 4. Évitez des questions avec des contenus ou de possible réactions de sentiments d'_________ ou de _____________ émotionnelle 5. Évitez des __________ à des mots ou concepts qui impliquent de l'acceptation ou du ________ 6. Évitez des _________ implicites 7. Évitez des questions à deux __________ 8. Évitez des questions ____________ 9. Évitez qu'une question __________ à l'autre
1. Utilisez une communication simple et des mots familiers 2. Évitez des mots ambigus 3. Évitez des questions qui suggèrent déjà les réponses 4. Évitez des questions avec des contenus ou de possible réactions de sentiments d'approbation ou de désapprobation émotionnelle 5. Évitez des références à des mots ou concepts qui impliquent de l'acceptation ou du rejet 6. Évitez des alternatives implicites 7. Évitez des questions à deux contenus 8. Évitez des questions longues 9. Évitez qu'une question réponde à l'autre
84
Décrire l'étape : Expertiser cette 1ere version
Soumettre à la vérification de la clarté du langage, pertinence théorique et dimensionnalité par un groupe d'expert. Attention à ne pas avoir de consanguinité formationnelle
85
Décrire l'étape : Pré tester
Prétester la 1ere version à l'aide d'un grand échantillon de la pop ciblée, visant à peaufiner cette version et développer la version finale
86
Décrire l'étape : Analyser les items
Résultats descriptifs et corrélationnels Détecter les problèmes d'acquiescence Détecter les inconvénients de la variabilité des items (est-ce que je mesure autre chose) Vérifier la normalité des dimensions, si applicable Chercher les possibles problèmes de colinéarité ou autres
87
Décrire l'étape : Dimensionner/calibrer
Après le pré-test, on fait des analyses de validité et fidélité avec un nouvel échantillon Créer des normes avec l'échantillon définitif
88
Que permet le processus d'évaluation?
Faire une appréciation des forces, des faiblesses, des particularités et des comportements des individu
89
Pourquoi l'accès aux tests psychologiques est contrôlé?
Pour garantir que le matériel sera utilisé par une personne qualifiée
90
Caractéristiques des examinateurs bien formés Ils ______ les tests qui conviennent à la fois au _________ visé et aux ___________ évaluées. Ils __________ la documentation portant sur le test choisi et les derniers __________ qui le concernent Ils sont capables d'évaluer les ________ ___________ des tests Ils sont sensibles aux ______________ de passation Ils font des ________ ou des ______________ seulement après avoir considéré les résultats en relation avec les ____________ de la personne évaluée
choisissent, but, personnes connaissent, développements qualités techniques conditions conclusions, recommandations, caractéristiques
91
Quand est-ce que les professionnels doivent contester la valeur des tests?
Quand ils conduisent à des interprétations hostiles à certains groupes Qd ils constituent la seule base de décision Quand les conséquences reliées au fait d'obtenir de faibles résultats sont trop importantes
92
Quelles sont les trois règles de la section V du code de déontologie des psychologues?
Le psy doit interpréter le matériel psychologique avec prudence Le psy ne peut remettre à autrui les données brutes et non interprétées inhérentes à une consultation psychologique Le psy doit éviter toute possibilité de fausse interprétation ou d'emploi erroné des infos qu'il fourni à autrui
93
Les tests peuvent faciliter et _____________ la ________ de ___________ en fournissant une info objective Les tests ________ la ___________ au sein de laquelle ils ont été mis au point. Plus le _______ ressemble à tous égards à l'échantillon _________, plus les comparaisons sont valables Lorsque le client ________ du groupe normatif sur le plan de la _________, il est inacceptable d'interpréter de telles comparaisons comme des indications de sa ________ Compte tenu du grand nombre de ________ pouvant influencer négativement les résultats d'un test, il est essentiel de considérer les scores comme un ______________ et non comme des points précis
améliorer, prise, décision favorisent, culture client, normatif diffère, culture, capacité variables, classement
94
Utilisation compétente des tests Accepter la __________ de l'utilisation compétente des tests Avoir une _______________ satisfaisante du code de déontologie Ne pas _______des documents protégés Connaître les ________ légaux Connaître le test et ses ________ Éviter que les personnes qui passent les tests les ___________ Être conscient de la nécessité d'avoir plusieurs __________ d'_____________ convergentes Considérer les __________ d'___________ dans les résultats d'un test Comprendre les __________ et leurs limites Reconnaître que le __________ du test est limité Connaître les répercussions de la ___________ d'un test Considérer _________ de mesure Appliquer les principes de la __________ des tests et les principes d'_____________ des résultats
responsabilité connaissance photocopier standards limites consultent sources d'informations variances d'erreur normes contenu validité l'erreur-type théorie, interprétation