Examen 3

Question 1

Quelle est la définition générale de la validité ?

Answer 1

La validité est le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement

Question 2

Quelles sont les 5 étapes de construction d’un instrument de mesure ?

Answer 2

1. La détermination des utilisations prévues du test
2. La définition de ce que l’on souhaite mesurer
3. La création des items
4. L’évaluation des items
5. La détermination des propriétés métriques du test définitif

Question 3

Complète la phrase :

La validité ne concerne pas l’instrument de mesure lui-même, mais plutôt ______?

Answer 3

l’interprétation des résultats

Question 4

VRAI OU FAUX ?

Si les tests sont perçus comme causant du tort aux gens, ils pourront occasionner des poursuites judiciaires

Answer 4

VRAI
Les constructeurs de tests ne peuvent se laver les mains une fois que le test est publié et ignorer les buts du test.
• Les précautions à prendre face à la protection de la vie privée sont liées aux devoirs et aux obligations envers le client (d’où l’importance de bien spécifier le but dans lequel on fait passer un test et de préciser que l’anonymat est préservé lorsque les tests sont employés en recherche).

Question 5

Complète la phrase :
le processus de validation est une façon de déterminer le _____________ qu’on peut avoir par rapport aux inférences qu’on fait en s’appuyant sur les résultats obtenus à un test

Answer 5

Niveau de confiance

Question 6

Pourquoi Raven a réalisé le Raven’s progressive matrices au départ ?

Answer 6

pour une recherche sur l’origine génétique et environnementale des défficiences mentales

Question 7

VRAI OU FAUX ?

On peut dire qu’un test est valide

Answer 7

FAUX

on peut seulement dire qu’un test est valide sous telles conditions et avec telle clientèle

Question 8

Quelle est la solution pour ne pas avoir à élaborer plusieurs test dans plusieurs langues et cultures ainsi que ne pas avoir à traduire le test dans plusieurs langues ? et qu’est-ce que cette solution permet ?

Answer 8

L’adaptation

• elle permet un plus grand respect des idiosyncrasies de la culture cible
• elle permet qu’on garde une bonne précision de la mesure, entre autres indices métrologiques pertinents
• elle permet de s’assurer que le contenu et la structure factorielle du test soient relativement les mêmes
• elle permet d’utiliser la même structure proposée à la présentation de l’instrument
• elle permet de démontrer l’équivalence d’épreuves administrées dans des langues et cultures différentes

Question 9

VRAI OU FAUX ?

Le titre d’un test est un bon indice de ce qu’il mesure

Answer 9

FAUX

Question 10

Quelles sont les 3 versions du Raven’s progressive matrices disponibles au Québec ?

Answer 10

1. Standard Progressive Matrices
2. Coloured Progressive Matrices
3. Advanced Progressive Matrices

Question 11

Quelles sont les 3 grandes catégories de validité ?

Answer 11

1. Validité de contenu (contenu VS apparente)
2. Validité pragmatique (critérié, prédictive)
3. Validité de construit (conceptuelle, théorique)

Question 12

Quels sont les 5 processus ou méthodes qui peuvent être mis en action pour nous aider à mieux définir ce que l’on veut mesurer ? (la 2e étape de la construction d’un instrument de mesure)

Answer 12

1. La définition des objectifs pédagogiques
2. L’analyse de contenu des interviews
3. L’observation directe des comportements
4. La méthode des incidents critiques
5. La référence à un modèle théorique

Question 13

Quelle est la définition de validité de contenu ?

Answer 13

La validité de contenu désigne l’aptitude d’un instrument à appréhender les aspects de contenu pour lesquels il a été conçu, et ceux-là seulement.

• 1 item = 1 contenu (pas plusieurs contenus par item)
• Les contenus forment un échantillon important de tous les items
• S’assurer que les contenus des items utilisés contribuent tous à évaluer un aspect significatif du domaine
• On utilise ce type de validité lors du choix des items

Question 14

VRAI OU FAUX ?
Des différences dans la construction des questions conduisent souvent à des résultats qui présentent de plus grandes variations que celles habituellement observées en fonction des différentes techniques d’échantillonnage

Answer 14

VRAI

Trop d’attention a été accordée à la constitution des échantillons et trop peu à la création des questions

Question 15

La validité de contenu est estimé par des juges experts. Ils sont amenés à se prononcer sur le contenu des items c’est-à-dire …?

Answer 15

sur leur clarté, leur représentativité, l’exhaustivité, dimensionnalité et la pertinence de l’outil dans son ensemble

Question 16

Quels sont les difficultés de l’adaptation ?

Answer 16

Les différences linguistiques et culturelles

• équivalence des concepts
• format du test
• limite de temps

Les difficultés méthodologiques

• le choix et la formation des traducteurs
• le procédé de traduction

Question 17

Qu’est-ce que la validation pragmatique ?

Answer 17

Cette validation désigne l’aptitude d’un instrument à prédire X d’un ensemble d’individus par rapport à des situations qu’ils rencontreront ultérieurement
- Prédire la situation future d’un individu sur la base d’éléments qui caractérisent sa situation présente

Question 18

VRAI OU FAUX ?

Le participant effectuant un test de Raven peut passer des items et y revenir plus tard

Answer 18

FAUX
Le test de Raven est construit de sorte que les items augmente en difficulté au fur et à mesure qu’on avance dans le test. Le sujet doit réaliser l’opération la plus facile, ensuite il lui sera possible de réaliser la suivante

Question 19

Quelle est la procédure la plus simple pour évaluer la validité pragmatique d’un instrument ?

Answer 19

Étudier la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents

Question 20

Quels sont les 4 éléments que l’on présente dans un manuel d’utilisateur de test ?

Answer 20

1. Les fonctions pour lesquels il a été crée
2. Les bases théoriques du test
3. Les qualifications requises pour l’appliquer et l’interpréter
4. Les données métriques (pour assurer son utilisation)

Question 21

Complète la phrase :
Validité pragmatique : Évaluer cette qualité d’un instrument signifie précisément déterminer dans quelle mesure les _______ (variable indépendante) retenus permettent de fournir une estimation ______ des résultats qui seront obtenus ultérieurement (pourcentage de variance prédite ou «expliquée»).

Answer 21

Prédicteurs

Valide

Question 22

Qu’est-ce que le test de Raven ? (résumé)

Answer 22

• Test non-verbal à choix multiples
• Chacune des séries comporte 12 problèmes sous forme de dessins
• Chacun des problèmes comporte une partie manquante qu’il s’agit de trouver selon les options stipulées dans la séquence de dessins
• La bonne réponse se trouve parmi les choix de dessins proposés
• Dans chacune des séries, la première réponse est facile, la difficulté s’accroît au fur et à mesure

Question 23

Quels sont les 2 types de validités pragmatiques ? Expliquez les.

Answer 23

1. Validité concomitante
   on détermine le degré de corrélation entre les score obtenus au test et les scores obtenus à une mesure de référence (administration du test et de la mesure du critère pratiquement en même temps)
2. Validité prédictive
   on évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier)

Question 24

Quelles normes pouvons nous regarder pour l’équivalence des tests ?

Answer 24

Alpha de Cronbach, validité de critère, validité convergente, validité discriminante, validité de construit

Question 25

Qu'est-ce que la validation de construit ?

Answer 25

La validation de construit se défini comme étant la justesse avec laquelle un instrument de mesure permet d'obtenir des résultats conformes aux construits définis par son contexte théorique - Elle indique dans quelle mesure les énoncés d'un instrument sont cohérents avec la théorie et les concepts, définis de façon opérationnelle

Question 26

Quelles sont les responsabilités des éditeurs de tests ?

Answer 26

Selon la distribution : - l'achat de test est limité aux personnes possédant la qualification requise pour assurer la sécurité du matériel et empêcher une mauvaise utilisation de celui-ci - les caractéristiques techniques d'un test doivent être clairement présentées - Les tests ne doivent pas être offerts prématurément pour un usage général - la passation de tests psychologiques par la poste est à proscrire, parce qu'on ne peut pas contrôler les conditions de passation et qu'on a aucune connaissance de la personne évaluée Selon le marketing : - il ne faut pas utiliser de termes «trop publicitaires» qui mettent en valeur le test en cachant les renseignements essentiels à son évaluation

Question 27

``` VRAI OU FAUX ? Les construits (dans la validation de construit) ne sont pas directement accessibles à l'observation ```

Answer 27

VRAI | On les mesure par le biais du comportement

Question 28

Quels sont les 6 principes du Code de déontologie à prendre en compte en ce qui concerne l'interprétation des tests ?

Answer 28

1. Les tests peuvent faciliter et améliorer la prise de décision en fournissant une information objective, mais, en aucun cas, ils ne peuvent prédire l'avenir 2. Les test favorisent la culture au sein de laquelle ils ont été mis au point. Les différences et les désavantages d'ordre culturel peuvent influencer grandement les résultats et doivent être pris en considération lors de l'interprétation 3. Plus le client ressemble à tous égards à l'échantillon normatif, plus les comparaisons sont valables. Moins le client ressemble à tous égards à l'échantillon normatif, moins les comparaisons sont valables. 4. Dans un test, lorsque le client diffère du groupe normatif sur le plan de la culture, il est inacceptable d'interpréter de telles comparaisons comme des indications de sa capacité 5. Compte tenu de grand nombre de variable pouvant influencer négativement les résultats, il est essentiel de considérer et d'expliquer les scores comme un classement dans un intervalle et non comme des points précis 6. Les scores aux tests ne sont pas une mesure directe du degré de réussite qu'un individu peut atteindre. Ils sont une mesure de réponse d'un individu à un ensemble de stimuli, à un moment donné et dans une situation particulière

Question 29

Complète la phrase : Les construits sont considérés des _______ qui expliquent la relation entre différents concepts, que ce soient des comportements, attitudes... On les appelent aussi des ______ et ils viennent en fait expliquer les corrélations qu'on observe entre les variables

Answer 29

mini-théories | facteurs

Question 30

Quelles sont les clientèles visées par le test de Raven ?

Answer 30

- Enfants à compter de 6 ans et demi - Adolescent - Jeunes adultes, adultes - Personnes âgé(e)s - Employé(e)s - Déficients intellectuels - Traumatisés - etc.

Question 31

Quelle est la façon la plus usuelle de calculer la validité de construit ?

Answer 31

La façon la plus usuelle de calculer la validité de construit est d'avoir recours à une méthode issue de l'approche corrélationnelle : analyse multitrait-multiméthode et l'analyse factorielle. Un des objectifs est de démontrer la pertinence d'un item par rapport à sa propre dimension théorique

Question 32

Quels sont les 3 éléments à clarifier dans la 3e étape de la construction d'un instrument de mesure : création des items ?

Answer 32

1. Le format des items 2. Le niveau de difficulté de items 3. La quantité d'item qu'il faut créer

Question 33

Quelles sont les limites de l'analyse multitrait-multiméthode ?

Answer 33

- demande beaucoup de temps de la part des sujets (faire plusieurs tests) - difficulté à trouver des test qui évaluent les mêmes traits

Question 34

Quels sont les buts poursuivis du test de Raven ?

Answer 34

- Mesurer le facteur général (g) de l'intelligence tel que décrit par Spearman - Mesurer la capacité d'observation immédiate et la clarté de raisonnement (capacité de perception cohérente et une pensée disciplinée en situation de tension) - Déterminer le potentiel d'apprentissage

Question 35

Complète la phrase : | Il y a toujours _______ à la méthode multitrait-multiméthode, qui sont représentés par .........

Answer 35

Il y a toujours deux temps à la méthode multitrait-multiméthode, qui sont représentés par les axes des abscisses (x) et des ordonnées (y)

Question 36

Quel est le rationnel de l'analyse factorielle ?

Answer 36

Le rationnel de l’analyse factorielle est de projeter 3 (ou plus) variables qui sont fortement corrélées entre elles sur une nouvelle variable qui retient l’essentiel de la variance commune. Cette nouvelle variable représente le facteur

Question 37

Quels sont les 2 types de validité de construit ?

Answer 37

1. Validité convergente Vérifier à quel point est-ce que l’échelle est reliée à des variables et des mesures du même construit. En ce sens, l’outil devrait corréler avec les autres outils qui évaluent des construits identiques ou très similaire 2. Validité discriminante Vérifier à quel point l’échelle s’écarte de variables et de mesures de construits différents. En ce sens, l’outil ne devrait pas corréler avec des construits indépendants (chose différente) de celui qu’il évalue.

Question 38

Quels sont les 2 démarches qui sont habituellement suivies dans l'évaluation des items (4e étape de la construction d'un instrument de mesure) ?

Answer 38

1. Évaluation des items par des juges conformité des items (clarté, pertinence, dimensionnalité, etc.) 2. Réalisation d'une mise à l'essai des items

Question 39

Quelles sont les 2 options se présentant aux psychométristes lorsqu'ils doivent prendre en considération la traduction et l'adaptation ?

Answer 39

1. Élaborer plusieurs tests en considérant les différentes langues et cultures - on respecte les caractéristiques de la culture cible mais on a pas de point de comparaison 2. Traduire un seul et même test pour qu'on puisse l'utiliser en plusieurs langues et cultures - beaucoup moins de travail au niveau méthodologique, surtout au niveau de l'échantillonnage. Une diminution de la précision de la mesure, des normes et autres qualités métrologiques.

Question 40

Qu'est-ce que le foward translation et le backward translation ?

Answer 40

Foward translation = je prend l'instrument et je le traduit simplement Backward translation = j'ai la version originale en anglais, je fais la traduction en francais, je prend ma traduction francaise et je la retraduit en anglais. Je compare l'instrument originale et la version traduite en anglais. Je m'attend à ce que ca soit proche. **Aujourd'hui on nous demande = 4 personnes (qui ont une formation différentes et qui se connaissent pas, on va chercher la variabilité des traductions) qui vont faire la traduction de l'anglais originale au francais, 4 autres personnes qui vont refaire la traduction francais à l'anglais. Ensuite, un comité de spécialitste du domaine (ex : la motivation) vont se réunir et analyser quelle est la meilleur retraduction anglaise VS l'originale. c'est la que l'adaptation ce fait et le choix de la traduction en francais est choisi.

Question 41

Qu'est-ce que la théorie des 2 facteurs ? (fondement théorique des matrices de Raven)

Answer 41

1. Toutes activités intellectuelles partage un facteur commun appelé le facteur général ou le facteur g 2. Il y a de nombreux facteurs spécifiques ou facteurs s

Question 42

Quelles sont les étapes pour adapter un test ?

Answer 42

1. S'assurer de la pertinence du contenu du test pour la population visée 2. Déterminer si une traduction est souhaitable - ou élaborer un nouvel instrument 3. Choisir les traducteurs 4. Traduire et adapter le test 5. Réviser (en comité) la version adaptée du test 6. Conduire une mise à l'essaie de la version adaptée 7. Conduire une étude métrologique exhaustive de la version adaptée 8. Documenter chacune des étapes de développement de la version adaptée

Question 43

Nommez quelques conclusions sur l'utilisation compétente des tests ?

Answer 43

- Accepter la responsabilité reliée à une utilisation compétente des tests - Avoir une connaissance satisfaisante du code de déontologie - Ne pas photocopier des documents protégés par les droits d'auteur - Connaître les standards légaux - Connaître les tests et les limites - Empêcher les personnes qui passent les tests de consulter ceux-ci avant la passation - Être conscient de la nécessité d'avoir plusieurs sources de données convergentes - Considérer les erreurs de mesure dans les résultats d'un test - Comprendre les normes et leurs limites - Reconnaître que le contenu du test est limité - Reconnaître les répercussions de la validité d'un test - Appliquer les principes de la théorie des tests et les principes d'interprétation des épreuves - Considérer l'erreur type de mesure - Suivre les instructions concernant l'évaluation - Veiller à ce que chaque sujet suive les indications pour que les résultats au test soient le plus exacts possible

Question 44

Quels sont les indicateurs généraux de la qualité d'adaptation d'un test ?

Answer 44

Analyse d'items - Les items de chaque version devraient être équivalents en termes de difficulté (moyenne et TRI) et de discrimination (variables de contrôle) Fidélité - Les résultats calculés à partir des versions adaptées devraient présenter des indices comparables de cohérence interne Équivalence au niveau du construit - Les items de chaque version devraient être équivalents en termes de saturation factorielle Validité pragmatique - Concomitante/concourante (corrélation d’une mesure donnée avec une autre servant de critère et qui évalue sensiblement le même aspect); Prédictive (Lorsqu’une mesure prédit correctement un comportement ultérieur).

Question 45

Quelles sont les 5 caractéristiques des examinateurs bien formés ?

Answer 45

- Ils choisissent les tests qui conviennent à la fois au but visé et aux personnes évaluées - Ils connaissent la documentation portant sur le test choisi et les derniers développement qui le concernent - Ils sont capables d'évaluer les qualités techniques des tests - Ils sont sensibles aux conditions de passation (peuvent influencer le rendement au test) - Ils font des conclusions ou recommandations seulement après avoir considéré les résultats en relation avec les caractéristiques de la personne évaluée

Question 46

À COMPLÉTER : La valeur des tests peut être fortement contestée lorsqu'ils conduisent à des interprétations qui sont ______ à certains groupes, lorsqu’ils constituent la seule base de _______ ou lorsque les conséquences reliées au fait d’obtenir de ______ résultats sont importantes

Answer 46

hostiles décision faibles

Question 47

Selon Spearman, quel type de test serait de meilleurs mesures du facteur g ?

Answer 47

Un test qui se baserait sur des relations abstraites

Question 48

COMPLÉTER LA PHRASE : À partir de l’échantillon d’un comportement évalué par un test, on ________ le comportement qui se manifestera dans des situations autres que celle du test, d’où l’importance de respecter les directives pour la passation d’un test. Toutes les influences spécifiques à la situation du testage (pas de contrôle) entrent dans la ___________ et diminuent la _______ du test

Answer 48

généralise variance d'erreur validité

Question 49

Quelles sont les 5 règles de la section V du Code de déontologie ?

Answer 49

1. Le psychologue doit interpréter le matériel psychologique avec prudence 2. Le psychologue ne peut remettre à autrui, sauf à un autre psychologue (ou juge), les données brutes et non interprétées inhérentes à une consultation psychologique 3. Le psychologue doit éviter toute possibilité de fausse interprétation ou d'emploi erroné des informations qu'il fourni à autrui 4. Dans l'exercice de la profession , le professionnel doit tenir compte des principes scientifiques généralement reconnus en psychologie 5. Dans tout rapport psychologique, écrit ou verbal, le psychologue doit s'en tenir à son interprétation du matériel psychologique relié à la consultation, à ses conclusions et à ses recommandations

Question 50

VRAI OU FAUX ? | Les matrice de Raven sont sensibles aux différences culturelles. Elles apportent une grande variance d'erreur.

Answer 50

FAUX | Les matrices de Raven minimisent l'apport culturel par ses mesures non verbal et abstraites

Question 51

VRAI OU FAUX ? | Les matrices de Raven sont des mesures de vitesse

Answer 51

FAUX | ce sont des mesures de puissance

Question 52

Quelle est la classification des scores selon le percentile des matrices de Raven ?

Answer 52

Grade I = Intellectuellement supérieur (P95 et +) Grade II = Définitivement au-dessus de la moyenne de la capacité intellectuelle (P75 à P94) Grade III = Intellecutellement moyen (P25 à P74) Grade IV = Définitivement au-dessous de la moyenne de la capacité intellectuelle (P6 à P24) Grade V = Intellectuellement faible (P5 et -)

Question 53

VRAI OU FAUX ? | Les matrices de Raven sont sensibles du QI 65 à 135

Answer 53

VRAI

Question 54

Quelles sont les avantages des matrices de Raven ?

Answer 54

- La théorie du facteur g est une théorie bien exploré - La clientèle visée est large - Échantillons bien établies - Fidélité et validité sont bien explorées - On peut déterminer le potentiel d'apprentissage et interpréter la capacité d'observation immédiate et la clarté de raisonnement d'un sujet - Les scores les plus élevés sont associés à un potentiel plus grand

Question 55

Quels sont les inconvénients des matrices de Raven ?

Answer 55

- Pas de normes pour les francophones du Canada - Mesure seulement le potentiel intellectuel. Ne mesure pas la motivation, traits de personnalité, les obstacles et les interactions dans la vie des sujets, l'évaluation émotive de sa capacité de réussir, etc.

Question 56

COMPLÉTER LA PHRASE : Hogan, de Fruyt et Rolland (2006) concluent qu’il n’existe pas encore d’autres méthodes d’évaluation qui... Alors, en considérant les résultats obtenus à partir des calculs de fidélité et de validité, on peut dire qu’il s’agit d’un _______ outil pour l’évaluation du « ___________ » d’un individu

Answer 56

fournissent de meilleurs résultats excellent potentiel intellectuel