examen 3

Question 1

Angoff (1988) souligne que même si le concept de psychométrie a changé, l’importance que lui accordent les psychométriciens est, quant à elle, restée ______.

Answer 1

constante

Question 2

En psychométrie, la validité a toujours été considérée comme le concept le plus _______ et le plus important.

Answer 2

fondamental

Question 3

Pour les concepteurs comme pour les praticiens, l’essentiel est en effet d’être assuré de _______ ce qu’ils veulent _______, et uniquement cela.

Answer 3

mesurer, mesurer

Question 4

Vrai ou faux
Avant de diffuser un test, les constructeurs ont le devoir de présenter des preuves suffisantes que leur instrument mesure bien ce qu’il prétend mesurer.

Answer 4

vrai

Question 5

Au début des années ____, la validité était envisagée de manière relativement morcelée. Les technical recommandations de l’APA se limitaient à codifier des types de validité (de contenu, prédictive, concomitante et conceptuelle).

Answer 5

1950

Question 6

Qu’est-ce qui a changé en 1985 a propos de la validité dans les Standards for educational and psychological testing?

Answer 6

la validité est présentée comme un concept unitaire se rapportant non au test lui-même, mais aux inférences faites à partir des résultats de celui-ci.

Question 7

Vrai ou faux

En 1985, les auteurs soulignent qu’il est incorrect de parler de la validité d’un test en général.

Answer 7

vrai

Question 8

Quelles sont les 3 grandes catégories de preuves de validité d’un test en 1985?

Answer 8

le contenu du test, les critères externes ou le modèle/concept sur la base duquel le test a été construit

Question 9

Après les standards en 1985, qui va jouer un rôle important en défendant avec force la nécessité d’intégrer l’ensemble des preuves de validité sur la base d’une notion unificatrice.

Answer 9

Messick (1988,1989,1995)

Question 10

Par conséquent, lorsque l’on évaluer la validité des inférences faites à partir des scores à un test, il est fondamental de se référer au _____ ________ sur la base duquel le test ayant servie à récolter ces scores a été construit.

Answer 10

cadre conceptuel

Question 11

Vrai ou faux

C’est par rapport au cadre conceptuel que les preuves de validité seront sélectionnées et perdront de la valeur.

Answer 11

faux, prendront de la valeur

Question 12

La version de ____, des standards for educational and psychological testing souligne que, logiquement, le point de départ de la procédure de validation est une définition détaillée du cadre conceptuel du test.

Answer 12

1999

Question 13

Vrai ou faux

Le cadre conceptuel est, pour une part, défini par l’usage prévu des scores au test.

Answer 13

vrai

Question 14

Une variable qui ne fait pas partie du cadre conceptuel initial vient introduire une source de variation ___ _______ dans les résultats.

Answer 14

non pertinente

Question 15

Nomme une autre situation problématique en lien avec le cadre conceptuel?

Answer 15

Lorsque le test n’offre pas une représentation suffisamment complète du cadre conceptuel

Question 16

la validation est la responsabilité de qui?

Answer 16

des concepteurs et des utilisateurs.

Question 17

Quelles sont les 5 catégories de preuves de validité?

Answer 17

1. le contenu
2. les processus de réponse
3. la structure interne
4. les relations avec d’autres variables
5. les conséquences du testing

Question 18

quelles sont les caractéristiques de la validité basée sur le contenu?

Answer 18

évaluation formalisée par des experts de l’ensemble des caractéristiques des items en référence à ce que le test prétend mesurer.

Question 19

quelles sont les caractéristiques de la validité basée sur les processus de réponse?

Answer 19

évaluation de l’adéquation entre les caractéristiques visées par le test et de celles qui sont effectivement mises en oeuvre par les répondants.

Question 20

quelles sont les caractéristiques de la validité basée sur la structure interne?

Answer 20

évaluation du degré de relation entre les items et les composantes du test définies par le modèle de référence.

Question 21

quelles sont les caractéristiques de la validité basée sur les relations avec d’autres variables?

Answer 21

évaluation du degré de liaison avec des scores au test avec d’autres mesures externes au test.

Question 22

quelles sont les caractéristiques de la validité basée sur les conséquences du testing?

Answer 22

évaluation des conséquences non souhaitées de l’application du test et de l’utilisation des scores.

Question 23

Vrai ou faux

Les preuves de validité basées sur le contenu ne concernent uniquement la formulation des items.

Answer 23

faux, aussi leur format et les consignes de passation et de cotation.

Question 24

Vrai ou faux

La validité basées sur le contenu est pour une part, subjective.

Answer 24

vrai

Question 25

Quelle est la différence entre la validation sur la base du contenu et la validité apparente?

Answer 25

La validité apparente ne se base que sur une évaluation de surface des items. Les juges chargés de l’évaluation ne sont pas des experts et n’utilisent pas de méthodologie particulière pour effectuer leur travail. Ils se contentent de vérifier si les items ont l’air de mesurer ce qu’ils prétendent mesurer.

Question 26

De quelle manière, selon Anastasi, la valaditié apparente peut-être utile?

Answer 26

pour mettre au point des instruments destinés à un large public (ex: tests d’admission).

Question 27

Qui suis-je?
Je suis un exemple de test basée sur un modèle complexe qui motive le calcul de plusieurs scores composites et d’un score global pour l’ensemble du test.

Answer 27

Les échelles d’intelligence de Wechsler.

Question 28

Quelles techniques (2) sont les plus souvent utilisées pour évaluer la validité basées sur la structure interne du test?

Answer 28

l’analyse factorielle et les modèles structuraux d’équations.

Question 29

Qu’est-ce qu’une preuve de convergence dans la validité basée sur les relations avec d’autres variables?

Answer 29

Lorsque les critères sont des mesures d’une réalité similaire à celle visée par le test.

Question 30

Qu’est-ce qu’une preuve de divergence dans la validité basée sur les relations avec d’autres variables?

Answer 30

Comparer les scores au test à des mesures d’un concept différent, mais voisin. Le but est de vérifier que le test mesure la variance associée au concept visé et non la variance de caractéristiques proches, mais non pertinentes.

Question 31

Qu’est-ce que la validité concomitante?

Answer 31

les deux séries de mesures sont récoltées simultanément.

Question 32

Qu’est-ce qu’une étude prédictive?

Answer 32

les mesures au test servent à prédire des résultats qui seront obtenus ultérieurement.

Question 33

Les preuves de validité basées sur les relations avec d’autres variables soulèvent la questions de leur __________.

Answer 33

généralisation

Question 34

Quelle catégorie de preuve suis-je? Messick a joué un grand rôle dans la promotion de cette catégorie de preuves en soulignant que le concept traditionnel de validité ne prenait pas en compte les conséquences de l’usage des test.

Answer 34

les preuves basées sur les conséquences du testing.

Question 35

Qui a dit ça: la personne qui réalise le testing et celle qui utilise les scores ont la responsabilité de fournir des preuves de validité du testing.

Answer 35

Angoff

Question 36

Que veut dire HPS?

Answer 36

Heures de prestation de service

Question 37

Que veut dire HAP?

Answer 37

Heures d’activités professionnelles

Question 38

Que suggère Green pour réduire la difficulté de la tâche des constructeurs de tests par rapport aux conséquences de l’utilisation des instruments qu’ils produisent.

Answer 38

Il suggère de mettre en place une coopération à grande échelle afin de tenter de généraliser des résultats recueillis dans des contextes particuliers.

Question 39

Vrai ou faux

Trop souvent, les preuves basées sur le contenu se focalisent sur les seuls items.

Answer 39

vrai

Question 40

Quelles sont les autres composantes qui sont importantes dans la validité basée sur le contenu?

Answer 40

les instructions données aux sujets, les modalités de présentation des stimuli, les contraintes de temps, les modalités de réponse et les critères de cotation

Question 41

Pourquoi dit on que les preuves de validité récoltées lors de l’évaluation du contenu d’un test sont conditionnelles?

Answer 41

elles dépendent de la définition du concept visé, laquelle est toujours relative au lieu et au moment.

Question 42

Vrai ou faux

Les preuves de validité ne dépendent pas de la population visée par le test.

Answer 42

faux, ils dépendent.

Question 43

Quelles sont les 7 principes de base pour rassembler des preuves de validité basées sur le contenu d’un test?

Answer 43

1. définir le domaine et les facettes
2. avoir un échantillon d’expert de de membre de la population de référence
3. soumettre les composantes à une étude de validité
4. utiliser plusieurs experts pour évaluer la validité et quantifier leurs jugements
5. examiner la représentation proportionnelle des items
6. présenter les preuves de validité lors de la publication
7. prendre en compte les analyse psychométriques ultérieures

Question 44

Vrai ou faux

Une preuve de validité pour les uns peut être considérée comme une preuve de biais pour les autres.

Answer 44

vrai

Question 45

Vrai ou faux

Les preuves de validité sont toujours définitive.

Answer 45

faux, une révision périodique des preuves de validité est nécessaire.

Question 46

Le degré de concordance (ou de fidélité) entre les juges peut être évalué par trois indicateurs, lesquels?

Answer 46

1. la variance de jugement
2. la concordance des jugements
3. la cohérence interne des jugements

Question 47

Qu’est-ce que la variance des jugements?

Answer 47

lorsque celle-ci est faible, les juges ont tendance à attribuer la même cote à un même item.

Question 48

Qu’est-ce que la concordance des jugements?

Answer 48

les juges ont tendance à ordonner de la même manière les items selon leur degré de congruence avec la facette à mesurer.

Question 49

Qu’est-ce que la cohérence interne des jugements?

Answer 49

les juges sont consistants dans leur manière d’évaluer les items par rapport aux autres juges. Un juge sévère demeure sévère pour tous les items.

Question 50

Vrai ou faux

Il suffit qu’un item reçoive une évaluation moyenne élevée pour juger de sa pertinence.

Answer 50

Faux, cette évaluation doit aussi être la même pour un grand nombre de juges.

Question 51

L’évaluation de la concordance des jugements est un moyen de vérifier la _______ des jugements des experts appelés à se prononcer sur les preuves de validité basées sur le contenu des items.

Answer 51

fidélité

Question 52

Le coefficient W de Kendall (1948) permet de faire quoi?

Answer 52

mesurer le degré de concordance entre plusieurs juges.

Question 53

Quelle est la mesure alternative de l’accord entre les juges?

Answer 53

Le coefficient K (kappa) de Cohen. Il postule que les données sont nominales.

Question 54

Quand utilise-t-on le Kappa de Cohen?

Answer 54

lorsque la tâche demandée aux juges est un classement des items dans des catégories.

Question 55

Le coefficient K prend en compte le nombre de fois où les juges sont d’accord, mais prend également en compte le nombre d’accord qu’il serait possible d’obtenir au ______.

Answer 55

hasard

Question 56

Vrai ou faux
Le coefficient Kappa est plus exigeant que la plupart des autres indices de concordance et sera habituellement plus faible que ceux-ci.

Answer 56

vrai

Question 57

L’évaluation de la dispersion, de la concordance inter-juges et de la cohérence interne nous fournissent des indices différents, mais __________, du degré de confiance que l’on peut avoir dans l’évaluation de la validité de contenu d’un test par un groupe de juges.

Answer 57

complémentaires

Question 58

Les items les plus valides seront ceux pour lesquels les juges auront manifesté le ______ de dispersion dans leurs appréciations, la _____ grande concordance dans leurs classements respectifs et la ______ constance entre les items du même type.

Answer 58

moins, plus, meilleure

Question 59

Si un test mesure une caractéristique particulière, ses scores devraient être bien corrélés avec tout critère mesurant la même caractéristique ou une caractéristique voisine, et _______ corrélés avec tout critère mesurant des caractéristiques différentes.

Answer 59

faiblement

Question 60

Pour démontrer la validité des résultats d’un test, le constructeur peut faire appel à deux types de critère, lesquels?

Answer 60

1. la validité concomitante

2. la validité prédictive

Question 61

Vrai ou faux
Le choix et la mesure du bon critère peuvent être des tâches tout aussi problématique que la construction d’un instrument de mesure lui-même.

Answer 61

vrai

Question 62

La ________ opérationnelle du critère est l’une des plus importante considérations pratiques dans l’estimation de la validité liée à un critère externe.

Answer 62

définition

Question 63

Qui a inventé la matrice multi-trait multi-méthode?

Answer 63

Campbell et Fiske (1959)

Question 64

Qu’est-ce que la matrice multi-trait multi-méthode?

Answer 64

une matrice de corrélations entre résultats à des tests différents par ce qu’ils mesurent (multi-trait) et par la façon dont ils le mesurent (multi-méthode).

Question 65

Vrai ou faux
Selon la méthode de la matrice m-m m-m, la corrélation la moins forte devrait être obtenue entre deux tests mesurant le même trait avec la même méthode.

Answer 65

faux, la plus forte

Question 66

Quelle corrélation devrait être sensiblement plus faible selon la matrice?

Answer 66

le même trait par des méthodes différentes

Question 67

Quelle corrélation devrait être nettement plus faible selon la matrice?

Answer 67

traits différents par la même méthode.

Question 68

Les corrélations sous la diagonale de chacune des parties de la matrice multi-trait multi-méthode fournissent les coefficients de validité _______.

Answer 68

discriminante

Question 69

Quelles sont les 3 problèmes d’estimation de la validité liés au calcul des corrélations?

Answer 69

1. effet de la grandeur de l’échantillon
2. effet de la réduction de l’étendue
3. Effet de la fidélité du prédicteur et du critère

Question 70

Qu’est-ce que l’effet de la grandeur de l’échantillon?

Answer 70

La probabilité d’obtenir une valeur stable de validité s’accroît, lorsque celle-ci est calculée à partir d’un nombre suffisamment grand de résultats.

Question 71

Schmidt, Hunter et Urry (1976) ont démontré qu’avec des échantillon de 200 sujets et plus, la valeur calculée de la validité était celle de la population dans __% des cas.

Answer 71

90

Question 72

Sauf s’il existe une très forte relation entre le prédicteur et le critère, il est par conséquent préférable d’effectuer une étude de validité avec un _____ nombre de sujets.

Answer 72

grand

Question 73

Que faut-il faire s’il est difficile d’effectuer une étude de validité avec de grands échantillons?

Answer 73

il faut réaliser plusieurs études de validité afin de voir si la corrélation entre le prédicteur et le critère se généralise à un ensemble de situations semblables (contre-validation ou validation croisée).

Question 74

Qu’est-ce que l’effet de réduction de l’étendue?

Answer 74

Puisque l’estimation de la validité repose très souvent sur le calcul des corrélations, la réduction de l’étendue a les mêmes effets que lors de l’estimation de la corrélation.

Question 75

La réduction de l’étendue peut survenir dans trois cas particulier d’études de validité, lesquels?

Answer 75

1. le test est utilisé pour des fins de sélection
2. le test prédicteur est corrélé avec une variable intervenant dans la sélection des sujets
3. le test prédicteur peut être trop facile ou trop difficile.

Question 76

Qu’est-ce que l’effet de la fidélité du prédicteur et du critère?

Answer 76

Lorsque nous calculons la validité des résultats à un test, nous réalisons nos calculs sur les valeurs observées du prédicteur et du critère. Ces valeurs sont imprécises, à moins qu’elles n’aient une fidélité parfaite. Considérant qu’une partie des valeurs observées est constituée d’erreurs aléatoires, il est normal que nous tenions compte de cette erreur dans le calcul des corrélations.

Question 77

Si l’on souhaite estimer la validité, non pas à partir des scores observés, mais à partir des scores vrais, il est nécessaire d’effectuer la correction dite d’_______.

Answer 77

atténuation.

Question 78

La valeur de _.__ est le coefficient maximum de corrélation que nous pourrions obtenir entre les scores observés au prédicteur et au critère en postulant qu’il n’y a aucune erreur de mesure.

Answer 78

0.73

Question 79

Vrai ou faux

La validité conceptuelle est donc au coeur du problème de l’opérationnalisation des variables.

Answer 79

vrai

Question 80

Le modèle théorique qui sous-tend la structure du test nous permet de formuler des hypothèses à propos des relations que nous devrions observer entre, d’une part, les scores aux items et d’autre part, les scores composites. Lorsque ces hypothèses ne sont pas confirmées par les résultats au test, deux interprétations sont possibles, lesquels?

Answer 80

1. l’instrument de mesure est une bonne opérationnalisation du modèle, mais ce dernier n’est pas pertinent.
2. le modèle théorique est valide, mais l’instrument en est une mauvaise opérationnalisation.

Question 81

Guttman (1950) propose de considérer que les résultats d’un test sont hiérarchiques lorsque moins de __% des résultats ne sont pas reproductibles.

Answer 81

10

Question 82

Qu’est-ce que l’analyse factorielle?

Answer 82

c’est une méthode pour apporter des preuves de validité sur la base de la structure interne d’un test. Elle permet de mettre en évidence les relations entre les caractéristiques mesurées, mais non directement observables et les scores observés aux items ou aux échelles qui constituent le test.

Question 83

Lorsque nous ne disposons pas a priori d’un modèle des caractéristiques mentales sous-jacentes au test, l’analyse factorielle permet de suggérer un certain nombre de traits et leurs relations avec les scores observés, comment appelle-t-on ce type d’analyse factorielle?

Answer 83

exploratoire

Question 84

Lorsque nous partons d’un modèle des caractéristiques mesurées et que nous vérifions au moyen de l’analyse factorielle son ajustement avec les scores observés, celle-ci est qualifiée de….

Answer 84

confirmatoire

Question 85

Pour des raisons d’homogénéité des résultats, le constructeur de test préfère se retrouver dans la situation où son test mesure un nombre limité de variables __________ les unes des autres.

Answer 85

indépendantes.

Question 86

Toute démarche d’analyse factorielle s’appuie sur deux postulats de base, lesquels?

Answer 86

1. le postulat de causalité factorielle

2. le postulat de parcimonie

Question 87

Qu’est-ce que le postulat de causalité factorielle?

Answer 87

les variables observées sont des combinaisons linéaires de variables causales sous-jacentes.

Question 88

Qu’est-ce que le postulat de parcimonie?

Answer 88

entre deux solutions factorielles, nous devons choisir la plus simple.

Question 89

Hormis les problèmes d’interprétation, l’analyse factorielle soulève plusieurs questions méthodologiques relatives aux conditions de son application, lesquels?

Answer 89

1. la taille de l’échantillon
2. la normalité
3. la linéarité

Question 90

Le développement dans les années ____ de logiciels comme LISREL et EQS a rendu possible un usage aisé des modèles structuraux d’équations (MSE) comme méthode statistique permettant d’apporter des preuves de validité.

Answer 90

1980

Question 91

Vrai ou faux

Les modèles structuraux d’équations tendent aujourd’hui à supplanter les analyses factorielles classiques.

Answer 91

vrai

Question 92

Qu’est-ce que le khi carré?

Answer 92

le khi carré est un indice d’ajustement qui mesure la différence entre la matrice de covariance déterminée sur la base des résultats des personnes évaluées et la matrice de covariance prédite sur la base du modèle.

Question 93

Vrai ou faux

Le khi carré est un indice de bon ajustement.

Answer 93

faux, de mauvais, plus sa valeur est petite, meilleur est l’ajustement.

Question 94

Vrai ou faux

Le khi carré est très sensible à la taille de l’échantillon.

Answer 94

vrai

Question 95

Un khi carré non significatif (p plus petit que 0,05) signifie que l’écart entre la matrice de covariance observée et la matrice prédite est statistiquement non significatif, ce qui indique un ___ ajustement des résultats récoltés avec le test au modèle théorique.

Answer 95

bon

Question 96

Vrai ou faux

Le khi carré est pénalisé par le manque de parcimonie.

Answer 96

faux

Question 97

Plus le modèle est complexe, ______ est l’ajustement et la valeur du khi carré.

Answer 97

meilleur

Question 98

Vrai ou faux
Nous ne pouvons pas écarter que la validité des inférences faites à partir des scores à un test puisse varier au sein d’une même population selon le groupe d’appartenance des sujets évalués.

Answer 98

vrai

Question 99

Qu’est-ce que l’étude de validité différentielle?

Answer 99

évaluer la validité des inférences faites sur la base des scores à un test non seulement pour les différents usages que nous souhaitons faire de ce dernier, mais aussi pour différents groupes de la population auxquels nous aurons l’occasion de l’appliquer.

Question 100

Un biais existe lorsqu’une _______ de validité des inférences faites sur la base des scores au test est observé entre certains groupes de la population.

Answer 100

différence

Question 101

C’est l’________ de différence observée qui devrait poser problème et mettre en doute la qualité d’un test, et non l’inverse.

Answer 101

absence.

Question 102

En quoi consiste l’évaluation de la validité différentielle du contenu?

Answer 102

à vérifier si, au sein de chacun des groupes, le contenu des items est approprié pour mesurer la réalité souhaitée.