2e exam. 3

Question 1

Quelle est la définition générale de la validation ?

Answer 1

La validité est le degré avec lequel un test mesure ce qu’il prétend mesurer.

Question 2

Pourquoi on s’appuie sur la définition de la validation ?

Answer 2

Plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche étudier, c’est pourquoi on s’appuie plutôt sur la définition de ce concept. Cependant, nos connaissances n’étant pas absolues, il est nécessaire de procéder à la validation des instruments utilisés!

Question 3

Il faut faire attention lorsqu’on bâtit des tests pour être certain de ne bien mesurer que ce que l’on veut mesurer. Donner un exemple avec l’agressivité et la dépression.

Answer 3

Concept: agressivité
S’assurer que l’instrument se rapporte uniquement à l’agressivité, et non pas à la frustration, à la colère, à l’impulsivité, à la dangerosité, etc.

Concept: dépression
- S’assurer que l’instrument se rapporte uniquement à la dépression, et non pas à la tristesse, la solitude, l’ennui, etc.

Question 4

Quelle qualité psychométrique est la plus importante ?

Answer 4

LA VALIDITÉ EST P-E LA QUALITÉ MÉTRIQUE LA PLUS IMPORTANTE

Question 5

On ne vérifie pas la validité dans tous les contextes. Dans quels contextes l’utilise-t-on ?

Answer 5

On l’utilise seulement pour ce qu’on ne peut pas observer directement (ex: intelligence). Tout ce que je peux observer directement (de façon physique), pas besoin.

Question 6

Pourquoi ce n’est pas favorable d’observer une corrélation très forte ? (plus de 0.85)

Answer 6

parce que ça m’amène à penser que je mesure la même chose. un concept ne peut pas être COLINÉAIRE avec un autre, pcq le concept est le même, c’est juste le nom qui diffère.

Question 7

La validité ne concerne pas ___________, mais plutôt _________.

Answer 7

l’instrument de mesure lui-même, l’interprétation des résultats.

Question 8

La validité ne concerne pas l’instrument de mesure lui-même, mais plutôt l’interprétation des résultats. Expliquez

Answer 8

le processus de validation est une façon de déterminer le NIVEAU DE CONFIANCE qu’on peut avoir par rapport aux inférences qu’on fait en s’appuyant sur les résultats obtenus à un test, lesquels découlent directement des contenus (théoriques) des énoncés qui compose ce dernier.

Question 9

La validité n’est pas inhérente à l’instrument lui-même, mais plutôt au __________________.

Answer 9

CONTEXTE DE SON UTILISATION

Question 10

Pourquoi on ne peut pas dire qu’un test est valide ?

Answer 10

La validité n’est pas inhérente à l’instrument lui-même, mais plutôt au contexte de son utilisation: on ne peut pas dire qu’un test est valide:

• on peut seulement dire qu’on a démontré qu’il est valide avec telle clientèle et sous telles conditions. La validité d’un instrument est directement et uniquement lié au contexte dans lequel le processus de validation a été effectué, d’où la nécessité d’évaluer la validité de contenu d’un test pour toutes les clientèles et les contextes d’utilisation visés. L’évaluation de la validité d’un test est un processus continu d’accumulation de «preuves» ou «d’évidences» (normalement quantitatives).

Question 11

L’évaluation de la validité d’un test est un processus _____ d’ ________ de preuves ou _______ (normalement _________).

Answer 11

L’évaluation de la validité d’un test est un processus continu d’accumulation de «preuves» ou «d’évidences» (normalement quantitatives).

Question 12

Définition plus précise de la validation ?

Answer 12

Parfois considérée comme la qualité la plus importante qu’un instrument de mesure doit posséder, la validité désigne l’aptitude de cet instrument à appréhender (observer, mesurer) les aspects de la réalité pour lesquels il a été conçu, et ceux-là SEULEMENT.

Question 13

Quelle est la conséquence si l’instrument ne mesure pas SEULEMENT ce qu’il désire mesurer ?

Answer 13

Si cette condition n’est pas satisfaite (au moins jusqu’à un certain point), les données fournies par l’instrument ne devraient faire l’objet d’aucune exploitation, car elles risquent de donner lieu à des conclusions infondées et, même, carrément incorrectes.

Question 14

Vrai ou faux: un test n’est jamais valide à 100%.

Answer 14

Vrai; la validité n’est pas une affaire de «tout ou rien» (valide ou pas valide), mais plutôt une question de «degré» de validité.

Question 15

Quel est l’objectif de la validité d’un test ?

Answer 15

préciser ce que le test mesure

Question 16

Comment on vérifie la validité d’un test ?

Answer 16

analyse des liens (associations, rapports, relation) qui existent entre la performance au test (résultats) et diverses autres observations indépendantes à propos des caractéristiques comportementales;

Question 17

Dans quel manuel se retrouve les noms des méthodes pour étudier les liens entre la performance au test et des observations indépendantes des caractéristiques comportementales ?

Answer 17

« Standards for Educational and Psychological Testing »

2015

Question 18

Quelles sont les catégories des techniques destinées à recueillir les preuves de validité ?

Answer 18

Validité de contenu (contenu vs apparente): liée à la représentativité (clarté, pertinence, dimensionnalité) des items du test.

Validité pragmatique: liée à la relation du test avec un ou plusieurs critères externes (présent ou future).

Validité de construit: liée à la cohérence du test avec la théorie entourant le construit.

Question 19

Vrai ou faux: certains attributs ne sont pas mesurables, et une mesure s’applique parfois à plusieurs attributs.

Answer 19

vrai

Question 20

Quels sont les synonymes de la validation pragmastique ?

Answer 20

critériée, prédictive

Question 21

Quels sont les synonymes de la validation de construit ?

Answer 21

conceptuelle, théorique

Question 22

Pour avoir un NIVEAU de validité élevé, sur quoi dois-je avoir un contrôle ?

Answer 22

sur environnement, personnes associées à l’échantillon normatif, échantillon d’items, échantillon de personnes… si bien géré, ça augmente mon niveau de confiance, de validité.
** NIVEAU -> processus continu d’accumulation de preuves.

Question 23

Plus précisément, qu’est-ce que la validation de contenu ?

Answer 23

Cette validation désigne l’aptitude d’un instrument à appréhender les aspects de contenu pour lesquels il a été conçu, ET CEUX-LÀ SEULEMENT. Par exemple, dans le cas d’une épreuve de connaissance ayant pour but de vérifier la maîtrise dans tel domaine d’apprentissage, il faut s’assurer que les contenus des items utilisés contribuent tous à évaluer un aspect significatif (ou dimension) de ce domaine; en d’autres termes, qu’ils forment un ÉCHANTILLON REPRÉSENTATIF DE TOUS LES ITEMS (qui représentent les contenus) auxquels on aurait théoriquement pu avoir recours pour réaliser une telle opération.

Question 24

À quel moment examine-t-on la validation de contenu ?

Answer 24

lors de la construction de l’instrument de mesure (choix des items)

Question 25

Comment juge-t-on de la validité de contenu ?

Answer 25

Ce type de validité est généralement estimé par la méthode des «juges experts». Les experts sont des personnes qui ont une bonne connaissance du concept à mesurer ou qui ont une expertise dans l’élaboration d’instrument de mesure. Ces derniers sont invités à se prononcer sur le contenu des énoncés, soit sur leur clarté, leur représentativité, l’exhaustivité et la pertinence de l’outil dans son ensemble.

Question 26

Attention: il ne faut pas confondre validité de contenu et validité apparente. Quelle est la différence ?

Answer 26

La validité apparente ne constitue pas, au sens strict, un type de validité; elle ne correspond pas à ce que le test mesure de fait, mais à ce qu’il semble superficiellement mesurer.
On se demande tout simplement si le test a l’air valide, par exemple: la généralisation à des populations d’adultes de tests initialement conçus pour des enfants et mis au point en milieu scolaire suscita fréquemment des critiques et de résistances à cause de leur manque de validité apparente.

Bref apparente = pas vraiment de procédure statistique, j’“habille” le test avec des éléments plus connus des participants.

Question 27

Qu’a apporté Balbinoti (2015) ?

Answer 27

Balbinotti (2015) attira l’attention sur la manque (presque totale) de recherches à propos de la validité apparente des tests, alors que ce facteur contribue probablement de façon substantielle aux préjugés qui circulent à l’égard des tests.

Question 28

Comment peut-on améliorer la validité apparente ?

Answer 28

Il est souvent possible d’améliorer la validité apparente en reformulant les items du test en de termes qui paraîtront plus pertinents et plausibles dans le milieu particulier où le test sera utilisé. Si l’on administre un test d’arithmétique simple à des machinistes, il vaut mieux rédiger les items en faisant explicitement référence à ce milieu de travail.

Question 29

Précisement, qu’est-ce que la validation pragmatique ?

Answer 29

Cette validation désigne l’aptitude d’un instrument (conçu par exemple dans une perspective d’évaluation pronostique) à prédire (de manière aussi précise que possible) le niveau de réussite, d’adaptation, d’intégration, etc., d’un ensemble d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement.

*** Un exemple très classique est celui qui concerne l’évaluation effectuée au début d’un cours de formation pour estimer la probabilité («les chances») qu’un candidat suive avec plus de succès ou avec moins de succès le programme auquel il sera confronté.

PRÉDICTION -> pas dans le sens de causalité, mais dans le sens de régression.

Question 30

Quelle est la méthode la plus simple pour évaluer la validité pragmatique ?

Answer 30

Pour évaluer la validité pragmatique d’un instrument, la procédure la plus simple (techniquement parlant, car, sur le plan de l’application plusieurs difficultés peuvent parfois se présenter) consiste à étudier la corrélation (ou comparaison de moyenne – moins robuste) entre les résultats obtenus par un même groupe d’individus à deux moments différents (par exemple au début et à la fin d’un programme de formation ou d’un cycle d’études). Dans cette perspective on peut avoir recours à une méthode issue de l’approche corrélationnelle (l’analyse de régression), dont un des objectifs est précisément de prédire la situation future d’un individu sur la base d’éléments qui caractérisent sa situation présente.

RÉGRESSION -> dérivation d’une matrice de corrélations. Quand régression, on ne parle plus de corrélation de Pearson, mais de corrélation multiple (R plutôt que r)
R2 = % de variance prédite

Question 31

Que signifie évaluer la qualité d’un instrument avec la validation pragmatique ?

Answer 31

Évaluer cette qualité d’un instrument signifie précisément déterminer dans quelle mesure les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (pourcentage de variance prédite ou «expliquée»).

Question 32

Comment on fait la validation pragmatique ?

Answer 32

La validation pragmatique représente la relation entre un instrument (instrument cible) et un autre instrument (instrument critère) mesurant le même phénomène. On veut donc savoir si un test qui mesure une caractéristique X est corrélé avec tout autre CRITÈRE qui mesure la même caractéristique ou une caractéristique voisine. On s’attend donc à ce que le test à valider et le critère partage une partie importante de variance commune.

Question 33

Quels sont les deux types de validité pragmatique ?

Answer 33

Validité concomitante/concourante: on détermine le degré de corrélation entre les score obtenus au test et les scores obtenus à une mesure de référence (administration du test et de la mesure du critère pratiquement en MÊME TEMPS);

Validité prédictive: on évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère SÉPARÉE D’UN LAPS DE TEMPS important, le test étant administré en premier);

Question 34

Quelles sont les précautions à prendre avec la validité pragmatique/prédictive ?

Answer 34

On ne peut utiliser les résultats obtenus via le test cible, au risque d’influencer le cours des choses.
Exemple: capacité d’un test d’admission à prédire la réussite à un programme d’étude contingenté (si on ne choisi que ceux qui ont obtenu un résultat élevé au test, alors lorsqu’on va comparer ces résultats, dans 4 ans, à la réussite des étudiants, on n’aura que les meilleurs à comparer. On ne pourra pas savoir comment se sont débrouillé les étudiants qui ont moins bien performé au test d’admission, car ils n’auront jamais eu la chance de faire le programme).

Question 35

Qu’est-ce que la validité de construit ?

Answer 35

La validité de construit se défini comme étant la justesse avec laquelle un instrument de mesure permet d’obtenir des résultats conformes aux construits définis par son CONTEXTE THÉORIQUE; elle indique dans quelle mesure les énoncés d’un instrument sont cohérents avec la théorie et les concepts, définis de façon opérationnelle.

Question 36

Dans de nombreuses situations en psycho, on cherche à étudier des entités hypothétiques. C’est quoi ?

Answer 36

Construits qui résultent d’une élaboration psycho-sociale et théorique: intelligence, aptitudes, personnalité, connaissances, compétences, capacités et habiletés diverses, motivation, intérêt, attitudes.

Les construits sont considérés des «mini-théories» qui expliquent la relation entre différents concepts, que ce soient des comportements, attitudes… On les appelle aussi des «facteurs» (dimensions, composantes) et ils viennent en fait expliquer les corrélations qu’on observe entre différentes variables.

Question 37

Les entités hypothétiques ne sont PAS DIRECTEMENT ACCESSIBLES À L’OBSERVATION. Que fait-on alors ?

Answer 37

Il est possible de les étudier uniquement à partir des manifestations qu’elles sont censées produire ou rendre possibles (généralement des comportements).

Question 38

Comment évaluent-t-on la validité de construit ?

Answer 38

La façon la plus usuelle de calculer la validité de construit est d’avoir recours à une méthode issue de l’approche corrélationnelle (***analyse multitrait-multiméthode et l’analyse factorielle), dont un des objectifs est précisément de démontrer la pertinence (relation, association) D’UN ITEM PAR RAPPORT À SA PROPRE DIMENSION THÉORIQUE (AF).

Question 39

Qu’est-ce que l’analyse multitrait-multiméthode ?

Answer 39

Matrice de corrélation entre les résultats obtenus à différents tests: illustre à la fois la validité convergente et la validité discriminante;
On s’attend à ce que la plus forte corrélation soit trouvé pour même trait-même méthode; et la plus petite corrélation pour traits différents-méthode différente;

Il y a toujours deux temps à la méthode multitrait-multiméthode, qui sont représentés par les axes des abscisses (x) et des ordonnées (y)
Exemples de traits (A,B,C):
Dépression (A), tristesse (B), désespoir (C)
Exemples de méthodes (1,2,3):
Observation directe (Méthode 1), questionnaire papier (Méthode 2), entrevue semi-structurée (Méthode 3)

Question 40

Quelle est la limite de l’analyse multitrait-multiméthode ?

Answer 40

demande beaucoup de temps de la part des sujets (faire plusieurs tests…) + difficulté à trouver des tests qui évaluent les mêmes traits

Question 41

Validation de construit - Comment fonctionne l’analyse factorielle ?

Answer 41

Le rationnel de l’analyse factorielle est de projeter 3 (ou plus) variables qui sont fortement corrélées entre elles sur une nouvelle variable qui retient l’essentiel de la variance commune. Cette nouvelle variable représente le facteur.

Question 42

À quelles questions l’analyse factorielle répond ?

Answer 42

(1) Combien de facteurs l’analyse nous propose?
(2) Quel est le pourcentage d’explication de la variance?
(3) Est-ce que tous les items sont valides par la biais de la validation de construit ou y a-t-il des items nécessitant une reformulation?

Question 43

Quels sont les 2 types de validité de construit ?

Answer 43

• Validité convergente: Vérifier à quel point est-ce que l’échelle est reliée à des variables et des mesures du même construit. En ce sens, l’outil devrait corréler avec les autres outils qui évaluent des construits identiques ou très similaire
• Validité discriminante: Vérifier à quel point l’échelle s’écarte de variables et de mesures de construits différents. En ce sens, l’outil ne devrait pas corréler avec des construits indépendants de celui qu’il évalue.

Question 44

le résultat du processus de validation de construit n’amène pas à un indice statistique unique mais bien à _______ qui doivent être interprétés en lien avec _______________________________.

Answer 44

plusieurs résultats, les éléments théoriques sur lesquels le test se base

Question 45

La validité de construit d’un instrument sera plus facilement mesurable si la théorie utilisée est _______ et _______.

Answer 45

explicite, bien définie.

Question 46

Quels sont les trois éléments de la validité de contenu ?

Answer 46

• clarté du langage
• pertinence
• dimensionnalité

Question 47

V ou F: les construits sont des concepts MESURÉS

Answer 47

Vrai

Question 48

Quels peuvent être les biais des juges spécialistes ?

Answer 48

opinions, quelqu’un de a même “cosanguinité intellectulle” (ami, même parcours, même uni…)

Question 49

Qu’Est-ce que la cocommitance ?

Answer 49

Je trouve QI et % en même temps (par exemple)

Question 50

Quelle précaution faut-il prendre avant de faire calcule de validité de construit ?

Answer 50

je ne dois pas faire mes coupures avant mon critère ! ex: capacité à être au doc -> on fait la coupure avant que les gens entrent au doc. Donc il faut bcp réfléchir avant de trouver un critère !

Question 51

V ou F: Au début, l’intelligence était une entité hypothétique

Answer 51

Vrai