Examen 3 (2) Flashcards
De quoi s’agit-il ? Degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement!
Validité
Vrai ou faux ? Plusieurs instruments de mesure ne permettent pas d’ observer directement le concept qu’on cherche étudier alors, il est nécessaire de procéder au processus de validation!
Vrai
La validité ne concerne pas l’instrument de mesure lui
même, mais plutôt…
l’interprétation des résultats
Vrai ou faux? Le processus de validation est une façon de déterminer le niveau de confiance qu’on peut avoir par rapport aux inférences qu’on fait en s’appuyant sur les résultats obtenus à un test
Vrai
Vrai ou faux? La validité n’est pas inhérente à l’instrument lui même, mais plutôt au contexte de son utilisation on ne peut pas dire qu’un test est valide
Vrai
Vrai ou faux? On peut seulement dire que test est valide avec telle clientèle et sous telles conditions. La validité d’un instrument est directement et uniquement lié au contexte dans lequel le processus de validation a été effectué
Vrai
Vrai ou faux? L’évaluation de la validité d’un test est un processus continu d’accumulation de « preuves » ou « d’évidences » (normalement quantitatives)
Vrai
Vrai ou faux? La validité est plutôt une question de “degré” de validité
Vrai
Quelles sont les trois grandes catégories des techniques destinées à recueillir des preuves de validité du «Standards for Educational and Psychological Testing» (2015)
1 Validation de contenu (contenu vs. apparente)
2 Validation pragmatique (critériée, prédictive)
3 Validation de construit (conceptuelle, théorique)
De quelle type de validation est-il question ? Cette
validation désigne l’aptitude d’un instrument à appréhender les aspects de contenu pour lesquels il a été conçu, et ceux là seulement
Validation de contenu
L’exemple suivant est un exemple de quelle type de validation? Par exemple, dans le cas d’une épreuve de connaissance ayant pour but de vérifier la maîtrise dans tel domaine d’apprentissage, il faut s’assurer que les contenus des items utilisés contribuent tous à évaluer un aspect significatif (ou dimension) de ce domaine en d’autres termes, qu’ils forment un échantillon important de tous les items (qui représentent les contenus)
Validation de contenu
Vrai ou faux? Dans la validation de contenu on
veillera également à ce que les contenus de ces
items ne fassent pas appel à des caractéristiques que
l’on souhaite explicitement ne pas solliciter!
Vrai
De quelle type de validation est-il question? Généralement
on examine ce type de validité lors de la construction de l’instrument de mesure (choix des items)
Validation de contenu
Par quelle méthode, la validation de contenu est-elle généralement estimé ?
Par la méthode des “juges experts”
Dans le cas de validation de contenu, que signifie “juges experts”?
Personnes qui ont une bonne connaissance du concept mesurer ou qui ont une expertise dans l’élaboration d’instrument de mesure.
Vrai ou faux? Dans le cas de validation de contenu, les “juges experts” sont invités à se prononcer sur le contenu des énoncés, soit sur leur clarté, leur représentativité, l’exhaustivité, dimensionnalité et la pertinence de l’outil dans son ensemble
Vrai
Vrai ou faux? La validation pragmatique désigne l’aptitude d’un instrument (conçu par exemple dans une perspective d’évaluation pronostique) à prédire (de manière aussi précise que possible) le niveau de réussite, d’adaptation, d’intégration, etc d’un ensemble d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement
Vrai
L’évaluation du QI et du succès professionnel est un bon exemple de …
Validation pragmatique
Quelle est la procédure la plus simple pour
évaluer la validité pragmatique d’un instrument?
Étudier la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents.
Vrai ou faux? Pour évaluer la validité pragmatique d’un instrument on peut avoir recours à une méthode issue de l’approche corrélationnelle (l’analyse de régression), dont un des objectifs est précisément de prédire la situation future d’un individu sur la base d’éléments qui caractérisent sa situation présente
Vrai
De quelle type de validation est-il question? Évaluer
cette qualité d’un instrument signifie précisément déterminer dans quelle mesure les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (pourcentage de variance prédite ou « expliquée »)
La validation pragmatique
Quels sont les deux types de validité pragmatiques?
1 Validité concomitante/concourante
2 Validité prédictive
De quel type de validité est-il question? on détermine le degré de corrélation entre les score obtenus au test et les scores obtenus à une mesure de référence (administration du test et de la mesure du critère pratiquement en même temps)
Validité concomitante/concourante
De quel type de validité est-il question? On évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier)
Validité prédictive
Vrai ou faux? La
validité de construit se défini comme étant la justesse avec laquelle un instrument de mesure permet d’obtenir des résultats conformes aux construits définis par son contexte théorique
Vrai
De quel type de validité est-il question? Indique dans quelle mesure les énoncés d’un instrument sont cohérents avec la théorie et les concepts, définis de façon opérationnelle
Validation de construit
Nommez-moi de exemple d’entités hypothétiques (résultat d’une élaboration psycho sociale et théorique)
- Intelligence
- Aptitudes
- Personnalité
- Connaissances
- Compétences
- Capacités
- Habiletés
Quel est l’autre nom que l’on donne aux entités hypothétiques?
Construits
Vrai ou faux? Les entités hypothétiques (construits) ne sont pas directement accessibles à l’observation et à la mesure.
Vrai
Vrai ou faux? Les
construits sont considérés des « mini théories » qui expliquent la relation entre différents concepts, que ce soient des comportements, attitudes On les appelle aussi des « facteurs » dimensions composantes et ils viennent en fait expliquer les corrélations qu’on observe entre différentes variables
Vrai
Quelle est la façon la plus usuelle de calculer la validité de construit?
L’approche corrélationnelle (analyse multitrait-multiméthode et l’analyse factorielle)
Vrai ou faux? un des
objectifs de l’approche corrélationnelle dans la validation de construit est de démontrer la pertinence (relation, association) d’un item par rapport à sa propre dimension théorique (AF)
Vrai
De quel type d’analyse est-il question? Matrice de corrélation entre les résultats obtenus à différents tests: illustre à la fois la validité convergente et la validité discriminante
L’analyse multitrait-multiméthode
Vrai ou faux? Dans l’analyse multitrait-multiméthode, on s’attend à ce que la plus forte corrélation soit trouvé pour même trait-même méthode; et la plus petite corrélation pour traits différents-méthode différente
Vrai
Vrai ou faux? Deux des limite de l’analyse multitrait-multiméthode est que 1 ça demande beaucoup de temps de la part des sujets (faire plusieurs tests) et 2 difficulté à trouver des tests qui évaluent les mêmes traits
Vrai
Vrai ou faux? Il y a toujours deux temps à la méthode multitrait-multiméthode qui sont représentés par les axes des abscisses et des ordonnées
Vrai
De quel type d’analyse est-il question? Le rationnel de cette analyse est de est de projeter 3 (ou plus) variables qui sont fortement corrélées entre elles sur une nouvelle variable qui retient l’essentiel de la variance commune Cette nouvelle variable représente le facteur
L’analyse factorielle
De quoi s’agit-il ?
1 Combien de facteurs l’analyse nous propose?
2 Quel est le pourcentage d’explication de la variance?
3 Est ce que tous les items sont valides par la biais de la validation de construit ou y a t il des items nécessitant une reformulation?
Les trois questions que l’on se pose lorsque l’on regarde une analyse factorielle.
Vrai ou faux? Le résultat du processus de validation de construit n’amène pas à un indice statistique unique mais bien à plusieurs résultats qui doivent être interprétés en lien avec les éléments théoriques sur lesquels le test se base.
Vrai
Vrai ou faux? La validité de construit d’un instrument sera plus facilement mesurable si la théorie utilisée est explicite et bien définie.
Vrai
Quels sont les deux types de validité de construit?
1 Validité convergente
2 Validité discriminante
De quel type de validité est-il question? Vérifier à quel point est-ce que l’échelle est reliée à des variables et des mesures du même construit. En ce sens, l’outil devrait corréler avec les autres outils qui évaluent des construits identiques ou très similaire.
Validité convergente
De quel type de validité est-il question? Vérifier à quel point l’échelle s’écarte de variables et de mesures de construits différents. En ce sens, l’outil ne devrait pas corréler avec des construits indépendants de celui qu’il évalue.
Validité discriminante
Un psychologue est remplacer par un autre psychologue. Le nouveau peut-il compléter l’évaluation du psy remplacer?
Oui, mais il doit citer l’autre collègue dans son rapport d’évaluation. Il doit avoir accès au données brutes du collègue.
Un psychologue est remplacer par un autre psychologue. Le nouveau peut-il rédiger le rapport du psy remplacer si celui-ci avait déjà compléter l’évaluation?
Oui, mais le psychologue remplaçant peut faire une entrevue pour se faire une idée professionnelle du client. Doit avoir accès aux données brutes.
Un psychologue est remplacer par un autre psychologue. Le nouveau peut-il faire le bilan des résultats avec le clients du psy remplacer si celui-ci avait déjà compléter l’évaluation et rédiger son rapport?
Oui, mais il doit avoir une préparation adéquate tout en expliquant au client pourquoi c’est lui qui termine le bilan.
Vrai ou faux? Est-ce que le BDI est valide.
Faux, un test n’est jamais valide en soi
Vrai ou faux? Les entités hypothétiques sont directement accessible à l’observation et la mesure.
Faux, qu’elles ne peuvent être mesuré par elle-même mais seulement par leur construit hypothétique.
De quoi s’agit-il? La détermination des utilisations prévues du test
1ère étape du processus de construction d’un instrument de mesure
De quoi s’agit-il? La définition de ce que l’on souhaite mesurer
2ème étape du processus de construction d’un instrument de mesure
De quoi s’agit-il? La création des items
3ème étape du processus de construction d’un instrument de mesure
De quoi s’agit-il? l’évaluation des items
4ème étape du processus de construction d’un instrument de mesure
De quoi s’agit-il? La détermination des propriétés métriques du test définitif
5ème étape du processus de construction d’un instrument de mesure
Quelle sont les cinq étapes du processus de construction d’un instrument de mesure?
1ère Étape: La détermination des utilisations prévues du test;
2ème Étape: La définition de ce que l’on souhaite mesurer;
3ème Étape: La création des items;
4ème Étape: l’évaluation des items;
5ème Étape: La détermination des propriétés métriques du test définitif;
Vrai ou faux? La détermination des utilisations prévues du test est le point de départ: un objectif plus général.
Vrai (peut être utilisé pour mesurer ce que l’on veut)
Vrai ou faux? La détermination des utilisations prévues du test est très important pour ensuite définir, avec plus de précision, les caractéristiques psychologiques (ou dimensions) que le test devra mesurer (la validation du contenu du test repose précisément sur ce travail préalable de définition de ce que l’on veut mesurer).
Vrai
Vrai ou faux? La définition des objectifs pédagogiques est un processus (méthode) qui aide à mieux définir ce que l’on veut mesurer.
Vrai
Vrai ou faux? L’analyse de contenu des interviews est un processus (méthode) qui aide à mieux définir ce que l’on veut mesurer.
Vrai
Vrai ou faux? L’observation directe des comportements (méthode) qui aide à mieux définir ce que l’on veut mesurer.
Vrai
Vrai ou faux? La méthode des incidents critiques est un processus (méthode) qui aide à mieux définir ce que l’on veut mesurer.
Vrai
Vrai ou faux? La référence à un modèle théorique est un processus (méthode) qui aide à mieux définir ce que l’on veut mesurer.
Vrai
Nommez-moi les cinq processus (méthodes) pouvant être mis en action pour aider à mieux définir ce que l’on veut mesurer.
1 Définition des objectifs pédagogiques 2 L'analyse de contenu des interviews 3 L’observation directe des comportements 4 La méthode des incidents critiques 5 La référence à un modèle théorique
De quel processus (méthode), aidant à mieux définir ce que l’on veut mesurer, est-il question ? Préciser les performances dont les étudiants devront être capables à un moment donné de leur formation
Définition des objectifs pédagogiques
De quel processus (méthode), aidant à mieux définir ce que l’on veut mesurer, est-il question ? Interviewer des personnes permet de recueillir un grand nombre d’informations qui seront sélectionnées et classées.
L’analyse de contenu des interviews
De quel processus (méthode), aidant à mieux définir ce que l’on veut mesurer, est-il question ? Dans certains cas, il est préférable d’observer les sujets dans leur milieu de vie ou de travail
L’observation directe des comportements
De quel processus (méthode), aidant à mieux définir ce que l’on veut mesurer, est-il question ? On demande aux supérieurs de décrire des situations de travail où les employés ont agi de manière particulièrement efficace (ou inefficace). Ces comportements « critiques » sont mis en évidence pour construire des items.
La méthode des incidents critiques
De quel processus (méthode), aidant à mieux définir ce que l’on veut mesurer, est-il question ? Cette méthode ne part pas de l’expérience, mais d’un modèle de la réalité, construit au cours de recherches antérieures. Par exemple, depuis le début des années 80, les développements de la psychologie cognitive ont conduit à la création de nombreux modèles théoriques utilisables par les constructeurs de tests.
La référence à un modèle théorique
Vrai ou faux? « Trop d’attention a été accordée à la constitution des échantillons et trop peu à la création des questions […]. Des différences dans la construction des questions conduisent souvent à des résultats qui présentent de plus grandes variations que celles habituellement observées en fonction des différentes techniques d’échantillonnage »
Vrai, (Gallup, 1947)
Quelles sont les trois choses qu’il faut clarifier lors de la création des items?
1 Le format des items
2 Le niveau de difficulté des items
3 La quantité d’items qu’il faut créer
Lors de la création des items, cette énumération fait référence au ? Questions ou affirmations; style de réponse – ouverte, dichotomique, Likert, etc. – Il n’y a pas de « meilleur format »! Un format est bon s’il est adéquat au but et à la situation d’évaluation.
Format des items
Lors de la création des items, cette phrase fait référence au ? Dépend de l’objectif du test (la nature des informations que l’on désire recueillir): Population générale ou spécifique
Niveau de difficulté des items
Lors de la création des items, ces aspects font référence a ?
- Dépend de plusieurs facteurs:
+ La durée du test;
+ Le niveau de fidélité désiré (plus long, plus fidèle);
+ Si le test final doit contenir autour de 10 items, initialement il faut construire 30, ou même plus…
- Qu’est-ce que la théorie de base nous indique (les contenus théorique à explorer)?
La quantité d’items qu’il faut créer!
Quelles sont les deux démarches qui sont habituellement suivies lors de l’évaluation des items?
1 Évaluation des items par des juges
2 Réalisation d’une mise à l’essai des items
Sert à voir la conformité des items (clarté, pertinence, dimensionnalité, etc.) lors de l’évaluation des items. De quoi s’agit-il?
Évaluation des items par des juges
De quoi est-il question?
- Faire passer tous les items à un échantillon de la population (la taille de cet échantillon dépend de l’hétérogénéité de la population visée par le test; un échantillon trop homogène risque de masquer certains items problématiques);
- Les résultats de cette mise à l’essai doit être analysés d’un point de vue qualitatif et quantitatif.
Réalisation d’une mise à l’essai des items
Vrai ou faux? Une fois les meilleurs items sélectionnés et la version définitive du test constituée, il reste à déterminer les propriétés métriques de ce test.
Vrai
Par quel processus se fait la détermination des propriétés métriques?
- Évaluation des indices de validité
- Évaluation des indices de fidélité
- Établissement des normes
Vrai ou faux?
La rédaction d’un manuel d’utilisateur, qui présente:
- Les fonctions pour lesquelles il a été crée;
- Les bases théoriques du test;
- Les qualifications requises pour l’appliquer et l’interpréter;
- Les données métriques (pour assurer son utilisation).
Est un aspect important à considérer lors de la création d’un instrument de mesure
Vrai ou faux? Le constructeur doit assumer une responsabilité éthique de l’instrument de mesure qu’il a créé.
- Les informations du manuel doivent garantir un usage correct du test, dans le respect des principes éthiques.
Vrai
Est-ce que c’est correct d’avoir des relations d’amitiés avec la famille après avoir fait une évaluation de l’enfant?
Non, il n’est pas permis d’avoir de relation avec une personne que tu as évaluer. Pour ta crédibilité, pour les dommage que ça pourrait occasionner. etc.
Vrai ou faux? Il y a six étapes dans la construction d’un instrument de mesure.
Faux, il y en a cinq