Validité - chapitre 4 Flashcards
En psychométrie, quel est le concept considéré comme le plus fondamental et le plus important?
La validité
Dans le Standards for Educationnal and Psychological Testing, la validité est présentée comment?
Comme un concept unitaire se rapportant non au test lui-même mais aux inférences faites à partir des résultats à celui-ci.
Messick va jouer un rôle important en défendant avec force quoi?
La nécessité d’intégrer l’ensemble des preuves de validité sur la base d’une notion unificatrice, celle d’un cadre conceptuel.
Qu’est-ce que le cadre conceptuel?
Une définition des notions et d’un modèle que nous souhaitons mesurer.
Vrai ou faux. C’est par rapport au cadre conceptuel que les preuves de validité seront sélectionnées et prendront leur valeur.
Vrai
Selon le Standard Educational and Psychologial testing, quel est le point de départ de la démarche de validation?
Une définition détaillée du cadre conceptuel du test.
Par quoi est définit le cadre conceptuel?
Par l’usage prévu des scores au test.
Récolter des preuves de validité consiste à quoi?
À générer des hypothèses susceptibles de mettre en question la validité de nos inférences.
Vrai ou faux. La responsabilité de la validité repose uniquement sur les épaules des constructeurs de test.
Faux, c’est la responsabilité de tous et chacun. Autant les constructeurs que les utilisateurs et les chercheurs.
Quelle est la responsabilité du chercheur p/r à la validité?
Ils doivent rassembler de nombreuses preuves de validité du test choisi.
Quelle est la responsabilité de l’utilisateur?
La responsabilité de vérifier, dans le cadre de leur application des tests, si leurs interprétation des scores possèdent une validité suffisante.
Vrai ou Faux. Les preuves de validité sont rassemblées en trois catégories.
Faux c’est en 5
Quelles sont les 5 catégories de preuves de validité?
1- le contenu 2- les processus de réponse 3- la structure interne 4- les relations avec d'autres variables 5- les conséquences du testing
D’où proviennent les preuves de validité basées sur le contenu d’un test?
De l’avis d’experts chargés d’évaluer dans quelle mesure les items d’un test sont représentatifs du concept ou du domaine visé.
Vrai ou faux. Les preuves de validité du contenu concernent uniquement la formulation des items.
Faux elles concernent également leur format et les consignes de passation et de cotation.
Peut-on contrer la subjectivité de l’avis d’experts?
Oui par une méthodologie rigoureuse qui permet d’arriver à des conclusions solides qui pourront trouver une confirmation dans des recherches empiriques ultérieures.
En quoi consiste les preuves de validité basées sur les processus de réponse?
Vérifier si les démarches mises en oeuvre par les sujets pour produire leurs réponses correspondent bien à ce qui est prévu dans le cadre conceptuel qui sous-tend le test.
Vrai ou faux. La récolte des preuves de validité basées sur les processus de réponse implique une analyse détaillée des réponses individuelles.
Vrai
Cette récolte des preuves peut faire appel à quoi?
Enregistrements vidéo, mesures de temps de réponses et à d’autres techniques permettant d’objectiver la démarche suivie par les sujets pour produire leurs réponses.
Qu’est-ce que les preuves de validité sur la structure interne du test?
Elle consiste à vérifier que les relations entre les items et entre les composantes du test sont conformes à ce que prévoit le modèle de référence.
Quelle est la situation la plus simple pour évaluer la validité de la structure interne du test?
Lorsque nous postulons l’unidimensionnalité de la réalité mesurée.
Nommez un exemple d’une structure du test est basée sur un modèle plus complexe qui motive le calcul de plusieurs scores composite et d’un score global pour l’ensemble du test.
Les échelles d’intelligence pour Wechsler
Dans les échelles de Wechsler, il est nécessaire de vérifier que les relations entre les épreuves sont bien conformes au modèle théorique et qu’elles justifient le calcul des différents scores composites. Vrai ou faux.
Vrai.
La procédure de récoltes de preuves sur les relations avec d’autres variables repose sur…
l’examen des corrélations entre les scores au test et d’autres mesures, externes au test, prises comme critères.
Quels peuvent être ces critères?
Les scores à d’autres tests mesurant un même concept, les résultats d’examens, les jugements d’experts, le classement dans des catégories, etc.
Qu’est-ce qu’une preuve de convergence?
Des mesures d’une réalité similaire à celle visée par le test.
Qu’est-ce qu’un preuve de discrimination?
Lorsque le but est alors de vérifier que le test mesure spécifiquement la variance associée au concept visé et non la variance de caractéristiques proches mais non pertinentes.
Les preuves de validité peuvent être obtenues de deux manières, lesquelles?
1 - les deux séries de mesures sont récoltées simultanément (validité concomitante)
2- les mesures au test servent à prédire des résultats qui seront obtenus ultérieurement. (validité prédictive)
Les preuves de validité basées sur les relations avec d’autres variables soulèvent la question de…
leur généralisation.
Vrai ou faux. Les méta-analyses permettent, si certaines conditions sont réunies, une généralisation des preuves de validité réunies dans un nombre limité d’études à un ensemble plus larges de situations.
Vrai
Qu’est-ce que les preuves de validité basées sur les conséquences du testing?
Cela concerne les implications souhaitées et non souhaitées de l’usage de tests.
Les preuves de validité basées sur les conséquences du testing doivent être basées sur…
En référence au modèle théorique qui sous-tend le test.
Vrai ou faux. Il est fréquent que les tests ont exactement les conséquences que l’on souhaite, ce qui est parfois plus important que les résultats recherchés.
Faux. Il est fréquent que les tests aient des conséquences non souhaitées qui sont parfois plus importantes que les résultats recherchés.
À quoi sert le modèle théorique dans la validité basée sur les conséquences du testing?
Il fournit le fondement qui permet de formuler des hypothèses à propos des résultats attendus au test et d’anticiper les conséquences possibles non souhaitées de son application.
Il est en effet nécessaire, non seulement de repérer les conséquences négatives effectives de l’usage du test mais aussi…
D’en prévenir les effets négatifs potentiels.
Vrai ou faux. L’évaluation des preuves de validités basées sur les conséquences est uniquement la responsabilité des constructeurs de test.
Faux, les utilisateurs des tests également.
Quelle est la responsabilité des utilisateurs des testsT
Il est le seul à même d’apprécier l’impact de divers facteurs sur la validité des scores récoltés.
Vrai ou Faux. Il est possible d’évaluer les conséquences d’un test si celui-ci n’a pas été utilisé durant un certain temps.
Faux, il n’est pas possible.
Vrai ou faux. Trop souvent les preuves basées sur le contenu se focalisent sur les items seulement.
Vrai
Sur quoi d’autres les preuves basées sur le contenu doivent focaliser leur attention?
- instructions données aux sujets
- modalités de présentation des stimuli
- contraintes de temps
- modalités de réponse
- critères de correction
Les mesures cités dans la réponse #40 peuvent être la source de biais importants qui…
affecteront la qualité des mesures réalisées à l’aide du test considéré.
La pertinence des preuves récoltées dépend étroitement de quoi?
de la précision avec laquelle le concept a été défini et de l’accord des experts à propos de ses facettes.
Que signifie le terme “facette”?
Il peut désigner, selon le concept visé, :
- des catégories de comportement,
- composantes d’une compétence cognitive
- capacités intervenant dans une activité professionnelle
- ensemble d’objectifs pédagogiques coordonnés
Les preuves de validité récoltées lors de l’évaluation du contenu d’un test sont…
conditionnelles de la définition du concept visé, laquelle est toujours relative au lieu et au moment.
Vrai ou faux. Les preuves de validité sont également relatives à la fonction assignée au test.
Vrai
Les preuves de validité dépendent également…
de la population visée par le test.
Quels sont les principes de bases pour rassembler les preuves de validité basées sur le contenu d’un test
- Définit avec soin le domaine et les facettes du concept et valider cette définition
- Utiliser un échantillon d’experts, membres de la population de référence pour créer les items et les autres aspects du test.
- Soumettre toutes les composantes du contenu du test à une étude de validité
- Utiliser plusieurs experts pour évaluer les indices de validité basés sur le contenu du test et quantifier leurs jugements à l’aide d’échelles formalisées.
- Examiner la représentation proportionnelle des items relativement aux différentes facettes du concept.
- Présenter les preuves de validités basées sur le contenu lors de la publication de tout nouvel instrument.
- Prendre en compte toutes les analyses psychométriques ultérieures pour affiner les preuves de validités basées sur le contenu du test.
Qu’est-ce qui joue un rôle crucial dans la procédure de validation basées sur le contenu du test?
Le jugement des experts
Quels sont les 5 indicateurs utilisés pour évaluer dans quelle mesure un ensemble d’items sont représentatifs des objectifs pédagogiques visés par le test?
1 - % d’items appariés aux objectifs
2- % d’items appariés aux objectifs jugés très importants
3- corrélation entre le poids des objectifs et le nombre d’items les mesurant.
4- indice de congruence item-objectif
5- % des objectifs non mesurés par les items.
Ces 5 catégories d’indices ne fournissent pas…
une information équivalente sur la congruence item-objectif.