Examen 3 Flashcards
Peut-on dire d’un test qu’il est valide après sa première validation?
Non, il faut attendre une dizaine d’années avant de dire qu’un test est valide
Même que ce n’est pas le test qui est valide, ce sont ses conditions générales et sa clientèle
Quels sont les 3 types de validités?
Validité de contenu
Validité pragmatique
Validité de construit
Qu’est-ce que la validité?
Degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement
Qu’est-ce que la validité concerne?
L’interprétation des résultats des items, et non l’instrument. Alors, ce n’est pas l’instrument qui est valide.
Le contexte de son utilisation (clientèle et conditions en général)
Le processus de validation est une façon de déterminer le niveau de certitude…..
qu’on peut avoir, en s’appuyant aux indices obtenus
L’évaluation de la validité est un processus _______ d’accumulation de ____ ou d’______
continu
preuves
évidences
Vrai ou faux
Le nom du test est une bonne preuve de ce que le test mesure
Faux
Vrai ou faux
La validité est une affaire de tout ou rien
Faux
C’est plutôt une question de degré selon les indices de validité vérifiés
Que concerne la validité de face?
La présentation du test, sa structure
Donnez un exemple de validité de face
Échelle likert en Am du Nord et échelle dichotomique en Am du Sud.
Puisqu’on est habitué aux échelles de Likert, on aurait peut-être de la difficulté à répondre à des échelles dichotomiques (on voudrait nuancer) vs si on présente des échelles likert en Am du Sud, ils auraient peut-être tendance à se ranger dans les extrêmes et ne pas nuancer
Quels sont les deux types de validité de contenu?
Contenu et apparente
Bien que certains disent que les deux sont équivalents et d’autres disent que ce n’est pas la même chose
Quels sont les deux types de validité pragmatique?
Critériée, prédictive
Quels sont les deux types de validité de construit?
Conceptuelle et théorique
Expliquez la validité de contenu
Désigne la capacité d’un instrument à mesurer (saisir) les aspects de contenu pour lesquels il a été conçu, et ceux-là seulement.
Expliquez la validité de contenu dans le cas d’une épreuve de connaissance
Il faut s’assurer que le contenu des items contribuent à évaluer les aspects fondamentaux de ce domaine de connaissance, qu’ils forment un échantillon des items importants.
Quand examine-t-on normalement la validité de contenu?
Normalement lors de la construction de l’instrument (choix des contenus des items)
Quelle méthode est normalement utilisée pour estimer la validité de contenu et en quoi consiste-t-elle?
Méthode des juges-experts
Des personnes qui ont une connaissance reconnue du concept à mesurer et aussi une expertise dans la construction d’instruments de mesure. Ces personnes sont invitées à se prononcer sur le contenu de chaque énoncé, soit : clarté, représentativité, exhaustivité, dimensionalité et pertinence
Dans la méthode des juges-experts, qu’est-ce que la représentativité?
Déterminer si l’item représente bien la théorie concernée
Dans la méthode des juges-experts, qu’est-ce que l’exhaustivité?
Est-ce que l’ensemble des items mesurent toute la théorie?
Dans la méthode des juges-experts, qu’est-ce que la dimensionalité?
Quels items touchent quelles dimensions?
Dans la méthode des juges-experts, qu’est-ce que la pertinence?
Est-ce que c’est pertinent ces contenus là à cette personne? Faut pas trop en demander aux gens, ni les gêner, sinon la variance d’erreur peut augmenter
Dans la méthode des juges-experts, qu’est-ce que la clarté?
Au niveau linguistique
Comment on calcule un % à partir d’un r de corrélatio?
On l’élève au carré (r2 = coefficient de détermination)
Pour quel type de données la Kappa de Cohen sert-il?
Données dichotomiques
Quelles sont les statistiques habituellement utilisées pour la validité de contenu?
Coefficient de validité de contenu
Corrélation (Pearson) intra-classe
Que mesure le coefficient de validité de contenu?
Proportion des réponses des juges-experts qui sont d’accord sur certains aspects relatifs au contenu inhérent aux items de l’instrument
Que mesure la corrélation intra-classe?
Association des opinions entre juges-experts ayant un certain degré de formation en termes de trait quantitatif et qualitatif
Qu’est-ce que la validation pragmatique?
Capacité d’un instrument à prédire (aussi explicite et invariable que possible) le niveau de performance (cpt) d’un groupe d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement
Donnez un exemple de validation pragmatique
Évaluation du QI et succès professionnel
Quelle est la procédure pour la validation pragmatique?
Calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents (pouvant être deux moment “présents” ou un moment présent et l’autre “futur”).
On utilise normalement l’analyse de régression pour ça.
Que permet la validité pragmatique?
Déterminer dans quelle mesure les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (% de variance expliquée)
Quels sont les deux types de validité pragmatique?
Concomitante/concourante
Prédictive
Comment se différencient les deux types de validité pragmatique?
Concomitante : association entre score au test et score à une mesure de référence, les deux tests étant administrés presque en même temps
Prédictive : Association entre score au test et réalité future, les deux étant séparé d’un laps de temps important
Quelles sont les statistiques souvent utilisées dans la validation pragmatique?
Coefficient de détermination
Corrélation multiple au carré R2 (aussi beta standardisé)
Quelle est la différence entre le coefficient de détermination et la corrélation multiple au carré R2?
Les deux expriment le % d’explication de la variance entre deux mesures. CD ne se préoccupe pas de l’ordre et R2 oui
Qu’est-ce que la validité de construit?
Justesse/certitude avec laquelle l’ensemble des items d’un instrument de mesure permet d’obtenir des résultats conformes aux concepts définis par son contexte théorique
La validité de construit indique dans quelle mesure les énoncés d’un instrument sont ___________ (__________ interne/externe) avec la théorie.
cohérents (avec la théorie)
structure interne