cours 5 - PARTIE 1 Flashcards
Pourquoi évaluer la validité d’un instrument de mesure?
on veut généralement savoir s’il mesure vraiment ce qu’il prétend ou devrait mesurer
Quelle est la fonction du degré de validité?
Il détermine l’interprétation et les inférences que l’on peut faire à partir des scores d’une échelle
Est-ce que le nom d’un test ou d’une échelle constitue toujours un indice adéquat du construit mesuré?
NON
Quels sont les trois éléments à considérer lorsque l’on questionne la validité d’un test ou d’une mesure? (CPA)
- Est-ce qu’il mesure bien le CONSTRUIT qu’il prétend mesurer ?
- Est-ce qu’il mesure bien ce construit pour la POPULATION CIBLÉE (ex: groupe d’âge, niveau académique, groupe clinique particulier, etc.) ?
- Est-ce qu’il mesure bien ce construit pour une APPLICATION PARTICULIÈRE (ex: classifier dans des groupes diagnostiques, donner une valeur quantitative sur continuum, etc.) ?
Quelles-sont les trois organisation professionnelles qui soulignent des points clés quant à la validité des tests? (PAS SURE SI C’EST IMPORTANT, DIAPO 6?) i dont think so gurl
- AERA (American Educational Research Association)
- APA (American Psychological Association)
- NCME (National Council On Measurement In Education)
Nomme les trois points clés à propos de la validité des tests? (SDB)
- La validité concerne interprétation des SCORES PROCURÉS PAR UN TEST pour un construit spécifique; ce n’est pas une caractéristique du test
- La validité est une question de DEGRÉ ; ce n’est pas une question absolue, de «tout ou rien»
- La validité d’un test repose sur de solides BASES THÉORIQUES ET EMPIRIQUES
Nomme les trois sources de validité. (CCC)
- Contenu
- Construit (factorielle, convergente, dominante)
- Critère (concomitante, prédictive, incrémentielle)
Qu’est-ce que la vraisemblance (aussi appelé validité d’apparence)?
Le degré auquel une mesure SEMBLE ADÉQUATE et reliée à un construit spécifique selon le jugement:
- Des personnes QUI SONT ÉVALUÉS avec le test (ex: clients, profanes, non-experts qui sont évalués)
- Et/ou les personnes QUI UTILISENT le test
(ex: intervenants, mais peut aussi être des représentants légaux reliés à la population ciblée, etc., par ex. parents, enseignants, etc.)
Une mesure détient une bonne vraisemblance lorsque…
Les personnes évaluées ou celles qui l’utilisent jugent qu’elle «semble pertinente et adéquate» pour mesurer le construit
Nomme trois facteurs pouvant influencer la vraisemblance. (FCC)
- Format de présentation de l’instrument
- Contexte d’évaluation (ex: endroit physique de l’administration, les consignes, attitude et apparence physique de l’évaluateur etc.)
- Capacités cognitives des répondants
Qu’est-ce que la validité de CONTENU
- Réfère au degré de REPRÉSENTATIVITÉ DES ITEMS (questions) utilisés pour mesurer un construit
- La plupart du temps établie de façon DÉDUCTIVE (les auteurs du test demandent à un groupe d’experts indépendants de se prononcer sur la pertinence des items)
Quelles-sont les deux questionnements à explorer pour la validité de contenu?
Est-ce que chaque item individuellement correspond bien au construit ?
Est-ce que tous les items d’une échelle considérés comme un groupe constituent un ÉCHANTILLON REPRÉSENTATIF de tous les domaines (et sous-domaines) du construit d’intérêt ?
Quel concept est central dans la validité de contenu?
La REPRÉSENTATIVITÉ : Est-ce que tous les DOMAINES (et SOUS-DOMAINES) du construit sont représentés ?
ex: Pour une échelle d’impulsivité: impulsivité cognitive, impulsivité émotionnelle, impulsivité comportementale, etc.
À partir de quoi les chercheurs définissent un construit et donc, son contenu? (CRC)
- Cadre théorique
- Recherches empiriques (recension)
- Connaissances et expériences professionnelles/pratiques
Quelles-sont les deux types de validité de contenu? (NC)
Nominale : auteurs du test
Consensuelle : groupe de spécialistes indépendants
Comment estimer le degré de validité de contenu empiriquement?
Avec une échelle de mesure quantitative, on demande à des EXPERTS INDÉPENDANTS d’estimer:
- à quel point (degré) chacun des items d’un test est PERTINENT ET REPRÉSENTATIF du construit d’intérêt
- à quel point (degré) l’ensemble des items constitue un BON ÉCHANTILLON REPRÉSENTATIF du contenu du construit
Comment quantifier le degré de validité de contenu?
On donne aux experts un choix de réponse avec une gradation à propos de chaque item afin de systématiser le tout
(ex: Pas du tout pertinent / représentatif = 0
Un peu pertinent / représentatif = 1
Assez pertinent / représentatif = 2
Très pertinent / représentatif = 3)
Comment calculer l’indice de validité de contenu pour chaque ITEM (IVC-I)?
IVC-I = Nombre d’experts qui ont jugé l’item représentatif (choix 2 ou 3) divisé par le nombre total d’experts
Comment calculer l’indice de validité pour l’ÉCHELLE TOTALE (IVC-É)?
IVC-É = Proportion d’items jugés représentatifs (choix 2 ou 3) – ou dit autrement, la moyenne des IVC-I – divisée par le nombre total d’experts
Quelles-sont les deux grandes menaces à la validité de contenu? (IS)
- Inclusion de contenu conceptuellement non pertinent
- Sous-représentation conceptuelle de certains domaines du construit
(Voir diapo 18 pour exemples)
Défini la validité de CONSTRUIT.
Réfère au degré de
(a) reproductibilité de la structure interne théorique sous-jacente à l’instrument
(b) relations du construit d’intérêt avec d’autres construits externes
Quelles sont les deux grandes façons de la vérifier la validité de CONSTRUIT?
- Validité factorielle
- Validité convergente / discriminante
Qu’est-ce que le réseau nomologique?
Théorie expliquant le construit par le biais de ses interrelations avec d’autres construits (Cronbach & Meehl, 1955)
Voir diapo 22-23 pour exemple de réseau nomologique
Définis “nomologie”.
L’étude des lois
Définis le terme “facteur”.
Une réduction parcimonieuse de plusieurs variables (items ou questions) expliquées par une variable latente
Quels-sont les deux aspects de la structure factorielle à vérifier?
- Les items sont-ils significativement (statistiquement) associés au facteur (construit)?
- Dans le cas d’un instrument multidimensionnel:
a) Les items sont-ils significativement associés au bon facteur et non-associés aux autres facteurs?
b) Dans le cas d’une structure hiérarchique, est-ce que les sous-domaines sont significativement associés au domaine général (ex: traits spécifiques associés à trait général) ?
Qu’est-ce que l’analyse factorielle exploratoire?
On identifie des regroupements d’items inter-corrélés, signifiant que les individus tendent à y répondre de façon similaire
ex: Si les répondants ont tendance à répondre oui à la Q#1 ont aussi tendance à répondre oui à Q#5 et à Q#8, ces items seront donc regroupés dans un même facteur
Quel-est le critère classique de la validité FACTORIELLE?
On devrait avoir des SATURATIONS FACTORIELLES DE 0,40 OU PLUS pour les items associés à un facteur
Qu’est-ce que l’analyse factorielle CONFIRMATOIRE?
Le chercheur impose une structure stricte a priori à la matrice de corrélations (ou de covariances) et teste si elle correspond aux données
ex: on programme quels items sont associés à un facteur, tout en leur imposant une corrélation de 0 avec les autres facteurs
Qu’est-ce que la validité CONVERGENTE?
Degré auquel les scores d’une échelle sont associés avec ceux d’une autre échelle existante qui mesure le même construit théorique
Qu’est-ce que la validité DISCRIMINANTE?
Degré auquel les scores d’une échelle ne sont PAS associés avec une échelle qui ne mesure PAS LE MÊME CONSTRUIT
Quelle-est l’idéal pour tester la validité convergente et discriminante?
Employer la méthode de la MATRICE MULTITRAITS-MULTIMÉTHODES
Qu’est-ce que la validité de critère (aussi appelée validité pragmatique)?
Réfère au degré auquel les scores à une échelle sont associés à l’adaptation (ou la performance) des individus
Les scores à l’échelle sont donc comparés à ceux d’un CRITÈRE EXTERNE
Quels sont les deux grands types de validité de critère?
- Concomitante
- Prédictive
Quelles- sont les deux façons d’estimer la validité de critère CONCOMITANTE?
- Corrélation avec un critère indépendant
ex: Test d’intelligence avec réussite académique (notes) - Méthode des groupes contrastés
On teste les différences de scores moyens entre des groupes (Voir diapo 36 pour exemple)
Qu’est-ce que la validité de critère prédictive?
Le degré auquel une mesure est capable de prédire un critère externe prospectivement
ex: plus tard dans le temps
Voir diapo 37 pour exemples
Qu’est-ce que la validité incrémentielle?
À quel point les scores à un test ont une «VALEUR AJOUTÉE» pour prédire un critère externe, au-delà de la capacité d’autres facteurs (autres tests) prédictifs importants ?
