Cours 8 Flashcards
Qu’est-ce que la validité d’un instrument de mesure
le degré de correspondance des évidences et de la théorie à l’interprétation prévue des résultats d’un test
La validité d’un instrument peut aussi être appelée:
standard
Quel est l’ordre de création d’un test
1- théorie et évidences
2- élaboration d’un test
3- administration et analyse des résultats
4- interprétation des résultats
5- résultats valides?
6- théorie et évidences
Si les résultats sont valides, c’est-à-dire que…
l’interprétation des résultats correspond à la théorie et aux évidences selon un degré satisfaisant
Pourquoi le degré serait insatisfaisant?
Soit notre test ne marche pas, soit notre analyse de la validité ne marche pas
On suppose que la théorie et les évidences sont bonnes, alors le problème serait…
L’élaboration du test et les études de validité du test (entre autres l’étude de la validité de contenu)
Le contenu d’un test consiste en quoi
en tous les éléments qui constituent le test
Le test consiste en:
les items, les stimuli, les consignes
Toutes les composantes du test influencent quoi
les résultats, et donc l’interprétation du test et sa validité
La validité de contenu du test contribue à quoi
aux évidences de validité des résultats
La finalité du test détermine quoi
Le contenu de la mesure
Les évidences de validité d’un test se cumulent selon quoi
selon un processus séquentiel
Pour “avoir du sens”, il est prioritaire de tester quoi en premier
de tester la validité de contenu avant de tester la fidélité de la mesure
Une des premières définitions de la validité de contenu:
Le degré auquel les réponses d’un sujet aux items d’un test se considèrent comme un échantillon représentatif de ses réponses à un ensemble réel ou hypothétique de situations qui, ensemble, représentent le sujet d’intérêt (construit cible) de la personne qui interprète le test
La validité de contenu d’un instrument de mesure informe sur quoi
sur le degré d’adéquation de la mesure à l’estimation du “construit cible” (target) retenu pour la mesure
Comme pour la finalité du test, la définition du construit cible détermine quoi
le contenu de la mesure
La validité de contenu dépend du domaine de quoi
de définition du contenu
Domaine de définition conceptuelle du construit (contenu théorique):
l’interprétation du construit théorique (ceux que le test mesure)
Domaine de définition opérationnelle du construit (contenu pratique):
opérationnalisation du construit théorique ou expression du construit théorique au moyen de la mesure (représentation du construit par les items)
Aspects du contenu
-représentatif théoriquement
-relevant théoriquement
-pertinent pratiquement
-dimensionnel (unidimensionnel ou multidimensionnel)
-clair (langage)
-original (élaboration créative)
-exclusif (sélection des items)
Représentativité théorique
le degré d’adéquation de la globalité de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique)
Relevance théorique
le degré d’adéquation de chaque item de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique)
Pertinence pratique
le degré d’adéquation de chaque item de la mesure à une certaine représentation socio-culturelle du construit (définition opérationnelle du construit; contenu pratique)
Dimensionnalité
le degré d’adéquation de chaque item de la mesure à la dimension du construit pour laquelle l’item est représentatif, relevant et pertinent (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)
Clarté du langage
le degré d’adéquation du langage de chaque item de la mesure à une représentation claire du construit (définition opérationnelle du construit; contenu pratique)
Originalité
Le degré d’adéquation de chaque item de la mesure à une représentation originale et créative du construit (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)
Exclusivité
le degré d’adéquation de chaque item de la mesure à une représentation exclusive du construit (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)
Pour déterminer la validité du contenu, les études explorent quoi
la concordance inter-juges concernant l’adéquation du contenu de la mesure à l’estimation du construit cible
En fonction des objectifs, les procédures se déroulent par quoi
par groupe de discussion ou par remplissage de questionnaires, dans le but d’établir la concordance des juges (selon leur expertise et leur positionnement)
Le remplissage de questionnaires implique quoi
des analyses quantitatives de données
Le questionnaire reporte quoi
tous les items à valider (items du test ou d’une adaptation transculturelle)
Les items du test à valider sont les items du questionnaire, mais les réponses aux items portent sur quoi
sur les aspects de la validité de contenu pour la globalité du test ou pour chacun des items
Une feuille de consignes accompagne le questionnaire et explique quoi aux experts
le domaine de définition du contenu (définition conceptuelle ou opérationnelle de la mesure)
Qu’est-ce qui est questionné dans le questionnaire
chacun des aspects de la validité du contenu, pour la globalité du test ou pour chaque item
l’étude explore le degré d’adéquation du test et des items à l’estimation du construit (Anastasia, 1988) au moins par rapport à quoi
rapport aux aspects fondamentaux du contenu (représentativité et relevance théoriques, pertinence pratique, dimensionnalité)
Le domaine de définition du contenu doit être partagé à qui
aux experts (consignes) et les aspects de la validité du contenu sont discutés pour la globalité du test ou pour chaque item.
Subject matter experts (SMEs) :
les juges, un groupe d’experts dans le sujet (p.ex. psychodynamiciens, psychométriciens, personnes qui travaillent dans le domaine, personnes de la population cible, etc.).
Le sujet s’étend au-delà du construit et de l’interprétation du construit, qui sont de référence pour l’élaboration du test
Du point de vue éthique, les experts sont des quoi?
collaborateurs au processus d’élaboration du test; ils ne sont pas des participants, mais plutôt des évaluateurs qui aident à répondre à la question de recherche.
Consanguinité intellectuelle (Balbinotti, 2005):
si les collaborateurs proviennent du même milieu professionnel et/ou de formation, leur collaboration à l’étude (évaluation de la validité de contenu) risque d’être davantage homogène, davantage en accord («biais!»).
Nombre de collaborateurs : en fonction des procédures
-Pour les groupes de discussion: nombre impaire des juges (en fait, un nombre impair permet une application tranchant du critère de la majorité)
-Pour le remplissage des questionnaires: en fonction des analyses…
Calcul de coefficients de concordance inter-juges (p.ex. Kappa de Cohen ou ICC, soit Coefficient de Corrélation Interclasses) :
ces coefficients expriment la concordance ou l’association entre les évaluations des juges, voire entre les données
Coefficients spécifiques à la validité du contenu (Almanasreh et al., 2019) :
création des formules; p.ex. ratio de validité de contenu, indice de validité du contenu (CVI), ou coefficient de validité de contenu (CVC)
Malgré les analyses quantitatives, l’opinion des juges demeure
subjective
Nombre de collaborateurs: consulter la littérature
-Kappa de Cohen ou ICC: au moins 2 évaluateurs;
- CVC: entre 3 et 5 juges, Likert à 5 points; - CVR: «work in progress»
Toutes les démarches souhaitées (méthode utilisée) pour explorer la validité de contenu ont été conduites, mais les résultats des analyses montrent
une validité de contenu insatisfaisante pour le test élaboré ou adapté
Peut-être que le problème remonte aux types d’analyses:
Le fait d’individuer si les items représentent le construit ne renseigne pas sur les aspects du construit qui ne sont pas représentés par les items; autrement dit, le fait de quantifier la validité de contenu ne répond pas à la nécessité d’apporter une attention accrue à la sélection ou élaboration des items (Gregory, 2004)
Peut-être que le problème remonte à l’élaboration des items: «item-writing» dans la littérature
Problématique 1 : plusieurs facteurs influencent la rédaction des items et il n’y a pas assez d’études à ce sujet, ni assez des standards/indications communes/guidelines (Haladyna et al., 2002; Hambleton & Zenisky, 2011)
Problématique 2 : à propos de l’élaboration des items, les auteurs ne partagent pas suffisamment d’informations ou ils ne partagent pas les éléments problématiques (Clifton et al., 2023)
