examen 3 Flashcards
la validité d’un instrument de mesure correspond à
degré de correspondance des évidences et de la théorie à l’interprétation prévue des résultats des tests
les évidences de validité d’un test se cumulent selon quoi
un processus séquentiel
pour avoir du sens il faut faire quoi en priorité
il est prioritaire de tester la validité de contenu avant de tester la fidélité de la mesure
qu’elle est l’une des 1ère définition de la validité de contenu
Le degré auquel les réponses d’un sujet aux items d’un test se considèrent comme un échantillon représentatif de ses réponses à un ensemble réel ou hypothétique de situations qui, ensemble, représentent la sujet d’intérêt (construit cible) de la personne qui interprète le test
la validité de contenu d’un instrument de mesure informe sur
le degré d’adéquation de la mesure à l’estimation du «construit cible » (target), retenu pour la mesure
la définition du construit cible détermine quoi
le contenu de la mesure comme la finalité du test
pourquoi dit-on que la validité est séquentiel
les preuves vont s’accumuler l’une après l’autre) quand je fais mon test je vais aller le valider au niveau du contenu, s’il est insatisfaisant je vais m’arrêté et retourner refaire mon test
la validité de contenu dépend de quel domaine
du domaine de définition du contenu
le domaine de définition du contenu contient quoi
Domaine de définition conceptuelle du construit (contenu théorique) plus conceptuel : l’interprétation du construit théorique (ceux que le test mesure)
Domaine de définition opérationnelle du construit (contenu pratique): opérationnalisation du construit théorique, ou expression du construit théorique au moyen de la mesure (représentation du construit par les items)
le contenu doit être
Représentatif théoriquement;
Relevant théoriquement;
Pertinent pratiquement;
Dimensionnel (unidimensionnel ou multidimensionnel);
que veux dire unidimensionnel et multidimensionnel
unidimensionnel : voir tous les côtés 1 à 1
multidimensionnel : tous les items ensembles
qu’est-ce que la représentativité théorique (ou représentation du domaine ou complétude théorique)
le degré d’adéquation de la globalité de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique)
qu’est-ce que la relevance (importance) théorique (ou représentation du domaine ou pertinence théorique)
le degré d’adéquation de chaque item de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique)
qu’est-ce que la pertinence pratique (ou relevance du domaine)
le degré d’adéquation de chaque item de la mesure à une certaine représentation socio-culturelle du construit (définition opérationnelle du construit; contenu pratique)
qu’est-ce que la dimensionnalité
le degré d’adéquation de chaque item de la mesure à la dimension du construit pour laquelle l’item est représentatif, relevant et pertinent (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)
qu’est-ce que la clarté du langage
le degré d’adéquation de chaque item de la mesure à une représentation originale et créative du construit (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)
qu’est-ce que l’exclusivité
le degré d’adéquation de chaque item de la mesure à une représentation exclusive du construit (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)
pour déterminer la validité de contenu les études explorent quoi
la concordance inter-juges (je veux l’obtenir) concernant l’adéquation du contenu de la mesure à l’estimation du construit cible.
en fonction des objectifs, les procédures se déroulent comment et dans quel but
par groupe de discussion ou par remplissage de questionnaires, dans le but d’établir la concordance des juges (selon leur expertise et leur positionnement)
le remplissage de questionnaire implique quel genre d’analyse
quantitative des données
le questionnaire contienne quoi
tous les items à valider (items du test ou d’une adaptation transculturelle). ATTENTION! Les items du test à valider sont les items du questionnaire MAIS les réponses aux items portent sur les aspects de la validité de contenu pour la globalité du test ou pour chacun des items.
pourquoi doit-on donner une feuille de consignes aux juges
accompagne le questionnaire et explique aux experts le domaine de définition du contenu (définition conceptuelle et opérationnelle de la mesure)
qu’est-ce qui est questionner par les juges dans le questionnaire
pour la globalité du test ou pour chaque item, chacun des aspects de la validité du contenu est questionné
qu’est-ce que le « subject matter experts (SMEs)
c’est une méthode collaborateurs
: les juges, un groupe d’experts dans le sujet (p.ex. psychodynamiciens, psychométriciens, personnes qui travaillent dans le domaine, personnes de la population cible, etc.).
Le sujet est plus vaste et s’étend au-delà du construit et de l’interprétation du construit, qui sont de référence pour l’élaboration du test (aller chercher des personnes qui on travaillé avec les victimes du narcissisme puisqu’ils peuvent apporter
du point de vue éthique les experts sont….
des collaborateurs au processus d’élaboration du test; ils ne sont pas des participants, mais plutôt des évaluateurs qui aident à répondre à la question de recherche.
qu’est-ce que la consanguinité intellectuelle
si les collaborateurs proviennent du même milieu professionnel et/ou de formation, leur collaboration à l’étude (évaluation de la validité de contenu) risque d’être davantage homogène, davantage en accord («biais!»). On ne veut pas que le juge arrive du même domaine puisque leur accord peut être biaisé
est-ce qu’on veut la consanguinité intellectuelle chez nos collaborateurs
non on ne la veut pas
combien doit-on avoir de collaborateurs pour
- les groupes de discussions
- le remplissage de questionnaires
en fonction des procédures…
Pour les groupes de discussion: nombre impaire des juges (en fait, un nombre impair permet une application tranchant du critère de la majorité)
Pour le remplissage des questionnaires: en fonction des analyses…
qu’est-ce que le calcul de coefficients de concordance inter-juges et donner des exemples
(p.ex. Kappa de Cohen ou ICC, soit Coefficient de Corrélation Interclasses) : ces coefficients expriment la concordance ou l’association entre les évaluations des juges, voire entre les données
qu’est-ce que le coefficients spécifiques à la validité de contenu
création des formules; p.ex. ratio de validité de contenu (CVR ; Lawshe, 1975), indice de validité du contenu (CVI), ou coefficient de validité de contenu (CVC; Hernandez-Niéto, 2002; Balbinotti, 2006)
combien faut-il de collaborateurs pour le test
- Kappa de Cohen :
- CVC :
- CVR :
- Kappa de Cohen : au moins 2 évaluateurs
- CVC : entre 4 et 5 juges
- CVR : work in progress
est-ce que les opinions des juges sont subjectives ou quantitatives
elle est subjective
qu’elle est l’alternative pour ne pas avoir à faire affaire avec des juges
conduire des analyses factorielles pour explorer les réponses au test élaboré, pas validé
la validité basée sur la structure interne est-elle super importante ou non
représente le type de validité la plus importante
la validité basée sur la structure interne fait référence à quoi
à la manière dont les différents éléments d’un test ou d’une échelle se comportent ensemble pour mesurer le construit théorique visé
comment on appelait la validité basée sur la structure interne avant
validité de construit
la validité basée sur la structure interne examine quoi
la cohérence interne et la correspondance entre la structure théorique d’un instrument et la structure observée dans les données empiriques
qu’est-ce que la cohérence interne
permet de determiner dans quelle mesure les différents items d’un test mesurent un même construit latent
est-ce que les construits latents sont directement mesurables
non
les construits latents représentent quoi
des « mini-théories » qui expliquent les relations entre différents concepts évalués par les items (comportements mesurables).
Cela représente les dimensions (ou facteurs) !
qu’elles sont les façons robustes de calculer la validité de construit
l’analyse factorielle et l’analyse multitrait-multiméthode
quels sont les types de validité basée sur la structure interne et expliquer
validité convergente :
Tester la force de l’association entre les résultats des items de l’échelle cible et les autres qui mesurent le même construit. En ce sens, les résultats de l’outil devrait corréler avec les autres outils qui évaluent le même construit. On s’entend que les correlations soient fortes
validité divergente (ou discriminante) :
Vérifier à quel point les résultats des items de l’échelle cible s’écarte d’autres mesures de construits différents. En ce sens, l’outil ne devrait pas corréler de façon importante avec ces autres construits. On s’entend que les correlations soit nulle ou faible parce que ça évalue pas la même chose.
le rationnel de l’analyse factorielle est d’avoir combien de variables observées
au moins 3 (ou plus) variables observées (comportements mesurables) qui sont corrélées entre elles sur une nouvelle variable (construit latent) qui retient l’essentiel de la variance commune.
l’analyse factorielle permet d’identifier quoi
les dimensions principales d’un ensemble d’items et de regrouper les items qui mesurent des aspects similaires d’un concept
quels sont les types d’analyse factorielle
AF Exploratoire : utilisée pour déterminer la structure factorielle d’un instrument. Permettre l’ensemble des relations entre chaque dimension
AF Confirmatoire : permet de tester l’adéquation des données à un modèle prédéfini et d’évaluer la pertinence des dimensions identifiées
la matrice de corrélation sert de base pour quoi
- Évaluer la pertinence de l’AFE : Elle vérifie les corrélations entre les variables (on souhaite obtenir des corrélations entre 0,25 et 0,85). Si inférieur = corrélatiosn trop petite plus élevé = va suggérer une colinéarité
- Extraire les facteurs juste en la regardant : Permet d’identifier les relations linéaires qui peuvent être expliquées par des facteurs latents.
- Interpréter les résultats : Les charges factorielles dérivées de la matrice de corrélation permettent de donner un sens aux facteurs qu’on va extraire.
négliger la matrice de corrélation peut conduire à quoi
à une analyse factorielle invalide et à des conclusions erronées
le déterminant de la matrice de corrélation
D’évaluer la (multi)colinéarité des variables : Un déterminant proche de 0 sans être 0 (0,0001) indique une forte colinéarité entre les variables, suggérant que certaines variables pourraient être redondantes ce qui peut devenir un candidat à expulser du test.
De vérifier la faisabilité de l’AFE : Un déterminant faible (< 0,0001) montre que les variables partagent beaucoup de variance commune, ce qui rend l’AFE appropriée. Un déterminant élevé (> 0,1) pourrait signifier que l’AFE n’est pas adaptée aux données.
D’optimiser la qualité du modèle : En ajustant les variables pour réduire la multicolinéarité, on peut améliorer la robustesse des résultats de l’AF.
dans le déterminant de la matrice de corrélation le moindre de carré non pondéré permet quoi
que les facteurs soient corrélés entre eux
le déterminant de la matrice de corrélation est un indicateur clé pour quoi
pour évaluer la multicolinéarité et garantir la validité des résultats de l’AFE, aidant les chercheurs à mieux comprendre les relations complexes entre les variables.
L’indice KMO (kaiser-Meier-Oklin) permet quoi
D’évaluer l’adéquation des données - permet de déterminer si les données sont appropriées pour une AF
D’assurer la pertinence des facteurs – on souhaite un KMO élevé (proche de 1) indique que les facteurs extraits sont fiables et représentatifs des relations entre les variables
l’indice KMO (kaiser-Meier-Oklin)
si inférieur à 0.5 =
si se trouve entre 0.5 et 0.6 =
si entre 0.6 et 0.7 =
si entre 0,7 et 0.8 =
si entre 0.8 et 0.9
si 0.9 et plus
Si KMO est inférieur a 0.5 = on ne regarde pas les résultats
Si KMO se trouve en 0.5 et 0.6 = on regarde et on va les relativiser les interpretations qu’on peut tirer parce qu’il y a place à amélioration, on ne peut pas tirer des conclusions parce qu’il y a place à amelioration
Si KMO entre 0.6 et 0.7 = place à amelioration, acceptable
Entre 0.7 et 0.8 = juger comme bon
Entre 0.8 et 0.9 = juger comme très adéquat
0.9 et plus = excellent
le test de Bartlett permet de quoi
D’évaluer la faisabilité de l’AFE - un test significatif (p < 0,05) suggère que les corrélations entre les variables sont suffisamment grandes pour envisager une AF
On veut qu’il soit significatif
De renforcer la validité de l’analyse - en rejetant H0(hypothèse nulle) (absence de correlation, matrice d’identité) en obtenant un p < 0,05, le test de Bartlett assure que les données présentent des structures latentes pertinentes à aller explorer et appuis les analyses factorielles
dans le test Bartlett l’hypothèse nulle renvoit à quoi
renvoie à une absence de correlation entre les variables (ce qu’on appelle une matrice d’identité (r < 0,20)
la variance totale expliquée permet de quoi
Déterminer le nombre optimal de facteurs à retenir
Évaluer l’adéquation du modèle factoriel
Assurer la validité des conclusions