examen 3 Flashcards
la validité d’un instrument de mesure correspond à
degré de correspondance des évidences et de la théorie à l’interprétation prévue des résultats des tests
les évidences de validité d’un test se cumulent selon quoi
un processus séquentiel
pour avoir du sens il faut faire quoi en priorité
il est prioritaire de tester la validité de contenu avant de tester la fidélité de la mesure
qu’elle est l’une des 1ère définition de la validité de contenu
Le degré auquel les réponses d’un sujet aux items d’un test se considèrent comme un échantillon représentatif de ses réponses à un ensemble réel ou hypothétique de situations qui, ensemble, représentent la sujet d’intérêt (construit cible) de la personne qui interprète le test
la validité de contenu d’un instrument de mesure informe sur
le degré d’adéquation de la mesure à l’estimation du «construit cible » (target), retenu pour la mesure
la définition du construit cible détermine quoi
le contenu de la mesure comme la finalité du test
pourquoi dit-on que la validité est séquentiel
les preuves vont s’accumuler l’une après l’autre) quand je fais mon test je vais aller le valider au niveau du contenu, s’il est insatisfaisant je vais m’arrêté et retourner refaire mon test
la validité de contenu dépend de quel domaine
du domaine de définition du contenu
le domaine de définition du contenu contient quoi
Domaine de définition conceptuelle du construit (contenu théorique) plus conceptuel : l’interprétation du construit théorique (ceux que le test mesure)
Domaine de définition opérationnelle du construit (contenu pratique): opérationnalisation du construit théorique, ou expression du construit théorique au moyen de la mesure (représentation du construit par les items)
le contenu doit être
Représentatif théoriquement;
Relevant théoriquement;
Pertinent pratiquement;
Dimensionnel (unidimensionnel ou multidimensionnel);
que veux dire unidimensionnel et multidimensionnel
unidimensionnel : voir tous les côtés 1 à 1
multidimensionnel : tous les items ensembles
qu’est-ce que la représentativité théorique (ou représentation du domaine ou complétude théorique)
le degré d’adéquation de la globalité de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique)
qu’est-ce que la relevance (importance) théorique (ou représentation du domaine ou pertinence théorique)
le degré d’adéquation de chaque item de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique)
qu’est-ce que la pertinence pratique (ou relevance du domaine)
le degré d’adéquation de chaque item de la mesure à une certaine représentation socio-culturelle du construit (définition opérationnelle du construit; contenu pratique)
qu’est-ce que la dimensionnalité
le degré d’adéquation de chaque item de la mesure à la dimension du construit pour laquelle l’item est représentatif, relevant et pertinent (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)
qu’est-ce que la clarté du langage
le degré d’adéquation de chaque item de la mesure à une représentation originale et créative du construit (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)
qu’est-ce que l’exclusivité
le degré d’adéquation de chaque item de la mesure à une représentation exclusive du construit (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)
pour déterminer la validité de contenu les études explorent quoi
la concordance inter-juges (je veux l’obtenir) concernant l’adéquation du contenu de la mesure à l’estimation du construit cible.
en fonction des objectifs, les procédures se déroulent comment et dans quel but
par groupe de discussion ou par remplissage de questionnaires, dans le but d’établir la concordance des juges (selon leur expertise et leur positionnement)
le remplissage de questionnaire implique quel genre d’analyse
quantitative des données
le questionnaire contienne quoi
tous les items à valider (items du test ou d’une adaptation transculturelle). ATTENTION! Les items du test à valider sont les items du questionnaire MAIS les réponses aux items portent sur les aspects de la validité de contenu pour la globalité du test ou pour chacun des items.
pourquoi doit-on donner une feuille de consignes aux juges
accompagne le questionnaire et explique aux experts le domaine de définition du contenu (définition conceptuelle et opérationnelle de la mesure)
qu’est-ce qui est questionner par les juges dans le questionnaire
pour la globalité du test ou pour chaque item, chacun des aspects de la validité du contenu est questionné
qu’est-ce que le « subject matter experts (SMEs)
c’est une méthode collaborateurs
: les juges, un groupe d’experts dans le sujet (p.ex. psychodynamiciens, psychométriciens, personnes qui travaillent dans le domaine, personnes de la population cible, etc.).
Le sujet est plus vaste et s’étend au-delà du construit et de l’interprétation du construit, qui sont de référence pour l’élaboration du test (aller chercher des personnes qui on travaillé avec les victimes du narcissisme puisqu’ils peuvent apporter
du point de vue éthique les experts sont….
des collaborateurs au processus d’élaboration du test; ils ne sont pas des participants, mais plutôt des évaluateurs qui aident à répondre à la question de recherche.
qu’est-ce que la consanguinité intellectuelle
si les collaborateurs proviennent du même milieu professionnel et/ou de formation, leur collaboration à l’étude (évaluation de la validité de contenu) risque d’être davantage homogène, davantage en accord («biais!»). On ne veut pas que le juge arrive du même domaine puisque leur accord peut être biaisé
est-ce qu’on veut la consanguinité intellectuelle chez nos collaborateurs
non on ne la veut pas
combien doit-on avoir de collaborateurs pour
- les groupes de discussions
- le remplissage de questionnaires
en fonction des procédures…
Pour les groupes de discussion: nombre impaire des juges (en fait, un nombre impair permet une application tranchant du critère de la majorité)
Pour le remplissage des questionnaires: en fonction des analyses…
qu’est-ce que le calcul de coefficients de concordance inter-juges et donner des exemples
(p.ex. Kappa de Cohen ou ICC, soit Coefficient de Corrélation Interclasses) : ces coefficients expriment la concordance ou l’association entre les évaluations des juges, voire entre les données
qu’est-ce que le coefficients spécifiques à la validité de contenu
création des formules; p.ex. ratio de validité de contenu (CVR ; Lawshe, 1975), indice de validité du contenu (CVI), ou coefficient de validité de contenu (CVC; Hernandez-Niéto, 2002; Balbinotti, 2006)
combien faut-il de collaborateurs pour le test
- Kappa de Cohen :
- CVC :
- CVR :
- Kappa de Cohen : au moins 2 évaluateurs
- CVC : entre 4 et 5 juges
- CVR : work in progress
est-ce que les opinions des juges sont subjectives ou quantitatives
elle est subjective
qu’elle est l’alternative pour ne pas avoir à faire affaire avec des juges
conduire des analyses factorielles pour explorer les réponses au test élaboré, pas validé
la validité basée sur la structure interne est-elle super importante ou non
représente le type de validité la plus importante
la validité basée sur la structure interne fait référence à quoi
à la manière dont les différents éléments d’un test ou d’une échelle se comportent ensemble pour mesurer le construit théorique visé
comment on appelait la validité basée sur la structure interne avant
validité de construit
la validité basée sur la structure interne examine quoi
la cohérence interne et la correspondance entre la structure théorique d’un instrument et la structure observée dans les données empiriques
qu’est-ce que la cohérence interne
permet de determiner dans quelle mesure les différents items d’un test mesurent un même construit latent
est-ce que les construits latents sont directement mesurables
non
les construits latents représentent quoi
des « mini-théories » qui expliquent les relations entre différents concepts évalués par les items (comportements mesurables).
Cela représente les dimensions (ou facteurs) !
qu’elles sont les façons robustes de calculer la validité de construit
l’analyse factorielle et l’analyse multitrait-multiméthode
quels sont les types de validité basée sur la structure interne et expliquer
validité convergente :
Tester la force de l’association entre les résultats des items de l’échelle cible et les autres qui mesurent le même construit. En ce sens, les résultats de l’outil devrait corréler avec les autres outils qui évaluent le même construit. On s’entend que les correlations soient fortes
validité divergente (ou discriminante) :
Vérifier à quel point les résultats des items de l’échelle cible s’écarte d’autres mesures de construits différents. En ce sens, l’outil ne devrait pas corréler de façon importante avec ces autres construits. On s’entend que les correlations soit nulle ou faible parce que ça évalue pas la même chose.
le rationnel de l’analyse factorielle est d’avoir combien de variables observées
au moins 3 (ou plus) variables observées (comportements mesurables) qui sont corrélées entre elles sur une nouvelle variable (construit latent) qui retient l’essentiel de la variance commune.
l’analyse factorielle permet d’identifier quoi
les dimensions principales d’un ensemble d’items et de regrouper les items qui mesurent des aspects similaires d’un concept
quels sont les types d’analyse factorielle
AF Exploratoire : utilisée pour déterminer la structure factorielle d’un instrument. Permettre l’ensemble des relations entre chaque dimension
AF Confirmatoire : permet de tester l’adéquation des données à un modèle prédéfini et d’évaluer la pertinence des dimensions identifiées
la matrice de corrélation sert de base pour quoi
- Évaluer la pertinence de l’AFE : Elle vérifie les corrélations entre les variables (on souhaite obtenir des corrélations entre 0,25 et 0,85). Si inférieur = corrélatiosn trop petite plus élevé = va suggérer une colinéarité
- Extraire les facteurs juste en la regardant : Permet d’identifier les relations linéaires qui peuvent être expliquées par des facteurs latents.
- Interpréter les résultats : Les charges factorielles dérivées de la matrice de corrélation permettent de donner un sens aux facteurs qu’on va extraire.
négliger la matrice de corrélation peut conduire à quoi
à une analyse factorielle invalide et à des conclusions erronées
le déterminant de la matrice de corrélation
D’évaluer la (multi)colinéarité des variables : Un déterminant proche de 0 sans être 0 (0,0001) indique une forte colinéarité entre les variables, suggérant que certaines variables pourraient être redondantes ce qui peut devenir un candidat à expulser du test.
De vérifier la faisabilité de l’AFE : Un déterminant faible (< 0,0001) montre que les variables partagent beaucoup de variance commune, ce qui rend l’AFE appropriée. Un déterminant élevé (> 0,1) pourrait signifier que l’AFE n’est pas adaptée aux données.
D’optimiser la qualité du modèle : En ajustant les variables pour réduire la multicolinéarité, on peut améliorer la robustesse des résultats de l’AF.
dans le déterminant de la matrice de corrélation le moindre de carré non pondéré permet quoi
que les facteurs soient corrélés entre eux
le déterminant de la matrice de corrélation est un indicateur clé pour quoi
pour évaluer la multicolinéarité et garantir la validité des résultats de l’AFE, aidant les chercheurs à mieux comprendre les relations complexes entre les variables.
L’indice KMO (kaiser-Meier-Oklin) permet quoi
D’évaluer l’adéquation des données - permet de déterminer si les données sont appropriées pour une AF
D’assurer la pertinence des facteurs – on souhaite un KMO élevé (proche de 1) indique que les facteurs extraits sont fiables et représentatifs des relations entre les variables
l’indice KMO (kaiser-Meier-Oklin)
si inférieur à 0.5 =
si se trouve entre 0.5 et 0.6 =
si entre 0.6 et 0.7 =
si entre 0,7 et 0.8 =
si entre 0.8 et 0.9
si 0.9 et plus
Si KMO est inférieur a 0.5 = on ne regarde pas les résultats
Si KMO se trouve en 0.5 et 0.6 = on regarde et on va les relativiser les interpretations qu’on peut tirer parce qu’il y a place à amélioration, on ne peut pas tirer des conclusions parce qu’il y a place à amelioration
Si KMO entre 0.6 et 0.7 = place à amelioration, acceptable
Entre 0.7 et 0.8 = juger comme bon
Entre 0.8 et 0.9 = juger comme très adéquat
0.9 et plus = excellent
le test de Bartlett permet de quoi
D’évaluer la faisabilité de l’AFE - un test significatif (p < 0,05) suggère que les corrélations entre les variables sont suffisamment grandes pour envisager une AF
On veut qu’il soit significatif
De renforcer la validité de l’analyse - en rejetant H0(hypothèse nulle) (absence de correlation, matrice d’identité) en obtenant un p < 0,05, le test de Bartlett assure que les données présentent des structures latentes pertinentes à aller explorer et appuis les analyses factorielles
dans le test Bartlett l’hypothèse nulle renvoit à quoi
renvoie à une absence de correlation entre les variables (ce qu’on appelle une matrice d’identité (r < 0,20)
la variance totale expliquée permet de quoi
Déterminer le nombre optimal de facteurs à retenir
Évaluer l’adéquation du modèle factoriel
Assurer la validité des conclusions
dans l’extraction des facteurs que regarde-t-on dans le graphqiue
Quand on juge qu’entre le point 1 et le point 2 la ligne est vertical on va retenir si c’est davantage horizontale on ne retient pas et dès qu’on dit qui est davantage horizontale on arrêt de regarder et donc il y a seulement 1 facteur de retenu et donc même si 3-4 augmente et est vertical on ne le considère pas parce que 2-3 était horizontale
L’extraction des facteurs est objectif ou subjectif et c’est donc qualitatif ou quantitatif?
Méthode subjective, mais très robustes, mais depend de notre regard et donc est qualitatif
avec la matrice de forme on cherche à savoir quoi
le point de convergence entre les items qui saturent dans un même facteur
la matrice de forme permet de déterminer quoi
la saturation factorielle
la matrice de forme permet de connaitre quoi
connaitre le nombre de dimensions intrinsèques à notre mesure
quel est le point de rupture dans la matrice de forme
Point de rupture à 0,3 que ce soit en négatif ou positif (c’est une convention, si personne dit rien quel est le point de rupture = 0,3): tous les chiffres qui n’apparaissent pas existent mais sont plus petits que 0,3
l’analyse multitrait-multiméthode est une matrice de
de corrélation entre les résultats obtenus à différents traits (hétérotrait VS monotrait) et à différentes méthodes (hétérométhode VS monométhode).
dans l’analyse multritait-multiméthode on s’attend a ce que la plus forte corrélation soit trouver où
que la plus forte corrélation soit trouvé pour un même trait et la même méthode; et que la plus faible corrélation soit trouvé pour des traits différents - méthodes différentes.
quelle est la limite de l’analyse multitrait-multiméthode
demande beaucoup de temps de la part des sujets (faire plusieurs tests… 2 temps) + difficulté à trouver et faire la passation de plusieurs tests qui évaluent les mêmes traits
l’analyse multitrait-multiméthode fonctionne comment
Il y a toujours deux temps à la validité multitrait-multiméthode, qui sont représentés par les axes des abcisses (x) et des ordonnées (y)
Exemples de traits (A, B, C) :
Dépression (A), Tristesse (B), Désespoir (C)
Exemples de méthodes (1, 2, 3)
Observation directe (Méthode 1),
Questionnaire papier (Méthode 2),
Entrevue semi-structurée (Méthode 3)
la validité basée sur la structure interne n’amène pas quoi
n’amène pas à un indice statistique unique, mais bien à plusieurs résultats qui doivent être interprétés en lien avec les éléments théoriques sur lesquels le test est base.
qu’est-ce qui va être plus facilement mesurable si la théorie utilisée est claire et bien définie
La validité basée sur la structure interne d’un instrument (ensemble de preuves de validité)
les considérations initiales dans les considérations déontologiques définit quoi
définit des directives pour les psychologues dans leurs activités professionnelles, scientifiques et pédagogiques, et précise les normes de conduite attendues des membres et affiliés étudiants de l’APA.
est-ce que le code du Québec est le même que l’APA
le code du Québec est plus large mais se base sur l’APA tandis que l’APA est plus spécifique
nommer une des limites inhérentes au code d’éthique de l’APA
ne peut pas fournir des directives précises pour répondre à chaque situation
les psychologues doivent continuellement se tenir informés de quoi dans les conditions initiales
des nouvelles pratiques et des évolutions dans leurs domaines d’intervention, ainsi que de l’évolution des normes de pratique. Cela leur permet de se préparer à exercer de manière éthique au fur et à mesure que la science de la psychologie progresse.
dans les considérations initiales le processus d’évaluation permet de faire quoi
de faire une appréciation des forces, des faiblesses, des particularités et des comportements des individus, tout en tenant compte du fait que les instruments (tests, inventaires, échelles, etc.) sont complexes et imparfaits
qu’est-ce que le processus d’évaluation
Il s’agit d’un processus partiellement subjectif, dans lequel nous nous appuyons sur nos connaissances, nos ressentis, nos capacités d’observation, nos systèmes de valeurs et nos expériences pour guider nos décisions en tant que psychologues.
La responsabilité des psychologues demeure primordiale
les psychologues ont la responsabilité d’utiliser les tests de façon éthique, ce qui implique cinq domaines clés lesquels
agir de manière professionnelle,
garantir une utilisation compétente des tests,
assumer la responsabilité de leur utilisation,
protéger les matériaux de test et
assurer la confidentialité des résultats.
l’étique en évaluation psychologique est un domaine complexe qui requiert quoi
une formation continue et une réflexion approfondie de la part des praticiens.
quels sont les caractéristiques des examinateurs biens formés
Ils choisissent des tests adaptés à la fois à l’objectif de l’évaluation et aux caractéristiques des personnes évaluées.
Ils maîtrisent la documentation et les développements récents concernant le test sélectionné.
Ils sont capables d’évaluer les qualités techniques (psychométriques, etc.) des tests.
Ils sont attentifs aux conditions de passation, conscients que celles-ci peuvent influencer les performances au test.
Ils formulent des conclusions ou recommandations uniquement après avoir interprété les résultats en tenant compte des caractéristiques de la personne évaluée.
quand est-ce que les professionnels peuvent contester la valeur des tests
lorsqu’ils conduisent à des interprétations hostiles à certains groupes ;
lorsqu’ils constituent la seule base de décision ;
lorsque les conséquences reliées au fait d’obtenir de faibles résultats sont trop importantes pour la personne évaluée (mesurée).
Dans la SECTION VII du Code de déontologie des psychologues :
UTILISATION DU MATÉRIEL PSYCHOLOGIQUE :
quel est le point 47
En ce qui concerne l’utilisation, l’administration, la correction et l’interprétation des tests psychologiques ainsi que la publication de tests et l’information que doivent contenir les manuels et documents s’y rattachant, le psychologue respecte les principes scientifiques et professionnels généralement reconnus dans ce domaine de la psychologie.
Dans la SECTION VII du Code de déontologie des psychologues :
UTILISATION DU MATÉRIEL PSYCHOLOGIQUE :
quel est le point 48
Le psychologue reconnaît les limites inhérentes aux instruments de mesure qu’il utilise et interprète le matériel psychométrique avec prudence, notamment en tenant compte:
1° des caractéristiques spécifiques des tests ou du client qui peuvent interférer avec son jugement ou affecter la validité de son interprétation;
2° du contexte de l’intervention;
3° de facteurs qui pourraient affecter la validité des instruments de mesure et nécessiter des modifications quant à l’administration des tests ou à la pondération des normes.
Dans la SECTION VII du Code de déontologie des psychologues :
UTILISATION DU MATÉRIEL PSYCHOLOGIQUE :
quel est le point 49
Le psychologue ne remet pas à autrui, sauf à un autre psychologue, les données brutes et non interprétées reliées à une évaluation ou inhérentes à une consultation psychologique.
Dans la SECTION VII du Code de déontologie des psychologues :
UTILISATION DU MATÉRIEL PSYCHOLOGIQUE :
quel est le point 50
Le psychologue prend les moyens nécessaires afin de ne pas compromettre la valeur méthodologique et métrologique d’un test et, à cet effet, il ne remet pas le protocole au client ou à un tiers qui n’est pas psychologue.
Dans la SECTION VII du Code de déontologie des psychologues :
UTILISATION DU MATÉRIEL PSYCHOLOGIQUE :
quel est le point 51
Dans tout rapport psychologique, écrit ou verbal, le psychologue s’en tient à son interprétation du matériel psychologique et aux conclusions qu’il en tire.
quelles sont les étapes les plus explorés dans la littérature par rapport à la construction d’instruments de mesure
- Détermination de ce que l’on souhaite mesurer;
- Génération d’un ensemble d’items;
- Analyse des items;
- Validation de l’échelle (tests de fiabilité et de validité);
- Détermination de la dimensionalité;
- Révision des items et pré-tests.
- Administration de l’instrument final.
- Évaluation continue de la fiabilité et de la validité (après la collecte des données, amélioration continue basée sur les résultats).
dans une culture non stable on va réviser les indices de validité au combien de temps vs dans une culture stable
Dans une culture non stable on doit réviser les indices de validités tous les 3-4 ans, max 5
Dans une culture stable les réviser aux 7 ans
- détermination de ce que l’on souhaite mesurer
Balbinotti et Devellis soulignent l’importance de quoi
l’importance de définir le construit de manière précise et exhaustive. Avant de créer un instrument de mesure, il est essentiel de bien comprendre le concept ou la variable que l’on cherche à évaluer. Cela peut être une variable psychologique (comme l’anxiété, la motivation), sociale (comme la satisfaction au travail) ou physique (comme la fréquence cardiaque). Il est crucial de s’assurer que ce concept soit défini de manière précise et sans ambiguïté pour éviter tout malentendu.
un construit s’est
une variable latente
une variable latente c’est
chose que je ne peux pas mesurer directement (ex. Sociabilité, motivation, etc.)
- détermination de ce que l’on souhaite mesurer
une fois que le concept est compris il faut…
le conceptualiser en termes mesurables, c’est-à-dire le traduire en des indicateurs concrets.
- détermination de ce que l’on souhaite mesurer
qu’est-ce qu’une définition opératoire et elle consiste à spécifier quoi
conceptualiser les termes mesurables. Cette étape consiste à spécifier les manifestations observables (comportements) ou les caractéristiques du concept qui peuvent être évaluées par des indicateurs mesurables.
- détermination de ce que l’on souhaite mesurer
pourquoi est-il important de décomposer un concept complexe en ses différentes dimensions ?
pour que chaque aspect puisse être mesuré correctement
- détermination de ce que l’on souhaite mesurer
est-ce que la plupart des concepts sont unidimensionnelles
non la plupart on plusieurs dimensions et facettes (ex : la qualité de vie implique des dimensions physique, psychologiques et sociales
- détermination de ce que l’on souhaite mesurer
est-ce que la clarté conceptuelle est importante
oui Sans une clarté conceptuelle dès le départ, le processus de développement de l’instrument peut être compromis. Il est possible de créer un instrument qui ne mesure pas réellement ce qu’il est censé mesurer (problème de validité).
Par conséquent, il est crucial de consacrer suffisamment de temps et de réflexion à cette étape pour s’assurer que l’instrument sera pertinent et bien construit
- détermination de ce que l’on souhaite mesurer
une mauvaise définition de ce que l’on veut mesurer peut mener à quoi
des résultats ambigus, difficiles à interpréter, ou à des conclusions erronées (DeVellis, 2016).
Cela peut également affecter la fiabilité de l’instrument, car des items mal formulés peuvent générer des réponses inconsistantes
- détermination de ce que l’on souhaite mesurer
pourquoi il est important d’avoir la collaborationdes experts du domaine
pour affiner la définition du concept à mesurer. Ces experts peuvent offrir des perspectives théoriques ou pratiques supplémentaires, aidant à clarifier des aspects qui pourraient ne pas être immédiatement évidents pour le développeur de l’instrument.
- détermination de ce que l’on souhaite mesurer
les experts peuvent aider à identifier quoi
les dimensions pertinentes du concept, ainsi que les méthodes les plus appropriées pour mesurer chacune de ces dimensions.
- génération d’un ensemble d’items
qu’est-ce qu’un item
Un item est généralement une question ou une affirmation à laquelle les répondants doivent réagir. Chaque item est conçu pour capter un aspect particulier du concept à mesurer. Ces items sont ensuite compilés pour former l’instrument de mesure complet
- génération d’un ensemble d’items
il est important de générer un grand ou un large ensemble d’items et pourquoi
Il est important de générer un large ensemble d’items lors de cette étape, même si tous ne seront pas utilisés dans l’instrument final (DeVellis, 2016). La raison est que le processus de construction d’un bon instrument de mesure passe par une phase de révision et d’élimination des items inefficaces ou redondants.
- génération d’un ensemble d’items
quelles sont les sources des items et expliquer chacune
- Littérature scientifique : Les recherches antérieures peuvent offrir des exemples d’items qui ont déjà été validés pour mesurer des concepts similaires.
- Consultation d’experts : Les spécialistes du domaine peuvent aider à générer des items pertinents et adaptés au contexte.
- Groupes de discussion : Les échanges avec des personnes représentatives de la population cible peuvent aussi fournir des idées d’items (Balbinotti, 2005, 2023).
- génération d’un ensemble d’items
pourquoi chaque item doit être clair simple et pertinent
Les items ambiguës ou trop complexes risquent de fausser les résultats car les répondants peuvent les interpréter différemment
- génération d’un ensemble d’items
quand on crée des items il important de garder en tête quelque chose quoi
il est important de garder à l’esprit les méthodes statistiques qui seront utilisées pour analyser les réponses plus tard
- analyse des items
La fiabilité (fidélité) fait référence à quoi et comment peut on dire qu’un item est fiable
fait référence à la cohérence des items dans le temps et entre les différents répondants.
Un item est considéré comme fiable s’il donne des résultats cohérents lorsque mesuré à plusieurs reprises dans les mêmes conditions
- analyse des items
qu’est-ce qui est un concept central dans l’évaluation des items et elle fait référence à quoi
la validité et elle fait référence à la capacité de l’instrument à mesurer ce qu’il est censé mesurer, et cela seulement
- analyse des items
qu’est-ce que l’analyse factorielle et elle permet quoi
une technique statistique souvent utilisée à cette étape pour déterminer la structure sous-jacente des items.
Elle permet d’identifier les dimensions principales d’un ensemble d’items et de regrouper les items qui mesurent des aspects similaires d’un concept (Balbinotti, 2005, 2023).
Cela aide à affiner l’instrument et à retirer les items redondants ou moins pertinents.
- analyse des items
il existe combien de type d’analyse factorielle
2 types d’analyse factorielle :
Exploratoire: la matrice des formes (tableau du dernier cours), je suis en train d’explorer les contenus « fit » davantage avec quelles dimensions
Confirmatoire: analyse de réduction d’information ex. inventaire de Beck, j’ai 20 choses à analyser, mais je ne vais pas analyser 20 choses, je vais en analyser une (la dépression) (??)
- analyse des items
Après avoir effectué les analyses de fiabilité, de validité (à l’aide des analyses factorielles), il est souvent nécessaire de
réviser ou éliminer certains items». Les items :
–> peu fiables : Peu de relation d’un item avec un autre item
–> redondants : On ne peut pas avoir une très faible corrélation, ni une très forte
–>ou ambigus :
doivent être modifiés ou supprimés
- analyse des items
une fois les items révisés, il est important de…
procéder à un «pré-test de l’instrument» auprès d’un échantillon « représentatif (ça n’existe pas dans un pré-test c’est important mais pas représentatif» de la population cible. Cela permet de s’assurer que les items soient compris de manière cohérente et qu’ils mesurent correctement le concept
- structure interne de l’échelle retravaillée
une échelle fiable doit produire quoi
produire des résultats constants lorsqu’elle est administrée à plusieurs reprises dans les mêmes conditions
- structure interne de l’échelle retravaillée
une mesure congénérique (par ex.: alpha ordinal, Omega, fidélité composite, entre autres) quand supérieur à 0,7 est généralement considéré comme et révèle quoi
«acceptable», en révélant la cohérence des items de l’échelle retravaillée
- structure interne de l’échelle retravaillée
la validité de l’échelle permet de s’assurer de quoi
que l’instrument mesure bien le concept qu’il est censé mesurer, et cela seulement
- structure interne de l’échelle retravaillée
à l’étape 4 qu’elle genre d’analyse on peut faire
des «analyses complémentaires» peuvent être effectuées, telles que des corrélations entre les résultats de l’échelle et d’autres instruments de mesure, afin d’évaluer les premières étapes de la validité basée sur les relations avec d’autres variables (Balbinotti, 2024). Ces analyses peuvent également inclure des tests statistiques tels que l’analyse factorielle confirmatoire
- structure interne de l’échelle retravaillée
après avoir évalué la fiabilité et la validité il peut être nécessaire de faire quoi
il peut être nécessaire de réviser à nouveau l’échelle. Les items peu fiables ou ceux qui ne contribuent pas à la validité globale de l’instrument doivent être supprimés ou modifiés
- détermination de la dimensionnalité
qu’est-ce que la dimensionalité
fait référence au nombre de «facteurs, composantes ou dimensions» sous-jacents à un ensemble d’items
Un instrument peut être unidimensionnel (ne mesurant qu’un seul concept) ou multidimensionnel (mesurant plusieurs aspects d’un concept)
- détermination de la dimensionnalité
qu’est-ce que l’analyse factorielle exploratoire et permet de regrouper quoi
technique statistique fréquemment utilisée pour explorer la structure factorielle d’un instrument. Cette technique permet de regrouper les items en fonction des corrélations entre eux et d’identifier les dimensions sous-jacentes
- détermination de la dimensionnalité
qu’est-ce que l’analyse factorielle confirmatoire
Une analyse factorielle confirmatoire (AFC) peut être effectuée pour valider la structure factorielle préalablement identifiée (Balbinotti, 2024).
L’AFC permet de tester l’adéquation des données à un modèle prédéfini et d’évaluer la pertinence des dimensions identifiées
- détermination de la dimensionnalité
qu’est-ce qu’un facteur et une composante
Facteur et composant sont différents
Facteur= analyse factorielle
Composante= analyse composante principale
(C’est la direction de la flèche qui change)
- détermination de la dimensionnalité
pourquoi faut-il ajuster des items en fonction des résultats
Après les analyses factorielles, certains items peuvent ne pas s’intégrer clairement dans une dimension spécifique (des doubles saturations peuvent arriver) ou peuvent être redondants. À ce stade, il pourrait être encore nécessaire de «réviser ou supprimer les items» qui ne contribuent pas de manière significative à la structure factorielle globale de l’instrument
- détermination de la dimensionnalité
dans le cas où un construit (ou concept mesuré) est multidimensionnel il est essentiel de quoi
il est essentiel que chaque dimension soit mesurée de manière adéquate (Balbinotti, 2005). Cela garantit que l’instrument capture toutes les facettes pertinentes du concept étudié
- révision des items et pré-tests
après la détermination de la dimensionnalité il est important de
«réviser les items» pour s’assurer qu’ils sont clairs, non ambigus, et qu’ils mesurent bien les aspects du concept prévus (revisitant la validité basée sur le contenu).
Cette révision peut encore impliquer des petits ajustements dans la formulation des items, la suppression d’items redondants ou la réécriture d’items problématiques
- révision des items et pré-tests
le pré-test de l’instrument consiste à quoi
à réadministrer l’instrument révisé à un échantillon issu de la population cible. L’objectif est d’évaluer si les répondants comprennent bien les items révisés et si cette révision permet d’obtenir les résultats attendus
- révision des items et pré-tests
l’étape d’ajustements après le pré-test fait quoi
les résultats du pré-test peuvent encore révéler des problèmes inattendus dans l’instrument, tels que des items mal compris ou des échelles de réponse mal adaptées. Sur cette base, il pourrait être nécessaire d’apporter des «ajustements supplémentaires» avant d’administrer l’instrument à une plus grande population
- révision des items et pré-tests
qu’est-ce que la collecte de donnée et elle permet quoi
Il est possible d’effectuer une première validation de l’instrument «définitif» sur un nouveau échantillon encore plus large (Balbinotti, 2005).
Cette première preuve de «validation initiale» permet de vérifier la structure interne des items (validité et fidélité) avant son utilisation à grande échelle
- administration de l’instrument final
L’instrument après avoir été révisé et pré-testé est maintenant prêt à quoi et ça permet quoi
prêt à être administré à un grand nombre de participants.
Cela permet de vérifier comment il fonctionne dans un contexte réel et d’évaluer ses performances psychométriques à une plus grande échelle
les changements doivent être des petits pas des gros
- administration de l’instrument final
L’objectif principale de la récolte des données est de
collecter des données fiables» sur un échantillon large et «représentatif».
Ces nouveaux données serviront à confirmer la validité et la fiabilité de l’instrument dans différents contextes et auprès de différentes populations
- administration de l’instrument final
comment va-t-on analyses les résultats
- Vérifier la cohérence interne de l’instrument (par exemple, préférablement via les mesures congénérique – Congeneric measures : Omega, Composite Reliability, et Construct Reliability)
- Confirmer la validité de construit
- Examiner la structure factorielle en utilisant des méthodes comme l’analyse factorielle confirmatoire
- administration de l’instrument final
vrai ou faux c’est à cette étape qu’on va identifier et évaluer les biais potentiels
vrai on va voir les biais qui pourraient affecter les répondes des participants
- administration de l’instrument final
quels sont les sortes de biais potentiels qui peuvent avoir un impact sur la qualité des résultats
-Les biais de désirabilité sociale
-les biais liés à la formulation des questions
- les biais d’échantillonnage
- administration de l’instrument final
la validité de construit s’est une validité basée sur
validité basée sur les structures internes
- administration de l’instrument final
Après avoir analysé les données et identifié les éventuels problèmes, des «ajustements finaux» peuvent être apportés à l’instrument. Il peut s’agir de…
de modifier certains items ou de réviser l’échelle de réponse afin d’améliorer encore la qualité et l’efficacité de l’instrument
- administration de l’instrument final
est-ce que mon échelle peut avoir un pas du tout
non parce que le pas du tout = 0 ce qui veut dire que mon échelle mesure l’absence et c’est impossible
- évaluation continue (fiabilité et validité)
pourquoi l’évaluation continue est importante
permet de vérifier si l’instrument conserve sa qualité au fil du temps et s’il peut être utilisé dans des contextes différents.
Les conditions d’utilisation peuvent évoluer ou la population cible peut changer, ce qui nécessite une surveillance continue de la performance de l’instrument
- évaluation continue (fiabilité et validité)
lors de l’utilisation continue de l’instrument il est important de faire quoi et ça permet quoi
de «collecter régulièrement de nouvelles données»
Ces nouveaux données permettent de vérifier la constance des résultats obtenus avec l’instrument et de tester sa validité dans différents contextes
- évaluation continue (fiabilité et validité)
pourquoi réviser la fiabilité et qu’est-ce qui est nécessaire d’être réévalué
La fiabilité de l’instrument peut fluctuer avec le temps ou en fonction des changements dans la population cible.
Il est donc nécessaire de réévaluer la consistance interne (par exemple, via le coefficient alpha de Cronbach) et la stabilité test-retest des résultats pour garantir que l’instrument reste fiable
- évaluation continue (fiabilité et validité)
Sur la base de l’évaluation continue, des «ajustements» peuvent être nécessaires pour améliorer l’instrument. qu’est-ce que ça va inclure
la révision ou la suppression d’items, ou même l’ajout de nouveaux items pour mieux capter les dimensions émergentes du concept mesuré
- évaluation continue (fiabilité et validité)
L’évaluation continue permet d’adapter l’instrument à
de nouveaux contextes culturels, linguistiques ou démographiques. Un instrument de mesure peut avoir besoin d’être modifié pour garantir sa validité dans des populations ou des environnements différents de ceux dans lesquels il a été initialement conçu
quels sont les autres éléments important à considérer dans la documentation
- La rédaction d’un manuel d’utilisateur:
Les objectifs pour lesquels il a été créé:
–>A quoi serve-t-il ?
–>Dans quel contexte sera-t-il utilisé
–>Que doit-il mesurer ?
–>Est-ce une variante d’un test existant?
–>Quelle population est concernée ?
–>Précision de la forme (individuel, collectif, papier-crayon, internet, etc.) - Spécification des caractéristiques de l’échantillon + passation
- Administration (procédures), directives, limites de temps, mode de correction, etc.
Cargaison croisé
Quand les variables présentent une charge factorielle significative sur plus qu’un facteur
Cargaison factorielle
Représente la correlation de chaque variable avec le facteur
Une cargaison de 0 signifie quoi
Qu’il y a pas d’association entre le facteur et les variables
Quelles sont les 4 étapes pour bien interpréter la matrice de forme
Cargaison factorielle principales
La structure interne simples des facteurs
Cargaison croisé et leur gestion
Identification et signification de chaque facteur
