Cours 10 - Construction Flashcards
Intro
Les étapes suivantes décrivent …
L’application du cadre suivant permet … (2)
les principales composantes et considérations techniques d’une construction efficace d’instruments de mesure.
- fournir une approche cohérente
- favoriser les arguments concernant l’adéquation des preuves de validité.
Intro
- La construction des tests est … ?
- La validation d’un instrument psychométrique peut …?
- Plusieurs des étapes présentés ici se chevauchent avec …
- processus très long et dynamique qui ne se termine pas nécessairement au moment de sa publication;
- donner lieu à de nombreux travaux complémentaires.
- les préoccupations principales d’adaptation transculturelle d’instruments de mesures
Anastasie dit : à chaque 5 ans on devrait recalculer la validité des tests dans des pays plus développés, et à chaque 3-4 ans dans pays en développement
Intro
La construction (adaptation) d’un instrument de mesure : étapes (9)
- 1ère Étape: Analyser les besoins;
- 2ème Étape: Identifier les comportements;
- 3ème Étape: Spécifier quelques principes;
- 4ème Étape: Rédiger (adapter) les items;
- 5ème Étape: Expertiser la première version (construite ou adapté);
- 6ème Étape: Pré tester;
- 7ème Étape: Analyser les items;
- 8ème Étape: Dimensionner/Calibrer
- 9ème Étape: Rédiger un manuel.
- 8ème Étape: Dimensionner/Calibrer
- 7ème Étape: Analyser les items;
- 6ème Étape: Pré tester;
- 5ème Étape: Expertiser la première version (construite ou adapté);
- 4ème Étape: Rédiger (adapter) les items;
- 3ème Étape: Spécifier quelques principes;
- 2ème Étape: Identifier les comportements;
La construction (adaptation) d’un instrument
1 - Analyser les besoins ? (4)
- Identifier les motifs qui justifient les besoins d’évaluation; (on a tu vrm besoin, y’en existe tu déjà un?)
- Si nous examinons les mesures déjà existantes, certaines d’entre elles répondent-elles à nos besoins ?
- Devons-nous créer (ou adapter) une mesure pour répondre à nos besoins ?
- Quels sont les objectifs de cette nouvelle mesure ?
influence de la culture
La construction (adaptation) d’un instrument
2 - Identifier les comportements ? (1)
Quels sont les comportements observables susceptibles de représenter le construit qu’on veut mesurer ?
La construction (adaptation) d’un instrument
3 - Spécifier quelques principes ? (3)
- Nombre d’items (préoccupation de la construction),
- Caractéristiques du matériel (et de la population);
- L’échelle Likert (pair ou impair)? 4, 5, 6 ou 7 pts = Fortement en désaccord à fortement en accord (?)
La construction (adaptation) d’un instrument
4 - Rédiger les items
Il faut un nombre bien plus grand d’items au départ (construction ou d’option d’adaptation) pour avoir un certain nombre d’items utiles.Fondamentalement il faut observer :
le contenu de questions (un contenu par question),
la formulation de questions,
la séquence de questions (niveau de difficulté),
le format des réponses souhaitées,
la présentation du matériel.
- Utilisez une communication simple et des mots familiers;
- Évitez des mots ambigus ou de compréhension difficile;
- Évitez des items qui suggèrent déjà les réponses; Ou, qu’une question répond à une autre (effet de halo);
- Évitez les items dont le contenu suscite des sentiments d’approbation ou de désapprobation émotionnelle;
- Éviter les questions longes (plus courte c’est mielleux);
Observez:
L’item est inutilement détaillée ou trop spécifique?
Plusieurs items sont nécessaires pour évaluer ce contenu ou l’une seule est déjà suffisante ?
Tous les éléments importants de ce contenu sont obtenus sur la façon dont les items ont été formulés ou adaptés?
Les gens ont les informations (les vécus, les formations, etc.) nécessaires pour répondre aux items proposés ?
Les items contiennent des jugements liés au sujet d’évaluation?
Les répondants sont prêts à répondre les contenus demandés ?
Faut-il que les items soient plus concrètes, spécifiques et plus directement liés à l’expérience personnelle ?
Le contenu de la question est biaisé dans une certaine direction?
Quelles réactions (ou objections, ou résistance) pourrait-on avoir quand on va répondre aux items (aurons-nous de fausses réponses ?) ?
La construction (adaptation) d’un instrument
5 - Expertiser la première version ?
Soumettre, au moins, à la vérification de la clarté du langage, pertinence théorique et dimensionnalité par un groupe d’expert (observer: combien d’années de formation, de pratique, localisation géographique, lieu de formation, etc.).
(juges-spécialistes)
essayer d’échapper à la consanguinité intellectuelle
La construction (adaptation) d’un instrument
6 - Pré-tester (2) ?
- Pré-tester la première version (construite ou adaptée) à l’aide d’un échantillon de la population ciblée, visant peaufiner cette première version (et peut-être déjà développer la version définitive). Ex : Combinaison linéaire des items 1,2 et 3 explique déjà la variance de l’item 4, alors pas besoin de l’item 4
- Cet échantillon de sujet doit être suffisamment grand (la problématique de l’échantillonnage) pour garantir une bonne qualité des résultats au pré-test. erreur d’échantillonage diminue si grand échantillon.
rappel problématique d’échantillonnage : se concentrer sur les deux échantillons (sujets et items) on peut pas faire ça
7 - Analyser les items : Analyse initiale
? (4)
Le biais d’acquiescement ?
- Vérifier/explorer, premièrement, les résultats descriptifs (relation variance et écart-type) et corrélationnels ;
- Explorer/détecter les possibles problèmes d’acquiescence (positive ou négative) ;
- Tester la **normalité des variables latentes ** (univarié) («K-S» comparaison de fréquence avec correction de Lilliefors, «S-W», test de Mardia (normalité multivariée) ou le test de distance de Mahalanobis (normalité multivariée)), si cela s’applique (évidement) ;
- **Chercher les possibles problèmes de colinéarité ** : item trop corrélé avec un autre item, on aime pas.
Le biais d’acquiescement est un phénomène par lequel les individus sont susceptibles d’être d’accord avec quelque chose, indépendamment de ce qu’ils ressentent réellement. Dans les enquêtes, il s’agit d’un type de biais de réponse dans lequel les personnes interrogées ont tendance à être d’accord avec les énoncés de la question de l’enquête plutôt que de donner leur avis personnel et impartial.
univarié = une variable
multivarié = plusieurs variables : Mardia & Mahalanobis
La construction (adaptation) d’un instrument
Matrice Anti-Image : c’est quoi ?
- image = ce que je veux expliquer, variance vraie ou réelle !!
- on veut que sa corrélation soit le plus petit possible,
- elle mesure un type d’erreur = variance unique ou commune, on veut la minimiser
La construction (adaptation) d’un instrument
Matrice Anti-Image, interprétation ?
voir p.19
En ce qui a trait la matrice de corrélation «anti-image», les valeurs hors diagonale principale doivent être majoritairement petites, parce que les effets linéaires des autres variables ont été éliminés (variance unique). Dans le cas à l’étude, on remarque que les corrélations sont majoritairement petites, quelque fois presque inexistantes (pratiquement nulles).
En ce qui a trait la diagonal principale de la matrice de corrélation anti-image, elle mesure précisément l’adéquation de la solution factorielle en comparant la force des coefficients de corrélation observés en relation avec la force des coefficients de corrélation partielle (mesure de la force de l’association entre deux variables quand toutes les autres sont maintenues constantes); plus précisément, il s’agit d’une mesure KMO par chacune des variables à l’étude.
KMO : par item, stats d’adéquabilité d’échantillonnage
La construction (adaptation) d’un instrument
Qualité de la représentation (Communalities) :
initial ?
extraction ?
voir p.21
La qualité de la représentation «** initial** » est une mesure de la variance de chaque variable qui peut être expliquée par l’ensemble des toutes les autres variables;
Régression (corrélation avec pseudo direction cause-effet) de toutes les items
Ex: Item 1 devient var dép. et toutes les autres sont indép., ainsi de suite avec tous les items
Combinaison linéaire
La qualité de la représentation « Extraction » est une mesure de la variance de chaque variable qui peut être expliquée par le nombre de facteurs retenus;
À partir de 0,3 = c’est acceptable, 0,4 = satisfaisant
Moins que 0,3 = candidat à partir
EXTRACTION EST LE PLUS IMPORTANT
Avant extraction, item!, après extraction, item devient facteur !
La construction (adaptation) d’un instrument
Variance Total Expliquée : interprétation ?
voir p.23
3 lignes = 3 facteurs
Le premier facteur explique 41,86% de la variance de la personnalité réaliste.
Le deuxième facteur explique 14,02% de plus qu’il n’a pas encore été expliquée par le facteur 1.
Le 3e facteur explique 7,208% de plus qui n’a pas été encore expliquée par les facteurs 1 et 2 de la perso réaliste.
La construction (adaptation) d’un instrument
Matrice de corrélation reproduite : 2 parties ?
voir p.24
Ce tableau, divisé en deux parties.
- La première partie contient les coefficients de corrélation reproduite entre toutes les variables du modèle factoriel. La diagonale principale de la première partie de ce tableau présente les qualités de représentation. Si l’on compare les valeurs hors diagonale avec la matrice de corrélation originale, on voit que les résultats ne sont pas exactement les mêmes : en effet, la matrice de corrélation reproduite est la matrice de corrélation basée sur les facteurs extraits (ou retenus). On s’attend que les valeurs de la matrice reproduite soient les plus proches possible des valeurs de la matrice de corrélation originale.
- La deuxième partie contiens les résidus (les différences entre les corrélations originales et les corrélations reproduites). La diagonale est inexistante, et les résultats hors diagonale doivent être les plus petits possibles.
Plus la solution factorielle est bonne, plus la matrice reconstituée s’approche de la matrice de corrélation initiale et moins les résidus sont importants (valeurs absolues < 0,05). L’indication d’une proportion faible de résidus plus grands que .05 signifie que tous les items contribuent pour une solution factorielle appropriée.
Partie 1 = corrélation reproduite
À chaque analyse, on retire des degrés de liberté, matrice devient instable
Après avoir perdu plusieurs degrés de liberté, on recalcule la matrice ?
Partie 2 = résidu (erreurs)
Différence numérique de la première matrice et de la dernière matrice
dl = n – 2 (pour une corrélation)
