Cours 9 - Congruence Flashcards
Plus l’instrument comporte d’items plus il y a de risques d’erreur de mesure.
a. vrai
b. faux
b. faux
Décrivez l’étape 5 du modèle de la cible; la congruence
Concept de la validité (en bleu)
Phase de vérification (à droite de la ligne verticale)
Validité en général
« Est-ce que mon instrument mesure ce qu’il est censé mesurer ? »
À l’étape de la Congruence
« Qu’est-ce que je mesure vraiment? »
Objectifs
* Vérifier les quantifications et/ou l’organisation des concepts
Moyens
* Analyses corrélationnelles
* Analyses factorielles
* Équations structurelles
* Approche hypothético déductive
Comment pouvons-nous vérifier des hypothèses dans le modèle de la cible à l’étape de la congruence?
Système hypothético-déductif : ensemble d’hypothèses dont les confirmations
permettront de déduire que notre instrument est valide. Si elle est fausse = pas vrai.
* La confirmation d’une de ces hypothèses est une démonstration de la validité
o Ex. « Je pense que les résultats corrèlent avec tel critère. »
* La confirmation de plusieurs de ces hypothèses est une démonstration plus solide de la validité
* La non-confirmation d’hypothèses soulève des doutes sur la validité
À quoi servent les critères?
À créer un système hypothético déductif, qui servira à démontrer la validité de notre instrument à l’étape 5 (congruence).
Quel est le barème de Cohen?
Corrélation faible : r ≤ 0,10
* Corrélation moyenne : r = 0,30
* Corrélation forte : r ≥ 0,50
Peut-être les même chiffres mais en
négatif
Que devons-nous toujours prendre en considération en surplus du barème de Cohen?
Il faut toujours prendre en considération le coefficient p. (% chance dû au hasard)
- En psychologie :
o Si p ≤ 0,05 : la corrélation est significative.
o Si p > 0,05 : la corrélation est non significative.
Qu’est-ce que le * veut dire dans un tableau?
le résultat est interprétable. On ne peut rien interpréter s’il n’y a pas de *
Quelle est la différence entre convergent et divergent?
Convergent : corrélation positive
Divergent : corrélation négative
Quelles sont les 3 explications possibles d’une hypothèses non confirmée?
- L’hypothèse de recherche n’était pas bonne
* Vérification dans la littérature. Peut-être est-ce la littérature le problème? - Le critère n’est pas bon
* !!! Vérification des propriétés psychométriques du critère peuvent être mauvaises
* !!! Vérification dans la littérature des liens entre les critères - Le nouvel instrument n’est pas bon (Si le reste n’est pas bon)
Qu’est-ce qu’une hypothèse partiellement confirmée?
Par exemple: quand on s’attend à une corrélation significative et positive, mais elle est plutôt significative et négative
Qu’est-ce que l’atténuation?
L’erreur de mesure limite, réduit, atténue la validité de notre instrument.
Le coefficient de validité (la corrélation) entre le test et le critère est sous-estimé à cause de l’erreur de mesure.
Est-il possible d’estimer la validité théorique maximale d’un instrument en éliminant l’erreur de mesure ?
Oui, grâce à 2 formules
Qu’est-ce que nous pouvons-dire de la 1ère formule d’atténuation?
Le coefficient de validité désatténué (et
donc corrigé pour l’atténuation) donne la
limite supérieure théorique de la
corrélation qu’il serait possible d’atteindre
dans l’étude de validation si les
instruments étaient sans erreur.
- La formule d’atténuation #1 permet d’évaluer l’impact de la fiabilité sur la validité en faisant comme si les
instruments étaient exempts d’erreur de mesure. - Cependant, les tests ont toujours au moins une part minimale d’erreur de mesure.
Est-il donc possible d’estimer la validité théorique d’un instrument en éliminant une partie de l’erreur de mesure?
Oui, avec la 2e formule d’atténuation
Que pouvons-nous conclure sur l’atténuation?
- La fiabilité de l’instrument et la fiabilité du critère affectent négativement le coefficient de validité
- La formule d’atténuation aide à comprendre pourquoi certaines hypothèses de validité critériée ne sont
pas confirmées (problème de fiabilité ou de validité également ?)
o Rappel : si mon hypothèse est confirmée avant l’utilisation de la formule, il peut quand même y avoir un problème de fidélité ! - Il faut choisir un critère qui a de bonnes propriétés psychométriques
- Les formules #1 et #2 ne fonctionnent qu’avec des corrélations comme coefficients de fiabilité
o L’alpha de Cronbach ne doit pas être utilisé
o Le même type de coefficient doit être utilisé partout dans la formule (split-half ou test-retest)
Que pourrions-nous dire sur les groupes contrastés et la validité?
- Le test permet-il de différencier un groupe d’un autre?
- Plus la différenciation est grande, plus le test est valide
o On calcule la différence de moyennes entre les groupes :
o Il faut que la différence soit statistiquement significative, mais ait aussi
une taille d’effet importante. - On utilise principalement des analyses de variances (ANOVA) ou des tests t
Quels sont les 2 types d’analyse factorielle?
Analyse factorielle exploratoire
Analyse factorielle confirmatoire
Qu’est-ce qu’une analyse factorielle exploratoire?
- Technique où on fait entrer les items dans la machine
et d’où on espère voir ressortir un résumé adéquat - À utiliser lorsqu’on ne sait pas ce que l’on cherche ou que la structure du construit n’a jamais été testée mathématiquement.
- SPSS : on donne info et on dit : regarde si tu vois que certains items vont dans le même sens et si oui, crée des paquets/sous-dimensions.
- Utile quand pas de littérature existante
Ex. Comment mes 11 items se regroupent-ils? Quelle est la structure de mon questionnaire?
Ex de réponse : L’analyse montre que mes items se regroupent en 3 facteurs distincts.
Qu’est-ce qu’une analyse factorielle confirmatoire?
- Technique de classification où on sait ce que l’on cherche a priori
- On indique au logiciel combien de facteurs sont désirés et quels items se retrouvent dans chaque facteur
- Les résultats nous aident à déterminer si oui ou non, la structure est bien représentée par les données
- Obligé lorsque la littérature existe et qu’on connait les sous-échelles du construit
Qu’est-ce qu’une analyse factorielle?
- Technique statistique issue des travaux initiaux sur l’intelligence
o Le facteur « g » provient d’une analyse factorielle - Chaque facteur résume de l’information provenant de plusieurs items
- Les items supposés mesurer une dimension devraient être fortement corrélés entre eux ET moins corrélés avec les autres dimensions
o On nomme saturation la corrélation entre un item et un facteur
On ne veut pas que les paquets ne corrèlent pas entre-eux, car cela voudrait dire que nous avons besoin de 2 tests séparés différents. L’alpha α indique la corrélation entre les items et paquets.
Qu’est-ce qu’un construit?
un construit est un concept abstrait que l’on tente de mieux comprendre en le rendant plus concret .
Quelles sont les utilités des analyses factorielles?
- Confirmation de la structure ou de l’organisation d’un construit
* Nombre de sous-dimensions et leur organisation - Détecter des moins bons items
Comment pouvons-nous interpréter les analyses factorielles?
- Ne donne pas une réponse absolue ;
- On parle de « niveau d’adéquation avec les données » ;
- Nécessite une grande part d’interprétation de la part du concepteur de l’instrument.
- Il existe plusieurs méthodes statistiques différentes pour faire des analyses factorielles.
o Celle présentée dans les prochaines diapositives est l’analyse factorielle (factor analysis) avec maximum de vraisemblance (maximum likelihood). - Ce type d’analyse factorielle est recommandé lorsque l’on mesure des concepts abstraits ou latents.
Qu’est-ce qu’une matrice d’intercorrélation des items?
- Les patrons de corrélations devraient indiquer si les items appartiennent à leur dimension
MAIS…
* La matrice est difficile à interpréter et à visualiser
o Il y a souvent des corrélations qui sont fortes en dehors des zones où il est logique d’en trouver
o Il y a souvent plus que 18 items dans les instruments (surtout si on a créé plus d’items dans le but d’éliminer les moins bons)
Décrivez la structure factorielle qui résume la matrice d’intercorrélations
- Chaque X représente une saturation élevée
- Une saturation s’interprète comme une corrélation.
- Une saturation exprime le poids qu’a l’item dans le facteur.
- Les saturations devraient être élevées pour les facteurs attendus et presque nulles pour les autres
Vrai ou faux? Les saturations ≤ 0,200 sont omises , mais certains auteurs recommandent d’omettre celles en dessous de 0,400
Vrai
