Cours 8 : la validité à la phase de vérification Flashcards
validité en général vs à l’étape de la congruence
est-ce que mon instrument mesure ce qu’il est censé mesurer
étape congruence : Qu’est-ce que je mesure vraiment ?
Étape 5 : la congruence (objectifs et moyens)
Objectifs ;
- Vérifier les quantifications et/ou l’organisation des concepts
Moyens ;
- Analyses corrélationnelles
- Analyses factorielles
- Équations structurelles
- Approche hypothético-déductive
système hypothético déductif (vérification des hypothèses)
ensemble d’hypothèses dont les confirmations permettront de déduire que notre instrument est valide
cherche à avoir suffisamment hypothèses pour bien définir construit et les confirmer (appuie validité)
si une hypothèse pas confirmée, pas nécessairement pas valide, peut être d’autres facteurs ou validité de l’instrument
- confirmation d’une de ces hypothèses est démonstration de validité
-confirmation de plusieurs hypothèses démonstration plus solide de la validité
- la non-confirmation d’hypothèses soulève des doutes sur la validité
À quoi servent les critères?
variable de l’environnement qu’on met en lien avec le construit
À créer un système hypothético-déductif, qui servira à démontrer la validité de notre instrument à l’étape 5 (congruence).
Barème de Cohen
Corrélation faible : r = 0,10
Corrélation moyenne : r = 0,30
Corrélation forte : r = 0,50
Il faut toujours prendre en considération le coefficient p.
Si p ≤ 0,05 : la corrélation est significative.
Si p > 0,05 : la corrélation est non significative.
si pas significatif, on peut rien conclure par rapport à la corrélation
deux critères si hypothèses non confirmées
- l’hypothèse de recherche n’était pas bonne (vérification dans la littérature)- pas à L’exam
- le critère n’est pas bon (vérification des propriétés psychométriques du critère, dans la littérature des liens entre les critères)
-Le nouvel instrument n’est pas bon
confirmer ou infirmer hypothèse
- regarde si la corrélation est significative
divergent : corrélation entre instrument et critère sens contraire - regarde la direction, si oui, passer à l’étape 3
- regarde la force, si pas tout à fait le même, partiellement confirmée si même direction
va dans la même direction de l’hypothèse partiellement confirmée, seulement force qui pose problème au-delà du 0.10 (intervalle de confiance)
Si va dans une direction inverse, même si la force de la corrélation est la même, l’hypothèse est infirmée
comment savoir critère est problématique hors de tout doute
car avec autres critères + avec instrument ne se comportent pas bien
si problème avec colonne 1 verticale
doit regarder dans escalier (si tout vert) mauvaise corrélations serait dû à l’instrument
juste en regardant première colonne on ne peut pas attribuer problème à l’instrument doit regarder escalier pour savoir si le critère est mauvais
Atténuation
erreur de mesure limite, réduit, atténue la validité de notre instrument
coefficient de validité (corrélation ) entre le test et le critère est sous-estimé à cause de l’erreur de mesure
estimer la validité théorique maximale d’un instrument en éliminant l’erreur de mesure
estimer l’effet d’atténuation
formule d’atténuation #1
coefficient entre nouveau test et critère (observé dans l’étude)
divisé par
racine carré rxx : coefficient du test étant validé ex. corrélation test-retest
et
racine carré ryy : coefficient de fiabilité du critère (si disponible)
pas d’intérêt à le faire si toutes les hypothèses sont confirmées
possible que information sur le critère ne soit pas disponible
résultat de la formule d’atténuation #1
coefficient de validité désatténué (et donc corrigé pour l’atténuation) donne limite supérieure théorique dans la corrélation qu’Il serait possible d’atteindre dans l’Étude de validation si les instruments étaient sans erreur.
CORRÉLATION CRITÈRE ET INSTRUMENT
si hypothèse n’est pas confirmée après formule d’atténuation 1
indice problème de validité en plus de problème de fidélité
estimer l’effet d’atténuation (formule #2)
enlever une partie de l’erreur de mesure
coefficiant de validité observé entre le nouveau test et critère multiplié par
racine carré r’xx : coefficient de fiabilité désiré du test étant validé multiplié par r’yy racine carré du coefficient de fiabilité désiré du critère
divisé pat
racine carré rxx : coefficient de fiabilité observé du test étant validé
racine carré ryy : coefficient de fiabilité observé du critère
conclusion sur l’atténuation
si mon hypothèse est confirmée avant l’utilisation de la formule, il peut quand même y avoir un problème de fidélité !
Il faut choisir un critère qui a de bonnes propriétés psychométriques
Les formules #1 et #2 ne fonctionnent qu’avec des corrélations comme coefficients de fiabilité
L’alpha de Cronbach ne doit pas être utilisé
Le même type de coefficient doit être utilisé partout dans la formule (split-half ou test-retest) partout
Groupes contrastés
Le test permet-il de différencier un groupe d’un autre?
Plus la différenciation est grande, plus le test est valide
On calcule la différence de moyennes entre les groupes:
Il faut que la différence soit statistiquement significative, mais ait aussi une taille d’effet importante.
On utilise principalement des analyses de variances (ANOVA) ou des tests t
2 types d’analyse factorielle
- Analyse factorielle exploratoire (AFE)
- Analyse factorielle confirmatoire (AFC)
analyse factorielle exploratoire
- technique ou on fait entrer les items dans la machine et d’où on espère voir ressortir un résumé adéquat
- à utiliser lorsqu’on ne sait pas ce que l’on cherche ou que la structure du construit n’a jamais été testée mathématiquement
analyse factorielle confirmatoire
- technique de classification ou on sait ce que l’on cherche a priori
- on indique au logiciel combien de facteurs désirés et quels items se retrouvent dans chaque facteur
- résultats nous aident à déterminer si oui on non, la structure est bien présentée par les données
P. ex. Les items se regroupent-ils dans les deux facteurs suivants?
Analyses factorielles
Technique statistique issue des travaux initiaux sur l’intelligence
*Le facteur « g » = une analyse factorielle
Chaque facteur résume de l’information provenant de plusieurs items
Les items supposés mesurer une dimension devraient être fortement corrélés entre eux ET moins corrélés avec les autres dimensions
*On nomme saturation la corrélation entre un item et un facteur
saturation
corrélation entre un item et un facteur dans l’analyse factorielle
utilité des analyses factorielles
- Confirmation de la structure ou de l’organisation d’un construit
(Nb de sous-dimensions et leur organisation) - Détecter de moins bons items
L’interprétation des analyses factorielles :
- Donne pas une réponse absolue
- on parle de « niveau d’adéquation avec les données »
- Nécessite une grande part d’interprétation de la part du concepteur de l’instrument
l’analyse factorielle avec maximum de vraisemblance recommandé quand :
on mesure des concepts abstraits ou latents (observe pas directement)
matrice d’intercorrélations des items
*pas une analyse factorielle, début à l’analyse factorielle
Les patrons de corrélations devraient indiquer si les items appartiennent à leur dimension
MAIS…
La matrice est difficile à interpréter et à visualiser
Il y a souvent des corrélations qui sont fortes en dehors des zones où il est logique d’en trouver
Il y a souvent plus que 18 items dans les instruments (surtout si on a créé plus d’items dans le but d’éliminer les moins bons)
problème analyse factorielle exploratoire
Difficile de comprendre
« le résumé »
La majorité des items « saturent » sur plus d’un facteur
Difficile de nommer les facteurs
analyse factorielle confirmatoires étapes
Voir si ta conceptualisation est bonne
Forcer le nombre de facteurs au nombre de dimensions conceptualisées en créant un modèle.
On regarde une série d’indices nous permettant de dire si ce qu’on a mis fonctionne ou pas.
Ces analyses sont complexes et ne s’effectuent pas sur SPSS.
comment savoir critère est problématique hors de tout doute
car avec autres critères + avec instrument ne se comportent pas bien
exemple d’analyse factorielle exploratoire
Les saturations ≤ 0,200 sont omises , mais certains auteurs recommandent d’omettre celles en dessous de 0,400 (Stevens, 2002)
S’il y avait vraiment 3 facteurs, les résultats de l’AFE auraient été 3 facteurs
Difficile de comprendre
« le résumé »
La majorité des items « saturent » sur plus d’un facteur
Difficile de nommer les facteurs
