Cours 8 : la validité à la phase de vérification

Question 1

validité en général vs à l’étape de la congruence

Answer 1

est-ce que mon instrument mesure ce qu’il est censé mesurer
étape congruence : Qu’est-ce que je mesure vraiment ?

Question 2

Étape 5 : la congruence (objectifs et moyens)

Answer 2

Objectifs ;
- Vérifier les quantifications et/ou l’organisation des concepts
Moyens ;
- Analyses corrélationnelles
- Analyses factorielles
- Équations structurelles
- Approche hypothético-déductive

Question 3

système hypothético déductif (vérification des hypothèses)

Answer 3

ensemble d’hypothèses dont les confirmations permettront de déduire que notre instrument est valide
cherche à avoir suffisamment hypothèses pour bien définir construit et les confirmer (appuie validité)
si une hypothèse pas confirmée, pas nécessairement pas valide, peut être d’autres facteurs ou validité de l’instrument
- confirmation d’une de ces hypothèses est démonstration de validité
-confirmation de plusieurs hypothèses démonstration plus solide de la validité
- la non-confirmation d’hypothèses soulève des doutes sur la validité

Question 4

À quoi servent les critères?

Answer 4

variable de l’environnement qu’on met en lien avec le construit
À créer un système hypothético-déductif, qui servira à démontrer la validité de notre instrument à l’étape 5 (congruence).

Question 5

Barème de Cohen

Answer 5

Corrélation faible : r = 0,10
Corrélation moyenne : r = 0,30
Corrélation forte : r = 0,50
Il faut toujours prendre en considération le coefficient p.
Si p ≤ 0,05 : la corrélation est significative.
Si p > 0,05 : la corrélation est non significative.
si pas significatif, on peut rien conclure par rapport à la corrélation

Question 6

deux critères si hypothèses non confirmées

Answer 6

• l’hypothèse de recherche n’était pas bonne (vérification dans la littérature)- pas à L’exam
• le critère n’est pas bon (vérification des propriétés psychométriques du critère, dans la littérature des liens entre les critères)
  -Le nouvel instrument n’est pas bon

Question 7

confirmer ou infirmer hypothèse

Answer 7

1. regarde si la corrélation est significative
   divergent : corrélation entre instrument et critère sens contraire
2. regarde la direction, si oui, passer à l’étape 3
3. regarde la force, si pas tout à fait le même, partiellement confirmée si même direction
   va dans la même direction de l’hypothèse partiellement confirmée, seulement force qui pose problème au-delà du 0.10 (intervalle de confiance)
   Si va dans une direction inverse, même si la force de la corrélation est la même, l’hypothèse est infirmée

Question 8

comment savoir critère est problématique hors de tout doute

Answer 8

car avec autres critères + avec instrument ne se comportent pas bien

Question 9

si problème avec colonne 1 verticale

Answer 9

doit regarder dans escalier (si tout vert) mauvaise corrélations serait dû à l’instrument
juste en regardant première colonne on ne peut pas attribuer problème à l’instrument doit regarder escalier pour savoir si le critère est mauvais

Question 10

Atténuation

Answer 10

erreur de mesure limite, réduit, atténue la validité de notre instrument
coefficient de validité (corrélation ) entre le test et le critère est sous-estimé à cause de l’erreur de mesure

Question 11

estimer la validité théorique maximale d’un instrument en éliminant l’erreur de mesure

Answer 11

estimer l’effet d’atténuation

Question 12

formule d’atténuation #1

Answer 12

coefficient entre nouveau test et critère (observé dans l’étude)
divisé par
racine carré rxx : coefficient du test étant validé ex. corrélation test-retest
et
racine carré ryy : coefficient de fiabilité du critère (si disponible)
pas d’intérêt à le faire si toutes les hypothèses sont confirmées
possible que information sur le critère ne soit pas disponible

Question 13

résultat de la formule d’atténuation #1

Answer 13

coefficient de validité désatténué (et donc corrigé pour l’atténuation) donne limite supérieure théorique dans la corrélation qu’Il serait possible d’atteindre dans l’Étude de validation si les instruments étaient sans erreur.
CORRÉLATION CRITÈRE ET INSTRUMENT

Question 14

si hypothèse n’est pas confirmée après formule d’atténuation 1

Answer 14

indice problème de validité en plus de problème de fidélité

Question 15

estimer l’effet d’atténuation (formule #2)

Answer 15

enlever une partie de l’erreur de mesure
coefficiant de validité observé entre le nouveau test et critère multiplié par
racine carré r’xx : coefficient de fiabilité désiré du test étant validé multiplié par r’yy racine carré du coefficient de fiabilité désiré du critère
divisé pat
racine carré rxx : coefficient de fiabilité observé du test étant validé
racine carré ryy : coefficient de fiabilité observé du critère

Question 16

conclusion sur l’atténuation

Answer 16

si mon hypothèse est confirmée avant l’utilisation de la formule, il peut quand même y avoir un problème de fidélité !
Il faut choisir un critère qui a de bonnes propriétés psychométriques
Les formules #1 et #2 ne fonctionnent qu’avec des corrélations comme coefficients de fiabilité
L’alpha de Cronbach ne doit pas être utilisé
Le même type de coefficient doit être utilisé partout dans la formule (split-half ou test-retest) partout

Question 17

Groupes contrastés

Answer 17

Le test permet-il de différencier un groupe d’un autre?
Plus la différenciation est grande, plus le test est valide
On calcule la différence de moyennes entre les groupes:
Il faut que la différence soit statistiquement significative, mais ait aussi une taille d’effet importante.
On utilise principalement des analyses de variances (ANOVA) ou des tests t

Question 18

2 types d’analyse factorielle

Answer 18

• Analyse factorielle exploratoire (AFE)
• Analyse factorielle confirmatoire (AFC)

Question 19

analyse factorielle exploratoire

Answer 19

• technique ou on fait entrer les items dans la machine et d’où on espère voir ressortir un résumé adéquat
• à utiliser lorsqu’on ne sait pas ce que l’on cherche ou que la structure du construit n’a jamais été testée mathématiquement

Question 20

analyse factorielle confirmatoire

Answer 20

• technique de classification ou on sait ce que l’on cherche a priori
• on indique au logiciel combien de facteurs désirés et quels items se retrouvent dans chaque facteur
• résultats nous aident à déterminer si oui on non, la structure est bien présentée par les données
  P. ex. Les items se regroupent-ils dans les deux facteurs suivants?

Question 21

Analyses factorielles

Answer 21

Technique statistique issue des travaux initiaux sur l’intelligence
*Le facteur « g » = une analyse factorielle
Chaque facteur résume de l’information provenant de plusieurs items
Les items supposés mesurer une dimension devraient être fortement corrélés entre eux ET moins corrélés avec les autres dimensions
*On nomme saturation la corrélation entre un item et un facteur

Question 22

saturation

Answer 22

corrélation entre un item et un facteur dans l’analyse factorielle

Question 23

utilité des analyses factorielles

Answer 23

1. Confirmation de la structure ou de l’organisation d’un construit
   (Nb de sous-dimensions et leur organisation)
2. Détecter de moins bons items

Question 24

L’interprétation des analyses factorielles :

Answer 24

• Donne pas une réponse absolue
• on parle de « niveau d’adéquation avec les données »
• Nécessite une grande part d’interprétation de la part du concepteur de l’instrument

Question 25

l’analyse factorielle avec maximum de vraisemblance recommandé quand :

Answer 25

on mesure des concepts abstraits ou latents (observe pas directement)

Question 26

matrice d’intercorrélations des items

Answer 26

*pas une analyse factorielle, début à l’analyse factorielle
Les patrons de corrélations devraient indiquer si les items appartiennent à leur dimension
MAIS…
La matrice est difficile à interpréter et à visualiser
Il y a souvent des corrélations qui sont fortes en dehors des zones où il est logique d’en trouver
Il y a souvent plus que 18 items dans les instruments (surtout si on a créé plus d’items dans le but d’éliminer les moins bons)

Question 27

problème analyse factorielle exploratoire

Answer 27

Difficile de comprendre
« le résumé »

La majorité des items « saturent » sur plus d’un facteur

Difficile de nommer les facteurs

Question 28

analyse factorielle confirmatoires étapes

Answer 28

Voir si ta conceptualisation est bonne
Forcer le nombre de facteurs au nombre de dimensions conceptualisées en créant un modèle.

On regarde une série d’indices nous permettant de dire si ce qu’on a mis fonctionne ou pas.

Ces analyses sont complexes et ne s’effectuent pas sur SPSS.

Question 29

comment savoir critère est problématique hors de tout doute

Answer 29

car avec autres critères + avec instrument ne se comportent pas bien

Question 30

exemple d’analyse factorielle exploratoire

Answer 30

Les saturations ≤ 0,200 sont omises , mais certains auteurs recommandent d’omettre celles en dessous de 0,400 (Stevens, 2002)

S’il y avait vraiment 3 facteurs, les résultats de l’AFE auraient été 3 facteurs

Difficile de comprendre
« le résumé »

La majorité des items « saturent » sur plus d’un facteur

Difficile de nommer les facteurs