Cours 8 Congruence

Question 1

Étape 5 : la congruence

Answer 1

C’est vraiment mes résultats qui sont valide et non mon test
Les inférences doivent être vraies

La validité à la phase de vérification

Validité en général
«Est-ce que mon instrument mesure ce qu’il est censé mesurer ?»

À l’étape de la Congruence
«Qu’est-ce que je mesure vraiment? »

On veut que tout concorde, les deux cercles superposés

Confirmer des hypothèses
- Sous-représentation du construit
- Variance non-relié au construit

Objectifs
l Vérifier les quantifications et/ou l’organisation des concepts
Moyens
l Analyses corrélationnelles
l Analyses factorielles
l Équations structurelles
l Approche hypothético-déductive

Question 2

Vérification des hypothèses
Système hypothético-déductif :
Preuve de validité de nos résultats

Answer 2

ensemble d’hypothèses dont les confirmations permettront de déduire que notre instrument est valide

Preuve de validité de nos résultats

• La confirmation d’une de ces hypothèses est une démonstration de la validité
• La confirmation de plusieurs de ces hypothèses est une démonstration plus solide de la validité
• La non-confirmation d’hypothèses soulève des doutes sur la validité

Question 3

Validité critériée:

Answer 3

Critères : Utilité
À quoi servent les critères?
À créer un système hypothético-déductif, qui servira à démontrer la validité de notre instrument à l’étape 5 (congruence).

Question 4

Comment qu’on interprète les résultats de notre système hypothético-déductif

Answer 4

Barème de Cohen (1988)

Corrélation faible : r=0,10
Corrélation moyenne : r=0,30
Corrélation forte : r=0,50

Il faut toujours prendre en considération le coefficient p.
Il faut avoir des résultats significatifs
Si p ≤ 0,05 : la corrélation est significative.
Si p > 0,05 : la corrélation est non significative (la corrélation est peut-être dû au hasard)

Question 5

Interprétation d’un tableau croisé
Voir notes

Answer 5

À reprendre pour le travail final

• T1 et T2 pour les résultats aux deux temps de mesure.
• Corrélation entre les deux temps = 0,82
• Engagement organisationnel = fort car 0,65 (T1) et 0,68 (T2)
• Intention de quitter = moyen 0,45 (T1) et 0,49 (T2) et divergent car négatif

Question 6

Hypothèses non confirmées
Explications possibles:

Answer 6

• L’hypothèse n’est juste pas bonne (mauvaise vérification dans la littérature, article de longue date)
• Le critère n’est pas bon (vérification des propriétés psychométriques et vérifier dans la littérature des liens entre les critères (regarder mes corrélations et celle dans la littérature) Dans le travail final, on doit faire ceux-ci
• Le nouvel instrument n’est pas bon (peut être des erreurs de mesures (fidélité) ou des problèmes de validité)

Question 7

Exemples de systèmes hypothético-déductif
Voir notes

Answer 7

*p < 0,05
Bien-être + résilience = corrélation positive attendue
Bien-être + CAS = corrélation négative attendue
Résilience + CAS = corrélation négative attendue

Si deux étoiles et plus petit que 0,01, il faut le dire
On se donne un jeu de +/- 0.1 pour les hypothèses
.20 - .59 (moyen c’est de .30 à 0.49, donc on rajoute/enlève 0.10)= moyen. Mais il doit seulement avoir .10 entre les deux résultats, pas .30 (genre .20 et .50)
Fort = 0.4 et 1

.10 = faible
.30 = moyenne
.50 = forte

On se donne du lousse = .10 pour les hypothèses
Étendue pour les corrélations: Pour confirmer il faut avoir la même direction et la même force
.10 = faible donc +/- .10 = on peut aller jusqu’à .20 (on peut confirmer notre hypothèse faible même si 0.20 (car jeu de .10)

On ne peut pas avoir 0 comme corrélation

Étapes:
1. Même direction
2. Dans le range de 0.10 (si dépasse = partiellement confirmé)

• Pas le critère le problème = on peut poser des questions par rapport à notre instrument (il semble être le problème) les hypothèses entre les critères semblent ok
• Regarder si nos hypothèses sont bonnes selon la littérature

0,2 = n’est pas négatif (problème de direction)

0,10 = pas significatif
-0,55 = supposé être positif (direction)
0,43 = supposé être négatif (direction)
Seulement 2 hypothèses sur 3 qui sont bonne (?) donc on ne peut pas confirmer

Question 8

Vérifier les hypothèses

Answer 8

Voir notes

-Significatif ?
- Même direction ?
- Même force?

Question 9

Exemples de systèmes hypothético-déductif dans des articles scientifiques (Tims, Bakker et Derks, 2012)

Answer 9

Voir notes

Question 10

Atténuation

Answer 10

Score observé = score vrai + erreur

0,93 vs 0,89 = on voit que l’erreur joue sur nos mesures = notre corrélation diminue

L’erreur de mesure limite, réduit, atténue la validité de notre instrument.

Le coefficient de validité (la corrélation) entre le test et le critère est sous-estimé à cause de l’erreur de mesure



Question 11

Est-il possible d’estimer la validité théorique maximale d’un instrument en éliminant l’erreur de mesure?

Answer 11

Estimer l’effet de l’atténuation (Formule #1)
Voir notes

Résultat de cette formule

Résultat de la formule #1:
Le coefficient de validité désatténué (et donc corrigé pour l’atténuation) donne la limite supérieure théorique de la corrélation qu’il serait possible d’atteindre dans l’étude de validation si les instruments étaient sans erreur.

Exemple avec formule #1
Voir notes

Exemple 2 : L’iPR (instrument fictif)
Voir notes

Question 12

Fiabilité et validité
La formule d’atténuation #1

Answer 12

La formule d’atténuation #1 permet d’évaluer l’impact de la fiabilité sur la validité en faisant comme si les instruments étaient exempts d’erreur de mesure

Cependant, les tests ont toujours au moins une part minimale d’erreur de mesure

Question 13

Est-il donc possible d’estimer la validité théorique d’un instrument en éliminant une partie de l’erreur de mesure?

Answer 13

Estimer l’effet de l’atténuation (Formule #2)
Voir notes

Question 14

Conclusions sur l’atténuation

Answer 14

• La fiabilité de l’instrument et la fiabilité du critère affectent négativement le coefficient de validité
• La formule d’atténuation aide à comprendre pourquoi certaines hypothèses de validité critériée ne sont pas confirmées (problème de fiabilité ou de validité également?)

o Rappel: si mon hypothèse est confirmée avant l’utilisation de la formule, il peut quand même y avoir un problème de fidélité !

• Il faut choisir un critère qui a de bonnes propriétés psychométriques
• Les formules #1 et #2 ne fonctionnent qu’avec des corrélations comme coefficients de fiabilité

o L’alpha de Cronbach ne doit pas être utilisé

o Le même type de coefficient doit être utilisé partout dans la formule (split-half ou test-retest)

Question 15

Groupes contrastés

Answer 15

• Le test permet-il de différencier un groupe d’un autre?

-Plus la différenciation est grande, plus le test est valide

• On calcule la différence de moyennes entre les groupes:

o Il faut que la différence soit statistiquement significative, mais ait aussi une taille d’effet importante.

o On utilise principalement des analyses de variances (ANOVA) ou des tests t

Exemples:
- Groupe d’enfants ayant un TDAH VS Groupe d’enfants ne présentant pas de TDAH

• Groupe atteint d’une déficience intellectuelle VS Groupe n’en présentant pas

Question 16

Analyse factorielle exploratoire (AFE)
Types d’analyses factorielles
Validité de construit

Answer 16

Analyse factorielle exploratoire (AFE)
- Technique où on fait entrer les items dans la machine et d’où on espère voir ressortir un résumé adéquat

• À utiliser lorsqu’on ne sait pas ce que l’on cherche ou que la structure du construit n’a jamais été testée mathématiquement.

Analyses factorielles exploratoires (on ne sait pas comment se décline notre construit, on utilise quand on ne sait pas ce que l’on recherche, comment se décline en sous-dimensions, fait entrer items dans la machine (ex: r) programme informatique, espère pourvoir ressortir sous-dimensions, :

o Exemple - Comment mes 11 items se regroupent-ils? Quelle est la structure de mon questionnaire?

o Exemple de réponse - L’analyse montre que mes items se regroupent en trois facteurs distincts.

Question 17

Analyse factorielle confirmatoire (AFC)

Answer 17

Validité de construit
- Technique de classification où on sait ce que l’on cherche a priori

-On indique au logiciel combien de facteurs sont désirés et quels items se retrouvent dans chaque facteur

• Les résultats nous aident à déterminer si oui ou non, la structure est bien représentée par les données

o Analyses factorielles confirmatoire (2 facteurs) ( on sait ce que l’on recherche: on sait le nombre de sous-dimensions, nombre de facteurs, on le dit à la machine)

Question 18

Analyses factorielles:

Answer 18

• Technique statistique issue des travaux initiaux sur l’intelligence
  § Le facteur «g» = une analyse factorielle

            - Chaque facteur résume de l’information provenant de plusieurs items
  
            - Les items supposés mesurer une dimension devraient être fortement corrélés entre eux ET moins corrélés avec les autres dimensions § On nomme saturation la corrélation entre un item et un facteur

Question 19

Utilité des analyses factorielles:

Answer 19

1. Confirmation de la structure ou de l’organisation d’un construit
   § Nombre de sous-dimensions et leur organisation
2. Détecter des moins bons items

Rappel: un construit est un concept abstrait que l’on tente de mieux comprendre en le rendant plus concret .

Question 20

Analyses factorielles
L’interprétation des analyses factorielles :

Answer 20

§ Ne donne pas une réponse absolue ;

§ On parle de « niveau d’adéquation avec les données » ;

§ Nécessite une grande part d’interprétation de la part du concepteur de l’instrument.

o Il existe plusieurs méthodes statistiques différentes pour faire des analyses factorielles

o Celle présentée dans les prochaines diapositives est l’analyse factorielle (factor analysis) avec maximum de vraisemblance (maximum likelihood) voir notes

§ Ce type d’analyse factorielle est recommandé lorsque l’on mesure des concepts abstraits ou latents.

Question 21

Point de départ: matrice d’intercorrélations des items

Answer 21

o Les patrons de corrélations devraient indiquer si les items appartiennent à leur dimension

MAIS…
o La matrice est difficile à interpréter et à visualiser

§ Il y a souvent des corrélations qui sont fortes en dehors des zones où il est logique d’en trouver

§ Il y a souvent plus que 18 items dans les instruments (surtout si on a créé plus d’items dans le but d’éliminer les moins bons)

Question 22

Résultats d’analyses factorielles:

Answer 22

• Voici la structure factorielle qui résume la matrice d’intercorrélations :

            - Chaque X représente une saturation élevée 

§ Une saturation s’interprète comme une corrélation.

§ Une saturation exprime le poids qu’a l’item dans le facteur.

            - Les saturations devraient être élevées pour les facteurs attendus et presque nulles pour les autres

            -  Si une telle structure était observée dans les résultats, il serait facile de nommer les facteurs

§ F1 = assurance
§ F2 = affirmation
§ F3 = détermination

Question 23

Exemple d’analyse factorielle exploratoire:

Answer 23

• Les saturations ≤ 0,200 sont omises , mais certains auteurs recommandent d’omettre celles en dessous de 0,400 (Stevens, 2002)

            - S’il y avait vraiment 3 facteurs, les résultats de l’AFE auraient été 3 facteurs
  
            - Difficile de comprendre «le résumé»
  
            - La majorité des items «saturent» sur plus d’un facteur
  
            - Difficile de nommer les facteurs

Question 24

Analyse factorielle confirmatoire

Answer 24

• Forcer le nombre de facteurs au nombre de dimensions conceptualisées en créant un modèle.
• On regarde une série d’indices nous permettant de dire si ce qu’on a mis fonctionne ou pas.
• Ces analyses sont complexes et ne s’effectuent pas sur SPSS

Voir notes