Cours 8 : Congruence

Question 1

L’étape de congruence permet de vérifier ____________ et fait parti de la phase de ____________

Answer 1

validité; vérification

Question 2

V ou F : Ce qu’on vérifie lors de l’étape de la congruence c’est si l’instrument est valide (donc mesure ce qu’il est supposé mesurer).

Answer 2

Faux, ce qui doit être valide, ce sont les interprétations qu’on peut faire avec l’instrument.

Ex : Dans une échelle de QI, si j’ai un score de 100, je dois pouvoir inférer que j’ai une intelligence dans la moyenne.

Question 3

Lors de l’étape de congruence, on se pose la question «Qu’est-ce que je mesure vraiment? ». Ça veut dire quoi ?

Answer 3

On veut voit si ce qu’on souhaite mesurer est congruent (concorde) avec ce que je mesure vraiment.

Plus précidément, on veur vérifier si la variance est liée ou non au construit ou si les sous-dimensions du construit sont bien représentées dans l’instrument.

Question 4

Quel est l’objectif de l’étape de congruence ?

Answer 4

Vérifier les quantifications et/ou l’organisation des concepts

Question 5

L’objectif de l’étape de congruence est de vérifier les quantifications et/ou l’organisation des concepts.

Quels sont les moyens pour y arriver ? (4)

Answer 5

1. Analyses corrélationnelles
2. Analyses factorielles
3. Équations structurelles
4. Approche hypothético-déductive

Question 6

C’est quoi un système hypothético-déductif ?

Answer 6

Un ensemble d’hypothèses dont les confirmations permettront de déduire que notre instrument est valide.

Question 7

Dans un système hypothético-déductif, qu’est-ce qu’on peut déduire par rapport à l’instrument si :
1. Une hypothèse est confirmée
2. Plusieurs hypothèses sont confirmées
3. Une ou plusieurs hypothèses ne sont pas confirmées.

Answer 7

1. Démonstration de la validité
2. Démonstration plus solide de la validité
3. Doutes sur la validité
   Ne veut pas dire que l’instrument n’est pas valide, il s’agit d’abord de trouver où est le problème

Question 8

Validité critériée

À quoi servent les critères ?

Answer 8

À créer un système hypothético-déductif, qui servira à démontrer la validité de notre instrument à l’étape 5 (congruence).

Question 9

Validité critériée

Comment on interprète les corrélations selon le barème de Cohen ?

Answer 9

Il faut d’abord voir si la corrélation est significative avec le coefficient « p ».
- Si p ≤ 0,05 : la corrélation est significative.
- Si p > 0,05 : la corrélation est non significative

Si la corrélation est significative, on regarde ensuite la force de la corrélation.
- Si r=0,10 : corrélation faible
- Si r=0,30 : corrélation moyenne
- Si r=0,50 : corrélation forte

Question 10

Validité critériée

Si la corrélation est non-significative (p > 0,05), ça veut dire quoi ?

Answer 10

Qu’on ne peut pas interpréter/porter un jugement sur ce critère, car soit il n’y a aucun lien entre le critère ou le construit, soit l’instrument a des problèmes de fidélité.

Question 11

Validité critériée

Voici un exemple de tableau croisé.

On s’attend que :
- La corrélation entre l’instrument et le critère #1 (engagement organisationnel) soit fort et convergent.
- La corrélation entre l’instrument et le critère #2 (intention de quitterl) soit moyen et divergent.

*p < 0,05

Qu’est-ce qu’on peut dire sur ce tableau ?

Answer 11

• Toutes les corrélations sont significatives (erreur dans le tableau, corrélation entre critère 3 et 4 est significative)
• Stabilité temporelle : corrélation forte (r = 0,82) et significative, donc instrument stable dane le temps
• Critère #1 et instrument : fort et convergent, donc hypothèse confirmée
• Critère #2 et instrument : moyen et divergent, donc hypothèse confirmée

Question 12

Validité critériée

Si une ou plusieurs des hypothèses ne sont pas confirmées, quelles sont les explications possibles ? (3)

Answer 12

1. L’hypothèse de rechrche n’était pas bonne
2. Le critère n’était pas bon
3. Le nouvel instrument n’est pas bon

Question 13

Validité critériée

Si une ou plusieurs hypothèse(s) n’est pas confirmée, voici les explications possibles :
1. L’hypothèse de rechrche n’était pas bonne
2. Le critère n’était pas bon
3. Le nouvel instrument n’est pas bon

Pour chaque explication, qu’est-ce qu’il faut faite si la source d’erreur vient de là ?

Answer 13

Question 14

Validité critériée

Que veulent dire les couleurs de ce système hypothético-déductif ?

Answer 14

• Vert : corrélation dans le même sens & même force que ce qui est attendu
• Jaune : Corrélation dans le même sens que ce qui est attendu, mais pas la même force
• Rouge : Corrélation ni dans le même sens, si dans la même direction que ce qui est attendu.

Question 15

Validité critériée

Quelles sont les étapes de l’arbre décisionnel pour confirmer/infirmer une hypothèse ?

Answer 15

Question 16

Validité critériée

Dans quelle(s) situation(s) une hypothèse est confirmée ?

Answer 16

p ≤ 0,05 (significatif) ET même direction critère-construit ET rhypothèse ± 0,10 =robtenu

Question 17

Validité critériée

Dans quelle(s) situation(s) une hypothèse est partiellement confirmée ?

Answer 17

p ≤ 0,05 (significatif) ET même direction critère-construit, mais rhypothèse ± 0,10 ≠robtenu

Question 18

Validité critériée

Dans quelle(s) situation(s) une hypothèse est infirmée ?

Answer 18

• Si p > 0,05 (non significatif)
• Si ≤ 0,05 (significatif) et direction critère-construit opposée

Question 19

Validité critériée

L’erreur de mesure réduit la ______ de notre instrument. Donc, la corrélation entre le test et le critère est ______.

Answer 19

L’erreur de mesure réduit la validité de notre instrument. Donc, la corrélation entre le test et le critère est sous-estimé.

Question 20

Validité critériée

Étant donné que l’erreur de mesure réduit la validité de notre instrument.

C’est pour ça qu’on utilise la formule d’atténuation. À quoi elle(s) peu(ven)t servir ?

Answer 20

Soit :
1) Estimer d’estimer la validité théorique maximale d’un instrument en éliminant l’erreur de mesure (formule #1)
OU
2) Estimer d’estimer la validité théorique maximale d’un instrument en éliminant une partie de l’erreur de mesure (formule #2)

Question 21

Validité critériée - Formule d’atténuation

Avec la formule d’atténuation #1 :
- Le coefficient de validité passe de 0,31 à 0,40 pour le critère 1
- Le coefficient de validité passe de 0,65 à 0,94 pour le critère 2

Hypothèse critère 1 : r=0,54
Hypothèse critère 2 : r=0,85

Avec ces résultats, qu’est-ce qu’on peut inférer sur cet instrument ?

Answer 21

Pour le critère 1, même si l’instrument n’a aucune erreur de mesure (donc une fidélité parfaite), on ne pourrait quand même pas confirmer l’hypothèse, car rhypothèse - 0,1 ≠ robtenu (0,44 > 0,40). Donc il y a un problème de validité … le critère 1 ne mesure peut-être pas ce qu’il est supposé mesurer.

Pour le critère 2, si l’instrument n’a aucune erreur de mesure (donc une fidélité parfaite), l’hypothèse serait confirmée. Alors il y a un problème de fidélité pour le critère 2, il y a trop d’erreur de mesure.

Question 22

Validité critériée - Formule d’atténuation

Avec la formule d’atténuation #2 :
- Le coefficient de validité passe de 0,31 à 0,33 pour le critère 1
- Le coefficient de validité passe de 0,65 à 0,78 pour le critère 2

Hypothèse critère 1 : r=0,54
Hypothèse critère 2 : r=0,85

Avec ces résultats, qu’est-ce qu’on peut inférer sur cet instrument ?

Answer 22

Pour ces deux critères, si on enlève une partie de l’erreur de mesure, les deux hypothèses restent partiellement confirmées, car rhypothèse ≠ robtenu dans les deux cas.

Par conséquent, il y a un problème de validité dans l’instrument.

Question 23

V ou F : Si mon hypothèse est confirmée avant l’utilisation de la formule, il ne peux pas avoir de problème de fidélité.

Answer 23

Faux ! Si mon hypothèse est confirmée avant l’utilisation de la formule, il peut quand même y avoir un problème de fidélité !

Question 24

Validité critériée - Groupe contrastés

1. Pour les groupes contrastés, qu’est-ce qu’on vérifie ? Comment on vérifie ça ?
2. Comment fait-on pour déterminer si le test est valide ?

Answer 24

1. Si le test permet de différencier un groupe d’un autre. On calcule la différence de moyenne entre les groupes.
2. Plus la différenciation entre les deux groupes est grande, plus le test est valide

Question 25

# **Validité critériée** - Groupe contrastés Plus la différence entre deux groupes est grande, plus le test est valide. Pour mesurer ça, on calcule la différence des moyennes entre les groupes. Quels sont les critères (2) pour dire que deux groupes sont différents ?

Answer 25

1. La différence doit être **statistiquement significative** (p ≤ 0,05) 2. La **taille d'effet** doit être importante

Question 26

# **Validité critériée** - Groupe contrastés Quels types d'analyses sont utilisés pout calculer les groupes contrastés ?

Answer 26

ANOVA ou test t

Question 27

# **Validité de construit** Quels sont les types d'analyses faites pour déterminer la validité de construit ? (2)

Answer 27

1. **Analyse factorielle exploratoire (AFE)** 2. **Analyse factorielle confirmatoire**

Question 28

# **Validité de construit** Distingue l'**AFE** de l'**AFC**

Answer 28

**AFE** : On ne sait pas trop comment se décline notre construit (en sous-dimensions). Donc on fait entrer nos items dans un programme informatique et on espère faire ressortir facteurs. **AFC** : Avant de lancer calcul mathématique on sait ce qu’on cherche. On s’attend à X nombre de facteurs, et on dit quel critères devrait se retrouver dans tel facteur

Question 29

# **Validité de construit** Pour savoir comment mes 11 items se regroupent, je fais une **analyse factorielle exporatoire**. Suite à mon analyse, voici ce que j'obtiens *(voir image)* Qu'est-ce que je peux dire que la structure de mon questionnaire ?

Answer 29

L'analyse montre que mes items se regroupent en 3 facteurs distincts. Le cercle avec «1et2» est ambivalent, il n'appartient à aucun groupe en particulier. Ça nous indique qu'on peut peut-être enlever cet item.

Question 30

# **Validité de construit** On veut savoir si les items se regroupent selon les deux facteurs suivant (*ce qui est encadré dans l'image avec les cercles vides*). L'**analyse factorielle confirmatoire** me permet de montrer quoi ?

Answer 30

Que les items se regroupent en **3 facteurs distincts**.

Question 31

# **Validité de construit** - Analyse factorielle - Indique le symbole utilisé pour les facteurs, elle permet de résumer quoi ? - Les items supposés mesurer une dimension devraient être ...(2)

Answer 31

Dans une analyse factorielle, chaque facteur («**g**») résume de l'information provenant de plusieurs items. Les items supposés mesurer une dimension devraient être : 1. **Fortement corrélés entre eux** 2. **Moins corrélés avec les autres dimensions**

Question 32

# **Validité de construit** Comment on nomme la corrélation entre un item et un facteur ?

Answer 32

Une **saturation**

Question 33

# **Validité de construit** Rappel : Un construit est un concept abstrait que l’on tente de mieux comprendre en le rendant plus concret .  À quoi servent les **analyses factorielles** ?

Answer 33

1. Confirmer la structure ou l'organisation d'un construit (aka nombre de sous-dimensions et leur organisation) 2. Détecter les moins bons items

Question 34

# **Validité de construit** 1. Qu'est-ce qu'une analyse factorielle permet/ne permet pas de faire ? 2. **V ou F** : Les analyses factorielles nécessitent une grande part d’interprétation de la part du concepteur de l’instrument.

Answer 34

1) L’interprétation des analyses factorielles : - Ne donne pas une réponse absolue - On parle de « niveau d’adéquation avec les données » 2) Vrai !

Question 35

# **Validité de construit** Il existe plusieurs méthodes statistiques différentes pour faire des analyses factorielles. Quel type d’analyse factorielle est recommandé lorsque l’on mesure des concepts abstraits ou latents ?

Answer 35

L’analyse factorielle avec maximum de vraisemblance (maximum likelihood)

Question 36

# **Validité de construit** Comment faire une analyse factorielle (étapes) ?

Answer 36

1) On se sert de la **matrice d'intercorrélations des items** afin de savoir si les items appartiennent à leurs dimensions - Crochet = corrélations fortes - Rien = corrélations plus faibles 2) Les saturations ≤ 0,200 sont omises (mais ≤ 0,400 selon certains auteurs) - Les saturations s'interprètent comme des corrélations - Une saturation exprime le poids qu’a l’item dans le facteur. 3) Ensuite on regarde si : - Les saturations sont élevées pour les facteurs attendus et (presque) nulles pour les autres ## Footnote Si une telle structure était observée dans les résultats, il serait facile de nommer les facteurs F1 = assurance F2 = affirmation F3 = détermination

Question 37

# **Validité de construit** Voici un exemple d'analyse factorielle exploratoire. Qu'est-ce que tu remarques ?

Answer 37

C'est difficile à comprendre ... La majorité des items « saturent » sur plus d’un facteur et il est difficile de nommer les facteurs.

Question 38

# **Validité de construit** 1. Quelles sont les étapes d'une **analyse factorielle confirmatoire** ? (2) 2. **V ou F** : Ces analyses sont complexes et ne s’effectuent pas sur SPSS

Answer 38

1. Forcer le nombre de facteurs au nombre de dimensions conceptualisées en créant un modèle. 2. On regarde une série d’indices nous permettant de dire si ce qu’on a mis fonctionne ou pas. Ces analyses sont complexes et ne s’effectuent pas sur SPSS (**vrai**).