Cours 8 : Congruence Flashcards
L’étape de congruence permet de vérifier ____________ et fait parti de la phase de ____________
validité; vérification
V ou F : Ce qu’on vérifie lors de l’étape de la congruence c’est si l’instrument est valide (donc mesure ce qu’il est supposé mesurer).
Faux, ce qui doit être valide, ce sont les interprétations qu’on peut faire avec l’instrument.
Ex : Dans une échelle de QI, si j’ai un score de 100, je dois pouvoir inférer que j’ai une intelligence dans la moyenne.
Lors de l’étape de congruence, on se pose la question «Qu’est-ce que je mesure vraiment? ». Ça veut dire quoi ?
On veut voit si ce qu’on souhaite mesurer est congruent (concorde) avec ce que je mesure vraiment.
Plus précidément, on veur vérifier si la variance est liée ou non au construit ou si les sous-dimensions du construit sont bien représentées dans l’instrument.
Quel est l’objectif de l’étape de congruence ?
Vérifier les quantifications et/ou l’organisation des concepts
L’objectif de l’étape de congruence est de vérifier les quantifications et/ou l’organisation des concepts.
Quels sont les moyens pour y arriver ? (4)
- Analyses corrélationnelles
- Analyses factorielles
- Équations structurelles
- Approche hypothético-déductive
C’est quoi un système hypothético-déductif ?
Un ensemble d’hypothèses dont les confirmations permettront de déduire que notre instrument est valide.
Dans un système hypothético-déductif, qu’est-ce qu’on peut déduire par rapport à l’instrument si :
1. Une hypothèse est confirmée
2. Plusieurs hypothèses sont confirmées
3. Une ou plusieurs hypothèses ne sont pas confirmées.
- Démonstration de la validité
- Démonstration plus solide de la validité
- Doutes sur la validité
Ne veut pas dire que l’instrument n’est pas valide, il s’agit d’abord de trouver où est le problème
Validité critériée
À quoi servent les critères ?
À créer un système hypothético-déductif, qui servira à démontrer la validité de notre instrument à l’étape 5 (congruence).
Validité critériée
Comment on interprète les corrélations selon le barème de Cohen ?
Il faut d’abord voir si la corrélation est significative avec le coefficient « p ».
- Si p ≤ 0,05 : la corrélation est significative.
- Si p > 0,05 : la corrélation est non significative
Si la corrélation est significative, on regarde ensuite la force de la corrélation.
- Si r=0,10 : corrélation faible
- Si r=0,30 : corrélation moyenne
- Si r=0,50 : corrélation forte
Validité critériée
Si la corrélation est non-significative (p > 0,05), ça veut dire quoi ?
Qu’on ne peut pas interpréter/porter un jugement sur ce critère, car soit il n’y a aucun lien entre le critère ou le construit, soit l’instrument a des problèmes de fidélité.
Validité critériée
Voici un exemple de tableau croisé.
On s’attend que :
- La corrélation entre l’instrument et le critère #1 (engagement organisationnel) soit fort et convergent.
- La corrélation entre l’instrument et le critère #2 (intention de quitterl) soit moyen et divergent.
*p < 0,05
Qu’est-ce qu’on peut dire sur ce tableau ?
- Toutes les corrélations sont significatives (erreur dans le tableau, corrélation entre critère 3 et 4 est significative)
- Stabilité temporelle : corrélation forte (r = 0,82) et significative, donc instrument stable dane le temps
- Critère #1 et instrument : fort et convergent, donc hypothèse confirmée
- Critère #2 et instrument : moyen et divergent, donc hypothèse confirmée
Validité critériée
Si une ou plusieurs des hypothèses ne sont pas confirmées, quelles sont les explications possibles ? (3)
- L’hypothèse de rechrche n’était pas bonne
- Le critère n’était pas bon
- Le nouvel instrument n’est pas bon
Validité critériée
Si une ou plusieurs hypothèse(s) n’est pas confirmée, voici les explications possibles :
1. L’hypothèse de rechrche n’était pas bonne
2. Le critère n’était pas bon
3. Le nouvel instrument n’est pas bon
Pour chaque explication, qu’est-ce qu’il faut faite si la source d’erreur vient de là ?
Validité critériée
Que veulent dire les couleurs de ce système hypothético-déductif ?
- Vert : corrélation dans le même sens & même force que ce qui est attendu
- Jaune : Corrélation dans le même sens que ce qui est attendu, mais pas la même force
- Rouge : Corrélation ni dans le même sens, si dans la même direction que ce qui est attendu.
Validité critériée
Quelles sont les étapes de l’arbre décisionnel pour confirmer/infirmer une hypothèse ?
Validité critériée
Dans quelle(s) situation(s) une hypothèse est confirmée ?
p ≤ 0,05 (significatif) ET même direction critère-construit ET rhypothèse ± 0,10 =robtenu
Validité critériée
Dans quelle(s) situation(s) une hypothèse est partiellement confirmée ?
p ≤ 0,05 (significatif) ET même direction critère-construit, mais rhypothèse ± 0,10 ≠robtenu
Validité critériée
Dans quelle(s) situation(s) une hypothèse est infirmée ?
- Si p > 0,05 (non significatif)
- Si ≤ 0,05 (significatif) et direction critère-construit opposée
Validité critériée
L’erreur de mesure réduit la ______ de notre instrument. Donc, la corrélation entre le test et le critère est ______.
L’erreur de mesure réduit la validité de notre instrument. Donc, la corrélation entre le test et le critère est sous-estimé.
Validité critériée
Étant donné que l’erreur de mesure réduit la validité de notre instrument.
C’est pour ça qu’on utilise la formule d’atténuation. À quoi elle(s) peu(ven)t servir ?
Soit :
1) Estimer d’estimer la validité théorique maximale d’un instrument en éliminant l’erreur de mesure (formule #1)
OU
2) Estimer d’estimer la validité théorique maximale d’un instrument en éliminant une partie de l’erreur de mesure (formule #2)
Validité critériée - Formule d’atténuation
Avec la formule d’atténuation #1 :
- Le coefficient de validité passe de 0,31 à 0,40 pour le critère 1
- Le coefficient de validité passe de 0,65 à 0,94 pour le critère 2
Hypothèse critère 1 : r=0,54
Hypothèse critère 2 : r=0,85
Avec ces résultats, qu’est-ce qu’on peut inférer sur cet instrument ?
Pour le critère 1, même si l’instrument n’a aucune erreur de mesure (donc une fidélité parfaite), on ne pourrait quand même pas confirmer l’hypothèse, car rhypothèse - 0,1 ≠ robtenu (0,44 > 0,40). Donc il y a un problème de validité … le critère 1 ne mesure peut-être pas ce qu’il est supposé mesurer.
Pour le critère 2, si l’instrument n’a aucune erreur de mesure (donc une fidélité parfaite), l’hypothèse serait confirmée. Alors il y a un problème de fidélité pour le critère 2, il y a trop d’erreur de mesure.
Validité critériée - Formule d’atténuation
Avec la formule d’atténuation #2 :
- Le coefficient de validité passe de 0,31 à 0,33 pour le critère 1
- Le coefficient de validité passe de 0,65 à 0,78 pour le critère 2
Hypothèse critère 1 : r=0,54
Hypothèse critère 2 : r=0,85
Avec ces résultats, qu’est-ce qu’on peut inférer sur cet instrument ?
Pour ces deux critères, si on enlève une partie de l’erreur de mesure, les deux hypothèses restent partiellement confirmées, car rhypothèse ≠ robtenu dans les deux cas.
Par conséquent, il y a un problème de validité dans l’instrument.
V ou F : Si mon hypothèse est confirmée avant l’utilisation de la formule, il ne peux pas avoir de problème de fidélité.
Faux ! Si mon hypothèse est confirmée avant l’utilisation de la formule, il peut quand même y avoir un problème de fidélité !
Validité critériée - Groupe contrastés
- Pour les groupes contrastés, qu’est-ce qu’on vérifie ? Comment on vérifie ça ?
- Comment fait-on pour déterminer si le test est valide ?
- Si le test permet de différencier un groupe d’un autre. On calcule la différence de moyenne entre les groupes.
- Plus la différenciation entre les deux groupes est grande, plus le test est valide
Validité critériée - Groupe contrastés
Plus la différence entre deux groupes est grande, plus le test est valide. Pour mesurer ça, on calcule la différence des moyennes entre les groupes.
Quels sont les critères (2) pour dire que deux groupes sont différents ?
- La différence doit être statistiquement significative (p ≤ 0,05)
- La taille d’effet doit être importante
Validité critériée - Groupe contrastés
Quels types d’analyses sont utilisés pout calculer les groupes contrastés ?
ANOVA ou test t
Validité de construit
Quels sont les types d’analyses faites pour déterminer la validité de construit ? (2)
- Analyse factorielle exploratoire (AFE)
- Analyse factorielle confirmatoire
Validité de construit
Distingue l’AFE de l’AFC
AFE : On ne sait pas trop comment se décline notre construit (en sous-dimensions). Donc on fait entrer nos items dans un programme informatique et on espère faire ressortir facteurs.
AFC : Avant de lancer calcul mathématique on sait ce qu’on cherche. On s’attend à X nombre de facteurs, et on dit quel critères devrait se retrouver dans tel facteur
Validité de construit
Pour savoir comment mes 11 items se regroupent, je fais une analyse factorielle exporatoire. Suite à mon analyse, voici ce que j’obtiens (voir image)
Qu’est-ce que je peux dire que la structure de mon questionnaire ?
L’analyse montre que mes items se regroupent en 3 facteurs distincts.
Le cercle avec «1et2» est ambivalent, il n’appartient à aucun groupe en particulier. Ça nous indique qu’on peut peut-être enlever cet item.
Validité de construit
On veut savoir si les items se regroupent selon les deux facteurs suivant (ce qui est encadré dans l’image avec les cercles vides).
L’analyse factorielle confirmatoire me permet de montrer quoi ?
Que les items se regroupent en 3 facteurs distincts.
Validité de construit - Analyse factorielle
- Indique le symbole utilisé pour les facteurs, elle permet de résumer quoi ?
- Les items supposés mesurer une dimension devraient être …(2)
Dans une analyse factorielle, chaque facteur («g») résume de l’information provenant de plusieurs items.
Les items supposés mesurer une dimension devraient être :
1. Fortement corrélés entre eux
2. Moins corrélés avec les autres dimensions
Validité de construit
Comment on nomme la corrélation entre un item et un facteur ?
Une saturation
Validité de construit
Rappel : Un construit est un concept abstrait que l’on tente de mieux comprendre en le rendant plus concret .
À quoi servent les analyses factorielles ?
- Confirmer la structure ou l’organisation d’un construit (aka nombre de sous-dimensions et leur organisation)
- Détecter les moins bons items
Validité de construit
- Qu’est-ce qu’une analyse factorielle permet/ne permet pas de faire ?
- V ou F : Les analyses factorielles nécessitent une grande part d’interprétation de la part du concepteur de l’instrument.
1) L’interprétation des analyses factorielles :
- Ne donne pas une réponse absolue
- On parle de « niveau d’adéquation avec les données »
2) Vrai !
Validité de construit
Il existe plusieurs méthodes statistiques différentes pour faire des analyses factorielles.
Quel type d’analyse factorielle est recommandé lorsque l’on mesure des concepts abstraits ou latents ?
L’analyse factorielle avec maximum de vraisemblance (maximum likelihood)
Validité de construit
Comment faire une analyse factorielle (étapes) ?
1) On se sert de la matrice d’intercorrélations des items afin de savoir si les items appartiennent à leurs dimensions
- Crochet = corrélations fortes
- Rien = corrélations plus faibles
2) Les saturations ≤ 0,200 sont omises (mais ≤ 0,400 selon certains auteurs)
- Les saturations s’interprètent comme des corrélations
- Une saturation exprime le poids qu’a l’item dans le facteur.
3) Ensuite on regarde si :
- Les saturations sont élevées pour les facteurs attendus et (presque) nulles pour les autres
Si une telle structure était observée dans les résultats, il serait facile de nommer les facteurs
F1 = assurance
F2 = affirmation
F3 = détermination
Validité de construit
Voici un exemple d’analyse factorielle exploratoire. Qu’est-ce que tu remarques ?
C’est difficile à comprendre … La majorité des items «saturent» sur plus d’un facteur et il est difficile de nommer les facteurs.
Validité de construit
- Quelles sont les étapes d’une analyse factorielle confirmatoire ? (2)
- V ou F : Ces analyses sont complexes et ne s’effectuent pas sur SPSS
- Forcer le nombre de facteurs au nombre de dimensions conceptualisées en créant un modèle.
- On regarde une série d’indices nous permettant de dire si ce qu’on a mis fonctionne ou pas.
Ces analyses sont complexes et ne s’effectuent pas sur SPSS (vrai).
