Cours 8 - Congruence Flashcards
Vrai ou Faux : Formule de la prophétie : r désiré concerne l’instrument complet et non la moitié
VRAI
Validité en général
VS
À l’étape de la Congruence
Validité en général
« Est-ce que mon instrument mesure ce qu’il est censé mesurer ? »
À l’étape de la Congruence
« Qu’est-ce que je mesure vraiment? »
explique moi cette image
- Les construit sont complexes alors on ne va jamais pouvoir mesurer tout le construit au complet
- On veux rapprocher ces deux cercles la le plus possible pour qu’il y aille plus d’overlap possible
- Et on pourra jamais faire un outils 100% parfait alors il y aura toujours des données non lié au construit
Étape 5 : la congruence, objectifs et moyens
Objectifs
⚫Vérifier les quantifications et/ou l’organisation des concepts
Moyens
⚫ Analyses corrélationnelles
⚫ Analyses factorielles
⚫ Équations structurelles
⚫ Approche hypothético- déductive
Système hypothético-déductif :
ensemble d’hypothèses dont les confirmations permettront de déduire que notre instrument est valide
* La confirmation d’une de ces hypothèses est une démonstration de la validité
* La confirmation de plusieurs de ces hypothèses est une démonstration plus solide de la validité
* La non-confirmation d’hypothèses soulève des doutes sur la validité
À quoi servent les critères?
À créer un système hypothético- déductif, qui servira à démontrer la validité de notre instrument à l’étape 5 (congruence).
Barème de Cohen (1988)
Corrélation faible :
Corrélation moyenne :
Corrélation forte :
Corrélation faible : r = 0,10 Corrélation moyenne : r = 0,30
Corrélation forte : r = 0,50
Il faut toujours prendre en considération le coefficient ____
p
Si p ≤ 0,05 : la corrélation est _____________. Si p > 0,05 : la corrélation est ________
significative, non significative.
Probabilité, plus le p est bas, plus les résultats sont __________, si c’est trop grand on pourrait dire que les resultats sont relié au _________
significatifs!!!
hasard!!
Interprétation d’un tableau croisé
Relation avec lui-même va toujours être parfait 1
Corrélation entre les instruments
À quel concept correspond le 0,82 dans le
tableau?
A. Corrélationinter-items
B. Corrélation split-half
C. Stabilité temporelle
D. Versionsparallèles
C. Stabilité temporelle,
Car c’est la corrélation entre le temps 1 et le temps 2, synonyme = fiabilité test retest, CONNAITRE LES SYNONYMES
Explications possibles DE Hypothèses non confirmées (3):
- L’hypothèse de recherche n’était pas bonne
- Le critère n’est pas bon
- Le nouvel instrument n’est pas bon
- L’hypothèse de recherche n’était pas bonne
Vérification dans la littérature, Je retourne dans la littérature pt j’ai mal lu
- Le critère n’est pas bon
- Vérification des propriétés psychométriques du critère
- Vérification dans la littérature des liens entre les critères
- Étapes qu’on fait dans le travail final
- Le nouvel instrument n’est pas bon
aucune autre explication
Exemples de systèmes hypothético-déductif
Bien-être + résilience = corrélation
Bien-être + CAS = corrélation
Résilience + CAS = corrélation
Bien-être + résilience = corrélation positive attendue
Bien-être + CAS = corrélation négative attendue
Résilience + CAS = corrélation négative attendue
Quelle est la corrélation entre
l’instrument Optimisme et le
comportement antisocial?
A. R= 0,57
B. R=-0,36
C. R= 0,69
D. R=-0,46
B. R=-0,36
Quelle est la corrélation entre la résilience et le bien-être ?
A. R= 0,57
B. R= -0,36
C. R= 0,70
D. R= -0,46
C. R= 0,70
À quelle correlation correspond la valeur -0,46 ?
A. Instrument Optimisme et bien-être
B. Résilience et comportement antisocial
C. Bien-être et comportemant antisocial
D. Instrument Optimisme et comportement antisocial
B. Résilience et comportement antisocial
Est ce qu’on rejette l’instrument?
L’instrument est qd mm valide même si on voit un problemne dans la correlation résilience et comp. Anti., ca semble problematique mais on rejette pas l’instrument
- 0.36 on le garde stills, juste sait ca
Est ce qu’on rejette l’instrument?
LINSTRUMENT LUI MÊME EST PROBLÉMATIQUE ALORS ON LE REJETTE (0,10)
Est ce qu’on rejette l’instrument?
- Faudrait aller revoir dans la littérature, les critères pour savoirpourquoi notre hypothese est partiellement confirmer (la direction est la bonne mais pas la force)
- Le critère 4 fuck up avec deux autres so est ce qu’il est vraiment bon ? Faudrait aller checker, on se pose des questions comme ca en regardant le protrait globale de l’hypothético deductif
Est ce qu’on rejette l’instrument?
On ne peux pas l’interpreter
Divergent et convergent = pareil pour la suite des séquences
Exemples de systèmes hypothético-déductif dans des articles scientifiques
Atténuation
= la relation entre deux variables va être sous-estimer, a cause de lerreur de mesure quon est en train de capturer ou même a cause de certains facteurs perturbateurs (ex. du bruit) alors ca vient masquer la vrai force de corrélation
Des fois c’est pas la corrélation entre x vrai et y vrai mais bien entre x observer et y observer
exemple d’atténuation
Ex:
x= temps passer a etudier
Y = performance academique
Ex oublier de faire play quand il ont commencer a etudieret stop quand sont aller checker netflix
Le score vrai et observer est pas le même
Alors on veux controller les variables de confusion
Atténuation
L’erreur de mesure ____________
limite, réduit, atténue la validité de notre instrument.
Le coefficient de validité (la corrélation) entre le test et le critère est ______________ à cause de l’erreur de mesure.
sous-estimé
Est-il possible d’estimer la validité théorique maximale d’un instrument en éliminant l’erreur de mesure?
oui?
Estimer l’effet de l’atténuation (Formule #1)
Correlation entre le nouveau test et le test quon va utiliser
Résultat de la formule #1
- Le coefficient de validité désatténué (et donc corrigé pour l’atténuation) donne la limite supérieure théorique de la corrélation qu’il serait possible d’atteindre dans l’étude de validation si les instruments étaient sans erreur.
- mes notes: C’est comme si on apporte une correction, ca va nous donner le meilleure resultat quon pourrait avoir, le meilleur possible et non LE resultat qu’on a
- C’est comme si on a eu 69% dans notre test de psychometrie et la on a une baguette magique qui dit que si y setait pas passer ca pendant la session le meilleur resultat quon aurait pu avoir cE’st 90%, c’est le max mais c’Est pas vraiment notre performance qu’on a eu, si yavait pas eu derreur ou de bruit (ex. divorce des parents)
Exemple avec la formule #1
Note. Les coefficients de stabilité temporelle sont en gras sur la diagonale.
- Le maximal theorique qu’on pourrait avoir
Exemple 2 avec la formule #1
- L’iPR (instrument fictif)
iPR = Index de Persévérance en Recherche
- Hypothèse 1 (iPR Pat et SAT-M) : r = 0,54 * Hypothèse 2 (iPR TA et SAT-M) : r = 0,85
Est-ce que les hypothèses sont confirmées?
A. Non confirmées
B. Les deux sont confirmées
C. Les deux sont partiellement confirmées
D. Une est confirmée et l’autre partiellement confirmée
C. Les deux sont partiellement confirmées
suite de exemple 2
Fiabilité et validité (LIS)
- La formule d’atténuation #1 permet d’évaluer l’impact de la fiabilité sur la validité en faisant comme si les instruments étaient exempts d’erreur de mesure.
- Cependant, les tests ont toujours au moins une part minimale d’erreur de mesure
- Est-il donc possible d’estimer la validité théorique d’un instrument en éliminant une partie de l’erreur de mesure?
- Mes notes : On trouve un entre deux, sans enlever la totalité de l’erreur de mesure
Pas en mode ON ENLEVE TT LERREUR DE MESURE PR QUE CE SOIT PARFAIT ni ON FERME LES YEUX SUR LES ERRUERS DE MESURE, c’est un entre deux
Estimer l’effet de l’atténuation (Formule #2)
- On va émettre selon le besoin, on regarde l’usage anticiper et c’est quoi l’usage recommandé que j’ai envie d’émettre et selon ca je vais plus ou moins sévère sur le coefficient de validité que je vais vouloir émettre
Formule 1 donne pas des résultats réalistes
La on enlève juste une partie de l’erreur et non au complet
Exemple avec la formule #2
Exemple 2 : L’iPR (instrument fictif)
iPR = Index de Persévérance en Recherche
Les hypothèses sont-elles maintenant confirmées?
Si après la formule elle devient complètement confirmer l’hypothèse (qu’avant elle était partiellement confirmer), c’est que on avait pas un erreur de validité mais de fidélité
Conclusions sur l’atténuation
- Quand on regarde la formule 1 et 2, quand on regarde les r c’est que des r qui font références a des corrélations
- On doit utiliser le mm type de coefficient dans la formule, pas tt ensemble split half, test retest, etc.
- Relire a tête reposer
Groupes contrastés, quel question qu’on se demande
Le test permet-il de différencier un groupe d’un autre?
Groupes contrastés - Plus la différenciation est grande, plus le test est ____
valide
Groupes contrastés - On calcule la différence de moyennes entre les groupes:
* Il faut que la différence soit _______________, mais
ait aussi une ___________________.
* On utilise principalement des analyses de variances (ANOVA)
ou des tests t
statistiquement significative, taille d’effet importante
La taille d’effet va faire quoi ?
Va mesurer l’ampleur ou l’importance pratique de ce qu’on va découvrir, donc si on a un lien ou une différence. La tasille deffet nous dit est-ce que dans la vrai vie ca peux se passer, pas juste par la probabilité statisique, de la statistique significative
la significativité va nous dire quoi
la significativité va nous dire a quel point c’est pas attribué au hasard
Exemples Groupes contrastés:
- Groupe d’enfants ayant un TDAH VS Groupe d’enfants ne présentant pas de TDAH
- Groupe atteint d’une déficience intellectuelle VS Groupe n’en présentant pas
Groupes contrastés, Faible différenciation et Forte différenciation
Types d’analyses factorielles
- Analyse factorielle exploratoire (AFE)
- Analyse factorielle confirmatoire (AFC)
Analyse factorielle exploratoire (AFE)
- Technique où on fait entrer les items dans la machine et d’où on espère voir ressortir un résumé adéquat
- À utiliser lorsqu’on ne sait pas ce que l’on cherche ou que la structure du construit n’a jamais été testée mathématiquement.
- mes notes : Quand on sait pas trop ou qu’on va, qu’il y a pas trop de littérature, qu’on est pas sur de la littérature, sur comment il devrait se dessiner, on va rentrer tout nos items sur spss ou sur r
On utilise souvent l’analyse factorielle quand on ne sait pas ce qu’on cherche ou ca la pas été tester mathetiquement
Analyse factorielle confirmatoire (AFC)
- Technique de classification où on sait ce que l’on cherche a priori
- On indique au logiciel combien de facteurs sont désirés et quels items se retrouvent dans chaque facteur
- Les résultats nous aident à déterminer si oui ou non, la structure est bien représentée par les données
- mes notes : 2- On a déjà une idee de ce qu’on est en train de chercher, donc on va indiquer au logiciel combien de facteurs on a envie davoir et c’est quoi les items qui se retrouvent dans chaque facteurs, dans la formule, par exemple, si je veux dire passion armonieuse jvais dire passion harmonieuse 1, 2, et on va dire au logiciel qui vont ensemble et on va le forcer a avoir 2-3 criteres, si ya pas un bon fit, on se pose des questions dont la manière que jai formuler mes items. Elle va nous dire si nos items match ou pas (confirmatoires)
Analyses factorielles exploratoires
Ex. Comment mes 11 items se regroupent-ils? Quelle est la structure de mon questionnaire?
Ex de réponse : L’analyse montre que mes items se regroupent en trois facteurs distincts.
Analyses factorielles confirmatoires (2 facteurs)
P. ex. Les items se regroupent-ils dans les deux facteurs suivants?
Ex de réponse : L’analyse montre que mes items se regroupent en trois facteurs distincts.
Analyses factorielles
Technique statistique issue des travaux initiaux sur l’intelligence * Le facteur « g » = une analyse factorielle
Chaque facteur résume de l’information provenant de plusieurs items
Les items supposés mesurer une dimension devraient être fortement corrélés entre eux ET moins corrélés avec les autres dimensions
* On nomme saturation la corrélation entre un item et un facteur
Utilité des analyses factorielles
- Confirmation de la structure ou de l’organisation d’un construit
* Nombre de sous-dimensions et leur organisation - Détecter des moins bons items
L’interprétation des analyses factorielles : (3 points)
- Ne donne pas une réponse absolue ;
- On parle de « niveau d’adéquation avec les données » ;
- Nécessite une grande part d’interprétation de la part du concepteur de l’instrument.
V ou F : Il existe plusieurs méthodes statistiques différentes pour faire des analyses factorielles
vrai
Celle présentée dans les prochaines questions est l’analyse factorielle (factor analysis) avec maximum de vraisemblance (maximum likelihood)
* Ce type d’analyse factorielle est recommandé lorsque l’on mesure des concepts abstraits ou latents.
Validité de construit et conceptualisation
Point de départ : Matrice d’intercorrélations des items
On voit qu’il y a 3 facteurs clairs
Les patrons de corrélations devraient indiquer si les items appartiennent à leur dimension
MAIS…
* La matrice est difficile à interpréter et à visualiser
* Il y a souvent des corrélations qui sont fortes en dehors des zones où il
est logique d’en trouver
* Il y a souvent plus que 18 items dans les instruments (surtout si on a créé plus d’items dans le but d’éliminer les moins bons)
On fait attention deesfois on est fatiguer et on voit mal
Résultats d’analyses factorielles
(Quelqu’un a simplifier le tableau)
Voici la structure factorielle qui résume la matrice d’intercorrélations :
* Chaque X représente une saturation élevée
* Une saturation s’interprète comme une corrélation. * Une saturation exprime le poids qu’a l’item dans le
facteur.
* Les saturations devraient être élevées pour les facteurs attendus et presque nulles pour les autres
* Si une telle structure était observée dans les résultats, il serait facile de nommer les facteurs
* F1 = assurance
* F2 = affirmation
* F3 = détermination
Exemple d’analyse factorielle exploratoire
- Les saturations ≤ 0,200 sont omises , mais certains auteurs recommandent d’omettre celles en dessous de 0,400 (Stevens, 2002)
- S’il y avait vraiment 3 facteurs, les résultats de l’AFE auraient été 3 facteurs
- Difficile de comprendre « le résumé »
- La majorité des items « saturent » sur plus d’un facteur
- Difficile de nommer les facteurs
Analyse factorielle confirmatoire
- Forcer le nombre de facteurs au nombre de dimensions conceptualisées en créant un modèle.
- On regarde une série d’indices nous permettant de dire si ce qu’on a mis fonctionne ou pas.
- Ces analyses sont complexes.
Exemple d’analyse factorielle confirmatoire
