Cours 9 : Congruence Flashcards
Où se situe la congruence dans le modèle de la cible?
Phase de validation. Concept de la validité
Quelle question se pose-on dans la congruence?
Est-ce que les interprétations qu’on veut faire à partir de notre test sont valides?
Vrai ou faux : dans la congruence, on vérifie si le test est valide ou non
Faux. Ce n’est pas le test qui est valide ou non, mais plutôt les inférences qu’on fait à partir des résultats obtenus au test.
Compare la validité en général à la validité à l’étape de la congruence
Validité en général : «Est-ce que mon instrument mesure ce qu’il est censé mesurer ?»
À l’étape de la Congruence : «Qu’est-ce que je mesure vraiment? »
Vrai ou faux : dans la phase de congruence, on veut que la zone entre de chevauchement entre ce que je veux mesurer et ce que je mesure vraiment soit la plus grande possible.
Vrai. C’est la congruence.
Ce que je mesure vraiment : Ce qu’on capte, mais c’est du bruit (variance non reliée au construit)
Ce que je veux mesurer : Éléments sous représentés du construit
Quel est l’objectif de la congruence?
Vérifier les quantifications et/ou l’organisation des concepts
Quels sont les moyens de la congruence? (4)
- Analyses corrélationnelles
- Analyses factorielles
- Équations structurelles
- Approche hypothético-déductive
Vrai ou faux : on utilise l’approche hypothético-déductive pour la fidelité et la validité
Vrai.
Qu’est-ce qu’un système hypothético-déductif ?
Ensemble d’hypothèses dont les confirmations permettront de déduire que notre instrument est valide
Vrai ou faux : la confirmation d’une ou plusieurs hypothèse.s du système hypothético-déductif est une démonstration de la validité
Vrai. Tandis que la non-confirmation d’hypothèses soulève des doutes sur la validité.
Vrai ou faux : Plus on confirme d’hypothèses du système hypothético-déductif, plus la confirmation de la validité est solide.
Vrai.
Que veut-on dire quand on dit qu’un test est valide?
Quand on dit test valide, on veut dire que les inférences sont valides
Quelles types de validités sont vérifiées dans la phase de congruence?
Validité de construit et validité critériée
Ici, on ne s’attarde pas à la validité d’apparence ni de contenu (est-ce qu’on couvre l’ensemble d’un domaine fini). On ne peut pas faire d’analyses stats sur la validité d’apparence.
À quoi servent les critères?
À créer un système hypothético-déductif, qui servira à démontrer la validité de notre instrument à l’étape 5 (congruence).
Quel est le barème de Cohen (1988)?
Qu’est-ce que le coefficient p?
Pourcentage de chance que les résultats soient dû au hasard. Il faut toujours le prendre en considération.
Que signifie un coefficient p de 0,05?
0,05 = 95% de chance que la corrélation soit dû au fait qu’il y ait vraiment une corrélation. Signifie qu’on tolère 5% de chances que ce soit un adon.
Quel coefficient p est utilisé en psychologie?
En psychologie :
* Si p ≤ 0,05 : la corrélation est significative.
* Si p > 0,05 : la corrélation est non significative
Vrai ou faux : La valeur du coefficient p a peu d’importance sur la certitude des résultats
Faux. La valeur du p dépend de l’importance de la certitude de nos résultats (ex : ++ impo en médecine, testing nouveau médicament).
En psycho, souvent 0,05 utilisé. Seuils + petits utilisés quand grave impacts peuvent découler des inférences.
Se demander quelles sont les conséquences de dire qu’il y a une corrélation.
Vrai ou faux : on peut mettre toutes sortes d’informations sur la diagonale d’un tableau croisé.
Vrai. Sur la diagonale, on met parfois d’autre informations, comme le coefficient alpha, car on sait de toute façon que la donnée sera 1,00.
Qu’est-il ++ important de vérifier sur un tableau croisé?
Si les corrélations sont significatives (*)
Que représente 0,82* ici?
Ici 0,82 = corrélation test-retest entre instrument T1 et T2
*La partie du haut (gris pale) n’est jamais inscrite habituellement.
Quelle colonne du tableau montre des indices de validité critériée?
Colonne 1 -> montre comment les critères corrèlent avec l’instrument
Vrai ou faux : Au bas d’un tableau croisé, on inscrit les corrélation attendues avec leur force
Faux. On les inscrit, mais sans la force. Juste le sens est précisé.
Une corrélation convergente se situe entre quoi et quoi?
Entre 0 et 1
Une corrélation divergente se situe entre quoi et quoi?
-1 et 0
Quelle est la corrélation entre l’instrument Optimisme et le comportement antisocial?
R = -0,36
Quelle est la corrélation entre la résilience et le bien-être ?
R = 0,70
Validité critériée
Lorsqu’une hypothèse n’est pas confirmée, quelles sont les explications possibles dans l’ordre.
1-L’hypothèse de recherche n’était pas bonne
2-Le critère n’est pas bon
3-Le nouvel instrument n’est pas bon
À quoi pourrait être du le fait que l’hypothèse de recherche n’était pas bonne?
Vérification dans la littérature.
Corrélation attendue entre le critère et le test dans la littérature. Possible que l’étude ne soit pas robuste ou bien qu’il y ait des fautes dans l’étude. La littérature doit être de qualité.
À quoi pourrait être du le fait que le critère n’est pas bon?
- Vérification des propriétés psychométriques du critère
- Vérification dans la littérature des liens entre les critères
Critère = test. Le critère doit avoir des qualités psychométriques. Mesure fidèle et valide.
Quelles sont les étapes pour vérifier les hypothèses?
1-Significativité -> Est-ce que c’est significatif (*). Si ce ne l’est pas, on ne peut rien conclure (en haut de 0,05) par rapport au lien entre les 2 choses qu’on mesure.
2-Direction critère-construit -> Est-ce que mon critère est convergent ou divergent. Corrélation + ou -. Corrélation + attendue et résultats = corrélation négative = hypothèse infirmée…
3-Force critère-construit -> Quand corrélation + attendue et résultats = corrélation positive : est-ce que la corrélation attendue + ou – 0,10 = corrélation obtenue? Si oui, hypothèse confirmée, sinon elle est partiellement confirmée.
De quelle façon une hypothèse peut-elle être confirmée?
Bonne force et bon sens
De quelle façon une hypothèse peut-elle être partiellement confirmée?
Partiellement confirmée si bon sens mais pas bonne force
De quelle façon une hypothèse peut-elle être infirmée?
Non confirmée si pas le bon sens
Vrai ou faux : une hypothèse non significative peut tout de même être partiellement confirmée
Faux!!!! Si pas d’étoile, immédiatement infirmée. Ne peut ni être partiellement ou totalement infirmée.
Vrai ou faux : utiliser deux instruments de mesure mène à une accumulation double des erreurs de mesure
Vrai. Cela pourrait biaiser les indices de validité.
Vrai ou faux : L’erreur de mesure limite, réduit et atténue la validité de notre instrument.
Vrai.
Le coefficient de validité (la corrélation) entre le test et le critère est sous-estimé à cause de quoi?
À cause de l’erreur de mesure
Toujours sous-estimé dans un cadre pratique, car il y a toujours du bruit dans nos données.
Est-il possible d’estimer la validité théorique maximale d’un instrument en éliminant l’erreur de mesure ?
Oui
Comment estimer l’effet de l’atténuation?
Avec la formule d’atténuation
Quelle est la formule de l’atténuation?
Vrai ou faux : l’erreur de mesure est une question de validité
Faux. C’est une question de fiabilité
Que faire si on n’a pas le coefficient de fiabilité du critère pour la formule de l’atténuation?
On ne fait que l’enlever de la formule. Mais cela arrive rarement.
Vrai ou faux : la validité a un impact sur la fidelité
Faux. C’est l’inverse
Quel est le résultat de l’utilisation de la formule 1 de l’atténuation?
Le coefficient de validité désatténué (et donc corrigé pour l’atténuation) donne la limite supérieure théorique de la corrélation qu’il serait possible d’atteindre dans l’étude de validation si les instruments étaient sans erreur.
Mais reste toujours un peu d’erreur…
Quels chiffres de ce tableau iraient dans la formule de l’atténuation?
Coefficient de validité est passé de 0,57 à 0,87
Que montre le coefficient de validité désatténué théorique?
Le coefficient de validité désatténué théorique montre l’effet que l’erreur de mesure du test étant validé et du critère ont eu sur mon coefficient de validité observé
Que permet la formule 1 de l’atténuation?
Permet d’évaluer l’impact de la fiabilité sur la validité en faisant comme si les instruments étaient exempts d’erreur de mesure.
Vrai ou faux : les tests ont toujours au moins une part minimale d’erreur de mesure
Vrai
Pourquoi veut-on une formule qui élimine seulement une partie de l’erreur de mesure?
Car dans la vraie vie c’est clair qu’il y a une erreur de mesure, bruit.
Explique les variables de la formule 2 de l’atténuation
Quelle serait la formule 2 de l’atténuation si le critère n’est pas disponible?
Quel est habituellement le coefficient désiré qu’on utilise dans la formule 2 de l’atténuation?
0,80-0,85
Les hypothèses suivantes seraient-elles confirmées?
Ici, première hypothèse partiellement confirmée, car pas à l’intérieur du 0,10 d’intervalle permis
Deuxième hypothèse confirmée, car à l’intérieur du 0,10
Si on utilise la formule 2 de l’atténuation avec la correction sur la fidelité et qu’on voit une différence significative dans les résultats, qu’est-ce que cela insinue?
Indique que possiblement un problème au niveau de la fiabilité. Si on ne l’avait pas utilisé, l’hypothèse n’aurait pas été confirmée…
Qu’est-ce qui affecte négativement le coefficient de validité? (2)
La fiabilité de l’instrument et la fiabilité du critère
Qu’aide à comprendre la formule d’atténuation?
Aide à comprendre pourquoi certaines hypothèses de validité critériée ne sont pas confirmées (problème de fiabilité ou de validité également ?)
Vrai ou faux : même si l’hypothèse est confirmée avant l’utilisation de la formule d’atténuation, il peut quand même y avoir un problème de fidélité
Vrai
Complète la phrase : il est important de choisir un critère qui a _________
De bonnes propriétés psychométriques
Qu’est-ce qui peut servir de coefficient de fiabilité dans les formules 1 et 2 de l’atténuation?
Des corrélations uniquement.
L’Alpha de Cronbach ne doit PAS être utilisé.
Vrai ou faux : dans la formule d’atténuation, des coefficients différents peuvent être utilisés.
Faux. Le même type de coefficient doit être utilisé partout dans la formule (split-half ou test-retest)
Ex : Si on utilise test-restest en bas dans la formule, on doit l’utiliser en haut aussi
Quelle question se pose-t-on avec les groupes contrastés?
Le test permet-il de différencier un groupe d’un autre?
Vrai ou faux : Pour les tests contrastés, plus la différenciation est grande, moins le test est valide
Faux. C’est l’inverse. Plus grande est la différenciation, plus valide est le test.
Que calcul-on dans les groupes contrastés?
On calcule la différence de moyennes entre les groupes
Dans les groupes constrastés, il faut que la différence de moyennes entre les groupes soit : (2)
- Statistiquement significative
- Taille d’effet importante
Qu’utilise-on principalement avec les groupes contrastés pour voir si les différences sont statistiquement significatives?
On utilise principalement des analyses de variances (ANOVA) ou des tests t
Donne des exemples de groupes contrastés
Exemples:
- Groupe d’enfants ayant un TDAH VS Groupe d’enfants ne présentant pas de TDAH
- Groupe atteint d’une déficience intellectuelle VS Groupe n’en présentant pas
Vrai ou faux : on veut une forte différenciation avec les test-T et les anovas pour les groupes contrastés
Vrai
Quels sont les deux types d’analyses factorielles?
1-Analyse factorielle exploratoire (AFE)
2-Analyse factorielle confirmatoire (AFC)
Qu’est-ce que l’analyse factorielle exploratoire?
Technique où on fait entrer les items dans la machine et d’où on espère voir ressortir un résumé adéquat
Quand utiliser l’analyse factorielle exploratoire?
À utiliser lorsqu’on ne sait pas ce que l’on cherche ou que la structure du construit n’a jamais été testée mathématiquement.
Quand on ne connait pas les sous-dimensions attendues.
Par exemple, quand on commence un tout nouveau projet. Pas de littérature sur le sujet.
Qu’est-ce que l’analyse factorielle confirmatoire?
- Technique de classification où on sait ce que l’on cherche a priori
- On indique au logiciel combien de facteurs sont désirés et quels items se retrouvent dans chaque facteur
Que nous aide à déterminer les résultats de l’analyse confirmatoire?
Les résultats nous aident à déterminer si oui ou non, la structure est bien représentée par les données
Vrai ou faux : Dès qu’on a de la littérature sur le sujet qui indique des sous-dimensions, on DOIT passer par l’analyse factorielle confirmatoire.
Vrai.
Qu’est-ce qu’un facteur?
Un regroupement d’items
Combien de facteurs sont représentés ici? Que signifie le gris?
Ici 3 facteurs. 1 en gris = pourrait aller dans le facteur 1 et 2…arrive souvent dans la réalité. On devrait l’enlever.
D’où provient l’analyse factorielle?
Technique statistique issue des travaux initiaux sur l’intelligence
Vrai ou faux : Le facteur «g» provient d’une analyse factorielle
Vrai
Que résume chaque facteur?
L’information provenant de plusieurs items
Les items supposés mesurer une dimension devraient être ____ corrélés entre eux ET ____ corrélés avec les autres dimensions
Fortement, moins
Comment nomme-on la corrélation entre un item et un facteur?
La saturation
Vrai ou faux : dans les analyses factorielles, on voudrait que le paquet 1 ne corrèle pas du tout avec le paquet 2
Faux. On ne veut pas que le 1er paquet de corrèle 0 avec le 2ieme, voudrait dire qu’on devrait créer deux tests distincts. Doit corréler un peu pour former un tout unitaire. Il doit y avoir une distinction entre les facteurs.
Quelles sont les utilités des analyses factorielles?
1-Confirmation (ou création) de la structure ou de l’organisation d’un construit -> Nombre de sous-dimensions et leur organisation
2-Détecter des moins bons items
Qu’est-ce qu’un construit?
Un construit est un concept abstrait que l’on tente de mieux comprendre en le rendant plus concret
Vrai ou faux : l’interprétation des analyses factorielles donne des réponses absolues
Faux. On parle de « niveau d’adéquation avec les données »
Les résultats des analyses factorielles nécessitent quoi de la part des concepteurs?
Une grande part d’interprétation
Vrai ou faux : Il existe plusieurs méthodes statistiques différentes pour faire des analyses factorielles.
Vrai.
Quel type d’analyse est recommandé lorsque l’on mesure des concepts abstraits ou latents?
L’analyse factorielle avec maximum de vraisemblance. (Sous-dimensions proposées proviennent de la littérature)
Quel est le point de départ des analyses factorielles?
Les matrices d’intercorrélations des items
Crochet = chiffres qui corrèlent fortement entre eux. Crée 3 paquets ici.
On utilise la saturation.
Qu’indiquent les patrons de corrélations?
Indiquent si les items appartiennent à leur dimension.
Vrai ou faux : les matrices d’intercorrélations des items sont difficiles à interpréter et à visualiser.
Vrai.
Pourquoi ;es matrices d’intercorrélations des items sont difficiles à interpréter et à visualiser?
- Il y a souvent des corrélations qui sont fortes en dehors des zones où il est logique d’en trouver
- Il y a souvent plus que 18 items dans les instruments (surtout si on a créé plus d’items dans le but d’éliminer les moins bons)
Comme quoi peut-on interpréter une saturation?
Comme une corrélation
Que représentent les X sur cette image?
X = endroits où il y aurait des saturations élevées
Ps : Si une telle structure était observée dans les résultats, il serait facile de nommer les facteurs
F1 = assurance
F2 = affirmation
F3 = détermination
Qu’exprime une saturation?
Le poids qu’a l’item dans le facteur
Comment devraient être les saturations pour les facteurs attendus?
Élevées
Comment devraient être les saturations pour les facteurs non attendus?
Presque nulles
À partir de quand omet-on des saturations?
Les saturations ≤ 0,2 ( = ou – 0,2) sont omises , mais certains auteurs recommandent d’omettre celles en dessous de 0,4 (Stevens, 2002)
Vrai ou faux : dans l’analyse factorielle exploratoire, la majorité des items «saturent» sur plus d’un facteur
Vrai.
Pourquoi dit-on qu’il est difficile de lire ce tableau provenant d’une analyse factorielle exploratoire?
Difficile de lire ce tableau (résumé), plusieurs items saturent sur plusieurs facteurs -> ici pas un portrait très discriminant. Arrive souvent. C’est donc difficile de nommer les facteurs.
6 facteurs potentiels ici
Vrai ou faux : si on n’aime pas les résultats de l’analyse factorielle confirmatoire, on peut simplement passer à l’analyse exploratoire
Vrai.
Vrai ou faux : l’analyse factorielle confirmatoire est simple et peut s’effectuer sur SPSS
Faux. L’analyse est COMPLEXE et ne peut PAS s’effectuer sur SPSS.
En quoi consiste l’analyse factorielle confirmatoire?
Forcer le nombre de facteurs au nombre de dimensions conceptualisées en créant un modèle.
On regarde ensuite une série d’indices nous permettant de dire si ce qu’on a mis fonctionne ou pas.
