Cours #8 Flashcards
Validité à la phase de vérificatio n : En general + à l’étape de la congruence
Validité en général
«Est-ce que mon instrument mesure ce qu’il est censé mesurer ?»
À l’étape de la Congruence
«Qu’est-ce que je mesure vraiment? »
La congruence : objectifs et moyens
Objectifs
- Vérifier les quantifications et/ou l’organisation des concepts
Moyens
- Analyses corrélationnelles
- Analyses factorielles
- Équations structurelles
- Approche hypothético-déductive
Vérification des hypothèses : c’est quoi le système hypothético - déductif ?
Système hypothético-déductif : ensemble d’hypothèses dont les confirmations permettront de déduire que notre instrument est valide
La confirmation d’une de ces hypothèses est une démonstration de la validité
La confirmation de plusieurs de ces hypothèses est une démonstration plus solide de la validité
La non-confirmation d’hypothèses soulève des doutes sur la validité
Critères : utilité
À quoi servent les critères?
À créer un système hypothético-déductif, qui servira à démontrer la validité de notre instrument à l’étape 5 (congruence).
Barème de Cohen (1988)
Corrélation faible : r=0,10
Corrélation moyenne : r=0,30
Corrélation forte : r=0,50
Il faut toujours prendre en considération le coefficient p.
Si p ≤ 0,05 : la corrélation est significative.
Si p > 0,05 : la corrélation est non significative.
ALLER VOIR LES EXEMPLES D’INTERPRÉTATION DE TABLEAU CROISÉ
Hypothèses non confirmées : explications possibles
- L’hypothèse de recherche n’était pas bonne
- Vérif ds la littérature - Le critère n’est pas bon
- Vérif des propriétés psychométriques du critère
- Vérif ds la littérature des liens entre les critères - Le nouvel instrument n’est pas bon
ALLER VOIR EXEMPLES DE SYSTÈMES HYPOTHÉTICO-DÉDUCTIFS
ALLER VOIR LES ÉTAPES POUR FAIRE LA VÉRIFICATION DES HYPOTHÈSES
- Signif
- Direction critère-construit
- Force critère-construit
Atténuation
L’erreur de mesure limite, réduit, atténue la validité de notre instrument.
Le coefficient de validité (la corrélation) entre le test et le critère est sous-estimé à cause de l’erreur de mesure.
Est-il possible d’estimer la validité théorique maximale d’un instrument en éliminant l’erreur de mesure?
Estimer l’effet de l’atténuation (formule 1)
Numérateur : Coefficient de validité entre le nouveau test et le critère c.-à-d. le coefficient de validité observé dans l’étude
Dénominateur :
rxx = Le coefficient de fiabilité du test étant validé
ryy = Le coefficient de fiabilité du critère
Résultat de la formule effet de l’atténuation
Le coefficient de validité désatténué (et donc corrigé pour l’atténuation) donne la limite supérieure théorique de la corrélation qu’il serait possible d’atteindre dans l’étude de validation si les instruments étaient sans erreur.
VOIR EXEMPLE AVEC LA FORMULE 1 DE EFFET ATTÉNUATION
Fiabilité et validité : formule atténuation
La formule d’atténuation #1 permet d’évaluer l’impact de la fiabilité sur la validité en faisant comme si les instruments étaient exempts d’erreur de mesure.
Cependant, les tests ont toujours au moins une part minimale d’erreur de mesure
Est-il donc possible d’estimer la validité théorique d’un instrument en éliminant une partie de l’erreur de mesure?
Formule #2
RACINECARRÉErxx : mm chose que F1
RACINECARRÉEryy : mm chose que F1
RACINECARRÉEr’xx : coeff de fiabi DÉSIRÉ du test
RACINECARRÉEr’yy : coeff de fiab DÉSIRÉ du critère
r’xy : À VERIFIER AVEC PROF mais coeff de validité si UNE PARTIE de l’erreur de mesure n’était plus présente
Conclusions sur l’atténuation
La fiabilité de l’instrument et la fiabilité du critère affectent négativement le coefficient de validité
La formule d’atténuation aide à comprendre pourquoi certaines hypothèses de validité critériée ne sont pas confirmées (problème de fiabilité ou de validité également?)
- Rappel: si mon hypothèse est confirmée avant l’utilisation de la formule, il peut quand même y avoir un problème de fidélité !
Il faut choisir un critère qui a de bonnes propriétés psychométriques
Les formules #1 et #2 ne fonctionnent qu’avec des corrélations comme coefficients de fiabilité
- L’alpha de Cronbach ne doit pas être utilisé
- Le même type de coefficient doit être utilisé partout dans la formule (split-half ou test-retest)
Groupes contrastés
(qceque on calcule ?
on utilise quelle technique stats ?)
Le test permet-il de différencier un groupe d’un autre?
Plus la différenciation est grande, plus le test est valide
On calcule la différence de moyennes entre les groupes:
- Il faut que la différence soit statistiquement significative, mais ait aussi une taille d’effet importante.
- On utilise principalement des analyses de variances (ANOVA) ou des tests t
Exemples:
- Groupe d’enfants ayant un TDAH VS Groupe d’enfants ne présentant pas de TDAH
- Groupe atteint d’une déficience intellectuelle VS Groupe n’en présentant pas
2 types d’anayses facto
Analyse factorielle exploratoire (AFE)
Analyse factorielle confirmatoire (AFC
Analyse factorielle exploratoire (AFE)
Technique où on fait entrer les items dans la machine et d’où on espère voir ressortir un résumé adéquat
À utiliser lorsqu’on ne sait pas ce que l’on cherche ou que la structure du construit n’a jamais été testée mathématiquement.
Analyse factorielle confirmatoire (AFC)
Technique de classification où on sait ce que l’on cherche a priori
On indique au logiciel combien de facteurs sont désirés et quels items se retrouvent dans chaque facteur
Les résultats nous aident à déterminer si oui ou non, la structure est bien représentée par les données
VOIR L’EXEMPLE D’ANALYSE FACTORIELLES EXPLORATOIRES et CONFIRMATOIRES
Analyses factorielles
(issu de quoi,
chaque facteur contient quoi
qceque saturation ?)
Technique statistique issue des travaux initiaux sur l’intelligence
- Le facteur «g» = une analyse factorielle
Chaque facteur résume de l’information provenant de plusieurs items
Les items supposés mesurer une dimension devraient être fortement corrélés entre eux ET moins corrélés avec les autres dimensions
On nomme saturation la corrélation entre un item et un facteur
Utilité des analyses factorielles
- Confirmation de la structure ou de l’organisation d’un construit
- Nombre de sous-dimensions et leur organisation - Détecter des moins bons items
Rappel: un construit est un concept abstrait que l’on tente de mieux comprendre en le rendant plus concret .
Interprétation des analyses factorielles
(quoi la méthode statistique qui est présentée et utile pour quoi ?)
L’interprétation des analyses factorielles :
- Ne donne pas une réponse absolue ;
- On parle de « niveau d’adéquation avec les données » ;
- Nécessite une grande part d’interprétation de la part du concepteur de l’instrument.
Il existe plusieurs méthodes statistiques différentes pour faire des analyses factorielles
Celle présentée dans les prochaines diapositives est l’analyse factorielle (factor analysis) avec maximum de vraisemblance (maximum likelihood)
- Ce type d’analyse factorielle est recommandé lorsque l’on mesure des concepts abstraits ou latents.
VOIR DIAPO VALIDITÉ DE CONSTRUIT ET CONCEPTUALISATION
Analyse facto englobe :
ÉTAPE 5 : Congruence
- Les items «appartiennent-ils» à leur dimension?
- Les 3 dimensions «appartiennent-elles» au construit global?
Point de départ : matrice d’intercorrélations des items
Les patrons de corrélations devraient indiquer si les items appartiennent à leur dimension
MAIS…
La matrice est difficile à interpréter et à visualiser
- Il y a souvent des corrélations qui sont fortes en dehors des zones où il est logique d’en trouver
- Il y a souvent plus que 18 items dans les instruments (surtout si on a créé plus d’items dans le but d’éliminer les moins bons)
Résultats d’analyses factorielles
(une saturation s’interprète comme quoi et exprime quoi ? les saturations devraient avoir l’air de quoi ?)
Voici la structure factorielle qui résume la matrice d’intercorrélations :
Chaque X représente une saturation élevée
- Une saturation s’interprète comme une corrélation.
- Une saturation exprime le poids qu’a l’item dans le facteur.
Les saturations devraient être élevées pour les facteurs attendus et presque nulles pour les autres
Si une telle structure était observée dans les résultats, il serait facile de nommer les facteurs
- F1 = assurance
- F2 = affirmation
- F3 = détermination
Exemple d’analyse factorielle exploratoire
(Quel saturations sont omisses (chiffres ?)
Les saturations ≤ 0,200 sont omises , mais certains auteurs recommandent d’omettre celles en dessous de 0,400 (Stevens, 2002)
S’il y avait vraiment 3 facteurs, les résultats de l’AFE auraient été 3 facteurs
Difficile de comprendre «le résumé»
La majorité des items «saturent» sur plus d’un facteur
Difficile de nommer les facteurs
Analyse factorielle confirmatoire : on vient faire quoi ?
(ces analyses s’effectuent où ?)
Forcer le nombre de facteurs au nombre de dimensions conceptualisées en créant un modèle.
On regarde une série d’indices nous permettant de dire si ce qu’on a mis fonctionne ou pas.
Ces analyses sont complexes et ne s’effectuent pas sur SPSS.
