Cours #8

Question 1

Validité à la phase de vérificatio n : En general + à l’étape de la congruence

Answer 1

Validité en général
«Est-ce que mon instrument mesure ce qu’il est censé mesurer ?»

À l’étape de la Congruence
«Qu’est-ce que je mesure vraiment? »

Question 2

La congruence : objectifs et moyens

Answer 2

Objectifs
- Vérifier les quantifications et/ou l’organisation des concepts

Moyens
- Analyses corrélationnelles
- Analyses factorielles
- Équations structurelles
- Approche hypothético-déductive

Question 3

Vérification des hypothèses : c’est quoi le système hypothético - déductif ?

Answer 3

Système hypothético-déductif : ensemble d’hypothèses dont les confirmations permettront de déduire que notre instrument est valide

La confirmation d’une de ces hypothèses est une démonstration de la validité

La confirmation de plusieurs de ces hypothèses est une démonstration plus solide de la validité

La non-confirmation d’hypothèses soulève des doutes sur la validité

Question 4

Critères : utilité

Answer 4

À quoi servent les critères?

À créer un système hypothético-déductif, qui servira à démontrer la validité de notre instrument à l’étape 5 (congruence).

Question 5

Barème de Cohen (1988)

Answer 5

Corrélation faible : r=0,10
Corrélation moyenne : r=0,30
Corrélation forte : r=0,50

Il faut toujours prendre en considération le coefficient p.
Si p ≤ 0,05 : la corrélation est significative.
Si p > 0,05 : la corrélation est non significative.

Question 6

ALLER VOIR LES EXEMPLES D’INTERPRÉTATION DE TABLEAU CROISÉ

Question 7

Hypothèses non confirmées : explications possibles

Answer 7

1. L’hypothèse de recherche n’était pas bonne
   - Vérif ds la littérature
2. Le critère n’est pas bon
   - Vérif des propriétés psychométriques du critère
   - Vérif ds la littérature des liens entre les critères
3. Le nouvel instrument n’est pas bon

Question 8

ALLER VOIR EXEMPLES DE SYSTÈMES HYPOTHÉTICO-DÉDUCTIFS

Question 9

ALLER VOIR LES ÉTAPES POUR FAIRE LA VÉRIFICATION DES HYPOTHÈSES

Answer 9

1. Signif
2. Direction critère-construit
3. Force critère-construit

Question 10

Atténuation

Answer 10

L’erreur de mesure limite, réduit, atténue la validité de notre instrument.

Le coefficient de validité (la corrélation) entre le test et le critère est sous-estimé à cause de l’erreur de mesure.

Est-il possible d’estimer la validité théorique maximale d’un instrument en éliminant l’erreur de mesure?

Question 11

Estimer l’effet de l’atténuation (formule 1)

Answer 11

Numérateur : Coefficient de validité entre le nouveau test et le critère c.-à-d. le coefficient de validité observé dans l’étude

Dénominateur :
rxx = Le coefficient de fiabilité du test étant validé

ryy = Le coefficient de fiabilité du critère

Question 12

Résultat de la formule effet de l’atténuation

Answer 12

Le coefficient de validité désatténué (et donc corrigé pour l’atténuation) donne la limite supérieure théorique de la corrélation qu’il serait possible d’atteindre dans l’étude de validation si les instruments étaient sans erreur.

Question 13

VOIR EXEMPLE AVEC LA FORMULE 1 DE EFFET ATTÉNUATION

Question 14

Fiabilité et validité : formule atténuation

Answer 14

La formule d’atténuation #1 permet d’évaluer l’impact de la fiabilité sur la validité en faisant comme si les instruments étaient exempts d’erreur de mesure.

Cependant, les tests ont toujours au moins une part minimale d’erreur de mesure

Est-il donc possible d’estimer la validité théorique d’un instrument en éliminant une partie de l’erreur de mesure?

Question 15

Formule #2

Answer 15

RACINECARRÉErxx : mm chose que F1

RACINECARRÉEryy : mm chose que F1

RACINECARRÉEr’xx : coeff de fiabi DÉSIRÉ du test

RACINECARRÉEr’yy : coeff de fiab DÉSIRÉ du critère

r’xy : À VERIFIER AVEC PROF mais coeff de validité si UNE PARTIE de l’erreur de mesure n’était plus présente

Question 16

Conclusions sur l’atténuation

Answer 16

La fiabilité de l’instrument et la fiabilité du critère affectent négativement le coefficient de validité

La formule d’atténuation aide à comprendre pourquoi certaines hypothèses de validité critériée ne sont pas confirmées (problème de fiabilité ou de validité également?)

• Rappel: si mon hypothèse est confirmée avant l’utilisation de la formule, il peut quand même y avoir un problème de fidélité !

Il faut choisir un critère qui a de bonnes propriétés psychométriques

Les formules #1 et #2 ne fonctionnent qu’avec des corrélations comme coefficients de fiabilité
- L’alpha de Cronbach ne doit pas être utilisé
- Le même type de coefficient doit être utilisé partout dans la formule (split-half ou test-retest)

Question 17

Groupes contrastés
(qceque on calcule ?
on utilise quelle technique stats ?)

Answer 17

Le test permet-il de différencier un groupe d’un autre?

Plus la différenciation est grande, plus le test est valide

On calcule la différence de moyennes entre les groupes:
- Il faut que la différence soit statistiquement significative, mais ait aussi une taille d’effet importante.
- On utilise principalement des analyses de variances (ANOVA) ou des tests t

Exemples:
- Groupe d’enfants ayant un TDAH VS Groupe d’enfants ne présentant pas de TDAH
- Groupe atteint d’une déficience intellectuelle VS Groupe n’en présentant pas

Question 18

2 types d’anayses facto

Answer 18

Analyse factorielle exploratoire (AFE)

Analyse factorielle confirmatoire (AFC

Question 19

Analyse factorielle exploratoire (AFE)

Answer 19

Technique où on fait entrer les items dans la machine et d’où on espère voir ressortir un résumé adéquat

À utiliser lorsqu’on ne sait pas ce que l’on cherche ou que la structure du construit n’a jamais été testée mathématiquement.

Question 20

Analyse factorielle confirmatoire (AFC)

Answer 20

Technique de classification où on sait ce que l’on cherche a priori

On indique au logiciel combien de facteurs sont désirés et quels items se retrouvent dans chaque facteur

Les résultats nous aident à déterminer si oui ou non, la structure est bien représentée par les données

Question 21

VOIR L’EXEMPLE D’ANALYSE FACTORIELLES EXPLORATOIRES et CONFIRMATOIRES

Question 22

Analyses factorielles
(issu de quoi,
chaque facteur contient quoi
qceque saturation ?)

Answer 22

Technique statistique issue des travaux initiaux sur l’intelligence

• Le facteur «g» = une analyse factorielle

Chaque facteur résume de l’information provenant de plusieurs items

Les items supposés mesurer une dimension devraient être fortement corrélés entre eux ET moins corrélés avec les autres dimensions

On nomme saturation la corrélation entre un item et un facteur

Question 23

Utilité des analyses factorielles

Answer 23

1. Confirmation de la structure ou de l’organisation d’un construit
   - Nombre de sous-dimensions et leur organisation
2. Détecter des moins bons items

Rappel: un construit est un concept abstrait que l’on tente de mieux comprendre en le rendant plus concret .

Question 24

Interprétation des analyses factorielles
(quoi la méthode statistique qui est présentée et utile pour quoi ?)

Answer 24

L’interprétation des analyses factorielles :
- Ne donne pas une réponse absolue ;
- On parle de « niveau d’adéquation avec les données » ;
- Nécessite une grande part d’interprétation de la part du concepteur de l’instrument.

Il existe plusieurs méthodes statistiques différentes pour faire des analyses factorielles

Celle présentée dans les prochaines diapositives est l’analyse factorielle (factor analysis) avec maximum de vraisemblance (maximum likelihood)
- Ce type d’analyse factorielle est recommandé lorsque l’on mesure des concepts abstraits ou latents.

Question 25

VOIR DIAPO VALIDITÉ DE CONSTRUIT ET CONCEPTUALISATION

Answer 25

Analyse facto englobe :

ÉTAPE 5 : Congruence
- Les items «appartiennent-ils» à leur dimension?
- Les 3 dimensions «appartiennent-elles» au construit global?

Question 26

Point de départ : matrice d’intercorrélations des items

Answer 26

Les patrons de corrélations devraient indiquer si les items appartiennent à leur dimension

MAIS…
La matrice est difficile à interpréter et à visualiser
- Il y a souvent des corrélations qui sont fortes en dehors des zones où il est logique d’en trouver
- Il y a souvent plus que 18 items dans les instruments (surtout si on a créé plus d’items dans le but d’éliminer les moins bons)

Question 27

Résultats d’analyses factorielles
(une saturation s’interprète comme quoi et exprime quoi ? les saturations devraient avoir l’air de quoi ?)

Answer 27

Voici la structure factorielle qui résume la matrice d’intercorrélations :

Chaque X représente une saturation élevée
- Une saturation s’interprète comme une corrélation.
- Une saturation exprime le poids qu’a l’item dans le facteur.

Les saturations devraient être élevées pour les facteurs attendus et presque nulles pour les autres
Si une telle structure était observée dans les résultats, il serait facile de nommer les facteurs
- F1 = assurance
- F2 = affirmation
- F3 = détermination

Question 28

Exemple d’analyse factorielle exploratoire
(Quel saturations sont omisses (chiffres ?)

Answer 28

Les saturations ≤ 0,200 sont omises , mais certains auteurs recommandent d’omettre celles en dessous de 0,400 (Stevens, 2002)

S’il y avait vraiment 3 facteurs, les résultats de l’AFE auraient été 3 facteurs

Difficile de comprendre «le résumé»

La majorité des items «saturent» sur plus d’un facteur

Difficile de nommer les facteurs

Question 29

Analyse factorielle confirmatoire : on vient faire quoi ?

(ces analyses s’effectuent où ?)

Answer 29

Forcer le nombre de facteurs au nombre de dimensions conceptualisées en créant un modèle.

On regarde une série d’indices nous permettant de dire si ce qu’on a mis fonctionne ou pas.

Ces analyses sont complexes et ne s’effectuent pas sur SPSS.