4) Concept statistiques (partie 2) Flashcards
La fidélité est une propriété (qualité) psychométrique. C’est quoi ?
La fidélité détermine si les scores sont stables après plusieurs passations du même test (Crocker & Algina, 1986)
- Être sur de mesurer qqch comme il faut
Repose sur l’hypothèse selon laquelle il est possible de mesurer un «attribut» (ex: stress) en posant plusieurs questions dont les réponses forment un ensemble :
- consistant - stable d’un contexte à l’autre - stable d’un moment à l’autre
(Si je passe mon questionnaire avec le groupe 1 ou avec le groupe 2 on devrait avoir la même chose d’étudiants du même programme de l’UdeM)
La fidélité d’un instrument psychométrique représente quoi ? Comment déterminer qu’un instrument de mesure est fidèle ?
Le degré de précision et de constance de ses scores.
- Un instrument de mesure fiable donne de façon consistante et précise les mêmes résultats lorsqu’il n’y a pas eu des changements réels
Je suis la capacité à produire un score observé qui est le
plus proche possible du score vrai de la personne évaluée (erreur de mesure)
La précision
«La fidélité d’un instrument psychométrique représente le degré de précision et de constance de ses scores»
- C’est quoi la constance ?
La constance fait référence à l’obtention des résultats hautement similaires lorsqu’une personne est évaluée à l’aide du même instrument psychométrique à deux moment dans le temps
Quand est-ce qu’un test est considéré «fidèle» ?
Un test est considéré comme un test fiable lorsqu’il fournit des scores similaires lorsqu’une personne le passe à plusieurs reprises
La fidélité est influencée par quoi ?
L’échelle de mesure, le mode d’administration, la clarté des concepts à mesurer, la consistance des évaluations, etc.
Trois principales méthodes sont utilisées pour trouver le coefficient de fidélité … Lesquelles ?
- La méthode de stabilité (dans le temps) [RÉPÉTABILITÉ]
- La méthode d’équivalence (entre deux “versions” d’un même instrument psychométrique) [REPRODUCTIBILITÉ]
– Pour 1 et 2, l’indice de fidélité est un coefficient de corrélation (r). - La méthode de cohérence interne (ou d’homogénéité des items)
– Split-half ou méthode de bissection
– Coefficient alpha de Cronbach (α) (ou coefficient KR-20 (r) pour items dichotomiques
- La méthode de stabilité (dans le temps) permet de déterminer quoi par rapport au test ?
- Comment on s’y prend dans cette méthode (quelle épreuve on utilise) ?
- À quel point le test est répétable (répétabilité)
2. L’épreuve Test-Retest (on compare les mesures au T1 et au T2)
Je suis la variabilité intra-opérateur («même expérimentateur») et je permet d’avoir déjà des informations sur une possible erreur de mesure aléatoire.
La répétabilité
Qu’est-ce que la méthode de stabilité (fidélité du test-retest) permet de regarder ?
Regarde la stabilité de la mesure au cours du temps chez un individu dont l’état est supposé “constant”
- Le coefficient de corrélation (r) représente donc la corrélation entre les résultats obtenus aux deux passations - Plus la corrélation entre les deux tests est importante plus le test est considéré comme "répétable"
Je suis un bon indicateur de la qualité métrique de fidélité.
Le coefficient de corrélation (r) obtenu par l’épreuve test-retest
Une corrélation T1-T2 suppose quoi ?
Que la variable mesurée est stable (donc les variations dans le temps proviennent de l’erreur de mesure)
La stabilité est influencée par quoi ?
– Le temps entre les passations – Les changements “naturels” durant cette période
Pourquoi il fait un temps «raisonnable» entre les 2 passations ?
Assez long pour qu’ils ne se souviennent pas de leur réponses, mais pas trop court pour qu’il y ait des changements naturels
[La fidélité test-retest par la corrélation]
Corrélation entre temps 1 et temps 2
- Pour les tests PERCEPTIFS sur le terrain, les corrélations supérieures ou égal à _____ sont bonne.
- Pour les tests SUBJECTIFS, des corrélations supérieures ou égales à _____ sont acceptables
• Pour les MESURE D’ATTITUDE, les corrélations supérieures ou
égales à _____ sont significatives
(Robert, 2004)
- Pour les tests PERCEPTIFS sur le terrain, les corrélations supérieures ou égal à 0,90 sont bonne.
- Pour les tests SUBJECTIFS, des corrélations supérieures ou égales à 0,50 sont acceptables
• Pour les MESURE D’ATTITUDE, les corrélations supérieures ou
égales à 0,70 sont significatives
La méthode d’équivalence est un autre méthode d’estimation de la fidélité.
- Quel autre nom donne-t-on à cette méthode ?
- Elle permet de vérifier la _____________ du test.
- Elle consiste à faire quoi ?
- La méthode des formes parrallèles
- REPRODUCTIBILITÉ
- On administre 2 versions (presque identiques ou très similaires) d’un même instrument
- corrélation T1 (forme A) - T2 (forme B)
[MÉTHODE D’ÉQUIVALENCE — Fidélité]
• Le coefficient de corrélation (r) représente quoi ?
• Quel sont les désavantages de cette méthode ? (2)
- (r) représente la corrélation entre les résultats obtenus aux deux tests
Désavantages :
- 2 versions d’un même instrument est $$ et long.
- 2 formes parallèles ne sont jamais pareilles à 100 % -
- S’il y a une corrélation T1 (forme A) - T2 (forme B), ça veut dire quoi ?
- Qu’est-ce qui influence la stabilité entre les deux versions du test ?
- Les variations entre A et B proviennent de l’erreur de mesure…
- – Le temps entre les passations
– Les changements “naturels” durant cette période
– La qualité de la “similarité” (parallélisme) entre les deux formes
On peut considérer que deux formes d’un même instrument sont «parallèles» quand…
- Les items sont très similaires et de même nombre
- Les mêmes directives d’administration
- Les deux formes ont la même moyenne et le meme écart-type
La méthode de la cohérence interne (ou consistance interne ou l’homogénéité) est une méthode d’estimation de la fidélité.
- Permet de vérifier quoi ?
- Cette méthode peut se faire de 2 manières … lesquelles ?
- Que le test est composé d’items qui mesurent tous le même construit (par le degré de cohésion des items de l’instrument)
- a) Méthode de bissection (split-half)
b) Alpha (α) de Cronbach
Je suis la méthode d’estimation de la fidélité la plus fréquemment utilisée.
La méthode de la cohérence interne
La corrélation split-half est une des manières de déterminer s’il y a une cohérence interne dans le test (estimation de la fidélité).
- En quoi ça consiste ?
- Vu que c’est difficile de séparer vraiment «également», qu’est-ce qu’on fait ?
- On coupe en 2 le questionnaire et on compare chaque moitié
- Répartition aléatoire (random split)
- Séparation des items pairs impairs
- La partition appariée (on fonction du contenu et de la difficulté - matched split)
V ou F : 2 administrations sont nécessaires pour faire la corrélation split-half.
Faux, une seule administration est nécessaire.
[Corrélalation split-half]
- Comment on sépare le questionnaire en 2 ? (3)
- On fait quoi pour tenir compte du nombre réduit d’item ?
- La partition aléatoire (random split)
- La séparation des items pairs et impairs (plus souvent)
- La partition appariée (en fonction du contenu et de la difficulté = matched split)
Pour tenir compte du nombre réduit d’items, on fait un Spearman-Brown
Je suis le meilleur indice de cohérence interne
L’alpha de Chronbach
Il y a 3 manières d’avoir la cohérence interne (l’alpha de Cronbach en fait parti) … quel sont-elles ?
- Matrice de corrélation inter-items
- Matrice de corrélation item-total
- Alpha de Cronbach
Comment fait-on pour examiner la matrice de corrélation des items entre eux (matrice inter-item)
- matrice de 6 items
Si t’as une matrice de 6 items, alors t’as 36 coefficient de corrélations (6x6). Les normes ne sont pas clairs il y a BEAUCOUP de variation entre les valeurs de corrélation inter-items, MAIS il y a un minimum :
— 0 à 0,15 = éléments ne sont pas bien corrélés
— 0,15 à 0,5 = un bon résultat
— 0,50 et + = éléments sont corrélés dans une plus grande mesure et que les éléments peuvent être répétitifs
[Suggéré d’avoir une valeur entre 0,3 et 0,8 et que les mesures soient de même échelle pour mesurer la même cible (assez élevé pour mesurer le même concept)]
Ça veut dire quoi si une corrélation est trop élevée (cohérence interne)
On mesure deux fois la même chose (not good)
Comment fait-on pour déterminer le degré d’association entre chaque élément et le score total ? (Matrice de corrélation item-total)
- matrice de 6 items
Encore une fois, les normes sont pas claires, il y a beaucoup de variations dans les valeurs de corrélation item-total, mais il y a un minimum :
— 0 à 0,20 = peuvent ne pas être représentatifs du même domaine de contenu
— 0,20 à 0,40 = items sont raisonnablement homogènes
— 0,40 et + = peuvent ne capturer qu’une petite bande passante de la construction
Ça signifie quoi si l’indice de cohérence interne est très faible (ou négatif) ? (3)
- soit que plus d’un concept est mesuré
- soit que certains items mesurent mal le concept
- soit que l’échelle aurait due être inversée pour cet item
Comment peut-on évaluer de manière simple et rapide la cohérence interne des items ?
En examinant la matrice de corrélation des éléments entre eux
– Plus les réponses aux éléments sont corrélées entre eux et/ou
au score total de l’échelle, plus la cohérence de cette échelle est
élevé
- Varie entre 0 et 1
- Plus s’approche de 1, plus la fidélité est bonne
- But raisonnable = 0,8
- Seuil minimal = 0,7
C’est quoi la limite de indices de cohérence internes (matrices de corrélations inter-item, item-total et Cronbach) ?
- Lorsqu’il est élevé, il indique que le test mesure quelque chose mais ça ne dit pas quoi (et ça peut-être plusieurs choses)
• Donc n’assure pas l’unidimensionnalité (= ne mesure qu’une seule chose) - Il n’y a pas de règle stricte dans l’interprétation des valeurs de coefficient de fidélité :
- Assez élevé = mesurent le même concept
- Trop élevé = mesure la même chose
C’est quoi la différence entre validité et fidélité ?
• La fidélité concerne la PRÉCISION avec laquelle un test mesure
certaines caractéristiques (donc en lien avec l’erreur de mesure)
• La validité est en lien avec la QUALITÉ de ce qui est mesuré : la
ressemblance existant entre ce que l’on veut mesurer et ce que
mesure le test
• Fidélité et validité sont deux notions distinctes liées par une
relation d’implication : la fidélité est une condition nécessaire mais non suffisante pour la validité d’un test
V ou F : Un test non fidèle est nécessairement non valide
Vrai !!!
Je suis le concept le plus important et le plus fondamental en psychométrie
LA VALIDITÉ
- En effet, même l’instrument de mesure le plus précis n’est pas
utile si cet instrument ne mesure pas le concept qu’il doit mesurer
À quoi correspond le concept de validité ?
C’est la relation qui existe entre les éléments théoriques (modèles, concepts, définitions, hypothèses, etc.) et la réalité empirique qui doit les représenter
On veut mesurer quel est son degré de validité donné pour un attribut précis pour une population cible précise et pour un contexte d’application spécifique
Nous sommes les processus mis en place pour évaluer la validité d’un test
La validation
La validité peut être analysée sous différents aspects et chacun apporte des informations complémentaires et importantes
On peut regrouper (classiquement) les différentes manières de vérifier le degré de validité d’un instrument en trois grands types de validité … Quels sont-ils ?
- Validité de contenu
- Validité de construit
- Validité de critère (ou d’apparence)
Aussi : Validité d’apparence -
C’est quoi la validité d’apparence (ou manifeste) d’un instrument ?
C’est à quel point le test est crédible pour les personnes qui le passent
C’est une analyse SUBJECTIVE basée sur un jugement subjectif, superficiel de l’utilisateur
Je suis la méthode la moins rigoureuse pour évaluer la validité d’un test
Validité d’apparence …
- MAIS c’est une étape pour tous les instruments de mesure reconnus comme valides … - Si le participant ne croit pas le processus, il sera moins motivé à s'investir et ses résultats ne seront pas représentatifs du construit évalué * Souvent fait par des experts *
La validité de contenu évalue quoi ?
La validité de contenu évalue dans quelle mesure les divers items
ou épreuves d’un instrument sont représentatifs du ou des construits mesurés et de leur différentes facettes
[• Cronbach et Meehl (1955)
• Ce n’est pas une méthode unique (et explicite) mais bien un ensemble de méthodes
• Nécessite une définition explicite du construit que l’on veut mesurer]
Certains aspects de la validité de contenu sont évalués de manière plus qualitatives et d’autres de manières plus quantitatives
Quels sont les aspects qualitatives VS quantitatives
QUALITATIVES :
- validation de la définition des construits
QUANTITATIVES :
- calcul de coefficient d’accord inter-juges (items pertinents ? exhaustifs ? représentatifs ?)
- corrélations
[Validité de contenu]
Des _____________________ vont permettre d’identifier les items
qui ne sont pas liés (empiriquement) au construit mesuré (donc pas pertinents)
Analyses factorielles
[Validité de contenu]
Quelles sont les 7 règles essentielles de la validation du contenu d’un instrument psychométrique ? (Haynes, Richard, & Kubany, 1995)
- Définir soigneusement le domaine et les facettes du construit et valider cette définition
- Soumettre tous les éléments de l’instrument à une validation de contenu (forme, différentes conditions et situations d’utilisations possibles)
- Utiliser un échantillon de la population cible (des personnes de la population à laquelle est dédié l’instrument
- Consulter plusieurs juges (experts) pour valider le contenu de l’instrument et quantifier ces jugements à l’aide d’échelles formalisées
- Examiner la représentation proportionnelle des items aux différentes facettes du construit
- Présenter les résultats de la validation de contenu dans la publication de tout nouvel instrument
- Utiliser toutes les analyses psychométriques ultérieures pour améliorer la validité du contenu
