Cours 3

Question 1

Analyse des items

Answer 1

Les items sont analysés afin de déterminer les propriétés psychométriques de l’instrument.

Deux éléments à considérer :
La fidélité;:cohérent avec autres
La validité: on mesure bien ce qu’on veut mesurer

Sélection des items.

Diminution des sources d’erreur de mesure:quantifier si on a de l’erreur de mesure et si oui on veut quantifier combien d’erreur→ fidélité

L’instrument comporte-t-il de l’erreur de mesure? Si oui, combien?

Question 2

Variance

Answer 2

La variance est une mesure de la façon dont les observations sont dispersées (les scores varient peu ou beaucoup?).

Il s’agit de la moyenne de la distance entre la moyenne chacun des scores observés.

𝑆_𝑥^2=(∑(𝑋−𝑋̅ )^2 )/𝑁

variance: si on faisait juste la sommation de toutes les distances ça donnerait 0 pcq moyenne est au milieu donc on fait 1, -1, 2, -2 etc donc c’est pour ça quon met au carré
deux distributions qui diffèrent selon leur variance
1. y’a moins de variance (courbe moins étendue)
2. est plus large donc plus de variance, les cores varient plus autour de la moyenne (courbe large)

Question 3

Écart-type

Answer 3

L’écart-type représente l’écart moyen entre la moyenne et chaque score observé, sur l’échelle de mesure originale.

racine carrée de la variance

Question 4

Covariance (à revoir)

Answer 4

La covariance représente le degré avec lequel deux variables varient ensemble.

–>La covariance n’est pas standardisée, difficile à interpréter.

–>donne la distance que chaque point a avec la moyenne sur une variable et la moyenne sur une autre variable

Question 5

Corrélation

Answer 5

Le coefficient de corrélation (r) indique la force de la relation entre deux variables (X et Y).

Varie entre -1,00 et 1,00. Ne pas oublier d’interpréter la signification statistique (valeur p).

On obtient le degré avec lequel la position des scores des personnes sur la variable X est similaire à la position de leur score sur la variable Y.

varie entre -1 et +1 et les deux c’est des relations parfaites juste que une est positive et l’autre négative
0 veut dire que y’a aucune corrélation
valeur p plus petite que 0.05 = significatif → moins de 5% de chance d’être wrong

corrélation négative c’est flèche haut et flèche bas pis corrélation positive c’est deux flèches vers le haut

corrélation - est pas moins forte que + c’est juste différent

Question 6

Régression

Answer 6

La régression est un type de modèle statistique qui nous permet de comprendre la force de la relation entre deux variables et de faire des prédictions.

𝑌̂=𝑎+𝑏∙𝑥+𝜀
a = ordonnée à l’origine
b = coefficient de régression (pente)
X = valeur de x
𝜀 = erreur-type d’estimation
𝑌̂ = valeur prédite de Y

formule y=ax+b typa stuff donc si corrélaion entre x(le bien être) et y (la dépression)
bin si on a y genre 5 pour dépression alors on peut calculer pour voir le chiffre de bien etre a partir de ça

a= valeur de y quand x vaut 0
x= variable indépendante
b= pour chaque augmentation de 1 point sur la variable x , de combien j’augmente sur la variable dépendante (y)
e= erreur type d’estimation, il peut y avoir erreurs donc ouais

Question 7

Erreur-type d’estimation

Answer 7

L’erreur-type d’estimation indique la dispersion typique des valeurs autour de la droite de régression.

En d’autres termes, il s’agit de notre erreur de prédiction.

Une plus grande corrélation entre les variables signifie une plus petite erreur d’estimation.

c’est quoi la dispersion typique des valeurs autour de ma droite de régression (tous les bhay en rouge)
plus y’a de corrélation moins y’a d’erreur d’estimation

Question 8

La fidélité

Answer 8

La fidélité quantifie la façon avec laquelle les scores d’un test sont constants et reproductibles à l’intérieur d’une certaine marge d’erreur, sans égard à ce qu’il mesure (sa validité).
–>Un test qui est fidèle est un test pour lequel une même personne obtient le même résultat ou un résultat similaire lors de différentes passations.

Exemples de fidélité :
-Les résultats aux deux versions d’un examen sont similaires.
-Deux psychologues font le même diagnostic de dépression.
-Vos résultats à un test de personnalité sont similaires, un mois après la première passation.

Un test est considéré comme fidèle si les scores pour une même personne repassant le test sont similaires, sans qu’un changement ne devrait être attendu.
–>Distinction entre changement réel et fluctuations systématique et aléatoire.
—–>le changement réel: on s’attend à un changement alors c’est ok si y’a eu mesure différente donc still fidèle ex: si on mesure un enfant son poid pis on remesure après 6 mois bin il a srm pris du poid pcq il grandit
——->fluctuations systematique et aleatoires c’est des erreurs de mesure

Question 9

Sources d’erreur

Answer 9

Erreur systématique : Erreur de mesure qui affecte tous les scores de la même façon.
–>tt lmonde va avoir une augmentation de son score par exemple genre tt lmonde a 1 point de trop

Erreur aléatoire : Erreur de mesure affectant différemment les scores.
–>une erreur qui affecte différemment les personne pis on peut pas prédire cette erreur là, certaines personne ça va augmenter leur score, d’autres le diminuer etc

1.Erreurs lors de la cotation: on a cote différemment certaines réponses que d’autres, ou plusieurs personnes font la cotation et ils font pas pareil

2.Variations dans les procédures d’administration: : si il fait plus chaud dans une des salles ou certains répondants sont juste a cote du fenêtre vrm bruyante

3.Variations naturelles chez les répondants: certains répondants pourraient être vrm stressé cette journée et on pas bonne note alors qu’un autre jour ils auraient pu être reposé et avoir bonne note pis d’autres gens seront pas fatigués and get rlly good great

4.Variations dans la représentativité du contenu (pour des versions parallèles):: pas tt les mm questions dans les questionnaires donc y’a pt une version plus difficile ou une version qui a bcp de questions sur un sujet et moins sur d’autres alors que l’autre version c’est l’inverse donc peut changer les scores pour les gens

Question 10

La théorie classique des tests

Answer 10

Décompose le score observé en trois composantes :

-Score observé (O) : Score obtenu par une personne à un test tel qu’observé.

-Score vrai (V) : Score qu’aurait obtenu une personne à un test s’il n’y avait pas d’erreur de mesure:: si on pouvait savoir que le qi de qqun c’est 100 mais a son test elle get 105.. son vrai score c’est 100 (si on pouvait avoir accès a cette vérité mais on sait pas vrm pcq erreur de mesure) → y’a eu erreur de mesure
–>si on fait bcp de fois le test si on fait moyenne des tests on pourrait voir plus c’est quoi le vrai score

-Erreur de mesure (E) : Différence (positive ou négative) entre le score vrai et le score observé, composée de tous les éléments qui jouent sur le score de la personne.

–>Sur un grand ensemble de scores, on peut obtenir des moyennes pour O et V, mais E disparait.

Question 11

Variance du score observé

Answer 11

quand y’a peu d’erreur la vraie variance est presque exacte a la variance totale

quand y’a bcp d’erreur la vraie variance est bcp plus petite que la variance totale

différence entre variance totale et vraie variance c’est l’erreur de mesure

la variation totale c’est la variation totale du vrai score et la variation totale de l’erreur
→toutes les différences individuelles entre les personnes et toutes les sources d’erreur qui ont contribué a modifier le score

Question 12

Variance observée et erreur (revoir)

Answer 12

Pour un ensemble de scores observés, on pourrait avoir des distributions comme celles-ci en fonction de l’erreur de mesure, centrées autour du score vrai (ici 0).

variance d’erreur de 1(plus d’erreur)→ plus de variance dans les scores, je sais que la moyenne correspond au score vrai

variance d’erreur de 0.25 (moins d’erreur)→ encore moyenne a 0 mais les scores sont plus proche de 0 aka moins de variation

Moins d’erreur=moins de variation

Question 13

Estimation de la fidélité à partir de l’erreur aléatoire de mesure

Answer 13

On peut exprimer la fidélité comme le ratio entre le score vrai et le score observé.

% de mon score vrai à l’intérieur du score observé

si score vrai = score observé ça veut dire que j’ai 0 erreur de mesure et ça donne 1 (fidélité=1)
si j’ai 50% d’erreur alors fidélité serait 0.5 (aka score vrai serait 50% du score observé)

Question 14

types de fidélité

Answer 14

1. Stabilité temporelle
   –>Degré avec lequel la mesure d’un construit reste stable dans un intervalle de temps donné.
   –>genre 1 semaine plus tard pcq desfois c’est normal que ça change si c’est un construit changeant et que bcp de temps a passé

2.Fidélité interjuges
–>Degré avec lequel des juges font la même évaluation lors de la correction d’un instrument.
–>les diff personnes qui corrigent vont corriger de mm facon et vont donner scorrs de la mm facon→ peu importe qui corrige tu vas avoir la mm note

3.Cohérence interne
–>Degré avec lequel les items d’un instrument se tiennent bienensemble sont cohérents (les personnes fournissent des réponses cohérentes à tous les items).

Question 15

Méthodes de vérification de la fidélité

Answer 15

1.Corrélation test-retest
2.Corrélation test-retest avec formes parallèles
3.Fidélité interjuges
4.Corrélation par bissection («Split-Half»)
5.Correction de Spearman-Brown
6.Formule de la prophétie
7.Alpha de Cronbach

Question 16

Corrélation test-retest

Answer 16

Mesure la stabilité temporelle (ou fidélité test-retest).

Si, à l’intérieur d’un délai donné, le construit devrait rester stable, deux mesures de ce construit à l’aide d’un instrument devraient être similaires.

Le test est administré deux fois au même échantillon de personnes.
Dépend de:
-L’intervalle entre les deux mesures;
-La quantité de changements survenus entre les deux mesures.

corrélation entre test 1 et test 2 (mm test juste passation 1 vs 2)

plus le temps est long entre les deux plus c’est possible que corrélation soit plus petite
si c’est trop rapide la personne pourrait se rappeler ses réponses et mettre les mm encore

changements: genre enfant qui a grandit entre temps

Question 17

Corrélation test-retest avantages et inconvénients

Answer 17

avantages:
-Évalue l’erreur due aux fluctuations naturelles des personnes sondées.
(Si la personne était fatiguée à la première passation mais pas deuxième, cette erreur va être captée par le deuxième mesure)—permet de quantifier cette erreur, cette différence de score, Ana le vrai score de la personne devrait se situer entre score 1 et score 2
-Évalue l’erreur dans les variations de la méthode d’administration
Mm chose genre si faisait foin chaud t1 et pas au t2 bin on peut capter erreur

inconvénients:
-Ne tient pas compte des erreurs de variation de contenu — Mm test les deux fois donc pas de variation dans contenu
-Difficilement réalisable pour les tests très longs.
-Effet de mémoire possible.

test long: les gens vont pas etre down faire 2 passations

Question 18

Corrélation test-retest avec formes parallèles

Answer 18

Mesure la stabilité temporelle (ou fidélité test-retest) en annulant l’effet de mémorisation.

Si, à l’intérieur d’un délai donné, le construit devrait rester stable, deux mesures de ce construit à l’aide d’un instrument devraient être similaires.

Le test est administré deux fois au même échantillon de personnes.

Dépend de:
-La qualité du parallélisme entre les deux versions;
-L’intervalle entre les deux mesures;
-La quantité de changements survenus entre les deux mesures.

–>dépend de la qualité des deux tests entre eux genre mesurent pareillement

Question 19

Versions parallèles d’un instrument

Answer 19

Deux versions différentes d’un instrument, avec des items qui se ressemblent fortement.

Même nombre d’items entre les deux versions.

Les instruments partagent la même structure dimensionnelle.

Les méthodes d’administration doivent être les mêmes.

Les moyennes et écarts-types des scores doivent être les mêmes.

Question 20

Corrélation test-retest avec formes parallèles avantages et inconvénients

Answer 20

avantages:
-Élimination de l’effet de mémoire.
-Administration simultanée.
—>on peut faire passer un test après l’autre, évite de devoir attendre un certain moment comme avec test-retest

inconvénients:
-Préparation de deux fois plus d’items.
-Les deux instruments doivent être validés.
-Les instruments doivent absolument rester parallèles.

Question 21

Fidélité interjuges

Answer 21

Évalue les variations aléatoires attribuables à la correction du test par des juges.

Les juges corrigent les mêmes réponses au test. Les corrections des juges doivent être indépendantes.

On effectue la corrélation entre leurs réponses. Pour deux juges : corrélation de Pearson. Pour plus de deux juges : corrélation intra-classe.

La correction sera stable si les juges ont tous la même compréhension des réponses :
-Compétence d’évaluation des juges;
-Les réponses possibles sont bien codifiées;
-Formation offerte aux juges.
-Si on utilise un pointage : corrélation de Pearson. Si on utilise des fréquences : Kappa (κ).
pointage
nombre de points: pearson
fréquence ex: regarder un enfant et la fréquence des comportements violents alors on peut pas faire pearson! c’est kappa

juges doivent pas être au courant de ce que l’autre juge a mis, ils doivent faire indépendamment pour pouvoir vrm prouver la fidelité

Question 22

Corrélation par bissection («Split-Half»)

Answer 22

Mesure à quel point le score obtenu à une moitié du test est similaire au score de la deuxième moitié (cohérence interne).

Après l’administration du test, on sépare ses items en deux et on les corrige comme si on avait deux versions du test. Les scores aux deux moitiés sont mises en corrélation pour toutes les personnes.

Pour éviter que les items difficiles se retrouvent tous dans une version ou que la fatigue teinte trop le résultat à la seconde moitié, on peut séparer les items selon s’ils sont pairs ou impairs.

Cependant, la corrélation ne donne pas la fidélité du test en entier, mais sur la moitié du nombre d’items. On coupe le nombre d’items en deux, ce qui vient diminuer artificiellement sa fidélité.
–>Plus un test contient d’items, plus le risque d’erreur aléatoire diminue.

->on fait comme si stai 2 tests mais en fait c’est juste un test, esquil repond de manière similaire au test, cohérance interne

les scores aux deux moitiés vont être mise en corrélation

séparer exactement en deux c’est pas vrm bon pcq ex: si c’est test de connaissance pis les itemsdiff sont a la fin bin ça marche pas ou pt les gens sont fatigués à la fin du test, sinon ce qui est mieux c’est séparer items pair vs impair

plus items moins d’erreur: les différentes sources d’erreur viennent s’annuler pcq si erreur pour genre un item bin prochain va annuler genre pour un item yavait du bruit so y’a fuckup mais après y’avait pu de bruit so no more fuckup

Question 23

Correction de Spearman-Brown

Answer 23

Correction à la corrélation permettant de connaitre la fidélité du test en entier.

rc=2xrh/1+rh
rc = corrélation corrigée pour le test en entier
rh = corrélation entre les deux demi-tests

Pour une corrélation de r = 0,53 :𝑟_𝑐=(2∙0,53)/(1+0,53)=0,69

remédier au fait quon test pas validité du test en entier pour bissection
0.69 est la fidélité du test en entier pis 0.53 stai pour bissection

Question 24

Formule de la prophétie

Answer 24

Permet d’estimer le nombre d’items nécessaire pour augmenter la fidélité d’un test.
ex:si j’ai 5 items en ce moment et que j’ai telle corrélation (indice de fidélité), combien d’items jdevrais ajouter pour augmenter la fidélité de mon test

𝑘 (𝑟𝑑 (1−𝑟𝑜 ))/(𝑟𝑜 (1−𝑟𝑑 ) )
k = nombre d’items actuel
ro = fidélité observée
rd = fidélité désirée

Pour un test de 6 items ayant une fidélité de ro = 0,53, si l’on souhaite une fidélité de rd = 0,75 :
6 (0,75∙(1−0,53))/(0,53∙(1−0,75) )=6 0,3525/0,1325=6∙2,6604=15,9624≈16
Il faudrait 16 items au total (10 de plus)!

Cette formule n’est valide que si:
1.Les items ajoutés représentent le même domaine de contenu. –>ajouter à ce qui est déjà au test, pas de nouvelle dimension juste nouveaux items sur dimensions déjà dans le test
2.La moyenne des intercorrélations entre les items initiaux est égale à la moyenne des intercorrélations des items ajoutés. –>les items quon ajoute ont une cohérance interne qui est similaire aux items qui sont deja dans le test

Question 25

Alpha de Cronbach voir manuel

Answer 25

Mesure le degré avec lequel les personnes répondent de façon similaire à tous les items d’un instrument. Il s’agit de l’un des meilleurs indices de cohérence interne.
–>similaire au bissection
autre manière mais prend en compte tous les items, corrélations entre tous les items, esque tous mes items vont bien ensemble

Ce coefficient peut varier entre -∞ et 1, mais est la plupart du temps situé entre 0 et 1. Plus l’alpha de Cronbach s’approche de 1, plus la fidélité est bonne.

𝛼=(𝑘𝑟̅)/(1+(𝑘−1) 𝑟̅ )
k = nombre d’items dans le test
𝑟̅= moyenne des intercorrélations entre les items de ma dimension ou mon instrument

Plus le nombre d’items est grand et plus la corrélation moyenne entre les items est grande, plus grande sera la cohérence interne.

Plus il y a de variance dans les scores aux items, plus la cohérence interne sera grande.

–>si dimensions sont vrm différentes comme une dimension affective et une dimension cognitive alors 2 alphas de cronbach pcq c’est trop différent mm si ça va ensemble..
si dimensions vont vrm bien ensemble alors 1 alpha

Question 26

méthode à utiliser selon le type de fidélité qu’on veut checker

Answer 26

1.Stabilité temporelle
–>Corrélation test-retest
–>Corrélation test-retest avec versions parallèles

2.Fidélité interjuges
–>Corrélation entre les cotes (r de Pearson si deux juges, corrélation intra-classe si plus de deux)
–>Kappa pour les fréquences d’observation

3.Cohérence interne
–>Corrélation par bissection (« Split-Half»)
–>Alpha de Cronbach

Question 27

Quand utiliser les différentes méthodes de la fidélité? (selon le type d’erreur quon veut checker, quelle méthode utiliser)

Answer 27

1.Variation dans les procédures d’administration
=Stabilité temporelle
–>Corrélation test-retest
–>Corrélation test-retest avec versions parallèles

2.Variation due aux personnes
=Stabilité temporelle
–>Corrélation test-retest
Corrélation test-retest avec versions parallèles

3.Variation dans la représentatitivé du contenu
=Cohérence interne
–>Corrélation par bissection (« Split-Half»)
–>Alpha de Cronbach

4.variation dans la correction
–> accord interjuges

Question 28

Comment interpréter les indices de fidélité?

Answer 28

Avant d’interpréter, il faut se demander :

1.Les décisions prises sur les bases de l’instrument auront-elle une grande incidence? Si oui, restons conservateurs.

2.De combien d’items est composé cet instrument? S’il y en a beaucoup, restons conservateurs, car un grand nombre d’items augmente la fidélité.
–>si y’a bcp d’items, bin juste le nombre item fait en sorte que fidélité augmente de manière artificielle donc on veut rester conservateur

En clinique, des indices de fidélité de 0,90 sont attendus, car nos instruments ont une indice importante. En recherche, on s’attend à des indices de fidélité d’environ 0,80.

Barême :
0,60 et moins : inacceptable
0,70 : Faible
0,80 : Modérée
0,90 et plus : Adéquate
–>70 à 79.99 faible, 80-89.99 modérée etc donc 77 c’est faible

Question 29

Indices de fidélité et erreur de mesure

Answer 29

À l’aide des différents indices, il est possible de déterminer la qualité de notre instrument.

Des indices de fidélité plus élevés suggèrent une moins grande erreur de mesure.

Pour déterminer l’effet de l’erreur de mesure sur les scores observés, on peut utiliser la formule de l’erreur-type de mesure.

Question 30

Erreur-type de mesure

Answer 30

Plus l’erreur-type de mesure est grande, plus le score observé contient de l’erreur.
𝐸𝑇𝑀=𝑆𝑥 √(1−𝑟𝑥𝑥 )

Sx = Écart-type du score observé
rxx = Indice de fidélité (seulement corrélation)

Pour obtenir un intervalle de confiance à 95% (z = 1,96) :
𝑋±1,96∙𝐸𝑇𝑀
où X est le score obtenu à l’instrument (d’une personne) ou le score moyen du groupe.
Interprétation : 95% du temps, un score observé de X correspond à un score vrai situé entre ces valeurs.