cours 7

Question 1

comment savoir si notre score a un test est normal?

Answer 1

Une manière de savoir est de comparer une personne à d’autres personnes d’un groupe de référence.
(en faisant l’écart à la moyenne = le score d’un participant - la moyenne du groupe)

Question 2

Qu’est ce que la variance?

Answer 2

• c’est la moyenne des carrés des écarts à la moyenne du score de tous les individus
• Mesure qui sert à déterminer la distance moyenne (au carré) des données par rapport à la moyenne

Question 3

Qu’est ce que la covariance?

Answer 3

• mesure du degré d’association entre deux variables
• À quel point une donnée occupe la même position dans deux distributions de variables différentes
• À quel point les variables changent ensemble

Question 4

vrai ou faux, la corrélation exprime la même chose que la covariance, mais par une métrique standardisée (le chiffre varie juste entre -1,00 et +1,00)

Answer 4

vrai

Question 5

à quoi sert la corrélation dans un test psychométrique?

Answer 5

elle permet de voir si notre instrument est fiable

Question 6

l’étape de la stabilité nécessite de répondre à quelle question générale ?

Answer 6

«Combien d’erreur ai-je dans mon instrument? »

Question 7

explique la théorie classique, explique ce qu’est l’erreur de mesure.

Answer 7

• résultats qu’on obtient à l’aide de nos instruments s’accompagnent d’erreur de mesure
• La «vraie vérité» est donc mélangée avec «du bruit»
• Si, par miracle, nous pouvions départager la «vraie vérité» du « bruit» nous obtiendrions :
• Score Observé = Score Vrai + erreur de mesure
• X = V+e
• Score observé = résultat du participant
  Score vrai = si TT l’erreur de mesure était supprimé, c le score moyen qu’on obtiendrait si on ferait le test un nb de fois illimité

Question 8

vrai ou faux, le score observé contiendra toujours de l’erreur de mesure

Answer 8

vrai

Question 9

selon la théorie classique sur l’erreur de mesure, l’erreur aléatoire constitue un vrai problème, mais il y a des moyens d’estimer l’erreur (aléatoire) de mesure

Answer 9

vrai

Question 10

vrai ou faux, plus in instrument contient d’item plus on diminue le risque d’erreurs aléatoire

Answer 10

vrai

Question 11

Vrai ou faux, la vérification de la quantité d’erreur de mesure nécessite l’usage et l’interprétation d’indices chiffrés. Il y a plusieurs indices différents afin de circonscrire le type d’erreur en cause.

Answer 11

vrai

Question 12

Quelle est le principe qui permet de répondre à la question «Combien d’erreur ai-je dans mon instrument ?»

Answer 12

principe de base : Le phénomène que l’on veut mesurer est relativement stable dans le temps.
Ex : jai une balance, jme pese, then jme pese 2 min plus tard, devrais être mm chose = stable dans le temps

Question 13

Quelles sont les 3 moyens d’estimer l’erreur de mesure?

Answer 13

1. Stabilité temporelle
2. Cohérence / consistance interne
3. accord interjuges (a quelle point 2 personnes s’entendent sur un mm point)

Question 14

Qu’est ce que la fiabilité temporelle OU fiabilité test-retest?

Answer 14

• Si le phénomène est stable, deux mesures prises à l’intérieur d’un délai devraient se ressembler
• Moyens pr déterminer si 2 mesures se ressemblent :
  1. Corrélation test-retest
  2. Corrélation test-retest avec formes parallèles

Question 15

Qu’est ce que la corrélation test-retest?

Answer 15

• c’est la manière d’estimer la stabilité temporelle
• qualité de l’estimation dépend de l’intervalle de temps entre les deux passations et des changements survenus chez les participants durant cette période
• kkl qui a bcp confiance en elle-même au temps 1 devrait avoir bcp confiance au temps 2
• kkl qui a peu confiance en elle-même au temps 1 devrait avoir peu confiance au temps 2
  intervalle T2 pas trop lgt pr éviter changements chez la personne

Question 16

Qu’est ce que la corrélation test-retest avec formes parallèles?

Answer 16

• c’est la manière d’estimer la stabilité temporelle sans l’effet «néfaste» de la mémoire
• qualité de l’estimation dépend alors de :

1. la qualité du parallélisme entre les 2 versions (Item pas exactement les mm mais équivalents)
2. l’intervalle de temps entre les 2 passations (ex des changements sont survenus chez participants durant cette période)

Question 17

On considère parallèles les deux formes d’un même instrument (test) lorsque.. ?

Answer 17

*items sont très similaires (mais pas identiques)
*Le nb d’items est le même
*La structure dimensionnelle est la même
*Les mm directives d’administration sont en vigueur
*Les 2 formes génèrent des résultats avec des moyennes et écart-types équivalents

Question 18

Quelles sont les avantages et inconvénients de faire un test-retest avec formes parallèles?

Answer 18

Avantages :
*Élimination de l’effet de mémoire
*Les 2 formes peuvent être administrées en mm temps

Inconvénients :
*Il faut rédiger 2 fois plus d’items
*Il faut effectuer une validation de «deux instruments»
*Il faut s’assurer que les formes demeurent parallèles

Question 18

Qu’est ce que la cohérence / stabilité / consistance interne?

Answer 18

• si le construit existe de manière stable, il se manifestera de la mm manière (stable) à travers tt les réponses d’un participant
• terme «cohérence interne» = la logique sous-jacente (derrière) à la manière dont les participants répondent aux items (être cohérent dans ses réponses)
• (items évaluent tu le mm construit?)

Moyens de savoir :
*Corrélation « Split-half»
* Alpha de Cronbach

Question 19

Un des indices de la cohérence interne est la corrélation split-half, qu’est ce que c’est?

Answer 19

• On sépare le test en deux et on vérifie la corrélation entre les 2 versions «artificielles»
• Il devrait y avoir une corrélation élevée entre les 2 moitiés si les réponses des participants sont stables
• Peut parfois être utilisé comme mesure artificielle de fiabilité test-retest (mais pas recommandé)

Question 20

que peut-on dire sur la fiabilité des corrélations split-half?

Answer 20

• Quand on estime la fiabilité par la méthode «Split-half» on doit couper artificiellement notre instrument en deux afin de procéder au calcul d’une corrélation, mais plus un instrument contient d’items, plus le risque d’erreur aléatoire diminue
• Ne mesure pas la fiabilité du test,mais bien la fiabilité d’un test comportant la moitié moins d’items
• L’estimé est donc biaisé
• le nb d’item a un influence sur notre ampleur d’erreur de mesure

Question 21

comme la corrélation split-half s’applique que pour des moitiers d’Instruments, comment on corrige la corrélation pour quelle mesure l’ENTIÈRETÉ de l’instrument?

Answer 21

• la correction de Spearman-Brown
• ajuste la valeur de la corrélation pr l’instrument avk le nb ditem initial

Question 22

Spearman et Brown ont pu développer la correction utilisée dans le cas d’une corrélation « Split-half» grâce à des travaux plus pointus qui ont culminé à ce qu’on appelle la formule de la prophétie, a quoi sert cette formule?

Answer 22

Cette formule permet d’estimer combien d’items il faudrait pour obtenir un « Split-half» de X

Question 23

quelles sont les variables de la formule (du calcul) de la prophétie?

Answer 23

K = nb d’items
ro = fiabilité observée
rd = fiabilité désirée
le résultat est TJR arrondi à la hausse, ex : 22,95 = 23 item, donc si 6 initiales, faut add 17 items

Question 24

La logique (derrière) sous-jacente à la formule de prophétie suppose quoi?

Answer 24

• que les items qui sont ajoutés mesurent la mm chose que les items initiaux
• que la moyenne des intercorrélations entre les items initiaux soit égale à la moyenne des intercorrélations du total des items (soit les items ajoutés + les items initiaux)

Question 25

un autres des 2 indices de cohérence interne est l’alpha de Cronbach, c’est quoi?

Answer 25

• Indique dans quelle mesure les items du test mesurent une seule chose
• C’est un chiffre qui varie entre -∞ et 1 (mais la plupart du temps il varie entre 0 et 1)
• Plus il s’approche de 1, plus la fiabilité est bonne
• Ce n’est pas un indice de corrélation
• possible d’obtenir un alpha négatif = problème, nos item mesurent ps juste 1 chose

Question 26

vrai ou faux, plusieurs formules permettent d’obtenir l’Alpha de Cronbach, mais UNE en particulier permet de comprendre ses fondements

Answer 26

vrai

Question 27

Plus le nombre d’item est grand et plus la corrélation moyenne est grande, plus l’Alpha sera élevé (= meilleure fiabilité)

Answer 27

vrai

Question 28

Quelle est le lien entre la variance, la corrélation et l’alpha?

Answer 28

• La variance est la moyenne des carrés des écarts à la moyenne des scores d’une distribution. Sans écarts à la moyenne, il n’y a pas de variance
• La corrélation est une covariance standardisée entre 2 distributions de scores. Sans variance dans l’une ou l’autre des distributions, il n’y a pas de corrélation
• Comme l’Alpha est fondé sur la moyenne de toutes les corrélations possibles entre les scores d’items, l’Alpha est aussi très affecté par la quantité de variance dans les scores d’items

Donc, important de considérer la variabilité de réponses que l’item suscite

Question 29

en gros,
- variance = moyenne des écart à la moyenne au carré
- Si pas d’écart à la moyenne, pas de variance
- On vx de la variance, sans variance, pas de corrélation

Answer 29

vrai

Question 30

Qu’est ce que l’accord interjuge?

Answer 30

Si le phénomène se manifeste avec régularité, tous les juges devraient donc observer le même phénomène (être en accord)

Moyens :
1. Corrélations effectuées sur des cotes
2. Kappas effectués sur la catégorisation ou la fréquence faite par les juges (mesure l’accord entre observateurs)

Question 31

quelle est le principe de base de l’accord interjuge?

Answer 31

• La compréhension de ce qui est observé sera stable dans la mesure où 2 juges «voient» la même chose
• Les juges «verront» la même chose si :
  *la formation est bonne
  *les juges sont compétents
  *les comportements à observer sont bien définis
  *les juges ont les mêmes opportunités d’observer le comportement

Question 32

voir pic iphone 21 novembre pr tableau qui résume les tests.

Answer 32

ok

Question 33

pour juger de la fiabilité, il y a un barème, quelle est ce barème?

Answer 33

excellente : 0.90 et plus
modérée : 0.80 - 0.89
acceptable : 0.70 - 0.79
inacceptable orange (parfois utilisé en recherche) : 0.60 - 0.69
inacceptable rouge : moins de 0.60

suspect : 0.95 et plus (pour cohérence interne seulement)

Ces critères sont généraux. Plus un instrument est utilisé pour prendre décisions importantes, plus il faut être sévère

Question 34

Qu’est ce que l’erreur-type de mesure? (ETM)

Answer 34

• montre l’effet de la fiabilité sur un score généré par l’instrument
• permet de relativiser le score obtenu et déterminer l’intervalle de confiance autour d’un score vrai pour X
• On peut le calculer pour un niveau de confiance plus élevé ou plus bas
• Plus l’ETM est grand, plus il y a d’erreur dans le score observé
• Il est possible de calculer un intervalle de confiance autour du score observé

Question 35

quand on parle d’erreur-type de mesure (ETM) on parle aussi d’intervalle de confiance, c’est quoi?

Answer 35

• intervalle qui sert à estimer en fonction de
  1) l’erreur-type de mesure
  2) du score observé
  3) niveau de certitude désiré (dans quel intervalle se situe le score réel d’un participant)
  (Intervalle de confiance = borne inférieur et supérieur qui nous indique ou notre score se trouve entre ça)

À un niveau de certitude de 68%, on calcule l’intervalle de confiance à l’aide de cette formule : Score +/- ETM

Question 36

vrai ou faux,
*68% de l’échantillon se trouve sous la courbe à +/- 1,00 ET de la moyenne.
*95% de l’échantillon se trouve sous la courbe à +/- 1,96 ET de la moyenne.

Answer 36

vrai

Question 37

voir pic iphone 21 novembre pr ETM et intervalle de confiance

Answer 37

ok