cours 7 Flashcards
comment savoir si notre score a un test est normal?
Une manière de savoir est de comparer une personne à d’autres personnes d’un groupe de référence.
(en faisant l’écart à la moyenne = le score d’un participant - la moyenne du groupe)
Qu’est ce que la variance?
- c’est la moyenne des carrés des écarts à la moyenne du score de tous les individus
- Mesure qui sert à déterminer la distance moyenne (au carré) des données par rapport à la moyenne
Qu’est ce que la covariance?
- mesure du degré d’association entre deux variables
- À quel point une donnée occupe la même position dans deux distributions de variables différentes
- À quel point les variables changent ensemble
vrai ou faux, la corrélation exprime la même chose que la covariance, mais par une métrique standardisée (le chiffre varie juste entre -1,00 et +1,00)
vrai
à quoi sert la corrélation dans un test psychométrique?
elle permet de voir si notre instrument est fiable
l’étape de la stabilité nécessite de répondre à quelle question générale ?
«Combien d’erreur ai-je dans mon instrument? »
explique la théorie classique, explique ce qu’est l’erreur de mesure.
- résultats qu’on obtient à l’aide de nos instruments s’accompagnent d’erreur de mesure
- La «vraie vérité» est donc mélangée avec «du bruit»
- Si, par miracle, nous pouvions départager la «vraie vérité» du « bruit» nous obtiendrions :
- Score Observé = Score Vrai + erreur de mesure
- X = V+e
- Score observé = résultat du participant
Score vrai = si TT l’erreur de mesure était supprimé, c le score moyen qu’on obtiendrait si on ferait le test un nb de fois illimité
vrai ou faux, le score observé contiendra toujours de l’erreur de mesure
vrai
selon la théorie classique sur l’erreur de mesure, l’erreur aléatoire constitue un vrai problème, mais il y a des moyens d’estimer l’erreur (aléatoire) de mesure
vrai
vrai ou faux, plus in instrument contient d’item plus on diminue le risque d’erreurs aléatoire
vrai
Vrai ou faux, la vérification de la quantité d’erreur de mesure nécessite l’usage et l’interprétation d’indices chiffrés. Il y a plusieurs indices différents afin de circonscrire le type d’erreur en cause.
vrai
Quelle est le principe qui permet de répondre à la question «Combien d’erreur ai-je dans mon instrument ?»
principe de base : Le phénomène que l’on veut mesurer est relativement stable dans le temps.
Ex : jai une balance, jme pese, then jme pese 2 min plus tard, devrais être mm chose = stable dans le temps
Quelles sont les 3 moyens d’estimer l’erreur de mesure?
- Stabilité temporelle
- Cohérence / consistance interne
- accord interjuges (a quelle point 2 personnes s’entendent sur un mm point)
Qu’est ce que la fiabilité temporelle OU fiabilité test-retest?
- Si le phénomène est stable, deux mesures prises à l’intérieur d’un délai devraient se ressembler
- Moyens pr déterminer si 2 mesures se ressemblent :
1. Corrélation test-retest
2. Corrélation test-retest avec formes parallèles
Qu’est ce que la corrélation test-retest?
- c’est la manière d’estimer la stabilité temporelle
- qualité de l’estimation dépend de l’intervalle de temps entre les deux passations et des changements survenus chez les participants durant cette période
- kkl qui a bcp confiance en elle-même au temps 1 devrait avoir bcp confiance au temps 2
- kkl qui a peu confiance en elle-même au temps 1 devrait avoir peu confiance au temps 2
intervalle T2 pas trop lgt pr éviter changements chez la personne
Qu’est ce que la corrélation test-retest avec formes parallèles?
- c’est la manière d’estimer la stabilité temporelle sans l’effet «néfaste» de la mémoire
- qualité de l’estimation dépend alors de :
- la qualité du parallélisme entre les 2 versions (Item pas exactement les mm mais équivalents)
- l’intervalle de temps entre les 2 passations (ex des changements sont survenus chez participants durant cette période)
On considère parallèles les deux formes d’un même instrument (test) lorsque.. ?
*items sont très similaires (mais pas identiques)
*Le nb d’items est le même
*La structure dimensionnelle est la même
*Les mm directives d’administration sont en vigueur
*Les 2 formes génèrent des résultats avec des moyennes et écart-types équivalents
Quelles sont les avantages et inconvénients de faire un test-retest avec formes parallèles?
Avantages :
*Élimination de l’effet de mémoire
*Les 2 formes peuvent être administrées en mm temps
Inconvénients :
*Il faut rédiger 2 fois plus d’items
*Il faut effectuer une validation de «deux instruments»
*Il faut s’assurer que les formes demeurent parallèles
Qu’est ce que la cohérence / stabilité / consistance interne?
- si le construit existe de manière stable, il se manifestera de la mm manière (stable) à travers tt les réponses d’un participant
- terme «cohérence interne» = la logique sous-jacente (derrière) à la manière dont les participants répondent aux items (être cohérent dans ses réponses)
- (items évaluent tu le mm construit?)
Moyens de savoir :
*Corrélation « Split-half»
* Alpha de Cronbach
Un des indices de la cohérence interne est la corrélation split-half, qu’est ce que c’est?
- On sépare le test en deux et on vérifie la corrélation entre les 2 versions «artificielles»
- Il devrait y avoir une corrélation élevée entre les 2 moitiés si les réponses des participants sont stables
- Peut parfois être utilisé comme mesure artificielle de fiabilité test-retest (mais pas recommandé)
que peut-on dire sur la fiabilité des corrélations split-half?
- Quand on estime la fiabilité par la méthode «Split-half» on doit couper artificiellement notre instrument en deux afin de procéder au calcul d’une corrélation, mais plus un instrument contient d’items, plus le risque d’erreur aléatoire diminue
- Ne mesure pas la fiabilité du test,mais bien la fiabilité d’un test comportant la moitié moins d’items
- L’estimé est donc biaisé
- le nb d’item a un influence sur notre ampleur d’erreur de mesure
comme la corrélation split-half s’applique que pour des moitiers d’Instruments, comment on corrige la corrélation pour quelle mesure l’ENTIÈRETÉ de l’instrument?
- la correction de Spearman-Brown
- ajuste la valeur de la corrélation pr l’instrument avk le nb ditem initial
Spearman et Brown ont pu développer la correction utilisée dans le cas d’une corrélation « Split-half» grâce à des travaux plus pointus qui ont culminé à ce qu’on appelle la formule de la prophétie, a quoi sert cette formule?
Cette formule permet d’estimer combien d’items il faudrait pour obtenir un « Split-half» de X
quelles sont les variables de la formule (du calcul) de la prophétie?
K = nb d’items
ro = fiabilité observée
rd = fiabilité désirée
le résultat est TJR arrondi à la hausse, ex : 22,95 = 23 item, donc si 6 initiales, faut add 17 items
La logique (derrière) sous-jacente à la formule de prophétie suppose quoi?
- que les items qui sont ajoutés mesurent la mm chose que les items initiaux
- que la moyenne des intercorrélations entre les items initiaux soit égale à la moyenne des intercorrélations du total des items (soit les items ajoutés + les items initiaux)
un autres des 2 indices de cohérence interne est l’alpha de Cronbach, c’est quoi?
- Indique dans quelle mesure les items du test mesurent une seule chose
- C’est un chiffre qui varie entre -∞ et 1 (mais la plupart du temps il varie entre 0 et 1)
- Plus il s’approche de 1, plus la fiabilité est bonne
- Ce n’est pas un indice de corrélation
- possible d’obtenir un alpha négatif = problème, nos item mesurent ps juste 1 chose
vrai ou faux, plusieurs formules permettent d’obtenir l’Alpha de Cronbach, mais UNE en particulier permet de comprendre ses fondements
vrai
Plus le nombre d’item est grand et plus la corrélation moyenne est grande, plus l’Alpha sera élevé (= meilleure fiabilité)
vrai
Quelle est le lien entre la variance, la corrélation et l’alpha?
- La variance est la moyenne des carrés des écarts à la moyenne des scores d’une distribution. Sans écarts à la moyenne, il n’y a pas de variance
- La corrélation est une covariance standardisée entre 2 distributions de scores. Sans variance dans l’une ou l’autre des distributions, il n’y a pas de corrélation
- Comme l’Alpha est fondé sur la moyenne de toutes les corrélations possibles entre les scores d’items, l’Alpha est aussi très affecté par la quantité de variance dans les scores d’items
Donc, important de considérer la variabilité de réponses que l’item suscite
en gros,
- variance = moyenne des écart à la moyenne au carré
- Si pas d’écart à la moyenne, pas de variance
- On vx de la variance, sans variance, pas de corrélation
vrai
Qu’est ce que l’accord interjuge?
Si le phénomène se manifeste avec régularité, tous les juges devraient donc observer le même phénomène (être en accord)
Moyens :
1. Corrélations effectuées sur des cotes
2. Kappas effectués sur la catégorisation ou la fréquence faite par les juges (mesure l’accord entre observateurs)
quelle est le principe de base de l’accord interjuge?
- La compréhension de ce qui est observé sera stable dans la mesure où 2 juges «voient» la même chose
- Les juges «verront» la même chose si :
*la formation est bonne
*les juges sont compétents
*les comportements à observer sont bien définis
*les juges ont les mêmes opportunités d’observer le comportement
voir pic iphone 21 novembre pr tableau qui résume les tests.
ok
pour juger de la fiabilité, il y a un barème, quelle est ce barème?
excellente : 0.90 et plus
modérée : 0.80 - 0.89
acceptable : 0.70 - 0.79
inacceptable orange (parfois utilisé en recherche) : 0.60 - 0.69
inacceptable rouge : moins de 0.60
suspect : 0.95 et plus (pour cohérence interne seulement)
Ces critères sont généraux. Plus un instrument est utilisé pour prendre décisions importantes, plus il faut être sévère
Qu’est ce que l’erreur-type de mesure? (ETM)
- montre l’effet de la fiabilité sur un score généré par l’instrument
- permet de relativiser le score obtenu et déterminer l’intervalle de confiance autour d’un score vrai pour X
- On peut le calculer pour un niveau de confiance plus élevé ou plus bas
- Plus l’ETM est grand, plus il y a d’erreur dans le score observé
- Il est possible de calculer un intervalle de confiance autour du score observé
quand on parle d’erreur-type de mesure (ETM) on parle aussi d’intervalle de confiance, c’est quoi?
- intervalle qui sert à estimer en fonction de
1) l’erreur-type de mesure
2) du score observé
3) niveau de certitude désiré (dans quel intervalle se situe le score réel d’un participant)
(Intervalle de confiance = borne inférieur et supérieur qui nous indique ou notre score se trouve entre ça)
À un niveau de certitude de 68%, on calcule l’intervalle de confiance à l’aide de cette formule : Score +/- ETM
vrai ou faux,
*68% de l’échantillon se trouve sous la courbe à +/- 1,00 ET de la moyenne.
*95% de l’échantillon se trouve sous la courbe à +/- 1,96 ET de la moyenne.
vrai
voir pic iphone 21 novembre pr ETM et intervalle de confiance
ok
