Cours 1 - Étape 4 Flashcards
Comment répondre à la question : “Suis-je normal?”
Une manière de répondre est de comparer une personne à d’autres d’une groupe de référence. On peut ainsi voir la différence entre la personne et le score général.
Qu’est-ce que la variance?
est la moyenne des carrés des écarts à la moyenne du score de tous les individus. Mesure qui sert à déterminer la distance moyenne (au carré!) des données par rapport à la moyenne.
Que fait-on pour mesurer l’écart-type?
La racine carré de la variance
Vrai ou Faux? La variance est plus facile à interpréter que l’écart-type?
Faux
Qu’est-ce que la covariance?
La mesure du degré d’association entre deux variables
La covariance peut nous dire 2 choses:
1- À quel point une donnée occupe la même position dans deux distributions de variables différentes
2- À quel point des variables changent ensemble
Qu’est-ce que la corrélation?
La corrélation exprime la même chose que la covariance, mais par une métrique standardisée.
Quand utilisons-nous la corrélation?
Peut déterminer si un test est fiable, on l’utilise beaucoup pour mesurer la stabilité.
Vrai ou Faux? Les résultats que nous obtenons à l’aide des instruments sont généralement sans erreur
Faux
Si nous pouvions départager la vraie vérité des erreurs, nous obtiendrons (petite formule)
score observé = score vrai + erreur de mesure
Vrai ou Faux? Les variations positives ou négatives de l’erreur de mesure ont tendance à s’annuler lorsque le nombre d’observation tend vers l’infini.
Vrai
Quel est le principe de base que nous utilisons beaucoup dans le cas de la stabilité?
Le phénomène que nous tentons de mesurer est stable dans le temps.
Quel est le principe de la stabilité temporelle?
Si le phénomène est stable, deux mesures prises à l’intérieur d’un délai devrait se ressembler.
Qu’est-ce que la corrélation test-retest?
Manière d’estimer la stabilité temporelle. n fait passer un test au temps 1, puis au temps 2
De quoi dépend la qualité de l’estimation de la corrélation test-retest? 2
1- l’intervalle de temps
2- les changements qui sont arrivés chez la personne
Vrai ou Faux? Le délai de passation entre deux test ne devrait pas être plus long que quelques années.
Faux. Plusieurs mois
Qu’est-ce que la corrélation test-retest avec formes parallèles
Manière d’évaluer la stabilité temporelle sans l’effet « néfaste » de la mémoire
De quoi dépend la qualité de l’estimation pour la corrélation test-retest avec versions parallèles? 2
1- qualité du parallèlisme
2- l’intervalle de temps entre les deux versions
Comment évalués le parallèlisme? Expliquez les points importants.
- Items similaires (mais pas identiques)
- Même nombre d’item
- Structure dimensionnelle est la même
- Les mêmes directives d’administration sont en vigueur
- Les deux formes génèrent des résultats avec des moyennes et écart-types équivalents
Quel sont les avantages de test-retest formes parallèles? 3
Élimination des effets de mémoire
Les deux formes peuvent être administrées en même temps
Quels sont les inconvénients de test-retest avec formes parallèles? 3
Rédiger 2 fois plus d’items
Valider les deux instruments
Il faut s’assurer que leurs formes soient parallèles.
Quand peut-on se permettre de faire test-retest avec formes parallèles?
Lrsque nous travaillons sur un très gros test, avec une grosse équipe de personnes (EX: SAT)
Quel est le postulat de la cohérence interne?
Si le construit existe de manière stable, il se manifestera de la même manière (stable) à travers toutes les réponses d’un participant
Qu’est-ce que la corrélation split-half?
o On sépare le test en deux et on vérifie la corrélation entre les deux versions « artificielles »
o Il devrait y avoir une corrélation élevée entre les deux moitiés si les réponses des participants sont stables
o Si le test est long, il ne faut pas le séparer en première moitié/deuxième moitié (habituellement par items pairs/impairs)
o Peut parfois être utilisé comme mesure artificielle de fiabilité test-retest (mais pas recommandé)
o Deux minis tests: on regarde si les deux corrèlent ensemble
Quel est le principe important de fidélité qui joue un rôle crucial dans la corrélation split half?
Plus un instrument contient d’items, plus le risque d’erreurs diminue. Quand on estime la fiabilité par la méthode split half, on doit couper artificiellement notre instrument en deux afin de procéder au calcul d’une corrélation. Moins d’items dans chacune des moitiés, donc possibilité de plus d’erreurs dans chacune d’elles.
Vrai ou Faux? split-half mesure directement la fidélité de notre test, malgré le fait qu’il soit coupé en deux.
Faux. Ne mesure pas la fiabilité de notre test, mais mesure la fiabilité d’un test comportement la moitié des items!
Quelle est la solution pour corriger le biais que crée le nombre moindre d’items dans les deux moitiés du split half? Explquez la
La correction de Spearman-Brown. Fait comme s’il y avait le double des items dans chacun des mini-tests. Donne donc une corrélation plus élevée
Qu’est-ce que la formule de la prophétie?
- Spearman et Brown ont pu développer la correction utilisée dans le cas d’une corrélation « split-half » grâce à des travaux plus pointus qui ont culminé à ce qu’on appelle la formule de la prophétie
- Cette formule permet d’estimer combien d’items il faudrait pour obtenir un « split-half » de X
- On peut voir combien d’items j’aurais besoin pour améliorer mon test à un niveau corrélationnel X (Je devrais avoir 17 items de plus pour avoir une corrélation de 0,85)
- Dans l’exemple, on voit que nos items étaient de moyenne qualité parce qu’on avait déjà pas une super corrélation. Donc des items de cette qualité, ça en prendre 17 de plus. Toutefois, si on augmente la qualité de ns items, ça en prendrait moins.
La formule de la prophétie suppose deux choses: lesquelles?
1- Suppose que les items ajoutés mesurent la même chose que les items initiaux
2- Suppose que la moyenne des intercorrélations entre les items initiaux soit égale à la moyenne des intercorrélations du total des items (les items ajoutés + les items initiaux)
Qu’est-ce que l’alpha?
Indique dans quelle mesure les items du test mesurent une seule chose
Chiffre qui varit entre – infini et 1 (mais la plupart du temps entre 0 et 1)
Plus il s’approche de 1, plus la fiabilité est bonne
Ce n’est pas un indique de corrélation
Est-ce que nos items mesurent la même chose : pas de la validité On ne sait pas encore ce que ça mesure, mais on veut s’assurer qu’ils sont related in some way, qu’ils mesurent bien la même chose, mais ne mesure pas si on mesure ce qu’on veut réellement mesurer.
Vrai ou Faux? Plus le nombre d’items est grand et plus la corrélation moyenne est grande, plus l’alpha sera élevé
Vrai
Vrai ou Faux? Plus on a d’items, plus on a de chance d’avoir une bonne fidelit.
Vrai
La variance est primordial pur faire une corrélation. Quel est l’impact de la variance sur l’alpha?
- Comme l’Alpha est fondé sur la moyenne de toutes les corrélations possibles entre les scores d’items, l’Alpha est aussi très affecté par la quantité de variance dans les scores d’items.
Qu’est-ce que l’accord interjuge?
- Si le problème se manifeste avec régularité, tous les juges devraient donc observer le même phénomène
Quels sont les moyens de vérifier l’accord interjuge? 2
Corrélations effectuées sur des cotes
Kappas effectués sur la catégorisation ou la fréquence faite par les juges.
Quels sont les critères importants à l’accord interjuge?
Si la formation est bonne
Si les juges sont compétents (désirabilité sociale de juges… ?)
Si les comportements à observés sont bien définis
Si les juges ont les mêmes opportunités d’observer le comportement
Va relire le barème de fidelité
…..
Expliquez pourquoi c’est suspect d’avoir une corrélation de 0,95 et plus
Suspect parce que si notre indice est très proche du 1, on peut se demander s’il y a un problème de validité, de sous représentation du contenu. Pourquoi? On peut mesurer une facette très mince du construit sans penser à autre choses et nos items mesurent trop la même chose, sont trop pareil. Utiliser d’autres tests pour compenser et avoir une meilleure idée de ce qu’on mesure. ça pourrait être une sous-représentation du construit parce ça pourrait être très corrélé avec une partie de mon concept mais pas tout mon concept. Donc ça a rapport au concept mais pas tout le comcept, on peut pas le voir là dedans.
Que montre l’ETM?
- L’ETM montre l’effet de la fiabilité sur un score généré par l’instrument
Vrai ou Faux? Plus l’ETM est grand, plus il y a d’erreurs dans le score observé
Vrai
Il est possible de faire une intervalle de confiance autour du score observé, expliquez:
- Il est possible de calculer in intervalle de confiance autour du score observé
- Voir si le score est bon ou pas. ETM permet de trouver un intervalle de confiance autour du score de george. Autour de X et Y, on sait que c’est le score réel. Entre 10-1,97 et 10 + 1,97 = le score réel de george
À quoi sert l’intervalle de confiance ?
- L’intervalle de confiance sert à estimer, en fonction de l’erreur-type de mesure, du score observé et d’un niveau de certitude désiré, dans quel intervalle se situe le score réel d’un participant.
On peut calculer pour un niveau de confiance plus élevé ou plus bas.
Ok cool
