Cours 8 : Stabilité Flashcards
Comment répondre à cette question : “SUIS-JE NORMAL.E” ?
Une manière d’y répondre est de comparer une personne à d’autres personnes d’un groupe de référence (écart à la moyenne).
Quel est le symbole de la moyenne?
X barre
Vrai ou faux : l’écart à la moyenne peut être + ou -
Vrai.
Comment calculer l’écart à la moyenne?
Qu’est-ce que la variance?
La variance est la moyenne des carrés des écarts à la moyenne du score de tous les individus.
À quoi sert la variance?
Mesure qui sert à déterminer la distance moyenne (au carré) des données par rapport à la moyenne
Quelle est la formule de la variance?
Somme de toutes les observations divisées par N = moyenne
Quelle est la formule de l’écart-type?
Variance avec racine :
-On le met au carré pour enlever les négatifs.
-La racine ramène à un chiffre un peu plus petit
Vrai ou faux : on ne veut pas de variance en psychométrie
Faux. On VEUT de la variance en psychométrie. On ne veut pas que tout le monde soit pareil.
Qu’est-ce que la covariance?
La covariance est une mesure du degré d’association entre deux variables.
-À quel point une donnée occupe la même position dans deux distributions de variables différentes.
-À quel point les variables changent ensemble.
Quelle est la formule de la covariance?
Écarts à la moyenne multipliées pour les deux variables divisés par nombre d’observations.
Quelle est la différence entre la corrélation et la covariance?
La corrélation exprime la même chose que la covariance, mais par une métrique standardisée (le chiffre ne varie qu’entre -1,00 et +1,00)
Covariance nous informe sur les unités de mesure, mais pas la corrélation
Quelle est la formule de la corrélation?
Quelles sont les caractéristiques de la corrélation? (4)
-Beaucoup plus facile à interpréter que la covariance -Elle n’est pas dépendante des unités de mesure
-Oscille entre -1 et +1.
-Standardisé et normalisée
Avec quel concept du modèle de la cible la stabilité est-elle liée?
La fiabilité/fidelité
Quels sont les objectifs de la stabilité? (2)
- Vérifier la nature et l’ampleur de l’erreur
- Établir la stabilité interne (cohérence interne) et temporelle (test-retest)
Quels sont les moyens de la stabilité? (5)
- Approche hypothético-déductive
- Erreur-type de mesure
- Analyses d’items
- Analyses corrélationnelles
- Accord interjuges
Vrai ou faux : c’est possible de ne pas avoir d’erreur de mesure
Faux. C’est impossible de ne pas avoir d’erreur de mesure. On en veut le moins possible.
On tente de multiplier les moyens. Ils apportent tous quelque chose de différent. Plus on couvre de terrain, plus on est confiant dans nos résultats.
Quel est l’impact des erreurs de mesure?
Nuit à la confiance en nos résultats. Nous empêche de se fier aux résultats
Lorsqu’on se préoccupe de la fiabilité, on se pose toujours la même question générale. Quelle est cette question?
«Mon instrument comporte-t-il de l’erreur de mesure ?»
Plus spécifiquement, l’étape de la stabilité nécessite de répondre à la question générale «Combien d’erreur de mesure ai-je dans mon instrument? »
Vrai ou faux : fiabilité = fidélité = stabilité
Vrai.
Quels sont les fondements de la théorie classique sur l’erreur de mesure? (3)
- Les résultats que nous obtenons à l’aide de nos instruments s’accompagnent d’erreur de mesure
- La «vraie vérité» est donc mélangée avec «du bruit»
- Si, par miracle, nous pouvions départager la «vraie vérité» du « bruit» nous obtiendrions :
Qu’est-ce que le score observé?
Score observé = score obtenu avec l’instrument.
Score vrai = nous n’y avons pas accès. Intangible. Mélangé avec l’erreur de mesure, donc impossible de les départager.
La moyenne de l’erreur aléatoire tend vers ___
0
Les variations positives et négatives de l’erreur ont tendance à s’annuler lorsque le nombre d’observations tend vers l’infini.
Vrai ou faux : On s’intéresse à l’erreur de mesure à travers de notre test au complet.
Vrai.
Vrai ou faux : Plus on a d’observations, plus on tend vers la vérité.
Vrai. + on tend vers un nombre infini d’observation, plus on tend vers la vérité.
Quel est le gros problème de l’erreur de mesure selon la théorie classique?
L’erreur aléatoire. Par contre, il y a des façons d’estimer ce type d’erreur.
Quelles sont les méthodes et les principes pour répondre à la question «combien d’erreur de mesure ai-je dans mon instrument?» ?
- La vérification de la quantité d’erreur de mesure nécessite l’usage et l’interprétation d’indices chiffrés.
- Il y a plusieurs indices différents afin de circonscrire le type d’erreur en cause.
Quels sont les 3 moyens d’estimer l’erreur de mesure?
1-Stabilité temporelle ou fiabilité test-retest
2-Cohérence interne ou consistance interne
3-Accord interjuges
Toutes des façons de nommer les mêmes choses.
Quelle est la prémisse de la stabilité temporelle ou fiabilité test-retest?
Si le phénomène est stable, deux mesures prises à l’intérieur d’un délai devraient se ressembler.
Phénomène stable ne devrait pas changer bcp dans le temps. Ex : personnalité, habiletés cognitives.
Quels sont les moyens de la stabilité temporelle ou fiabilité test-retest? (2)
- Corrélation test-retest (classique -> on fait passer le test a un 1er temps de mesure et ensuite à un second temps de mesure -> c’est ce qu’on a fait pour jalon)
- Corrélation test-retest avec formes parallèles
Quelle est la manière d’estimer la stabilité temporelle?
La corrélation test-retest
De quoi dépend la qualité de l’estimation de la corrélation test-retest?
La qualité de l’estimation dépend de l’intervalle de temps entre les deux passations et des changements survenus chez les participants durant cette période.
- Une personne qui a beaucoup confiance en elle-même au temps 1 devrait avoir beaucoup confiance en elle-même au temps 2
- Une personne qui a peu confiance en elle-même au temps 1 devrait avoir peu confiance en elle-même au temps 2
La qualité de cet indice dépend du délai : on ne veut pas qu’il soit trop court -> effet de mémoire biaise les résultats. Elle se souvient de ce qu’elle a répondu. Délai trop long = la personne a pt vécu des événements de vie qui change l’aspect.
Quelle est la manière d’estimer la stabilité temporelle sans l’effet «néfaste» de la mémoire ?
La corrélation test-retest avec formes parallèles
Dans la corrélation test-retest, de quoi dépend la qualité de l’estimation?
- De la qualité du parallélisme entre les deux versions
- De l’intervalle de temps entre les deux passations (p. ex. des changements sont survenus chez nos participants durant cette période)
On génère une deuxième version du test. Nouveaux items qui sont équivalents. Pas juste changer l’ordre des questions.
On considère parallèles les deux formes d’un même instrument lorsque…(5)
- Les items sont très similaires (mais pas identiques) ;
- Le nombre d’items est le même ;
- La structure dimensionnelle est la même ;
- Les mêmes directives d’administration sont en vigueur ;
- Les deux formes génèrent des résultats avec des moyennes et écart-types équivalents.
Quels sont les avantages du parallélisme? (2)
- Élimination de l’effet de mémoire
- Les deux formes peuvent être administrées en même temps
Quels sont les inconvénients du parallélisme? (3)
- Il faut rédiger 2 fois plus d’items
- Il faut effectuer une validation de «deux instruments»
- Il faut s’assurer que les formes demeurent parallèles
Vrai ou faux : les items similaires doivent toujours être éloignés dans un test.
Faux. Dépend du test.
Test de personnalité items similaires peuvent être mesurées un à côté de l’autre.
Par contre tests cognitifs, pourrait crée de la fatigue mentale, pas une bonne idée.
Vrai ou faux : les conditions de passation doivent être le plus similaires possibles
Vrai
Quelle est la prémisse de la cohérence interne?
PRÉMISSE : si le construit existe de manière stable, il se manifestera de la même manière (stable) à travers toutes les réponses d’un participant (à travers le test comme tel, pas à travers les différentes passations ici)
À quoi fait référence le terme “cohérence interne” ?
Le terme «cohérence interne» fait référence à la logique sous-jacente à la manière dont les participants répondent aux items
Quels sont les moyens utilisés lors de la cohérence interne? (2)
- Corrélation « Split-half»
- Alpha de Cronbach
Nomme deux autres façons de nommer la cohérence interne
-Stabilité interne
-Consistance interne
Vrai ou faux : la corrélation split half est un indice de cohérence interne
Vrai.
Nomme deux autres façons de nommer la corrélation split half
- Bissection
- Corrélation moitié-moitié
Qu’est-ce que la corrélation split half?
On sépare le test en deux et on vérifie la corrélation entre les deux versions «artificielles». On détermine que les items x à y constituent notre première moitié et les items z à a = deuxième moitié
Le participant n’est pas au courant des moitiés.
On peut prendre des questions pairs et impairs pour faire les deux moitiés. Contre les effets négatifs en lien avec la longueur ou la puissance du test qui pourraient mener à la fatigue.
Dans la corrélation split half, si les réponses des participants sont stables, la corrélation entre les deux moitiés devrait être…
Élevée
Vrai ou faux : la corrélation split half peut parfois être utilisé comme mesure artificielle de fiabilité test-retest
Vrai, mais pas recommandé
Vrai ou faux : plus un instrument contient d’items, plus le risque d’erreur aléatoire augmente
Faux, il diminue
Vrai ou faux : quand on utilise la méthode split-half, on mesure la fiabilité du test
Faux. On ne mesure pas la fiabilité du test,mais bien la fiabilité d’un test comportant la moitié moins d’items
L’estimé est donc biaisé
On coupe en deux le nombre d’observations. Nuisible en stats. On se souvient qu’on veut toujours le plus d’observations possibles pour se rapprocher de la vérité.
Quelle est la formule de la corrélation split-half avec la correction de spearman-brown?
X2 en haut et +1 en bas
Spearman et Brown ont pu développer la correction utilisée dans le cas d’une corrélation « Split-half» grâce à des travaux plus pointus qui ont culminé à ce qu’on appelle : ______
La formule de la prophétie
Cohérence interne
Que permet la formule de la prophétie?
Cette formule permet d’estimer combien d’items il faudrait pour obtenir un indice « Split-half» de X
Quelle est la formule de la prophétie?
Où k est le nombre d’items, ro est la fiabilité observée et rd est la fiabilité désirée.
Nous dit combien d’items ajouter pour avoir un certain indice de cohérence interne. Items à ajouter au test COMPLET. Pas à une moitié de test.
Par rapport à la cohérence interne du test au complet.
Comment interpréter ce résultat de la formule de la prophétie si l’instrument possède 6 items et le coefficient split-half observé est r = 0,597?
Pour améliorer la fiabilité de l’instrument, il faudrait rédiger 17 items supplémentaires.
Fiabilité désirée ; on la choisie. Ici, 0,85 choisi.
On arrondie TOUJOURS à la hausse. Même si on arrive à 22,0001 -> 23 -> nombre total d’items qu’on veut dans notre test.
Que suppose la logique sous-jacente à la formule de la prophétie?
- Que les items qui sont ajoutés mesurent la même chose que les items initiaux
- Que la moyenne des intercorrélations entre les items initiaux soit égale à la moyenne des intercorrélations du total des items (soit les items ajoutés + les items initiaux ) -> les nouveaux items doivent corréler aussi fort aux anciens items qu’au départ.
Intercorrélation = chaque item. On s’intéresse à comment il corrèle avec chacun des autres items.
On ne peut pas simplement ajouter n’importe quels items. Ils doivent être de qualité.
Vous avez 6 items et vous obtenez une valeur 13,3 avec la formule de la prophétie, combien d’items devez vous ajouter pour améliorer la fidélité de votre instrument ?
8 items
Vrai ou faux : l’alpha de cronbach est un indice de cohérence interne
Vrai
Qu’indique l’alpha de cronbach?
Indique dans quelle mesure les items du test mesurent une seule chose
L’alpha de cronbach varie entre quoi et quoi?
C’est un chiffre qui varie entre -∞ et 1 (mais la plupart du temps il varie entre 0 et 1).
Alpha de Cronbach dans la négative = pas bon signe.
Vrai ou faux : plus l’alpha de cronbach s’approche de 1, plus la fiabilité est bonne
Vrai.
Vrai ou faux : l’alpha de cronbach est un indice de corrélation
C’est FAUX.
Quel est le symbole de l’alpha de cronbach?
Plusieurs formules permettent d’obtenir l’Alpha, mais une en particulier permet de comprendre ses fondements. Quelle est cette formule?
k = le nombre d’items (total test)
r barre = la moyenne des intercorrélations entre toutes les paires d’items de l’instrument (ou de la dimension)
On n’est plus dans le split half ici.
Vrai ou faux : plus le nombre d’item est grand et plus l’intercorrélation moyenne est grande, donc plus l’Alpha sera bas
Faux, l’alpha sera plus élevé, car influence du nombre d’items et de l’intercorrélation au numérateur
Vrai ou faux : sans écarts à la moyenne, il n’y a pas de variance.
Vrai. La variance est la moyenne des carrés des écarts à la moyenne des scores d’une distribution.
Vrai ou faux : Sans variance dans l’une ou l’autre des distributions, il peut y avoir une corrélation.
Faux. La corrélation est une covariance standardisée entre deux distributions de scores.
Vrai ou faux : l’Alpha est très affecté par la quantité de variance dans les scores d’items
Vrai, comme l’Alpha est fondé sur la moyenne de toutes les corrélations possibles entre les scores d’items
Vrai ou faux : il est important de considérer la variabilité de réponses que l’item suscite
Vrai. On veut des items qui créent de la variance.
Vrai ou faux : il n’existe qu’un seul indice de cohérence interne
Faux. Il en existe plusieurs
Vrai ou faux : c’est mieux de combiner des indices de cohérence interne que d’en utiliser qu’un seul
Vrai. Plus on combine les indices, mieux c’est
Quel indice de cohérence interne est de + en + utilisé?
Oméga (coefficient H)
Quelle est la prémisse de l’accord interjuges
Si le phénomène se manifeste avec régularité, tous les juges devraient donc observer le même phénomène
Quels sont les moyens de l’accord interjuge? (2)
- Corrélations effectuées sur des cotes (voir si les deux personnes ont cotté de la même façon)
- Kappas effectués sur la catégorisation ou la fréquence faite par les juges (à quel point les réponses qui convergent sont dûs au hasard, en %)
Vrai ou faux : l’accord interjuges est utilisé principalement en quantitatif
Faux. ++ en qualitatif.
Dès que des humains ou des ordinateurs portent un jugement.
Quel est le principe de base de l’accord interjuges?
La compréhension de ce qui est observé sera stable dans la mesure où deux juges «voient» la même chose. S’ils n’ont pas les mêmes opportunités d’observation, leur cotation sera différente.
Dans l’accord interjuges, les juges “verront” la même chose si…(5)
- Si la formation est bonne
- Si les juges sont compétents
- Si les comportements à observer sont bien définis
- Si les juges ont les mêmes opportunités d’observer le comportement
- Si les juges travaillent indépendamment
Quelles méthodes relatives à la stabilité utilisent la corrélation comme technique statistique?
La fidelité test-retest, le test-retest avec formes parallèles, l’accord interjuges
Quelle méthode relative à la stabilité utilise le split half comme technique statistique?
Cohérence interne
Quelle méthode relative à la stabilité utilise l’alpha de Cronbach comme technique statistique?
Cohérence interne
Quelle méthode relative à la stabilité utilise le kappa comme technique statistique?
Accord interjuges
Nomme des exemples d’hypothèses pour chacune des méthodes de la stabilité selon la technique statistique utilisée
Quel est le barème #1 pour juger de la fiabilité?
Attention 0,95 et + = suspect (pour cohérence interne seulement)
Vrai ou faux : Plus un instrument est utilisé pour prendre des décisions importantes, plus il faut être sévère lorsqu’on évalue des résultats à l’aide d’un barème de fiabilité
Vrai. On doit utiliser notre jugement.
Même si corrélation de 0,60 en contexte expérimental, peut être pertinent.
Dans le diagnostic d’un trouble ou test d’habiletés cognitives, une corrélation de 0,60 est inacceptable. Mêne à des erreurs de jugement. Critique.
Quel est le barème #2 pou juger de la fiabilité?
Barème de Cohen (1988)
Pour quoi utilise-on particulièrement le barème de Cohen?
Surtout utilisé pour les indices de validité
Que montre l’erreur-type de mesure (ETM)?
L’ETM montre l’effet de la fiabilité sur un score généré par l’instrument.
Vrai ou faux : Plus l’ETM est petit, plus il y a d’erreur dans le score observé
Faux. Plus il est grand, plus il y a d’erreurs.
Vrai ou faux : il est possible de calculer un intervalle de confiance autour du score observé
Vrai.
Vrai ou faux : erreur-type de mesure = écart-type à la moyenne
Faux.
Erreur-type mesure = bruit dans les données
Écart-type moyenne = écart entre donnée et moyenne
Quelle est la formule de l’ETM?
Où sx = écart-type au test,
rxx = corrélation split-half,
x = résultat au test
À quoi sert l’intervalle de confiance de l’erreur-type de mesure?
L’intervalle de confiance sert à estimer, en fonction de l’erreur-type de mesure du score observé et d’un niveau de certitude désiré, dans quel intervalle se situe le score réel (vrai) d’un participant.
À un niveau de certitude de _%, on calcule l’intervalle de confiance à l’aide de cette formule :
Ps ; On détermine nous-même le niveau de certitude désiré.
De quoi est composé le score observé?
Erreur + score vrai
Vrai ou faux : pour trouver l’intervalle de confiance, il faut convertir le niveau de certitude désiré en écart-type
Vrai. Intervalle de confiance converti sera donné à l’examen.
- 68 % de l’échantillon se trouve sous la courbe à +/- 1,00 écart-type de la moyenne.
- 95 % de l’échantillon se trouve sous la courbe à +/- 1,96 écart-type de la moyenne
Que signifie un niveau de certitude de 95%?
Je suis certain à 95% que le score de la personne se trouve entre x et y
Quel serait le calcul pour trouver l’intervalle de confiance à un niveau de certitude de 68%?
Quel serait le calcul pour trouver l’intervalle de confiance à un niveau de certitude de 95%?
Comment peut-on interpréter ces résultats de l’intervalle de confiance?
Il y a donc 95% des chances qu’un score observé de 10 corresponde à un score vrai se situant entre 6,14 et 13,86
Que permet l’erreur-type de mesure?
L’erreur-type de mesure permet de relativiser le score obtenu et déterminer l’intervalle de confiance autour d’un score vrai pour un phénomène donné.
Vrai ou faux : on peut calculer l’erreur-type de mesure pour un niveau de confiance plus élevé ou plus bas.
Vrai.
Résumé du cours
Les deux formules sur cette diapo sont celles qu’on va devoir manipuler à l’examen. Les autres qu’on a vu au dernier cours sont simplement à comprendre. Connaitre la formule de la prophétie et ses symboles.
Bien distinguer stabilité temporelle classique (délai) et avec forme parallèle (souvent, elle n’a pas de délai)
Vrai ou faux : Plus l’instrument comporte d’items plus il y a de risques d’erreur de mesure.
Faux -> Plus on a d’observations, plus on tend vers la verité
Par contre, désavantages peuvent accompagner un trop long test ; effet de fatigue
Ne jamais oublier les considérations pratiques
Que permet la formule de la prophétie?
Permet de savoir combien d’items on a besoin
