Cours 3: livre ch.4 Flashcards
Qu’est-ce que l’erreur aléatoire ou systématique?
augmente ou réduit systématiquement les résultats attendus et survient en raison de facteurs étrangers au test
Comment représenter la relation qui existe entre 2 variables?
distribution bivariée ou diagramme de dispersion ou nuage de points
un coefficient de corrélation donne le résumé numérique de la relation qu’illustre ce la distribution bivariée
Quelle est la différence entre l’erreur type de mesure et l’erreur type d’estimation?
📌 Erreur type de mesure (ETM) → Estime l’imprécision d’un test due aux erreurs de mesure. Utilisée pour calculer l’intervalle de confiance d’un score individuel. C’est ce qu’on a vu en cours.
L’ETM concerne la fiabilité d’un test en psychométrie.
📌 Erreur type d’estimation (ETE) → Évalue l’erreur dans la prédiction d’une variable dépendante en régression
Nommes 4 facteurs influant les coefficients de corrélation
- Linéarité
Un certain degré de non-linéarité sous estime le degré véritable de la relation - L’hétéroscédasticité
Dispersion inégale des points autour de la droite réduit la force du coefficient de corrélation, car la variabilité des erreurs n’est pas constante à travers toutes les valeurs de la variable indépendante, ce qui peut biaiser l’interprétation de la relation entre les variables. - Position relative (non absolue)
La corrélation n’exige pas l’égalité des scores absolus, mais seulement que l’ordre des valeurs soit préservé. Ainsi, même si les scores sont transformés (ex. conversion en unités différentes), la corrélation reste inchangée tant que le classement relatif des individus est conservé. - L’hétérogénéité du groupe
Un groupe très hétérogène produit une corrélation gonflé, et inversement pour un groupe homogène.
V/F: certaines sources d’erreur de mesure entrainent une variation systématique des résultats dans que celles-ci n’affectent la fidélité. Seules les erreurs aléatoire ou non systématique influent sur la fidélité de la mesure.
Vrai.
Les erreurs systématiques affectent tous les scores de manière prévisible, sans modifier leur stabilité relative, donc elles n’affectent pas la fidélité. Seules les erreurs aléatoires introduisent une variabilité imprévisible qui diminue la fidélité.
Nommes 4 principales sources d’erreurs de mesure qui occasionnent des problèmes de fidélité?
Type de correction du test
La correction du test fait appel au jugement de l’évaluateur
contenu du test
Les variations dans l’échantillonage peuvent entrainer des erreurs aléatoires
condition d’administration
consigne, limite de temps, organisation des lieux
circonstance personnelle
Dans la TCT, quelle est la formule de base et à quoi font référence les variables ? (concicsement)
V = O +/- E
V = score vrai, sans l’erreur de mesure, si aucun probleme de fidélité n’était la
O = score brut
E = erreur de mesure: différence entre le score vrai et le score observé
. On ne connait jamais le score vrai de qq, mais la fidélité sert à estimer l’écart entre O et V
Selon la TCT, comment peut être exprimé la fidélité en termes de variances?
la fidélité est la proportion de la variance observée qui relève de la variance vrai.
Nommes les 4 types de méthodes pouvant déterminer la fidélité
Test retest
Interjuges
Versions parallèles
Cohérence interne
Qu’est-ce que la fidélité test-retest?
corrélation de administration d’un meme test aux memes personnes à deux moments
coefficient de stabilité
Nomme 3 inconvénient de la fidélité test-retest
ne tient pas compte des erreurs aléatoires aux variations de contenu
difficilement applicable : rare que des gens ont envie de s’infliger 2 test
effet du premier test sur le deuxieme: le laps de temps écouler depuis le premier test influe
Qu’est-ce que la fidélité interjuge?
On fait corriger deux fois les copie d’un test par qq de différent et le coefficient de fidélité est la corrélation de ces deux scores. Cela évalue les variations aléatoires en lien avec les gens qui corrigent le test.
aussi appelée fidélité interobservable
un probleme de fidélité affectera assurément la validité
Qu’est-ce que la méthode des versions parallèles?
fidélité par version parallèle ou methode des formes équivalentes sont des synonymes
corrélation de 2 test équivalent administrés aux memes candidats
intervalle semblable à la fidélité test-retest. La différence est que le test-retest utilise le meme test alors que ce type de fidélité utilise 2 test censés être équivalents
Quels sont les 3 catégories de coefficient de fidélité?
Coefficient dérivé de versions parallèles : synonyme de coefficient de versions alternatives ou coefficient d’équivalence. Ce coefficient mesure la consistance entre deux versions équivalentes d’un même test administrées à un même groupe de participants.
Coefficient test-retest : synonyme de coefficient de stabilité. Ce coefficient évalue la stabilité des résultats d’un même test administré à deux moments différents.
Coefficient de cohérence interne : mesure la consistance interne d’un test, en vérifiant dans quelle mesure les items du test sont cohérents entre eux pour évaluer le même concept.
Qu’est-ce que la cohérence interne?
La cohérence interne fait référence à la consistance des réponses des participants à l’intérieur d’un même test, c’est-à-dire dans quelle mesure les différents items du test mesurent de manière homogène le même concept ou construit. Elle est généralement évaluée à l’aide du coefficient Alpha de Cronbach.
- fidélité par bisection
- fidélité pair-impair
- Alpha de Cronbach
Qu’est-ce que le coefficient de fidélité par bisection?
on split un test en 2 et on fait la correlation des 2 versions. On peut diviser le test selon les items pairs-impairs, par exemple (fidélité pair-impair)
la correctiond e spearman brown doit être faite apres puisqu’il y a la moitié des items maintenant (voir formule en classe)
type de cohérence interne
À quoi sert la formule de Kuder-richardson?
obtenir la corrélation moyenne pour toutes les bisection possibles d’un test (voir cours)
ne s’applique qu’à des items répondus sur une échelle dichotomique
dans la catégorie cohérence interne
la formule de Kuder-richardson sert à obtenir la corrélation moyenne pour toutes les bisection possibles d’un test (voir cours). toutefois, elle ne s’applique qu’à des items répondus sur une échelle dichotomique. Quelle autre formule de cohérence interne règle ce problème?
l’alpha de cronbach (voir cours pour la formule simplifié qui présume que tous les items sont standardisés)
notes: si tous les items sont dichotomique, le calcul donnera la meme chose que la formule de Kuder-Richardson
Dans quels 2 contexte la cohérence interne n’est pas conseillée comme mesure?
la vitesse influe sur les résultats, donc la mesure de la cohérence interne produit une estimation gonflée de la fidélité. Lorsque la vitesse est déterminant dans le score, autre méthode.
Quelles sont les 3 conclusions à retenir sur les mesures de la fidélité?
la durée du test est importante. Habituellement, les coefficient de fidélité de test long sont plus grande, mais pas tjr
le nombre d’item fait tjr partie des formules
la fidélité est maximisée quand le % de candiats qui répondent correctement est proche de 0,50
la corrélation entre les items est importante
Différencie les 3 sortes d’erreurs types
Erreur type de mesure (ETM) : mesure l’erreur due à un manque de fidélité du test, c’est-à-dire à l’imprécision des résultats du test lui-même.
Erreur type de la moyenne (ETM) : mesure l’erreur due à l’échantillonnage aléatoire, soit la variation de la moyenne d’un échantillon par rapport à la moyenne de la population.
Erreur type d’estimation : mesure l’erreur associée à l’estimation d’une variable (Y) à partir d’une autre (X), souvent dans des modèles de régression.
Qu’est-ce qui est à retenir sur la fidélité dans la théorie de réponse à l’item (TRI)
Dans la TRI, θ (thêta) représente le niveau latent ou compétence d’un individu sur le trait mesuré par le test. La fidélité dans la TRI se base sur la manière dont la probabilité de réponse correcte à un item varie en fonction de θ.
θ et fidélité : La fidélité dans la TRI est liée à la manière dont l’estimation de θ est précise. Une estimation fidèle de θ implique que les items du test discriminent bien les individus à différents niveaux de compétence.
Invariance des paramètres : La fidélité est mesurée par la capacité du test à estimer correctement θ indépendamment des spécificités de l’échantillon, assurant une évaluation stable et précise du niveau latent de chaque individu.
Amélioration de la fidélité : En tenant compte des paramètres de discrimination et de difficulté des items, la TRI permet d’optimiser la fidélité du test en ajustant la mesure de θ pour refléter plus précisément les capacités latentes des individus.
En résumé, dans la TRI, la fidélité est étroitement liée à l’estimation précise de θ, qui représente la compétence latente de l’individu, et à la capacité des items à discriminer efficacement entre différents niveaux de compétence.
Comment la théorie de la généralisabilité (TG) explique le concept de fidélité?
Le score univers référence au score vrai dans la théorie de la généralisabilité (TG). chaque personne a un score vrai, représenté par le score moyen de toutes les occasions de toutes les versions et de tous les évaluateurs.
analyse de variance permet de voir l’effet simultané de plusieurs VI sur une VD
Comment interpréter les scores numérique de fidélité ?
-0.6 - : ne devrait pas être utilisé: recourir à un autre test est préférables.
- 0.60-0.69: seulement utilisé en recherche
- 0.7-0.79: seuil de fidélité acceptable minimal, mais utilisation avec prudence
- 0.80-0.89: bon , mais d’autres infos devraient se rajouter
-0.9+ : excellent, requis pour d’importantes décision
V/F: si la fidélité est importante, la validité l’est encore plus
Vrai. Un test ayant une fidélité et une validité modérée est mieux qu’un test très fiable mais pas valide.
