cours 3 Flashcards
Qu’est-ce que l’analyse des items?
Les items sont analysés afin de déterminer les propriétés psychométriques de l’instrument.
Deux éléments à considérer :
La fidélité;
La validité.
Sélection des items. (pcq on en a fait plus qu’on avait besoin)
Diminution des sources d’erreur de mesure. (surtout vrai pour la fidélité)(questions floues)
L’instrument comporte-t-il de l’erreur de mesure? Si oui, combien?
Qu’est-ce que la corrélation ?
Le coefficient de corrélation (r) indique la force de la relation entre deux variables (X et Y).
Varie entre -1,00 et 1,00. Ne pas oublier d’interpréter la signification statistique (valeur p).
On obtient le degré avec lequel la position des scores des personnes sur la variable X est similaire à la position de leur score sur la variable Y.
Qu’est-ce que la régression ?
La régression est un type de modèle statistique qui nous permet de comprendre la force de la relation entre deux variables et de faire des prédictions.
Qu’est-ce que l’erreur type d’estimation ?
L’erreur-type d’estimation indique la dispersion typique des valeurs autour de la droite de régression.
En d’autres termes, il s’agit de notre erreur de prédiction.
Une plus grande corrélation entre les variables signifie une plus petite erreur d’estimation.
Qu’est-ce que la fidélité ?
La fidélité quantifie la façon avec laquelle les scores d’un test sont constants et reproductibles à l’intérieur d’une certaine marge d’erreur, sans égard à ce qu’il mesure (sa validité).
Un test qui est fidèle est un test pour lequel une même personne obtient le même résultat ou un résultat similaire lors de différentes passations.
Distinction entre changement réel et fluctuations systématique et aléatoire.
Un test pas fidèle n’est pas valide
Fluctuation réelle : changement qui va se passer attendu (à cause d’un évenement vécu par tous)
Quelles sont les 2 sources d’erreur de la fidélité ?
Erreur systématique : Erreur de mesure qui affecte tous les scores de la même façon.
Erreur aléatoire : Erreur de mesure affectant différemment les scores.
Erreurs lors de la cotation;
Variations dans les procédures d’administration;
Variations naturelles chez les répondants;
Variations dans la représentativité du contenu (pour des versions parallèles).
Qu’est-ce que La théorie classique des tests ?
Décompose le score observé en trois composantes :
Score observé (O) : Score obtenu par une personne à un test tel qu’observé.
Score vrai (V) : Score qu’aurait obtenu une personne à un test s’il n’y avait pas d’erreur de mesure.
Erreur de mesure (E) : Différence (positive ou négative) entre le score vrai et le score observé, composée de tous les éléments qui jouent sur le score de la personne.
Sur un grand ensemble de scores, on peut obtenir des moyennes pour O et V, mais E disparait.
Comment peut-on estimer la fidélité ?
à partir de l’erreur aléatoire de mesure
𝑟=(𝑆_𝑉^2)/(𝑆_𝑂^2 )
𝑟=(𝑆_𝑂^2−𝑆_𝐸^2)/(𝑆_𝑂^2 )
r : coefficient de fidélité, on veut qu’il se rapproche de 1
Quels sont les types de fidélité ?
Stabilité temporelle : Degré avec lequel la mesure d’un construit reste stable dans un intervalle de temps donné.
Fidélité interjuges : Degré avec lequel des juges font la même évaluation lors de la correction d’un instrument.
Cohérence interne : Degré avec lequel les items d’un instrument se tiennent bienensemble sont cohérents (les personnes fournissent des réponses cohérentes à tous les items).
Comment vérifié la fidélité ?
corrélation test-retest
Corrélation test-retest avec formes parallèles
Fidélité interjuges
Corrélation par bissection («Split-Half»)
Formule de la prophécie
Alpha de Cronbach
Qu’est-ce que la corrélation test-retest ?
Mesure la stabilité temporelle (ou fidélité test-retest).
Si, à l’intérieur d’un délai donné, le construit devrait rester stable, deux mesures de ce construit à l’aide d’un instrument devraient être similaires.
Le test est administré deux fois au même échantillon de personnes.
Dépend :
L’intervalle entre les deux mesures;
La quantité de changements survenus entre les deux mesures.
Quels sont les avantages et inconvénients de la corrélation test-retest ?
Avantages :
Évalue l’erreur due aux fluctuations naturelles des personnes sondées.
Évalue l’erreur dans les variations de la méthode d’administration. (+ erreur = - corrélation test retest)
Inconvénients :
Ne tient pas compte des erreurs de variation de contenu.
Difficilement réalisable pour les tests très longs.
Effet de mémoire possible.
Qu’est-ce que la corrélation test-retest avec formes parallèles ?
Mesure la stabilité temporelle (ou fidélité test-retest) en annulant l’effet de mémorisation.
Si, à l’intérieur d’un délai donné, le construit devrait rester stable, deux mesures de ce construit à l’aide d’un instrument devraient être similaires.
Le test est administré deux fois au même échantillon de personnes.
Dépend :
La qualité du parallélisme entre les deux versions;
L’intervalle entre les deux mesures;
La quantité de changements survenus entre les deux mesures.
Comment sont les Versions parallèles d’un instrument ?
Deux versions différentes d’un instrument, avec des items qui se ressemblent fortement.
Même nombre d’items entre les deux versions.
Les instruments partagent la même structure dimensionnelle.
Les méthodes d’administration doivent être les mêmes.
Les moyennes et écarts-types des scores doivent être les mêmes.
Comment faire des versions parallèles avec des tests traduits ?
Tests traduits :
Rétrotraduction : traduit du langage original à un autre langage, puis quelqu’un d’autre retraduit cette traduction dans le langage original (devrait avoir la même signification
Méthode de Prince : personnes bilingues répondent une première fois dans une langue et une deuxième fois dans une autre langue (devrait avoir forte corrélation)
Quels sont les avantages et inconvénients de la corrélation test-retest avec formes parallèles ?
Avantages :
Élimination de l’effet de mémoire.
Administration simultanée.
Inconvénients :
Préparation de deux fois plus d’items.
Les deux instruments doivent être validés.
Les instruments doivent absolument rester parallèles.
Comment tester la fidélité inter-juge ?
Au moins 2 juges évaluent au même moment
Évalue les variations aléatoires attribuables à la correction du test par des juges.
Les juges corrigent les mêmes réponses au test. Les corrections des juges doivent être indépendantes.
On effectue la corrélation entre leurs réponses. Pour deux juges : corrélation de Pearson. Pour plus de deux juges : corrélation intra-classe.
La correction sera stable si les juges ont tous la même compréhension des réponses :
Compétence d’évaluation des juges;
Les réponses possibles sont bien codifiées;
Formation offerte aux juges.
Si on utilise un pointage : corrélation de Pearson. Si on utilise des fréquences : Kappa (κ).
Qu’est-ce que la Corrélation par bissection («Split-Half») ?
Mesure à quel point le score obtenu à une moitié du test est similaire au score de la deuxième moitié (cohérence interne).
Après l’administration du test, on sépare ses items en deux et on les corrige comme si on avait deux versions du test. Les scores aux deux moitiés sont mises en corrélation pour toutes les personnes.
Pour éviter que les items difficiles se retrouvent tous dans une version ou que la fatigue teinte trop le résultat à la seconde moitié, on peut séparer les items selon s’ils sont pairs ou impairs.
Cependant, la corrélation ne donne pas la fidélité du test en entier, mais sur la moitié du nombre d’items. On coupe le nombre d’items en deux, ce qui vient diminuer artificiellement sa fidélité.
Plus un test contient d’items, plus le risque d’erreur aléatoire diminue.
Comment corriger celle-ci ?
Correction de Spearman-Brown
Correction à la corrélation permettant de connaitre la fidélité du test en entier.
𝑟_𝑐=(2𝑟_ℎ)/(1+𝑟_ℎ )
rc = corrélation corrigée pour le test en entier
rh = corrélation entre les deux demi-tests
Qu’est-ce que la formule de la prophécie ?
Permet d’estimer le nombre d’items nécessaire pour augmenter la fidélité d’un test.
𝑘 (𝑟_𝑑 (1−𝑟_𝑜 ))/(𝑟_𝑜 (1−𝑟_𝑑 ) )
k = nombre d’items actuel
ro = fidélité observée (avec coefficient de corrélation)
rd = fidélité désirée
Quand est-ce que cette formule est valide ?
Cette formule n’est valide que si :
Les items ajoutés représentent le même domaine de contenu.
La moyenne des intercorrélations entre les items initiaux est égale à la moyenne des intercorrélations des items ajoutés.
Qu’est-ce que l’Alpha de Cronbach ?
Mesure le degré avec lequel les personnes répondent de façon similaire à tous les items d’un instrument.
Il s’agit de l’un des meilleurs indices de cohérence interne.
Ce coefficient peut varier entre -∞ et 1, mais est la plupart du temps situé entre 0 et 1. Plus l’alpha de Cronbach s’approche de 1, plus la fidélité est bonne.
Plus le nombre d’items est grand et plus la corrélation moyenne entre les items est grande, plus grande sera la cohérence interne.(+ alpha de Cronbach)
Plus il y a de variance dans les scores aux items, plus la cohérence interne sera grande.
Quelles méthodes sont associées à quels types de fidélité ?
stabilité temporelle :
Corrélation test-retest
Corrélation test-retest avec versions parallèles
Fidélité interjuges :
Corrélation entre les cotes (r de Pearson si deux juges, corrélation intra-classe si plus de deux)
Kappa pour les fréquences d’observation
Cohérence interne :
Corrélation par bissection (« Split-Half»)
Alpha de Cronbach
Quels types d’erreur sont associés à quels types de fidélité ?
Variation dans les procédures d’administration : stabilité temporelle
Variation due aux personnes : stabilité temporelle
Variation dans la représentatitivé du contenu : cohrence interne
Variation dans la correction : accord interjuges
