Cours 3: Fiabilité Flashcards
Qu’est-ce qu’une corrélation?
Une corrélation nous informe sur la NATURE et la FORCE de la relation entre deux variables. Elle n’implique jamais la causalité
Une corrélation peut être comprise entre r (coefficient de Pearson) = -1,0 et +1,0
Qu’est-ce que la taille d’effet?
Quantité de variance expliquée dans une corrélation
Un autre nom pour cela est le coefficient de détermination. Il est représenté par r au carré : dit la proportion de la variabilité des scores y qui est expliquée par la relation linéaire entre x et y.
Quelles sont les valeurs pour une petite taille d’effet vs moyenne vs forte?
Petite : 0.10 - 0.30
Moyenne : 0.30 - .0.50
Forte : >0.50
Qu’est-ce que la fiabilité?
La fiabilité est une représentation mathématique de la consistance d’un test
Le score peut varier entre 0 et 1, et les tests dont la fiabilité est supérieure ou égale à 0,7 sont considérés comme fiables.
techniquement, ce chiffre nous indique quelle proportion du score d’une personne est due à l’élément que nous essayons de mesurer plutôt qu’à une erreur aléatoire dans le test
Dans sa forme la plus simple, ce sont les éléments dont nous parlons lorsque nous abordons la question de la fiabilité.
la fiabilité nous aide à comprendre le degré de CONSISTANCE de l’évaluation.
rxx = le symbole de la fiabilité en général
Nomme 2 synonymes de la fiabilité
Consistance
Stabilité
Ce n’est pas précis, La cohérence et la stabilité font référence à des types spécifiques de fiabilité. Il n’est donc pas tout à fait correct de dire qu’il s’agit de la même chose.
Si j’ai eu deux séries de résultats de test au temps 1 et au temps 2, comment pourrais-je déterminer s’ils sont similaires ou non ?
par une corrélation:
stabilité test-retest
Qu’est-ce que la stabilité test-retest?
C’est une corrélation entre les scores d’un meme test pris à 2 temps de mesures
Le concept que nous mesurons reste le même à chaque moment, mais l’erreur aléatoire change à chaque administration, de sorte que vos scores seront différents.
Quel concept dois-je utiliser pour répondre à ces questions?
Quelle est la similarité des résultats d’un même test administré à plusieurs moments ?
Quelle est la similarité des résultats de deux versions différentes de mon test réalisées par la même personne ?
Stabilité test-retest
si nous disposions des scores de notre test à deux moments différents et que nous calculions la corrélation entre eux, nous trouverions la fidélité du re-test
Qu’est-ce que le TCT?
Théorie classique des test (TCT)
O=V+E
O= score Observé
V = score Vrai/réel
E = Erreur
O = la note/chiffre/score obtenue par le test
V = le niveau vrai/réel du “trait”/”capacité”/”attitude”.
E = l’erreur est la fluctuation de leurs scores introduite par des sources externes ET aléatoires.
Cette formule donne le ratio entre la variance du score vrai et la variance du score observé. La fiabilité est donc définie comme la proportion de la variance totale qui est attribuable au score vrai.
plus la variance du score vrai est grande par rapport à la variance totale, plus le test est fiable. Une fiabilité élevée indique que le test donne des résultats consistants, où les scores observés reflètent fidèlement les scores vrais. Si l’erreur représente une grande part de la variance totale, le test est peu fiable, car il mesure davantage des fluctuations aléatoires que ce qu’il est censé mesurer. Un coefficient élevé (proche de 1) signifie que le test est très fiable; 0, non-fiable.
Explique les 4 postulats de la TCT
Les scores Vrai/réels et les erreurs sont indépendants
donc la corrélation entre V et E doit être égal à zéro. Si ce n’est pas le cas, vous avez un gros problème - cela signifierait que votre test ne mesure PAS ce que vous essayez de mesurer.
La moyenne des erreurs entre les personnes est égale à zéro.
Si l’erreur moyenne n’est pas nulle, cela signifie que l’erreur n’est pas aléatoire et qu’elle est donc causée par une source spécifique.
Si vous repassez un test plusieurs fois, la moyenne de toutes vos performances se rapprochera de votre score vrai (loi des grands nombres)
le schéma des relations entre V, E et O est le même pour les résultats des tests que pour la variance, et donc les écarts-types aussi.
* la variance du score observé est égale à la variance du score vrai et à la variance de l’erreur; l’écart type du score observé est égale à l’écart type du score vrai ajouté à l’écart type de l’erreur.
dans la TCT, si la corrélation entre V et E n’est pas égale à zéro, qu’est-ce que ça veut dire?
cela signifierait que votre test ne mesure PAS ce que vous essayez de mesurer.
dans la TCT, si l’erreur moyenne n’est pas nulle, qu’est-ce que ça veut dire?
Si l’erreur moyenne n’est pas nulle, cela signifie que l’erreur n’est pas aléatoire et qu’elle est donc causée par une source spécifique.
Qu’est-ce que le coefficient de fiabilité?
Les coefficients de fiabilité reflètent la proportion de la variance du score vrai par rapport à la variance du score observé.
var(V) Rxx = ------------------
var (O)
l’etendu de fiabilité est comprise entre 0 (aucune variance du score vrai) et 1.0 (toute variance du score vrai).
Quel test est le plus fiable?
Test 1 : variance observée = 12 ; variance du score vrai = 9.
Test 2 : variance observée = 18 ; variance du score vrai = 15.
Fiabilité = variance du score vrai / variance du score observe
Donc ici on fait Test 1 = VV/VO = 9/12 = 0.75
et on compare à Test 2 = VV/VO = 15/18 = 0.83.
Test 2 > Test 1
Le coefficient le plus proche de 1 représente le test le plus fiable donc score 2. En d’autres mots, 83 % du score d’une personne au test 2 reflète la variation du score vrai (>0.7 = fiabilité ok)
Pour que les tests soient vraiment égaux, ils doivent quelles propriétés selon le TCT?
Test1 Variance (O) = Test2 Variance (O)
Test1 variance (V) = Test2 Variance (V)
Test1 variance (E) = Test2 variance (E)** ***mais non corrélé
en conséquence, ils doivent également avoir la même fiabilité.
Qu’est-ce que la fidélité déterminée par bissection?
la corrélation entre tous les éléments des deux versions du test.
La méthode consiste à diviser un test existant en deux moitiés égales (par exemple, en termes de contenu, difficulté ou format) pour en créer deux versions. Ensuite, on calcule la corrélat ion entre les scores obtenus pour ces deux moitiés. Cette corrélation sert de mesure de la fidélité. Elle permet d’évaluer la consistance interne d’un test, c’est-à-dire si les différents items mesurent bien le même concept ou la même compétence.
Certaines divisions peuvent ne pas représenter fidèlement la structure ou la difficulté globale du test. Toute corrélation que nous calculons entre les deux versions que nous faisons sera une SOUS-ESTIMATION de la fiabilité du test en raison des différences aléatoires entre les deux groupes. Cela est dû au fait que chaque moitié contient moins d’items, ce qui augmente la variabilité et réduit la précision.
Quelle est la solution à la fiabilité calculée par bisection?
la solution est α = alpha = Coefficient de Cronbach
Le coefficient alpha de Cronbach est la moyenne de toutes les estimations possibles de la fidélité déterminée par bissection.
Une conséquence étrange de la théorie classique des tests est que les tests comportant un plus grand nombre d’éléments de qualité égale auront un coefficient alpha de Cronbach naturellement plus élevé.
Quelle est la formule de l’alpha de Cronbach?
(1+(K-1)rbarre)
k = #items
r = correlations entre les items
r barre = la moyenne des corrélations uniques parmi tous les items d’un test
Pour savoir le dénominateur:
#corrélations uniques = [(#items)(#items-1)]/2
Quelle est la démarche pour arriver à l’alpha de cronbach?
- prendre toutes nos corrélations et trouver le nombre de corrélations uniques = [(#items)(#items-1)]/2
- calculer la moyenne des corrélation unique (il faut prendre les différentes corrélations de la matrice, les additionner et les diviser par le nombre de corrélations: le dénominateur pour la formule de cette moyenne est calculée à l’étape 1)
- Appliquer la formule de l’alpha de Cronbach en mettant dedans la valeur trouvé en 2 (rbarre) et k = nombre d’items (nombre de colonnes ou rangées dans la matrice de corrélation)
Quoi faire pour améliorer la fiabilité?
Réviser les items :
Vérifiez que tous les items mesurent bien le même concept (cohérence conceptuelle).
Éliminez ou modifiez les items qui semblent peu corrélés avec les autres.
Augmenter le nombre d’items :
Ajouter des items bien conçus peut renforcer la fiabilité, car un plus grand nombre d’items réduit l’influence des erreurs aléatoires.
Effectuer une analyse des items
Identifiez les items problématiques (faible corrélation avec le score total ou avec les autres items).
Utilisez des outils comme les matrices de corrélations ou des analyses factorielles.
Revoir les consignes :
Si la consigne ou l’échelle de réponse n’est pas claire, cela peut introduire des erreurs de mesure.
À quoi sert la formule de Spearman-Brown
cette formule suit le principe que lorsque nous augmentons la longueur d’un test, nous observons des améliorations de la fiabilité.
En utilisant cette formule, nous pouvons faire deux choses demander si mon test était x fois plus long ou plus court, quelle serait sa fiabilité ?
Aussi nous pouvons manipuler un peu l’équation et l’utiliser pour poser la question suivante : combien de fois plus long ou plus court devrait être mon test si je voulais qu’il ait une fiabilité d’une valeur x.
Quelle est la formule de spearman brown si on veut savoir la nouvelle fiabilité?
rxx* =
k(rxx)
——-
1 + (K-1) rxx
k = ratio
ex: je veux doubler le nombre d’item = 2; je veux couper de moitie le nombre d’items = 0.5
rxx = la fiabilité initiale
rxx* = la nouvelle fiabilité
Quelle est la formule de spearman brown si on veut savoir le nouveau nombre d’item pour atteindre une nouvelle fiabilité?
k = ratio nbr items
k=
rxx* (1-rxx)
—————–
rxx (1-rxx*)
apres on fait k * nombre d’items initial
Quelles sont les causes principales de la non-fiabilité?
Notation d’un test
cohérence de la notation entre les juges, tout le monde a-t-il suivi les mêmes lignes directrices, etc.
Contenu d’un test: dans quel mesure les items ont rapport avec le sujet
Conditions d’administrations d’un test : environnement
Conditions individuelles (si vous êtes malade, si vous avez faim, si vous n’avez pas assez étudié, etc.)
