Fidélité Flashcards
Quel est l’élément qui permet que les objectifs du bilan psychologique soient probable même pour les HPI ou les déficiences ?
Si les résultats sont stables et reproductibles dans le temps.
Stabilité : différence inter sur le test = différence inter sur la source commune de variation.
Quels sont les 2 équations du score observé ? Décrire les composantes
1ère (Spearman): Xo = X t + Xe
Avec Xo : score observé
Xt : part de score vrai (non observable, moyenne de tous les items et postulat : constant)
Xe : erreur de mesure
2eme : Xo = Xt + Xes + Xea
Avec Xt : attribut majoritaire à l’origine de l’interprétation (non observable, moyenne de tous les items et postulat : constant)
Xes : erreur systématique = implication d’autres attributs qui maintiennent aussi les différences inter
Xea : erreur aléatoire
Dans la 2eme équation, que se passe-t-il si Xea est faible ? S’il est fort ou modéré ?
Faible : Xo = Xt (+Xes) : les differences inter score observées = différences inter score vrai
Fort/ modéré : Xo =/ Xt (+Xes) : les différences inter score observées ne sont pas égales aux différences inter du score vrai, les différences inter sont inconsistantes
Définir la fidélité d’un test d’après la théorie classique des tests (TCT ou CTT).
La fidélité reflète pour une population donnée à quel point les différences inter sur le score correspondent au différences inter du score vrai par opposition à l’erreur de mesure Ea.
Quelles sont les 3 méthodes possibles quand on veut quantifier l’erreur de mesure ?
- Méthode des tests parallèles
- Méthode des tests - retests (T-R)
- Méthode du partage
Quelle taille de l’échantillon doit-on prendre pour un bon tests ?
Pas de consensus : le plus possible, ou + de 400 d’après Charter.
Quelle valeurs du coefficient accepte t-on pour considérer une bonne fidélité pour une décision possible avec un seul score ? Avec 1-2 tests de même fidélité ? Pour la recherche de base ?
Pour les méthodes en général ? Et pour la méthode de test-retest ?
- si rxx > .90 (ou .95)
- si .80 < rxx < .89
- si .70 < rxx < .79
- rxx > .90
- rxx > .85
Que fait-on dans la méthode des tests parallèles ? Nbr test(s), groupe(s) et passation(s) ? Quelles sont les limites de cette méthode ?
- 2 tests, 1 groupe, 1-2 passations
On vérifie les postulats :
- Ẋo1 ≃ Ẋo2 (donc μ1≃μ2)
- Ẋt1 ≃ Ẋt2
- St1 ≃ St2 (écart types et var similaires)
- Coefficient d’équivalence : r(forme1 - forme2) : doit être élevé
–> Postulat égalité rarement respecté a cause de l’influence de la forme 1 sur la perf de la forme 2
Que fait-on dans la méthode du test - retest (T-R) ? Nbr test(s), groupe(s) et passation(s) ? Quelles sont les postulats et limites de cette méthode ?
- 1 test, 1 groupe, 2 passations avec intervalle
On regarder la corrélation entre les 2 passations avec :
- Coef de constance qd le délais est court : utilité clinique ?
- Coef de stabilité si le délais est plus long, doit être supérieur à .85 pour que l’ordre des individus reste similaire sinon il faut ajouter des tests
- Postulat de stabilité du score vrai si pas d’effet d’apprentissage
- Limite psk le postulat du lavage de cerveau n’est pas respecté, donc pas vraiment de renseignement sur la stabilité des scores vrais; problème on ne sait pas si on fait une estimation des traits ou de l’état du sujet, effet retest variable en fonction du domaine, de l’âge, du niveau cognitif et du délai
Que fait-on dans la méthode du partage ? Nbr test(s), groupe(s) et passation(s) ? Quelles sont les limites de cette méthode ?
- 1 test, 1 passation, 1 groupe
Limite : estimation problématique de la fidélité comme de la consistance interne
Quelles sont les différentes procédures/ indices de la méthode du partage ?
- Méthode de la bissection
- Méthode des covariances : alpha (split-half)
- Coefficient omega
Que fait-on dans la méthode de bissection ? que mesure -t-on ? Quelles est la limite de cette méthode ? Comment est-ce corrigé ?
Quel est le postulat ?
on considère 2 moitiés d’items (n/2 pour faire M1 et M2) comme 2 tests parallèles. Partage :
- 1ère moitié vs 2ème : problème pour les tests cog ou d’intelligence ou les items sont triés par difficulté
- Pair vs impair (M1 : 1, 3, 5, ..)
- Appariement selon contenu et difficulté
Puis calcul de la corrélation entre les 2 moitiés (rM1-M2)
- Prblm : le “partage” réduit la fidélité, c’est pourquoi il y a la formule de correction de Sprearman- Brown (SB) qui estime la fidélité à partir de l’ensemble des items :
Corrélation = r𝗆₁-𝗆₂
Rs-b = 2x(corr)/ (1 + corr)
Postulat : 2 moitiés comme 2 tests parallèles (tout identique) mais rarement respecté
Que fait-on dans la méthode des covariances ? que mesure -t-on plutôt que la fidélité ?
Quel sont les postulats ?
On mesure la consistance interne = somme des covariances par paires d’items continus et on utilise le 𝛼 de cronbach
Postulats :
- Distribution normale (symétrique)
- Unidimentionnalité des items à démontrer (important)
Comment est considéré le 𝛼 de Cronbach ? Pourquoi est-ce un problème ?
Comme un des indicateurs de l’unidimentionnalité mais c’est un problème psk on est censé l’avoir démontré avant et non pas l’utiliser pour cela.
Quelle est l’alternative au coefficient 𝛼 ?
Le coefficient oméga (𝜔) qui est un meilleur indice de fidélité (validité) et permet lui d’avoir des informations sur la contribution du facteur g.
Voir les 4 graphs slide 26/64
Quels sont les 3 types de coefficients 𝜔 ? à quoi font ils références ?
- 𝜔t : fidélité totale
- 𝜔H : oméga hiérarchique : facteur g (et donc la validité car une partie de ce que représente l’attribut commun)
- 𝜔HS : oméga hiérarchique sous échelle : facteurs de groupes après le facteur g (et donc la validité car une partie de ce que représente l’attribut commun)
Quelle est la méthode d’estimation de fidélité supprimée ? A quoi correspond -elle ?
La méthode de l’accord inter-juge :
Savoir si les juges cotent de manière similaire : pas précis ni reproductible car il y a la source de variance d’erreur de la part des juges.
Pourquoi l’utilisation de la fidélité à un niveau individuel est un problème ?
Quelles sont donc les 2 procédures pour intégrer de l’erreur de mesure au niveau individuel ?
Les données de groupes sont généralisées à la performance de l’individus.
- Calcul du score vrai estimé
- Calcul d’un IC
Qu’est ce que la régression vers la moyenne de Galton ? A quel niveau s’applique t-elle ?
C’est la diminution/ disparition de la variabilité au cours du temps traduit par une corrélation < 1.
C’est un phénomène de groupe et non individuel (sinon il n’y aurait pas de déficient).
Quel est le calcul du score vrai estimé (Xest) : donner les paramètres ? A quoi sert-il dans ce cours ?
Pour intégrer l’erreur de mesure au niveau individuel :
Xest = Ẋ + rxx (X - Ẋ)
Ẋ : moi des scores observés
rxx : fidélité
X : score observé individu
Calculer le score vrai estimé si rxx = .95 ; Ẋ = 100.1 et X = 112
Xest = Ẋ + rxx (X - Ẋ)
= 100.1 + 0.95 x (112 - 100.1)
= 111.405
Quels sont les 2 variables différentes utilisées pour calculer un IC, quelles sont les conséquences différentes ? A quoi sert l’IC dans le cadre de ce cours sur la fidélité ?
L’IC est utilisé pour intégrer l’erreur de mesure au niveau individuel.
- Erreur standard de mesure (Sem) : donne un IC symétrique si on regarde les valeurs pleines inclues, postulat que l’erreur est identique sur toute la distribution
- Erreur standard d’estimation (See) : donne un IC asymétrique dans les extrêmes si on regarde les valeurs pleines inclues, prend en compte la plus grande variation dans les extrêmes
Donnez le calcul de l’erreur standard de mesure ainsi que les paramètres.
Donnez ensuite la formule pour calculer l’IC pour 1 sem (=68%).
sem = 𝜎√(1- rxx )
𝜎 : écart type
rxx : fidélité
IC = [X - 1sem ; X + 1sem]
X : score observé individu
Calculer l’IC avec ± 1sem si
rxx = .95 ; X = 112 et 𝜎 = 14.6
sem = 14.6√(1 - 0,95)
= 3,265
IC = [X - 1sem ; X + 1sem]
= [108.735 ; 115.265]
Par quel valeurs de la table z faut-il multiplier le sem, le see ou le sed pour calculer un IC avec une probabilité de 90% ? de 95% ?
90% : x 1,645
95% : x 1.96
sem : Erreur standard de mesure
see : Erreur standard d’estimation
sed : Erreur standard de la différence
Donnez le calcul de l’erreur standard d’estimation ainsi que les paramètres.
Donnez la formule pour calculer l’IC pour 1 see (=68%).
see = 𝜎√(1- rxx) * (rxx)
= sem * rxx
𝜎 : écart type
rxx : fidélité
sem = 𝜎√(1- rxx )
IC = [Xest - 1see ; Xest + 1see]
Xest : score vrai estimé = Ẋ + rxx (X - Ẋ)
Calculer l’IC avec ± 1see si
rxx = .95 ; Ẋ = 100.1 et X = 112 ; 𝜎 = 14.6
Xest = Ẋ + rxx (X - Ẋ)
= 100.1 + 0.95 x (112 - 100.1)
= 111.405
see = [14.6√(1 - 0,95 )] * 0,95
= 3.101
IC = [Xest - 1see ; Xest + 1see]
= [ 105.328 ; 117.482]
Si un individu à un score très éloigné de la moyenne comment va être l’IC see de cet individu ?
L’IC sera encore plus asymétrique : [-9 ; 3] si QIT = 160.
En fonction de quoi varie la “largeur” de l’IC.
En fonction de la fidélité et le l’ET (𝜎) qui sont dans les calculs.
Comment interpréter un IC à 95% ?
Si estimation d’un grand nombre d’IC, 95% contiendrait le score vrai.
(Et non pas : il y a 95% de chance que l’IC contienne le score vrai).
Avec quoi peut on comparer les performances d’un individu sur différent indices ? Donnez la formule.
Que nous donne concrètement le sed ?
Avec l’erreur standard de la différence (sed).
Sed = √(Semx² + Semy²)
Semx² : erreur standard de mesure du test 1
Semy² : erreur standard de mesure du test 2
Le sed nous donne la valeurs seuils de point pour une différence significative à 32% (100-68, sinon multiplier par les valeurs de la table z pour 10% : 1,645 ou 5% : 1,96). si la différence des 2 score n’est pas > au seuil, alors on considère que les nerfs de l’enfant sont identiques sur les deux indices.
Quels sont les facteurs influençant la fidélité des scores ?
- La longueur du test : plus c’est long, plus c’est fidèle
- L’hétérogénéité de l’échantillon : la fidélité diminue avec l’homogénéité
