Notion de fidélité Flashcards
Quelles sont les 2 composantes de la fidélité ( précision)
- Précision : si déficit alors vrm déficit ?
- Repetabilite : 0 car ajd j’ai une perf mais demain ça peut changer
Quel est le pb central de fidélité?
Stabilité/ instabilité des scores ->
Eske mes donnes sont fidèles pour tirer des conclusion ? Diagnostique ?
Moy = seule info pertinente donne indice de perf independent de fluctuation
Quel est l’équation de Spearman?
X = T + E
T: score vrai = moy d’administrations successives ( illimitées ) compétences psycho, attribut, vrai perf)
X : score
E: erreur
A sert fidélité ?
Estimer part d’erreur, % expliqué par T et % expliqué de variance par erreur
Eske T et E sont corrélés?
Non -> QI élevé font même erreur que QI faible -> 0 interactions
Qeski se passe si E faible ou modéré - fort ?
E faible -> X= T -> Donc bien déterminé par att psycho
E modéré - fort -> X = pas T -> 0 bonne indication
Mais tout les scores sont imparfait car induisent E -> si j’ai 101, c’est pas score exact mais mon score est autour de 101
Quel est la complexification de l’équation de Spearman?
X= T + Es + Ea
Es: erreur systématique
Ea: erreur aléatoire -> pour raisons instables, réponses de personnes augmente ou diminue, 0 instable
Qeske la fidélité dans l’équation complexifié?
Consistance entre diff sur X et diff sur T
Proportion score observé attribuable à T+ Es -> estimer Ea
Ea= ?
Autres att psycho intervenant qui correspondent pas au score vrai mais qui y participent ( ex: niveau d’anxiété dans Test de raisonnement )
La fidélité sera probable si on a quelle taille d’échantillon ?
400 sujets
Quel est le degré de fidélité si :
r > .90 (.95)
.80 < r < .89
.70< r< .79
.60< r < .69
.50
?
- excellent, décision avec 1 seul test
- Bon, décision avec 1-2 tests de même fidélité
- adéquat, décision avec plusieurs autres tests de même fidélité
- uniquement recherche
- Pas utilisable pour une personne individuellement
Quelles sont les 4 méthodes d’estimations empiriques de la fidélité ?
- Internal ( inter juge)
- Test - retest
- Alternate form ( Formes //)
- Interrater
Qeske la fidélité inter juges ?
On regarde accord entre 2 juges si similaires ou non
Quelles sont les domaines d’étude de la fidélité inter juge ?
- Évaluation scolaire ( docimologie)
- Milieu industriel ou organisationnel
- Milieu clinique : diagnostique et évaluation (ex: Test de Rorschach )
Quelles sont les fidélités du WISC 5 ?
- .99 pour SIM, RV, INF
- .98 pour VOC, COMP
Qeske la fidélité ?
Repetabilite des scores d’une personne au travers des scores -> stabilité de notre propre perf => question d’individus p
Dans la fidélité inter juge , qeski est considéré comme haut et bas ?
Haut . 91
Bas : .70
Qeske les formes // ?
On crée 2 versions // -> 2 paquets d’items X1 et X2
Quelles sont les postulats de Formes //?
X1= X2
T1= T2
E1= E2
Critères rarement satisfaits
La fidélité dans Formes // = ..?
r( X1, X2) = coeff d’équivalence :
On vérifie postulate -> si X1 mesure anxiété et X2 mesure tjrs anxiété -> corrélation alors stabilité de perf interind -> montrer que tout les items valent le même attribut
( on a donc 2 scores)
Quelles sont les 2 types de formes // ?
- Formes // immédiates : on fait passer X1 et X2 en même temps -> 0 bonne fidélité -> source de variation = items
- Formes // différées dans le temps :
—> meilleur méthode: on fait passer X1 et X2 a diff temps => bonne fidélité -> source de variation = lié à items mais aussi à temps
(=> 0 temps dans formes // immédiates + accord interjuges )
Qeske le test - retest?
1 échantillon - 1 test - 2 passations pour contrôler temps
Quels sont les postulats du test retest ? (2)
- Stabilité du score vrai à travers temps ( 0 effet apprentissage mais il y en a tjrs )
- Variance d’erreur test = variance d’erreur retest
Estimation adéquate si postulats satisfaits !
Quel est le r de test retest?
R( test , retest) = coefficient de stabilité
L’effet retest est plus fort si ..? ( facteurs influençant) ( 4)
- Délai court -> jours/ semaines ( si annees-> trop coûteux , corrélation diminue)
- Raisonnement - visuospatial ( vs verbal)
- Personnes avec QI + ( enfant sera encore meilleur à 2e passation)
- Épreuves peu saturées en facteur g ( vitesse)
Quel est le pb dans test - retest ?
Effet d’apprentissage ( stratégies, mémoires) —> a éviter car dev stratégies de mémorisation donc ça impacter résultat
-> jamais donner de feed-back de réponses après 1e passation
Quel est l’intervalle moyen de passation du 1e et 2 test dans WISC 5?
27 jours -> Mais on voit tjrs effet d’apprentissage car gens gagnent des points
Que faut-il faire avec effet d’apprentissage ?
Ces échelles ne doivent pas être administrés à - de 1 ans d’intervalle de passation
Si on fait passé deject -> mauvaise lecture de perf !
WISC 5 avec 1.77 ans d’intervalle : quel résultat ?
On voit encore effet d’apprentissage peut être donc QI pas aussi stable que ca ->
Donc 0 bonne fidélité donc peut pas être utilisé comme un unique facteur pour tester perf
Qeske la consistance interne?
1 test - 1 passation - 1 échantillon
-> 1 test = somme différentes parties
+ fréquent , mauvaise estimation
Quelles sont les diff méthodes de consistance interne ? (3)
- Split half
- KR-20
- Coefficient Alpha
Qeske le split half?
1 test : n items => 2 ensembles d’items ( n/2) ( ex: 25 et 25)
On a 2 sous scores :
- Pair
- Impair
Quel est la fidelité de split half
Bonne fidélité ?
r(P1, P2) = .65 -> coeff de corrélation naturelle entre pairs et impaires
Non ! Car augmente avec nb d’items
Quel pb avec le split half ?
En vrai j’ai 50 et pas 25 items donc c’est comme ci je faisais pour sur 25 avec pair -impair donc fidélité sur 25 et pas 50
Quel est la meilleure procédure pour estimer la fidélité ?
La méthode des formes // différées
La correction de Spearman- Brown s’applique car ?
Car la fidélité augmente avec le nb d’items
Qeske la correction de Spearman Brown ?
Quelle formule ?
Quel postulat ?
Le r( P1, P2) = .65 sous estimé car prend en compte 25 et pas 50 le total ( split half)
r s-b = 2rtt/ 1 + rtt = 2.(.65) / 1+.65 = .78 => vrai coeff de fidélité !
Postulat : formes // ( moy - variances identiques etc)
.65 -> sert d’étapes pour calculer et appliquer formule et après on l’oublie car traduit pas bien fidélité !
Qeske le coefficient Alpha de Cronbach?
1 item : n item continus
-> n: ensemble de 1 item ( ex: 50 items comme si on a 50 parties)
Fidélité = somme de covariances paires d’items ( 1-2, 1-3, …1-50)
Coeff Alpha fait moy entre ces cov de paires d’Items
Quelle est la référence de fidélité dans le WISC 5?
.95
Dans le WISC 5 on peut jamais interpréter le test de manière isolé car jamais suffisamment élevé pour interprétation : explique
On doit tjrs sommer Qi - 2 épreuves pour avoir estimation d’un att psycho, dans WISC , on met ensemble perf de similitudes et voc pour avoir indices de compréhension verbale
( fidélité de .88 alors que sim. 80 et voc .81 et si on met ensemble ces 2 là conduit à score globale avec fidélité sup a .88 -> jamais interpréter test de manière isolée
=> Le QI total = 1e démarche d’interprétation car c’est la 1e démarche fidèle => faut interpréter :
1) QI totale
2) Après indices
Coeff Alpha : RCMAS:
Échelle d’anxiété enfants - ados
Note total : .84 Anxiété physio: .59 Inquiétude : .76 Préoccupations sociales : .69 Mensonge : .76
Quel résultat de estimation fidélité ?
On garde la note totale et encore atteint pas .90 donc faut autre indicateurs pour estimer vrm niveau d’anxiété ( obs clinique etc)
On garde pas les autres car d’un point de vue quantitatif -> Trop d’E et pas assez attribut
Fidélité : synthèse méthodes et variance
Test - retest -> variance lié au temps
Formes // immédiates -> variance liée au contenu
Formes // différées -> variance liée au contenu et au temps
Coeff Alpha -> variance lié au contenu, entre personnes
Split half -> variance liée au contenu
Inter juges -> variance liée aux juges
Qeske l’erreur de type de mesure ( SEm)?
- fidélité des scores ( et non du test)
- données de groupe , pas individu
- application individuelle -> intervalle de confiance individuel
=> SEm
Quelle est la formule de SEm?
🅾️ racine carré de 1-rxx
14.6 racine carré de 1-.95 = 3.26
🅾️: écart type du score ( ex/ WISC)
rxx: fidélité du QI
Lorsqu’on applique score de SEm, par défaut on associe cette formule à ?
Est-ce suffisant ?
68% entre moy +_ 1 SEm
-> la valeur du 3.26 obtenu avant = associé au % de 68%
Pas suffisant en clinique !
Dans SEm, 68% ne convient pas donc on utile quoi?
IC :
A 90% : 3.26 x1.645 = 5.37
A 95%: 3.26 x 1.96 = 6.40
=> valeur de IC autour desquels faut créer la perf
Eske SEm nous donne les IC ?
Non faut calculer nous même !
Tout les scores SEm devraient être considérée avec IC
Quel est l’influence de la métrique ?
Il faut pas chercher SEm sur echelle métrique , si même métrique alors on peut
Ex:
Score brut: 75-80 -> 5 pts de diff
Score standard : 500-600 : 100 pts de diff
=> pas la même chose !!
Le coeff de fidélité influence IC:
Fidélité basse = quel IC ?
Fidélité haute = quel IC?
Ex avec WISC : moy: 100 et écart type 15
Fidélité basse : IC grand ( 0.3 -> IC de 100 +_10 pts
Fidélité haute : IC bas ( 0.98 -> 100 +_2 pts)
Une bonne fidélité c’est quand on a un IC ..?
Petit
Quel postulat de SEm?
Erreur = identique quelques soit la position sur distribution normale mais pas vrai en réalité !
Qesk’il y a comme phénomène avec SEe ?
De régression à la moyenne ( + grande proba que les scores se rapproche de la moy plutot qu’ils s’en éloignent les scores vrais vont en direction de la moy)
Qeske le SEe? ( erreur type d’estimation )
Score vrai estimé et non scores observé
V est= x| + rxx ( X- X| )
X| : moy des scores observés
X: score observé
rxx: fidélité
Ex: moy = 100 QI
rxx: .95
X: 96 ( score individu)
Score vrai estimé = 100 +.95 ( 96-100) => 96.205 ( vrai score estimé et pas 96! )
Quelle est la formule de SEe?
🅾️ racine carré 1-rxx • (rxx)
🅾️: écart type
rxx: coeff de fidélité
Intervalle +_ SEm :
Permet quoi? (2)
- IC: plus petit
- Asymétrique dans les extremes -> lié à phénomène de régression à la moy
Quand on a un score de 100 dans WISC 5 puisqu’on est à la moy :
Eskil y a régression à la moy ?
Non donc on a intervalle symétrique
Comment sont les intervalles de SEm ?
Et les intervalles de SEe ?
SEm: tjrs symétrique
SEe: + on s’éloigne de la moy, + intervalles sont asymétriques
=> + grandes proba que valeurs s’approchent de la moy ( phénomème de regression à la moy)
Ex: QI de 100 -> IC: 94-106
Quel est la valeur de erreur type ?
6
Intervalle SEe:
Ex
SEe = 3.097 (68%)
SEe= 6.07 (95%)
QI: 75:
Score vrai : 100.1 + 95.75 (score observé) -100) = 76.255 ( score vrai)
Intervalle : (76.255-6.07)- (76.255+6.07) = [71-83] => -4/+8
QI: 100 -> Donc 0 régression à la moy donc IC symétrique !
Score vrai : 100.1+ .95 (100-100.1)= 100.005
Intervalle : (100.005-6.07) - (100.005 + 6.07) = [94-106] => -6/ + 6
Comparaison SEm vs SEe :
Calculs
Ex. QIT = 120
calcul SEm ( rxx= .95)
SEm = 3.35
90% = 1.645 x 3.67 = 6.04 => [ 113.96-126.04] = [ 114-126]
Calcul SEe:
Score vrai = 100 + .94 (120 - 100) => 118.8 ( vrai score de QI)
SEe= .94 x 3.67 = 3.4498 x ( 1.645) = 5.6749
QI = 118.9 => SEe = (118.8 -5.67) => [113.125 -124.47] = [114-124] ( on va en direction de moy)
Qeske l’erreur type de différence ( SEd)?
Quel objectif ?
Comparer les perf d’un individu à 2 tests/ scores
Probabilité que diff entre 2 mesures soit significative à 5% ( si score = ou pas dans les 2 tests)
Objectif : trouver une valeur seuil à partir de laquelle on va pouvoir dire qu’il y a une véritable différence entre les 2 scores de l’individu
Quelle est la formule de SEd ?
Racine carré de SEmx^2 ( score 1) + SEmy^ 2 ( score 2)
SEd:
Ex de calcul
SEm ICV = 5.29 => SEm^2 = 27.9841
SEm IVS = 4.31 => SEm^2 = 18.5761
SEd = racine carré de 27.9841+ 18.5761 = 6.8235
IC :6.8235 x 1.96 ( pour seuil de 5%) = 13.3740
-> si valeur inférieur à 13.37 , ex: 7 pts alors c’est du bruit -> 0 significatif
SEd:
Ex: WISC 4: enfant 6;6
ICV = 92
IVS = 105
Diff significatives = seuil 13.37 pts
Ici 13 pts est ce que c’est significatif ?
Non !
Tant qu’on est inférieur au seuil observé, les 13 pts = pas significatif
ICV = IVS
Explique l’anormalité de la diff entre 2 indices : diff cliniques
Si différence significative : fréquence d’apparition de la diff dans la pop
90% = normalité
10% = fonctionnement atypique
=> On à 1e étape de voir si la diff est significative, et ensuite quand il y a des diff significatives, on doit regarder la fréquence dans pop.
Si fait partie des 10% alors dysfonctionnement
Si fait partie de 90% de pop alors c’est juste qu’il y a un test ou il réussi mieux que l’autre
Quelles sont les 7 facteurs influençant la fidélité des scores?
- Cotation- correction du test
- Contenu du test
- Conditions d’administration du tests-> en modifiant conditions de passation: on altère fidélité scores, il y a risque d’arriver à des conclusions incorrectes
- Circonstances personnelles ( ex: si on est fatigué -> bruit et on modifie fidélité/ diagnostic -> fait rétester)
- Longueur du test
- Heterogeneite échantillon
- Difficulté du test
Quel est l’influence du nb d’items sur coeff Alpha ?
Le coefficient alpha = fidélité, confiance qu’on peut avoir dans le score
ensuite il faut voir le nombre d’items pris en considération :
A si peu d’items : coefficient = faible ( Faut pas penser que alors c’est pas fidélité c’est juste qu’on manque d’items)
si beaucoup d’items : coefficient = grand
Quelle est l’influence de l’hétérogénéité - homogénéité de échantillon?
Échantillon avec Hétérogénéité : corrélation forte
Échantillon avec homogénéité : 0 corrélation
Limites des données de fidélité :
Quelle est l’erreur la plus répandue ?
Coeff Alpha comme indicateur de unidimensionnalité
- > Pas un indicateur de unidimensionnalité mais suppose unidimensionnalité !
- > Un coeff Alpha grand = pas preuve que test mesure 1 trait
- Analyse factorielle
- Oméga hiérarchique
-> C’est pas approprié de calculer un score général de coeff Alpha alors que test = hétérogène
Limite de données fidélité ;
Évaluation changement : diff, attributs etc
D = T1-T2
Qeski se passe ?
T1 et T2 fidèles => diff fidèle
Si forte corrélation T1-T2=> faible fidélité
Score de diff : déconseillé
D’un point de vue de l’interprétation, on arrive à des scores moins fidèles
Limite de données de fidélité :
Fidélité inter- vs intra individuelle :
Fidélité = ?
Application au niveau ?
Que dit Hogan?
Fidélité : stabilité différentielle
Application au niveau individuel
Le fait que corrélation concerne position relative plutôt que score absolu = pas une préoccupation importante
Limites des données de fidélité :
Stabilité inter= stabilité intra individuelle ?
À voir
Conclusion fidélité ;
Aucun teste n’est parfait : erreur de mesure
fidélité : estimation de l’erreur
fidélité/précision: propriété de l’interaction population X teste (et non du test seul) ( on ne peut pas reprendre données de fidélités obtenus sur autres groupes, surtout pas sur groupes diff culturellement)
pas de généralisation de coeff de fidélité à d’autres échantillon
distinction fidélité validité selon TCT
Conclusion 2:
SEm et SEe : IC
SEd: significativite des diff, diff cliniques
De nombreux facteurs influencent la fidélité des scores
-> homogénéité/ hétérogénéité de échantillon
Conclusion 3:
Fidélité, score vrai, erreur de mesure
données inter individuels, Intras individuel ( fidélité est pas là même pour tous les individus, d’un point de vue clinique cela rajoute des problèmes)
posent de nombreux problèmes
score de différence : peu fidèle
Conclusion 4:
To simply estimate coefficient Alpha or some other measure of internal consistency and assume that the question of reliability generalizability has been addressed is to beg the question of generalizability
Impossible de savoir si test = fidèle pour la personne testée !
- convergence des données
Coeff Alpha et unidimensionnalité :
Alpha = .72
Explique pk Alpha n’évalue pas forcément qu’une seule dimension.
1e item : ces 6 items font appellent à une même dimension psychologique.
2e : construction de petits facteurs de groupe. Les items continuent de partager ensemble mais il y a 2 paquets d’étendu (123 et 456) qui corrèlent + fortement entre eux —>
Piste qu’il y a 2 attributs psycho alors que Alpha reste le même.
3e: renforce les corrélations entre les paquets d’items et donc le partage de tout les items ensemble diminue alors qu’alpha reste le même.
Alpha = .72 pour chacun des jeux de données
Consequence : Alpha n’évalue pas forcément qu’une seule dimension. Il faut d’abord faire une analyse factorielle pour voir si on a 1 ou + paquets d’items.
