Brainscape's Knowledge GenomeTM

Browse over 1 million classes created by top students, professors, publishers, and experts.


See full index

Theorie des tests > Notion de fidélité > Flashcards

Notion de fidélité Flashcards

1
Q

Quelles sont les 2 composantes de la fidélité ( précision)

A
  • Précision : si déficit alors vrm déficit ?

- Repetabilite : 0 car ajd j’ai une perf mais demain ça peut changer

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Quel est le pb central de fidélité?

A

Stabilité/ instabilité des scores ->

Eske mes donnes sont fidèles pour tirer des conclusion ? Diagnostique ?

Moy = seule info pertinente donne indice de perf independent de fluctuation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Quel est l’équation de Spearman?

A

X = T + E

T: score vrai = moy d’administrations successives ( illimitées ) compétences psycho, attribut, vrai perf)

X : score

E: erreur

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

A sert fidélité ?

A

Estimer part d’erreur, % expliqué par T et % expliqué de variance par erreur

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Eske T et E sont corrélés?

A

Non -> QI élevé font même erreur que QI faible -> 0 interactions

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Qeski se passe si E faible ou modéré - fort ?

A

E faible -> X= T -> Donc bien déterminé par att psycho

E modéré - fort -> X = pas T -> 0 bonne indication

Mais tout les scores sont imparfait car induisent E -> si j’ai 101, c’est pas score exact mais mon score est autour de 101

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Quel est la complexification de l’équation de Spearman?

A

X= T + Es + Ea

Es: erreur systématique

Ea: erreur aléatoire -> pour raisons instables, réponses de personnes augmente ou diminue, 0 instable

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Qeske la fidélité dans l’équation complexifié?

A

Consistance entre diff sur X et diff sur T

Proportion score observé attribuable à T+ Es -> estimer Ea

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Ea= ?

A

Autres att psycho intervenant qui correspondent pas au score vrai mais qui y participent ( ex: niveau d’anxiété dans Test de raisonnement )

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

La fidélité sera probable si on a quelle taille d’échantillon ?

A

400 sujets

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Quel est le degré de fidélité si :

r > .90 (.95)

.80 < r < .89

.70< r< .79

.60< r < .69

.50

?

A
  • excellent, décision avec 1 seul test
  • Bon, décision avec 1-2 tests de même fidélité
  • adéquat, décision avec plusieurs autres tests de même fidélité
  • uniquement recherche
  • Pas utilisable pour une personne individuellement
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Quelles sont les 4 méthodes d’estimations empiriques de la fidélité ?

A
  • Internal ( inter juge)
  • Test - retest
  • Alternate form ( Formes //)
  • Interrater
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Qeske la fidélité inter juges ?

A

On regarde accord entre 2 juges si similaires ou non

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Quelles sont les domaines d’étude de la fidélité inter juge ?

A
  • Évaluation scolaire ( docimologie)
  • Milieu industriel ou organisationnel
  • Milieu clinique : diagnostique et évaluation (ex: Test de Rorschach )
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Quelles sont les fidélités du WISC 5 ?

A
  • .99 pour SIM, RV, INF

- .98 pour VOC, COMP

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Qeske la fidélité ?

A

Repetabilite des scores d’une personne au travers des scores -> stabilité de notre propre perf => question d’individus p

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Dans la fidélité inter juge , qeski est considéré comme haut et bas ?

A

Haut . 91

Bas : .70

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Qeske les formes // ?

A

On crée 2 versions // -> 2 paquets d’items X1 et X2

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Quelles sont les postulats de Formes //?

A

X1= X2

T1= T2

E1= E2

Critères rarement satisfaits

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

La fidélité dans Formes // = ..?

A

r( X1, X2) = coeff d’équivalence :

On vérifie postulate -> si X1 mesure anxiété et X2 mesure tjrs anxiété -> corrélation alors stabilité de perf interind -> montrer que tout les items valent le même attribut

( on a donc 2 scores)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Quelles sont les 2 types de formes // ?

A
  • Formes // immédiates : on fait passer X1 et X2 en même temps -> 0 bonne fidélité -> source de variation = items
  • Formes // différées dans le temps :
    —> meilleur méthode: on fait passer X1 et X2 a diff temps => bonne fidélité -> source de variation = lié à items mais aussi à temps

(=> 0 temps dans formes // immédiates + accord interjuges )

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Qeske le test - retest?

A

1 échantillon - 1 test - 2 passations pour contrôler temps

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Quels sont les postulats du test retest ? (2)

A
  • Stabilité du score vrai à travers temps ( 0 effet apprentissage mais il y en a tjrs )
  • Variance d’erreur test = variance d’erreur retest

Estimation adéquate si postulats satisfaits !

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Quel est le r de test retest?

A

R( test , retest) = coefficient de stabilité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

L’effet retest est plus fort si ..? ( facteurs influençant) ( 4)

A
  • Délai court -> jours/ semaines ( si annees-> trop coûteux , corrélation diminue)
  • Raisonnement - visuospatial ( vs verbal)
  • Personnes avec QI + ( enfant sera encore meilleur à 2e passation)
  • Épreuves peu saturées en facteur g ( vitesse)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Quel est le pb dans test - retest ?

A

Effet d’apprentissage ( stratégies, mémoires) —> a éviter car dev stratégies de mémorisation donc ça impacter résultat

-> jamais donner de feed-back de réponses après 1e passation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Quel est l’intervalle moyen de passation du 1e et 2 test dans WISC 5?

A

27 jours -> Mais on voit tjrs effet d’apprentissage car gens gagnent des points

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

Que faut-il faire avec effet d’apprentissage ?

A

Ces échelles ne doivent pas être administrés à - de 1 ans d’intervalle de passation

Si on fait passé deject -> mauvaise lecture de perf !

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
29
Q

WISC 5 avec 1.77 ans d’intervalle : quel résultat ?

A

On voit encore effet d’apprentissage peut être donc QI pas aussi stable que ca ->

Donc 0 bonne fidélité donc peut pas être utilisé comme un unique facteur pour tester perf

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
30
Q

Qeske la consistance interne?

A

1 test - 1 passation - 1 échantillon

-> 1 test = somme différentes parties

+ fréquent , mauvaise estimation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
31
Q

Quelles sont les diff méthodes de consistance interne ? (3)

A
  • Split half
  • KR-20
  • Coefficient Alpha
32
Q

Qeske le split half?

A

1 test : n items => 2 ensembles d’items ( n/2) ( ex: 25 et 25)

On a 2 sous scores :

  • Pair
  • Impair
33
Q

Quel est la fidelité de split half

Bonne fidélité ?

A

r(P1, P2) = .65 -> coeff de corrélation naturelle entre pairs et impaires

Non ! Car augmente avec nb d’items

34
Q

Quel pb avec le split half ?

A

En vrai j’ai 50 et pas 25 items donc c’est comme ci je faisais pour sur 25 avec pair -impair donc fidélité sur 25 et pas 50

35
Q

Quel est la meilleure procédure pour estimer la fidélité ?

A

La méthode des formes // différées

36
Q

La correction de Spearman- Brown s’applique car ?

A

Car la fidélité augmente avec le nb d’items

37
Q

Qeske la correction de Spearman Brown ?

Quelle formule ?

Quel postulat ?

A

Le r( P1, P2) = .65 sous estimé car prend en compte 25 et pas 50 le total ( split half)

r s-b = 2rtt/ 1 + rtt = 2.(.65) / 1+.65 = .78 => vrai coeff de fidélité !

Postulat : formes // ( moy - variances identiques etc)

.65 -> sert d’étapes pour calculer et appliquer formule et après on l’oublie car traduit pas bien fidélité !

38
Q

Qeske le coefficient Alpha de Cronbach?

A

1 item : n item continus

-> n: ensemble de 1 item ( ex: 50 items comme si on a 50 parties)

Fidélité = somme de covariances paires d’items ( 1-2, 1-3, …1-50)

Coeff Alpha fait moy entre ces cov de paires d’Items

39
Q

Quelle est la référence de fidélité dans le WISC 5?

A

.95

40
Q

Dans le WISC 5 on peut jamais interpréter le test de manière isolé car jamais suffisamment élevé pour interprétation : explique

A

On doit tjrs sommer Qi - 2 épreuves pour avoir estimation d’un att psycho, dans WISC , on met ensemble perf de similitudes et voc pour avoir indices de compréhension verbale

( fidélité de .88 alors que sim. 80 et voc .81 et si on met ensemble ces 2 là conduit à score globale avec fidélité sup a .88 -> jamais interpréter test de manière isolée

=> Le QI total = 1e démarche d’interprétation car c’est la 1e démarche fidèle => faut interpréter :

1) QI totale
2) Après indices

41
Q

Coeff Alpha : RCMAS:

Échelle d’anxiété enfants - ados

Note total : .84
Anxiété physio: .59
Inquiétude : .76
Préoccupations sociales : .69
Mensonge : .76

Quel résultat de estimation fidélité ?

A

On garde la note totale et encore atteint pas .90 donc faut autre indicateurs pour estimer vrm niveau d’anxiété ( obs clinique etc)

On garde pas les autres car d’un point de vue quantitatif -> Trop d’E et pas assez attribut

42
Q

Fidélité : synthèse méthodes et variance

A

Test - retest -> variance lié au temps

Formes // immédiates -> variance liée au contenu

Formes // différées -> variance liée au contenu et au temps

Coeff Alpha -> variance lié au contenu, entre personnes

Split half -> variance liée au contenu

Inter juges -> variance liée aux juges

43
Q

Qeske l’erreur de type de mesure ( SEm)?

A
  • fidélité des scores ( et non du test)
  • données de groupe , pas individu
  • application individuelle -> intervalle de confiance individuel

=> SEm

44
Q

Quelle est la formule de SEm?

A

🅾️ racine carré de 1-rxx

14.6 racine carré de 1-.95 = 3.26

🅾️: écart type du score ( ex/ WISC)

rxx: fidélité du QI

45
Q

Lorsqu’on applique score de SEm, par défaut on associe cette formule à ?

Est-ce suffisant ?

A

68% entre moy +_ 1 SEm

-> la valeur du 3.26 obtenu avant = associé au % de 68%

Pas suffisant en clinique !

46
Q

Dans SEm, 68% ne convient pas donc on utile quoi?

A

IC :

A 90% : 3.26 x1.645 = 5.37

A 95%: 3.26 x 1.96 = 6.40

=> valeur de IC autour desquels faut créer la perf

47
Q

Eske SEm nous donne les IC ?

A

Non faut calculer nous même !

Tout les scores SEm devraient être considérée avec IC

48
Q

Quel est l’influence de la métrique ?

A

Il faut pas chercher SEm sur echelle métrique , si même métrique alors on peut

Ex:

Score brut: 75-80 -> 5 pts de diff

Score standard : 500-600 : 100 pts de diff

=> pas la même chose !!

49
Q

Le coeff de fidélité influence IC:

Fidélité basse = quel IC ?

Fidélité haute = quel IC?

Ex avec WISC : moy: 100 et écart type 15

A

Fidélité basse : IC grand ( 0.3 -> IC de 100 +_10 pts

Fidélité haute : IC bas ( 0.98 -> 100 +_2 pts)

50
Q

Une bonne fidélité c’est quand on a un IC ..?

A

Petit

51
Q

Quel postulat de SEm?

A

Erreur = identique quelques soit la position sur distribution normale mais pas vrai en réalité !

52
Q

Qesk’il y a comme phénomène avec SEe ?

A

De régression à la moyenne ( + grande proba que les scores se rapproche de la moy plutot qu’ils s’en éloignent les scores vrais vont en direction de la moy)

53
Q

Qeske le SEe? ( erreur type d’estimation )

A

Score vrai estimé et non scores observé

V est= x| + rxx ( X- X| )

X| : moy des scores observés

X: score observé

rxx: fidélité

Ex: moy = 100 QI

rxx: .95

X: 96 ( score individu)

Score vrai estimé = 100 +.95 ( 96-100) => 96.205 ( vrai score estimé et pas 96! )

54
Q

Quelle est la formule de SEe?

A

🅾️ racine carré 1-rxx • (rxx)

🅾️: écart type

rxx: coeff de fidélité

55
Q

Intervalle +_ SEm :

Permet quoi? (2)

A
  • IC: plus petit

- Asymétrique dans les extremes -> lié à phénomène de régression à la moy

56
Q

Quand on a un score de 100 dans WISC 5 puisqu’on est à la moy :

Eskil y a régression à la moy ?

A

Non donc on a intervalle symétrique

57
Q

Comment sont les intervalles de SEm ?

Et les intervalles de SEe ?

A

SEm: tjrs symétrique

SEe: + on s’éloigne de la moy, + intervalles sont asymétriques

=> + grandes proba que valeurs s’approchent de la moy ( phénomème de regression à la moy)

58
Q

Ex: QI de 100 -> IC: 94-106

Quel est la valeur de erreur type ?

A

6

59
Q

Intervalle SEe:

Ex

SEe = 3.097 (68%)

SEe= 6.07 (95%)

A

QI: 75:

Score vrai : 100.1 + 95.75 (score observé) -100) = 76.255 ( score vrai)

Intervalle : (76.255-6.07)- (76.255+6.07) = [71-83] => -4/+8

QI: 100 -> Donc 0 régression à la moy donc IC symétrique !

Score vrai : 100.1+ .95 (100-100.1)= 100.005

Intervalle : (100.005-6.07) - (100.005 + 6.07) = [94-106] => -6/ + 6

60
Q

Comparaison SEm vs SEe :

Calculs

Ex. QIT = 120

A

calcul SEm ( rxx= .95)

SEm = 3.35

90% = 1.645 x 3.67 = 6.04 => [ 113.96-126.04] = [ 114-126]

Calcul SEe:

Score vrai = 100 + .94 (120 - 100) => 118.8 ( vrai score de QI)

SEe= .94 x 3.67 = 3.4498 x ( 1.645) = 5.6749

QI = 118.9 => SEe = (118.8 -5.67) => [113.125 -124.47] = [114-124] ( on va en direction de moy)

61
Q

Qeske l’erreur type de différence ( SEd)?

Quel objectif ?

A

Comparer les perf d’un individu à 2 tests/ scores

Probabilité que diff entre 2 mesures soit significative à 5% ( si score = ou pas dans les 2 tests)

Objectif : trouver une valeur seuil à partir de laquelle on va pouvoir dire qu’il y a une véritable différence entre les 2 scores de l’individu

62
Q

Quelle est la formule de SEd ?

A

Racine carré de SEmx^2 ( score 1) + SEmy^ 2 ( score 2)

63
Q

SEd:

Ex de calcul

A

SEm ICV = 5.29 => SEm^2 = 27.9841

SEm IVS = 4.31 => SEm^2 = 18.5761

SEd = racine carré de 27.9841+ 18.5761 = 6.8235

IC :6.8235 x 1.96 ( pour seuil de 5%) = 13.3740

-> si valeur inférieur à 13.37 , ex: 7 pts alors c’est du bruit -> 0 significatif

64
Q

SEd:

Ex: WISC 4: enfant 6;6

ICV = 92

IVS = 105

Diff significatives = seuil 13.37 pts

Ici 13 pts est ce que c’est significatif ?

A

Non !

Tant qu’on est inférieur au seuil observé, les 13 pts = pas significatif

ICV = IVS

65
Q

Explique l’anormalité de la diff entre 2 indices : diff cliniques

A

Si différence significative : fréquence d’apparition de la diff dans la pop

90% = normalité

10% = fonctionnement atypique

=> On à 1e étape de voir si la diff est significative, et ensuite quand il y a des diff significatives, on doit regarder la fréquence dans pop.

Si fait partie des 10% alors dysfonctionnement

Si fait partie de 90% de pop alors c’est juste qu’il y a un test ou il réussi mieux que l’autre

66
Q

Quelles sont les 7 facteurs influençant la fidélité des scores?

A
  • Cotation- correction du test
  • Contenu du test
  • Conditions d’administration du tests-> en modifiant conditions de passation: on altère fidélité scores, il y a risque d’arriver à des conclusions incorrectes
  • Circonstances personnelles ( ex: si on est fatigué -> bruit et on modifie fidélité/ diagnostic -> fait rétester)
  • Longueur du test
  • Heterogeneite échantillon
  • Difficulté du test
67
Q

Quel est l’influence du nb d’items sur coeff Alpha ?

A

Le coefficient alpha = fidélité, confiance qu’on peut avoir dans le score

ensuite il faut voir le nombre d’items pris en considération :

A si peu d’items : coefficient = faible ( Faut pas penser que alors c’est pas fidélité c’est juste qu’on manque d’items)

si beaucoup d’items : coefficient = grand

68
Q

Quelle est l’influence de l’hétérogénéité - homogénéité de échantillon?

A

Échantillon avec Hétérogénéité : corrélation forte

Échantillon avec homogénéité : 0 corrélation

69
Q

Limites des données de fidélité :

Quelle est l’erreur la plus répandue ?

A

Coeff Alpha comme indicateur de unidimensionnalité

  • > Pas un indicateur de unidimensionnalité mais suppose unidimensionnalité !
  • > Un coeff Alpha grand = pas preuve que test mesure 1 trait
  • Analyse factorielle
  • Oméga hiérarchique

-> C’est pas approprié de calculer un score général de coeff Alpha alors que test = hétérogène

70
Q

Limite de données fidélité ;

Évaluation changement : diff, attributs etc

D = T1-T2

Qeski se passe ?

A

T1 et T2 fidèles => diff fidèle

Si forte corrélation T1-T2=> faible fidélité

Score de diff : déconseillé

D’un point de vue de l’interprétation, on arrive à des scores moins fidèles

71
Q

Limite de données de fidélité :

Fidélité inter- vs intra individuelle :

Fidélité = ?

Application au niveau ?

Que dit Hogan?

A

Fidélité : stabilité différentielle

Application au niveau individuel

Le fait que corrélation concerne position relative plutôt que score absolu = pas une préoccupation importante

72
Q

Limites des données de fidélité :

Stabilité inter= stabilité intra individuelle ?

A

À voir

73
Q

Conclusion fidélité ;

A

Aucun teste n’est parfait : erreur de mesure

fidélité : estimation de l’erreur

fidélité/précision: propriété de l’interaction population X teste (et non du test seul) ( on ne peut pas reprendre données de fidélités obtenus sur autres groupes, surtout pas sur groupes diff culturellement)

pas de généralisation de coeff de fidélité à d’autres échantillon

distinction fidélité validité selon TCT

74
Q

Conclusion 2:

A

SEm et SEe : IC

SEd: significativite des diff, diff cliniques

De nombreux facteurs influencent la fidélité des scores

-> homogénéité/ hétérogénéité de échantillon

75
Q

Conclusion 3:

A

Fidélité, score vrai, erreur de mesure

données inter individuels, Intras individuel ( fidélité est pas là même pour tous les individus, d’un point de vue clinique cela rajoute des problèmes)

posent de nombreux problèmes

score de différence : peu fidèle

76
Q

Conclusion 4:

A

To simply estimate coefficient Alpha or some other measure of internal consistency and assume that the question of reliability generalizability has been addressed is to beg the question of generalizability

Impossible de savoir si test = fidèle pour la personne testée !

  • convergence des données
77
Q

Coeff Alpha et unidimensionnalité :

Alpha = .72

Explique pk Alpha n’évalue pas forcément qu’une seule dimension.

A

1e item : ces 6 items font appellent à une même dimension psychologique.

2e : construction de petits facteurs de groupe. Les items continuent de partager ensemble mais il y a 2 paquets d’étendu (123 et 456) qui corrèlent + fortement entre eux —>

Piste qu’il y a 2 attributs psycho alors que Alpha reste le même.

3e: renforce les corrélations entre les paquets d’items et donc le partage de tout les items ensemble diminue alors qu’alpha reste le même.

Alpha = .72 pour chacun des jeux de données

Consequence : Alpha n’évalue pas forcément qu’une seule dimension. Il faut d’abord faire une analyse factorielle pour voir si on a 1 ou + paquets d’items.

Theorie des tests (5 decks)

Brainscape helps you reach your goals faster, through stronger study habits.
© 2024 Bold Learning Solutions. Terms and Conditions