Fidélité de la mesure Flashcards

1
Q

Quel est la formule théorique du score z ?

A

z=(X-M)/s

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

À quoi s’intéresse une corrélation ?

A

À la constance de l’écart de la moyenne d’un individu sur 2 variables.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Dans quel conditions peut se calculer une corrélation ?

A
  • Des données sont disponibles pour une groupe d’individus
  • Ces individus doivent avoir un score sur deux variables ou à deux temps de mesure
  • Ces variables doivent minimalement être de niveau ordinal
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Nommez les trois concepts de base de la corrélation.

A
  1. Vise à étudier le lien entre deux variables
  2. Ne permet pas d’établir un lien de causalité
  3. Vérifie s’il existe une relation linéaire entre deux variables
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Qu’est-ce qu’un niveau d’association ?

A

Est-ce que X est associé à Y ?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Qu’est-ce qu’un niveau prédictif ?

A

Est-ce que X et Y ont une variance commune ? Dans quel mesure la variance de X permet de prédire la variance de Y ?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Quand le coefficient de variation est près de -1, cela signifie qu’il y a une relation moins forte. Vrai ou faux ?

A

Faux. Plus c’est près de 0, moins c’est important. Donc une relation de -1 et de 1 sont de force égale.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Qu’est-ce qu’une corrélation positive ?

A

Plus les scores à la variable X augmentent, plus les scores à la variable Y augmentent.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Qu’est-ce qu’une corrélation négative ?

A

Plus les scores à la variable X augmentent, plus les scores de la variable Y diminuent.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Nommez le critère d’interprétation de Guilford.

A
  • 0,90 à 1,00 (-0,90 à -1,00): Relation très forte
  • 0,70 à 0,89 (-0,70 à -0,89): Relation forte
  • 0,40 à 0,69 (-0,40 à –0,69): Relation modérée
  • 0,20 à 0,39 (-0,20 à –0,39): Relation faible
  • 0,00 à 0,19 (0,00 à –0,19): Relation négligeable
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Une corrélation négative n’est pas synonyme de corrélation faible. Vrai ou faux ?

A

Vrai.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Le coefficient de détermination aide à interpréter le coefficient de corrélation. Vrai ou faux ?

A

Vrai.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Qu’est-ce que le coefficient de détermination indique ?

A
  • Indique le % de variance commune entre deux variables. - Indique la proportion de variance d’une variable qui est
    commune à la variance de l’autre variable.
  • Coefficient de détermination = (r2) * 100
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

À quoi s’intéresse la fidélité ?

A

La fidélité s’intéresse à la constance de la mesure, et par conséquent aux sources d’inconstance ou d’erreur transitoire (ou non-systématique) dans l’évaluation.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

À quoi s’intéresse la validité ?

A

La validité s’intéresse à la précision, à la capacité de la mesure à faire des prédictions juste par rapport à des variables psychologiques.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

En recourant à différentes méthode d’estimation, la fidélité vise à déterminer le % d’erreur d’échantillonnage relative… :

A
  • au moment de l’évaluation;
  • au contenu du test (choix des items);
  • à la subjectivité de la correction;
  • au hasard.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Comment illustre-t-on la fidélité ?

A

rxx

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Quel aspect la fidélité compare-t-elle entre eux ?

A
  • Les questions d’un test devraient être corrélées;
  • Les résultats à un test ne devraient par être influencés par le correcteur;
  • Les résultats à un test devraient être stables dans le temps.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Qu’est-ce que la théorie classique des tests stipule et quel est sa formule ?

A
Cette théorie postule qu’aucune mesure n’est parfaite et donc...
- X=V+E
• X=Score observé
• V=Score vrai
• E = Erreur de mesure
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Comment l’erreur de mesure peut affecter la fidélité et le validité d’un test ?

A
  • Sources d’erreur transitoire affectent la fidélité.
  • Sources d’erreur systématique affectent la validité.
  • La validité est limitée par la fidélité d’un test.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Fidélité parfaite = coefficient parfait (valeur de 1) . Vrai ou faux ?

A

Vrai.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Quel est la formule de % de variance à l’erreur ?

A

% de variance à l’erreur = (1 – coefficient de fidélité) * 100

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Quels sont les principes de base de la fidélité test-retest ?

A
  • Une évaluation se produit à un moment donné, mais quel est l’impact du choix de ce moment sur les résultats?
  • La fidélité test-retest vise à savoir si l’échantillonnage de moment qu’on a pris pour évaluer le comportement de la personne permet une évaluation représentative de son comportement dans la vie de tous les jours.
  • Fournit un indice de la stabilité de la mesure et de l’erreur d’échantillonnage de moment.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Quel est la démarche employée dans la fidélité test-retest ?

A
  • Passation du test à deux reprises à un groupe.
  • Délai est souvent de 2 à 4 semaines.
  • Délai plus long si le construit est supposé être stable.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Quel est le contexte d’utilisation de la fidélité test-retest ?

A
  • Lorsque le construit évalué par le test a la réputation d’être stable (ex: personnalité) ou de varier selon les situations (ex: anxiété).
  • Si l’objectif d’utilisation du test est d’évaluer des changements dans le temps.
  • Donc, presque toujours pertinent de recourir à la fidélité test-retest.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Comment interprète-t-on un coefficient de corrélation dans un contexte de fidélité test-retest ?

A
  • Coefficient + car le test est comparé à lui-même.
  • Plus le délai est long, plus le coefficient sera faible.
  • Dépend de la stabilité du construit évalué et des caractéristiques des participants à l’étude.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Si les résultats ne vont pas dans le sens du construit mesuré = … ?

A

Instabilité attribuable à l’utilisation du test.

28
Q

Comment un test peut-il être instable ?

A
  • Apprentissage possible (surtout si cognitif); réactivité de la mesure;
  • Influence de facteurs transitoires.
29
Q

% de variance d’erreur liée à l’échantillonnage de moment =.. ?

A

1 - fidélité du test.

30
Q

Quel sont les principes de base des formes équivalentes ?

A
  • Bien que le test constitue un échantillon de comportements, le fait qu’on ait choisi tel ou tel comportement (item) ne devrait pas influencer le résultat au test.
  • Si on a des échantillons de comportements (d’items) différents, les résultats devraient donc être les mêmes.
31
Q

Quel est la démarche employée dans la méthode des formes équivalentes ?

A
  • Constitution d’une banque d’items.
  • Division en deux pour faire 2 versions du même test.
  • Administration des 2 versions au même groupe d’individus.
  • Corrélation entre les résultats.
  • Administration généralement consécutive des 2 tests.
  • Si délai introduit = le coefficient mesure aussi la stabilité
32
Q

Quel est le contexte d’utilisation des formes équivalentes ?

A
  • Lorsque le test sera passé à plus d’une reprise et que l’effet de la mesure est jugée important (apprentissage, réactivité, facteurs transitoires).
  • Donc, pas toujours pertinent de recourir à cette méthode d’estimation.
33
Q

Quel sont les méthodes d’estimation ?

A
  • Test-retest
  • Formes équivalentes
  • Accord inter-juges
  • Cohérence interne
34
Q

Comment interprète-t-on le coefficient de corrélation avec les formes équivalentes ?

A
  • Coefficient + car le test est comparé à lui-même.

- Corrélation élevée (r = 0.70 et +) si pas de délai entre la passation des deux formes ou que le délai très court.

35
Q

Si les résultats ne vont pas dans le sens attendu = … ?

A

Problème d’échantillonnage de contenu.

36
Q

Comment les formes équivalentes peuvent avoir un problème d’échantillonnage de contenu ?

A

Il est plutôt difficile de constituer deux formes équivalentes à un test.

37
Q

% de variance d’erreur liée à l’échantillonnage de contenu = … ?

A

1 - fidélité du test.

38
Q

Quels sont les principes de bases de l’accord interjuges ?

A
  • Le test est une mesure objective d’un construit qui suit certaines règles. L’application des règles peut être empreinte d’erreurs.
  • L’accord interjuges vise à vérifier si les résultats seront les mêmes indépendamment de la personne qui évalue l’individu.
39
Q

Quel est la démarche employée dans l’accord interjuge ?

A
  • Deux experts cotent le même groupe de sujets.

- Calcul de la corrélation des résultats des deux juges.

40
Q

Quel est le contexte d’utilisation dans l’accord interjuge ?

A
  • Lorsque les résultats d’un test impliquent le jugement d’un tiers. Ex: tests d’intelligence, grilles d’observation, tests projectifs.
  • Illustration avec un test d’intelligence: Comporte des tâches où l’examinateur doit juger de la qualité des réponses selon diverses balises.
  • Illustration avec une grille d’analyse de dossier: Dans cet exemple, grille qui vise à catégoriser les formes d’abus vécus par un enfant.
41
Q

Comment interprète-t-on le coefficient de corrélation avec l’accord interjuge ?

A
  • Corrélation + car le test est comparé à lui-même.
  • Corrélation élevée (r = 0.70 et +) car on applique les mêmes critères pour tous.
  • S’il s ’agit d’un % d’accord, on visera 90%.
42
Q

Si les résultats ne vont pas dans le même sens = ..?

A

critères de correction

pas assez objectifs, termes pas assez définis ou opérationnels.

43
Q

% de variance d’erreur attribuable à la subjectivité de la correction =… ?

A

1 - fidélité du test.

44
Q

Quels sont les principes de base de la cohérence interne ?

A
  • Si les items d’un test mesurent tous le même construit, ceux-ci devraient être corrélés entre eux. Ils devraient varier à un rythme comparable.
45
Q

Quel est la démarche employée avec la cohérence interne ?

A
  • On administre le test à un groupe d’individus.
  • On procède à des corrélations entre les items.
  • On applique une formule qui considérera un certain nombre de corrélations possibles.
46
Q

Quels sont les trois méthodes d’estimation de la cohérence interne ?

A
  1. Moitié-moitié
  2. Alpha de Cronbach
  3. Kuder-Richardson
47
Q

Dans chacune des 3 méthodes d’estimation de cohérence interne il y a un indice d’hétérogénéité de la mesure. Vrai ou faux ?

A

Faux. D’homogéneité.

48
Q

En quoi consiste la méthode moitié-moitié ?

A
  • Division du test en deux (seulement pour analyses) et calcul de la rxx
  • Inconvénients:
  • Le résultat peut être dû au hasard.
  • Le résultat n’est peut-être pas
    représentatif de l’ensemble des corrélations moitié-moitié.
  • La formule de correction de Spearman- Brown permet de prendre en compte
    ces inconvénients et de corriger le coefficient obtenu (voir p. 89 Hogan).
  • Formule pas à mémoriser.
49
Q

En quoi consiste les méthodes alpha de cronbach et du kuder-richardson ?

A
  • Considèrent toutes les corrélations moitié-moitié possibles.
  • Plus précise que la méthode moitié- moitié.
  • Le Kuder-Richardson (KR-20) = pour les données dichotomiques (0-1)
  • L’alpha = pour les données continues (0, 1, 2, 3, etc.).
  • Ces formules (voir p. 89-90 de Hogan) ne sont pas à mémoriser.
50
Q

Quel est le contexte d’utilisation de le cohérence interne ?

A
  • Nécessaire d’avoir un indice de cohérence interne pour chacun des scores utilisés dans un test (donc toujours pertinent).
  • Utile pour identifier les énoncés marginaux lors du développement d’une mesure.
  • Dans certains cas, l’emploi d’un alpha ou d’un KR-20 est impossible: Ex: lorsque le résultat à un item est influencé par le résultat à l’item
    précédent (tâches chronométrées).
  • Dans ces cas, on vérifiera… la fidélité test-retest ou la fidélité moitié-moitié (pair/impair).
51
Q

Quel est le contexte d’interprétation d’un coefficient moitié-moitié ?

A
  • Coefficient de corrélation
  • Corrélation + car le test est
    comparé à lui-même.
  • Corrélation élevée (r = 0.70 et +) car deux parties du même test.
52
Q

% de variance d’erreur attribuable à l’échantillonnage de contenu = 1 - fidélité du test. Ce calcul à rapport avec ?

A

Un coefficient moitié-moitié.

53
Q

Quel est le contexte d’interprétation d’un alpha ou d’un kuder-richardson ?

A
  • L’interprétationdépenddutypede mesure et de l’utilisation du test:
  • En recherche = 0,65 et +
  • Évaluation des individus = 0,70 et +
  • Décision de classement = 0,90 +
54
Q

%devarianced’erreuraléatoire= 1 - fidélité du test. Ce calcul à rapport avec ?

A

Interprétation d’un alpha ou d’un Kuder-richardson.

55
Q

Tous ces coefficients assument que tous les items mesurent le même trait. Ils camouflent aussi l’influence des facteurs transitoires. Ces coefficients sont les moins conservateurs. Pour la cohérence interne. Vrai ou faux ?

A

Vrai.

56
Q

Nommez les facteurs influençant la fidélité.

A
  • Méthodes d’estimation
  • Longueur du test
  • Variabilité des scores
  • Réponses aléatoires
  • Intervalle test-retest
  • Variation au cours du testing
  • Erreur non systématique
  • Hétérogénéité de l’échantillon
57
Q

Qu’est-ce que l’erreur type de mesure ?

A

Permet de rendre en compte que la fidélité du test est imparfaite lors de l’interprétation des résultats des individus.

58
Q

Si un test est moins fidèle, on devrait être plus prudent dans l’interprétation des données. On sait que l’écart entre le score observé et le score vrai est plus petit. Vrai ou faux ?

A

Faux. plus grand.

59
Q

Quel est la formule de l’erreur-type de mesure ?

A
  • ETM = s √ 1- rxx
  • s=écart-type
  • rxx=fidélitédutest
60
Q

En fonction de l’aire sous la courbe normale et l’ETM, nous savons : … ?

A
  • 68% équivaut à un z = 1
  • 95% équivaut à un z = 1,96
  • 99% équivaut à un z = 2,58
61
Q

À partir de l’ETM, l’intervalle de confiance permet de déterminer le % de chances de retrouver le score vrai à l’intérieur de l’intervalle particulier. Vrai ou faux ?

A

Vrai.

62
Q

Quel est la formule de l’intervalle de confiance ?

A
• X ± z (ETM)
• X = score observé
• z = % de chances que l’on souhaite obtenir
- 68% équivautàz=1
-  95%équivautàz=1,96 
- 99% équivaut à z=2,58
• ETM = erreur type de mesure
63
Q

La fidélité s’intéresse à l’erreur de mesure attribuable … ?

A
  • À la subjectivité de la correction (accord interjuges).
  • À l’échantillonnage de contenu (formes équivalentes, cohérence interne).
  • À l’échantillonnage de moment (fidélité test-retest).
  • À l’erreur aléatoire (cohérence interne)
64
Q

La fidélité compare des aspects du test entre eux (rxx) : … ?

A
  • Accord interjuges: comparaison des cotes de juges évaluant les mêmes sujets à l’aide des critères de correction du test.
  • Formes équivalentes: comparaison de deux versions du même test qu’on a administré aux mêmes sujets.
  • Fidélité test-retest: comparaison des résultats au test à deux moments distincts pour les mêmes sujets.
  • Cohérence interne: comparaison des items entre eux.
65
Q

Selon les normes de pratique du testing, au sujet de la fidélité, les documents accompagnateurs d’un test doivent … ?

A
  • Fournir un coefficient de fidélité pertinent pour chaque score disponible dans le test.
  • Fournir des preuves de fidélité pour tous les types d’erreur de mesure susceptibles
    de s’appliquer à son test.
  • Fournir ces informations pour tous les sous-groupes d’individus pour lesquels il
    existe des normes.
  • Préciser si la correction d’un test est influencée par la subjectivité du correcteur, et
    l’évaluer, le cas échéant.
  • Préciser le délai entre les prises de mesure si on fait des études de stabilité (fidélité test-retest).
  • Pour chaque méthode d’estimation de la fidélité, décrire de façon détaillée le contexte dans lequel les coefficients ont été obtenus.