Brainscape's Knowledge GenomeTM

Browse over 1 million classes created by top students, professors, publishers, and experts.


See full index

PSY1595 - Intro à la psychométrie > Cours 4 - fidélité > Flashcards

Cours 4 - fidélité Flashcards

1
Q

Explique la problématique de la psycho vs ingénieriée

A

En ingénierie, on a seulement besoins de rapporter l’incertitude de mon instrument (fidélité)

En psycho on doit rapporter 2 choses :
C’est quoi l’incertitude de mon instrument (fidélité)
À quelle point je mesure la bonne chose (validité)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Renaud fait le test d’admission au CEGEP tôt un Samedi matin. Sa semaine a été très difficile, terminant par un match de football tard le vendredi soir. À ses côtés, Juliette, fraiche comme une rose, fait le même test. Auront -ils des résultats similaires s’ils sont des étudiants typiquement similaires lors de tests scolaires? Qu’arrivera - t -il s’ils refont le test dans 2 semaines dans des circonstances différentes ?

A

Il ne risque pas d’avoir la même note car le contexte est différent

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Si j’ai deux personnes identiques et je les test avec le même instrument, si leur résultats sont différent il s’agit de quel type de problème

A

problème de fidélité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Une caméra de 200 000 mégapixels mesure la taille de la pupille d’un participant avec une précision jusqu’au nanomètre.
Cet instrument est valide ou fidèle?

A

Valide

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Nous essayons de déterminer le stade de sommeil d’un participant avec une actigraph (montre qui mesure le mouvement). d’une nuit à l’autre, les résultats sont toujours les mêmes. Le participant a toujours environ les mêmes mouvements (stades) aux mêmes heures de la nuit de sommeil.
Cette étude est-elle valide ou fidèle

A

Fidèle (même score)
Pas valide (ne mesure pas la bonne chose)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Quel est la définition de la fidélité

A

La fidélité s’intéresse à la constance et à la reproductibilité de la mesure, sans égard à l’objet qu’elle est censée mesurer.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

vrai ou faux: Une mesure peut être fidèle sans être valide.

A

Vrai

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Quelles sont les 4 distinctions importantes de la fidélité

A
  1. Constance
  2. Reproduit (dans une marge d’erreur)
  3. Distingue les changements réels du trait mesuré (exemple des yeux) et les fluctuations attribuables à une modification des circonstances personnelles, au fruit du hasard. Ce changement n’est pas dû à une erreur de mesure.
  4. Distingue entre les erreurs systématiques et les erreurs aléatoires.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Fais la distinction entre les erreurs aléatoires et sustématiques

A

Erreurs aléatoires : augmentent ou réduisent les résultats aléatoirement.
Erreurs systématiques : augmentent ou réduisent systématiquement les résultats attendus en raison de facteurs étrangers au test.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Indique s’il s’agit d’une erreurs aléatoire ou systématique
On mesure l’intelligence d’une personne anglophone avec un test en Français

A

systématique

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Indique s’il s’agit d’une erreurs aléatoire ou systématique
On mesure l’anxiété sur une échelle de Likert allant de 1 à 5. Le participant hésite entre 2, 3 ou 4 sans trop savoir son niveau d’anxiété et choisis aléatoirement.

A

aléatoire

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Indique s’il s’agit d’une erreurs aléatoire ou systématique:
Sarah sait que le prof aime toujours mettre deux réponses à choix multiples identiques de suite, mais a peu étudié.

A

systématique

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Quelle théorie est meilleure pour les dispositifs complexes, avec plusieurs sources d’erreur de mesure

A

Théorie de la généralisabilité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Quelle théorie de test est la plus utilisé?

A

Théorie classique des tests

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Quelle théorie permet de modéliser mathématiquement la rencontre entre un sujet et un item. Il parle ainsi de probabilité de réussite à l’item, selon une courbe caractéristique d’item.

A

Théorie de la réponse à l’item

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

La Théorie de la réponse à l’item rapporte quel élément

A

Theta

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Le Theta représente quoi?

A

Theta représente l’habileté de la personne

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Une courbe normale de répartition des résultats se situe autour de la droite. Comment s’appel l’écart-type de cette courbe?

A

ERREUR TYPE D’ESTIMATION

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

La fidélité est très relié à quel mesure statistique?

A

la corrélation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Quels sont les 4 facteurs influant les coefficients de corrélation?

A
  1. La linéarité
  2. L’hétéroscédasticité
  3. La position relative (non absolue)
  4. L’hétérogénéité du groupe
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Comment est ce que la linéarité de la corrélation peut être mauvaise

A
  1. Ne prend pas en compte la curvilinéarité (ex: rythme C)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Donne un exemple de l’effet néfatse de la linéarité de la corrélation

A

Exemple anxiété: J’ai un instrument utra précis qui mesure parfaitement l’effet de l’anxiété pour accomplir une tâche. Toutefois, l’efficacité de l’anxiété s’agit d’une courbe puisque quand nous sommes trop ou pas assez anxieux ceci vient diminuer notre performance. C’est alors une courbe (Ex: figure 2). Toutefois, la corrélation fait une droite et va indiquer que mon instrument n’est pas fidèle alors qu’il l’est

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Nomme le problème du fait que la corréaltion présume que les scores sont distribués normalement

A

Les résultats doivent répondre à l’hypothèse d’homoscédasticité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Pourquoi dit-on que la corrélation n’exige pas l’égalité des scores absolus

A

Des scores qui varie de la même manière, qu’ils soient très élevés ou très bas vont avoir la même corrélation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Comment l’hétérogénéité du groupe affect la corrélation

A

Un groupe très hétérogène produit une corrélation gonflée, alors qu’un groupe homogène produit une corrélation réduite
Ex: de l’école avec les différents groupes selon l’année

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Qulles sont les PRINCIPALES SOURCES D’ERREURS DE MESURE qui OCCASIONNANT DES PROBLÈMES DE FIDÉLITÉ?

A
  1. Type de correction du test
  2. Contenu du test
  3. Conditions d’administration du test
  4. Circonstances personnelles
27
Q

Explique comment la fidélité du test peut être affecté par le type de correction du test

A

La variation dans la façon de corriger les tests peut affecter la fidélité du test (la répétition des scores dans les mêmes circonstances)
Deux correcteurs différents peuvent avoir des limites différentes dans la correction (exemple slide suivante).

28
Q

Comment résoudre le problème du type de correction du test (2)

A

Critères de correction plus rigide qui ne laissent place à la subjectivité de chaque correcteur (augmente la fidélité du test)

Avoir le même correcteur à chaque fois (augmente la fidélité de la recherche/vignette clinique)

29
Q

Comment est-ce que le contenu du test peut affecter la validité

A

Si le test ne couvre la l’ensemble du contenu le résultats de celui-ci n’est pas représentatif de la performance réelle du participant

30
Q

Comment résoudre le problème du contenu? (2)

A

Faire une seule version pour tous (si possible) ou réduire les différences entre les versions

S’assurer de mesurer l’ensemble des facteurs et non seulement des sections

31
Q

Les conditions d’administration du test peut affecter la fidélité. Donne des exemples

A

Faire un examen la porte ouverte avec beaucoup de bruit vs aucun bruit
Faire un examen physique ou mental à 4h vs vers 11hAM
L’examen se fait dans 2 pièces et a une limite de 30 minutes. Dans une pièce, l’administrateur offre une minute de plus, dans l’autre non.
Ces variations dans l’administration d’un test peuvent vaciller la fidélité des résultats.

32
Q

Comment résoudre le problèmes des condition d’administration du test (2)

A

Contrôler au maximum tous les facteurs pouvant influencer les résultats du test.

S’assurer que tout le monde fait son test dans une seule pièce, dans des conditions les plus similaires possibles (même heure, même luminosité, même bruit, etc).

33
Q

Donne des exemple qui illustre comment les circonstances personnelles influence la fidélité

A

Des exemples:
Laurent a le rhume le jour de l’examen
Laura a été intimidée dans les toilettes juste avant un test de personnalité
Le nouveau-né de Mathieu a pleuré toute la nuit, empêchant Mathieu de dormir une seule seconde la nuit avant son examen.

34
Q

Comment résoudre le problème des circonstances personnelles?

A

Souvent le plus difficile à contrôler

S’assurer que la condition du répondant soit la même que les autres, repousser l’administration à une date ultérieure si possible (et si la repousse n’affecte pas la fidélité à sa façon: ex: si vous apprenez quelque chose et êtes testés le lendemain vs un mois plus tard).

35
Q

Quels sont les Trois Modèles Théoriques de Mesure de la Fidélité:

A

Théorie classique des tests (TCT; le plus commun, celui dont nous allons discuter le plus)

Théorie de réponse à l’item (TRI)

Théorie de la généralisabilité (TG)

36
Q

C’est quoi les 3 unités de base de La Théorie du Score Vrai (Dans la TCT)

A

Le niveau réel (le score vrai; V)
L’erreur de mesure (la validité; E)
Le niveau mesuré (le score observé; O)

37
Q

Nomme les 4 Méthodes Servant à Mesurer la Fidélité:

A

La fidélité test-retest
La fidélité inter juges
La méthode des versions parallèles
La cohérence interne

38
Q

Explique c’est quoi la fidélité test-retest

A

Consiste à remettre le même test aux mêmes personnes à deux moments différents, suivi d’une corrélation (habituellement une corrélation de Pearson) entre les résultats de la première et de la seconde fois.

39
Q

Quelle sont les 3 critiques du test-retest?

A

Ne tient pas compte des erreurs aléatoires attribuables aux variations du contenu

Fonctionne seulement avec les tests courts (un test de 48h deux fois?…)

Ne prend pas en compte l’apprentissage la première fois (peut gonfler le coefficient de fidélité)

40
Q

À quoi faut-il faire attention quand on fait un test-retest

A

Il faut que le temps entre les deux mesures soit assez grand pour qu’un temps de mesure n’affecte pas l’autre, mais pas trop long pour que le trait mesuré ait le temps de changer.

41
Q

Explique la Fidélité Interjuges mesure quoi?

A

Évalue les variations aléatoires attribuables aux personnes qui corrigent le test (Personnes ou machines; souvent appelée fidélité inter-observateurs)

42
Q

Vrai ou Faux: Dans le cas de la fidélté interjuge, les évaluateurs doivent impérativement travailler ensemblre afin de ne pas compromettre la fidélité

A

Faux: Les évaluateurs doivent impérativement travailler séparément afin de ne pas s’influencer mutuellement (compromet la fidélité)

43
Q

Quelles sont les 3 critiques de la fidélité interjuges?

A

Ne fonctionne que pour les tests ou le score est donné par l’administrateur du test.

Par conséquent, ne fonctionne pas pour les tests auto-rapportés (particulièrement important lorsque la démarche de cotation fait appel au jugement ou implique de faire des inférences)

Ne renseigne que sur les erreurs aléatoires aux variations entre les évaluateurs, mais ne révèle aucune autre source d’erreur

44
Q

Explique c’est quoi la Méthode des Versions Parallèles

A

La fidélité par versions parallèles ou méthode des formes équivalentes utilise deux versions d’un test, ensuite d’administrer les deux versions aux mêmes personnes (soit en même temps si elles sont assez courtes, ou avec un intervalle similaire à la méthode testretest).

45
Q

Les versions parrallèles d’un test doivent être équivalent sur quoi: (4)

A

nombre d’items
limite de temps allouée,
aux spécifications du contenu et
aux autres facteurs de même ordre.

46
Q

Quelles sont les 3 critiques du la Méthode des Versions Parallèles?

A

Si les deux versions sont administrées en même temps (une après l’autre, en ordre ALÉATOIRE pour éviter un effet de fatigue), alors les seules différences sont dues au contenu (ne mesure que la source d’erreur attribuable à l’échantillon de contenu).

Pour les tests plus longs, qui doivent être administrés à deux moments, la méthode des versions parallèles mesure ainsi la source d’erreur attribuable à l’échantillon du contenu ET aux fluctuations de la condition mentale et physique du candidat + d’administration du test

La méthode des versions parallèles est très peu répandue, pour la simple raison que très peu de tests sont offerts dans plus d’une version.

47
Q

Quel est la mesure de fidélité la plus populaire

A

La Cohérence Interne (La Plus Populaire)

48
Q

Quels sont les 3 types de Cohérence Interne (?

A

Bissection (split-half)
Formules de Kuder-Richardson
Coefficient alpha (plus populaire)

49
Q

Comment fonctionne le coefficient de fidélité déterminé par bissection?

A

Similaire à la méthode des versions parallèles. Ex: Si vous faites la méthode des versions parallèles et que les deux tests sont toujours faits un à la suite de l’autre, c’est comme s’il s’agit d’un seul grand test que nous divisons en deux pour calculer la fidélité.
C’est ce qu’est le coefficient de fidélité par bissection. De prendre un test, le diviser en deux, et comparer les deux moitiés.

50
Q

Quels sont les problématiques (2) du coefficient de fidélité déterminé par bissection?

A

1) Lors de la comparaison de deux moitiés d’un test (pour déterminer sa cohérence interne):
si on divise les moitiés en première moitié et seconde moitié, la seconde moitié sera désavantagée (plus de fatigue, plus affectée par une limite de temps, etc).

2)La corrélation entre les deux moitiés du test n’exprime pas la fidélité du test en entier, mais plutôt d’un test deux fois moins long que celui auquel on s’intéresse vraiment (qui peut affecter sa fidélité).

51
Q

Coefficient de fidélité déterminé par bissection
Comment résoudre au problème qui survient lors de la comparaison de deux moitiés ?

A

La plus commune est de diviser le test en deux selon les items pairs-impairs (appelé coefficient de fidélité pair-impair).

52
Q

Comment remédier aux problème du fait que la corrélation entre les deux moitiés du test n’exprime pas la fidélité du test en entier, mais plutôt d’un test deux fois moins long que celui auquel on s’intéresse vraiment (qui peut affecter sa fidélité)?

A

Il existe une correction calculable du coefficient de corrélation (appelée correction de Spearman-Brown)

53
Q

Qu’est ce que les Formules de Kuder-Richardson permettent de faire

A

Les formules de Kuder-Richardson (les plus populaires sont la KR-20 et KR-21) permettent d’obtenir la corrélation moyenne pour toutes les bissections possibles du test.

54
Q

Qu’est ce que l’alpha de Cronbach (méthode de cohérence interne) permet de faire?

A

L’α indique dans quelle mesure les items du test mesurent le ou les mêmes construits ou traits! (Mesure de l’homogénéité des items).

L’alpha de Cronbach désigne les sources d’erreurs de mesure attribuables à l’échantillonnage du contenu. Il ne mesure pas la source d’erreur de meure attribuable aux fluctuations survenant dans la façon d’administrer le test ou de le corriger, ou les conditions personnelles.

55
Q

Quelle est la différence entre L’alpha de Cronbach et les Formules de Kuder-Richardson?

A

Les Formules de Kuder-Richardson: fonctionne seulement avec des items dichotomique (oui-non)

56
Q

Quelles sont les 2 conclusion importante sur la cohérence interne

A

La durée du test est importante (les tests avec plus d’items sont généralement plus fidèles, jusqu’à ce que la fatigue entre en jeu).

La corrélation entre les items est importante (il est important que les items mesurent le même trait bien défini)

57
Q

RETOUR À L’INCERTITUDE DE MESURE
Comparer au coefficient de fidélité d’un test qui n’est pas très clair, qu’est ce qui est meilleure à rapporter

A

L’erreur type mesure, calculée avec la fidélité

58
Q

Y a-il moyen de mesurer la fidélité dans la théorie de la généralisabilité et de réponse à l’item?

A

OUI

59
Q

Un coefficient plus grand que 0.90 est __________

A

excellent

60
Q

Un coefficient entre ____ et ____ est bon

A

Un coefficient entre 0.80 et 0.89 est bon

61
Q

Un coefficient entre 0.70 et 0.79 est _________

A

adéquat

62
Q

Un coefficient entre ______ et _____ est faible

A

0.60 et 0.69

63
Q

Un test avec un coefficient sous _____ ne devrait pas être utilisé

A

0.60

64
Q
A

PSY1595 - Intro à la psychométrie (6 decks)

Brainscape helps you reach your goals faster, through stronger study habits.
© 2024 Bold Learning Solutions. Terms and Conditions