Cours 4 - fidélité Flashcards
Explique la problématique de la psycho vs ingénieriée
En ingénierie, on a seulement besoins de rapporter l’incertitude de mon instrument (fidélité)
En psycho on doit rapporter 2 choses :
C’est quoi l’incertitude de mon instrument (fidélité)
À quelle point je mesure la bonne chose (validité)
Renaud fait le test d’admission au CEGEP tôt un Samedi matin. Sa semaine a été très difficile, terminant par un match de football tard le vendredi soir. À ses côtés, Juliette, fraiche comme une rose, fait le même test. Auront -ils des résultats similaires s’ils sont des étudiants typiquement similaires lors de tests scolaires? Qu’arrivera - t -il s’ils refont le test dans 2 semaines dans des circonstances différentes ?
Il ne risque pas d’avoir la même note car le contexte est différent
Si j’ai deux personnes identiques et je les test avec le même instrument, si leur résultats sont différent il s’agit de quel type de problème
problème de fidélité
Une caméra de 200 000 mégapixels mesure la taille de la pupille d’un participant avec une précision jusqu’au nanomètre.
Cet instrument est valide ou fidèle?
Valide
Nous essayons de déterminer le stade de sommeil d’un participant avec une actigraph (montre qui mesure le mouvement). d’une nuit à l’autre, les résultats sont toujours les mêmes. Le participant a toujours environ les mêmes mouvements (stades) aux mêmes heures de la nuit de sommeil.
Cette étude est-elle valide ou fidèle
Fidèle (même score)
Pas valide (ne mesure pas la bonne chose)
Quel est la définition de la fidélité
La fidélité s’intéresse à la constance et à la reproductibilité de la mesure, sans égard à l’objet qu’elle est censée mesurer.
vrai ou faux: Une mesure peut être fidèle sans être valide.
Vrai
Quelles sont les 4 distinctions importantes de la fidélité
- Constance
- Reproduit (dans une marge d’erreur)
- Distingue les changements réels du trait mesuré (exemple des yeux) et les fluctuations attribuables à une modification des circonstances personnelles, au fruit du hasard. Ce changement n’est pas dû à une erreur de mesure.
- Distingue entre les erreurs systématiques et les erreurs aléatoires.
Fais la distinction entre les erreurs aléatoires et sustématiques
Erreurs aléatoires : augmentent ou réduisent les résultats aléatoirement.
Erreurs systématiques : augmentent ou réduisent systématiquement les résultats attendus en raison de facteurs étrangers au test.
Indique s’il s’agit d’une erreurs aléatoire ou systématique
On mesure l’intelligence d’une personne anglophone avec un test en Français
systématique
Indique s’il s’agit d’une erreurs aléatoire ou systématique
On mesure l’anxiété sur une échelle de Likert allant de 1 à 5. Le participant hésite entre 2, 3 ou 4 sans trop savoir son niveau d’anxiété et choisis aléatoirement.
aléatoire
Indique s’il s’agit d’une erreurs aléatoire ou systématique:
Sarah sait que le prof aime toujours mettre deux réponses à choix multiples identiques de suite, mais a peu étudié.
systématique
Quelle théorie est meilleure pour les dispositifs complexes, avec plusieurs sources d’erreur de mesure
Théorie de la généralisabilité
Quelle théorie de test est la plus utilisé?
Théorie classique des tests
Quelle théorie permet de modéliser mathématiquement la rencontre entre un sujet et un item. Il parle ainsi de probabilité de réussite à l’item, selon une courbe caractéristique d’item.
Théorie de la réponse à l’item
La Théorie de la réponse à l’item rapporte quel élément
Theta
Le Theta représente quoi?
Theta représente l’habileté de la personne
Une courbe normale de répartition des résultats se situe autour de la droite. Comment s’appel l’écart-type de cette courbe?
ERREUR TYPE D’ESTIMATION
La fidélité est très relié à quel mesure statistique?
la corrélation
Quels sont les 4 facteurs influant les coefficients de corrélation?
- La linéarité
- L’hétéroscédasticité
- La position relative (non absolue)
- L’hétérogénéité du groupe
Comment est ce que la linéarité de la corrélation peut être mauvaise
- Ne prend pas en compte la curvilinéarité (ex: rythme C)
Donne un exemple de l’effet néfatse de la linéarité de la corrélation
Exemple anxiété: J’ai un instrument utra précis qui mesure parfaitement l’effet de l’anxiété pour accomplir une tâche. Toutefois, l’efficacité de l’anxiété s’agit d’une courbe puisque quand nous sommes trop ou pas assez anxieux ceci vient diminuer notre performance. C’est alors une courbe (Ex: figure 2). Toutefois, la corrélation fait une droite et va indiquer que mon instrument n’est pas fidèle alors qu’il l’est
Nomme le problème du fait que la corréaltion présume que les scores sont distribués normalement
Les résultats doivent répondre à l’hypothèse d’homoscédasticité
Pourquoi dit-on que la corrélation n’exige pas l’égalité des scores absolus
Des scores qui varie de la même manière, qu’ils soient très élevés ou très bas vont avoir la même corrélation
Comment l’hétérogénéité du groupe affect la corrélation
Un groupe très hétérogène produit une corrélation gonflée, alors qu’un groupe homogène produit une corrélation réduite
Ex: de l’école avec les différents groupes selon l’année
Qulles sont les PRINCIPALES SOURCES D’ERREURS DE MESURE qui OCCASIONNANT DES PROBLÈMES DE FIDÉLITÉ?
- Type de correction du test
- Contenu du test
- Conditions d’administration du test
- Circonstances personnelles
Explique comment la fidélité du test peut être affecté par le type de correction du test
La variation dans la façon de corriger les tests peut affecter la fidélité du test (la répétition des scores dans les mêmes circonstances)
Deux correcteurs différents peuvent avoir des limites différentes dans la correction (exemple slide suivante).
Comment résoudre le problème du type de correction du test (2)
Critères de correction plus rigide qui ne laissent place à la subjectivité de chaque correcteur (augmente la fidélité du test)
Avoir le même correcteur à chaque fois (augmente la fidélité de la recherche/vignette clinique)
Comment est-ce que le contenu du test peut affecter la validité
Si le test ne couvre la l’ensemble du contenu le résultats de celui-ci n’est pas représentatif de la performance réelle du participant
Comment résoudre le problème du contenu? (2)
Faire une seule version pour tous (si possible) ou réduire les différences entre les versions
S’assurer de mesurer l’ensemble des facteurs et non seulement des sections
Les conditions d’administration du test peut affecter la fidélité. Donne des exemples
Faire un examen la porte ouverte avec beaucoup de bruit vs aucun bruit
Faire un examen physique ou mental à 4h vs vers 11hAM
L’examen se fait dans 2 pièces et a une limite de 30 minutes. Dans une pièce, l’administrateur offre une minute de plus, dans l’autre non.
Ces variations dans l’administration d’un test peuvent vaciller la fidélité des résultats.
Comment résoudre le problèmes des condition d’administration du test (2)
Contrôler au maximum tous les facteurs pouvant influencer les résultats du test.
S’assurer que tout le monde fait son test dans une seule pièce, dans des conditions les plus similaires possibles (même heure, même luminosité, même bruit, etc).
Donne des exemple qui illustre comment les circonstances personnelles influence la fidélité
Des exemples:
Laurent a le rhume le jour de l’examen
Laura a été intimidée dans les toilettes juste avant un test de personnalité
Le nouveau-né de Mathieu a pleuré toute la nuit, empêchant Mathieu de dormir une seule seconde la nuit avant son examen.
Comment résoudre le problème des circonstances personnelles?
Souvent le plus difficile à contrôler
S’assurer que la condition du répondant soit la même que les autres, repousser l’administration à une date ultérieure si possible (et si la repousse n’affecte pas la fidélité à sa façon: ex: si vous apprenez quelque chose et êtes testés le lendemain vs un mois plus tard).
Quels sont les Trois Modèles Théoriques de Mesure de la Fidélité:
Théorie classique des tests (TCT; le plus commun, celui dont nous allons discuter le plus)
Théorie de réponse à l’item (TRI)
Théorie de la généralisabilité (TG)
C’est quoi les 3 unités de base de La Théorie du Score Vrai (Dans la TCT)
Le niveau réel (le score vrai; V)
L’erreur de mesure (la validité; E)
Le niveau mesuré (le score observé; O)
Nomme les 4 Méthodes Servant à Mesurer la Fidélité:
La fidélité test-retest
La fidélité inter juges
La méthode des versions parallèles
La cohérence interne
Explique c’est quoi la fidélité test-retest
Consiste à remettre le même test aux mêmes personnes à deux moments différents, suivi d’une corrélation (habituellement une corrélation de Pearson) entre les résultats de la première et de la seconde fois.
Quelle sont les 3 critiques du test-retest?
Ne tient pas compte des erreurs aléatoires attribuables aux variations du contenu
Fonctionne seulement avec les tests courts (un test de 48h deux fois?…)
Ne prend pas en compte l’apprentissage la première fois (peut gonfler le coefficient de fidélité)
À quoi faut-il faire attention quand on fait un test-retest
Il faut que le temps entre les deux mesures soit assez grand pour qu’un temps de mesure n’affecte pas l’autre, mais pas trop long pour que le trait mesuré ait le temps de changer.
Explique la Fidélité Interjuges mesure quoi?
Évalue les variations aléatoires attribuables aux personnes qui corrigent le test (Personnes ou machines; souvent appelée fidélité inter-observateurs)
Vrai ou Faux: Dans le cas de la fidélté interjuge, les évaluateurs doivent impérativement travailler ensemblre afin de ne pas compromettre la fidélité
Faux: Les évaluateurs doivent impérativement travailler séparément afin de ne pas s’influencer mutuellement (compromet la fidélité)
Quelles sont les 3 critiques de la fidélité interjuges?
Ne fonctionne que pour les tests ou le score est donné par l’administrateur du test.
Par conséquent, ne fonctionne pas pour les tests auto-rapportés (particulièrement important lorsque la démarche de cotation fait appel au jugement ou implique de faire des inférences)
Ne renseigne que sur les erreurs aléatoires aux variations entre les évaluateurs, mais ne révèle aucune autre source d’erreur
Explique c’est quoi la Méthode des Versions Parallèles
La fidélité par versions parallèles ou méthode des formes équivalentes utilise deux versions d’un test, ensuite d’administrer les deux versions aux mêmes personnes (soit en même temps si elles sont assez courtes, ou avec un intervalle similaire à la méthode testretest).
Les versions parrallèles d’un test doivent être équivalent sur quoi: (4)
nombre d’items
limite de temps allouée,
aux spécifications du contenu et
aux autres facteurs de même ordre.
Quelles sont les 3 critiques du la Méthode des Versions Parallèles?
Si les deux versions sont administrées en même temps (une après l’autre, en ordre ALÉATOIRE pour éviter un effet de fatigue), alors les seules différences sont dues au contenu (ne mesure que la source d’erreur attribuable à l’échantillon de contenu).
Pour les tests plus longs, qui doivent être administrés à deux moments, la méthode des versions parallèles mesure ainsi la source d’erreur attribuable à l’échantillon du contenu ET aux fluctuations de la condition mentale et physique du candidat + d’administration du test
La méthode des versions parallèles est très peu répandue, pour la simple raison que très peu de tests sont offerts dans plus d’une version.
Quel est la mesure de fidélité la plus populaire
La Cohérence Interne (La Plus Populaire)
Quels sont les 3 types de Cohérence Interne (?
Bissection (split-half)
Formules de Kuder-Richardson
Coefficient alpha (plus populaire)
Comment fonctionne le coefficient de fidélité déterminé par bissection?
Similaire à la méthode des versions parallèles. Ex: Si vous faites la méthode des versions parallèles et que les deux tests sont toujours faits un à la suite de l’autre, c’est comme s’il s’agit d’un seul grand test que nous divisons en deux pour calculer la fidélité.
C’est ce qu’est le coefficient de fidélité par bissection. De prendre un test, le diviser en deux, et comparer les deux moitiés.
Quels sont les problématiques (2) du coefficient de fidélité déterminé par bissection?
1) Lors de la comparaison de deux moitiés d’un test (pour déterminer sa cohérence interne):
si on divise les moitiés en première moitié et seconde moitié, la seconde moitié sera désavantagée (plus de fatigue, plus affectée par une limite de temps, etc).
2)La corrélation entre les deux moitiés du test n’exprime pas la fidélité du test en entier, mais plutôt d’un test deux fois moins long que celui auquel on s’intéresse vraiment (qui peut affecter sa fidélité).
Coefficient de fidélité déterminé par bissection
Comment résoudre au problème qui survient lors de la comparaison de deux moitiés ?
La plus commune est de diviser le test en deux selon les items pairs-impairs (appelé coefficient de fidélité pair-impair).
Comment remédier aux problème du fait que la corrélation entre les deux moitiés du test n’exprime pas la fidélité du test en entier, mais plutôt d’un test deux fois moins long que celui auquel on s’intéresse vraiment (qui peut affecter sa fidélité)?
Il existe une correction calculable du coefficient de corrélation (appelée correction de Spearman-Brown)
Qu’est ce que les Formules de Kuder-Richardson permettent de faire
Les formules de Kuder-Richardson (les plus populaires sont la KR-20 et KR-21) permettent d’obtenir la corrélation moyenne pour toutes les bissections possibles du test.
Qu’est ce que l’alpha de Cronbach (méthode de cohérence interne) permet de faire?
L’α indique dans quelle mesure les items du test mesurent le ou les mêmes construits ou traits! (Mesure de l’homogénéité des items).
L’alpha de Cronbach désigne les sources d’erreurs de mesure attribuables à l’échantillonnage du contenu. Il ne mesure pas la source d’erreur de meure attribuable aux fluctuations survenant dans la façon d’administrer le test ou de le corriger, ou les conditions personnelles.
Quelle est la différence entre L’alpha de Cronbach et les Formules de Kuder-Richardson?
Les Formules de Kuder-Richardson: fonctionne seulement avec des items dichotomique (oui-non)
Quelles sont les 2 conclusion importante sur la cohérence interne
La durée du test est importante (les tests avec plus d’items sont généralement plus fidèles, jusqu’à ce que la fatigue entre en jeu).
La corrélation entre les items est importante (il est important que les items mesurent le même trait bien défini)
RETOUR À L’INCERTITUDE DE MESURE
Comparer au coefficient de fidélité d’un test qui n’est pas très clair, qu’est ce qui est meilleure à rapporter
L’erreur type mesure, calculée avec la fidélité
Y a-il moyen de mesurer la fidélité dans la théorie de la généralisabilité et de réponse à l’item?
OUI
Un coefficient plus grand que 0.90 est __________
excellent
Un coefficient entre ____ et ____ est bon
Un coefficient entre 0.80 et 0.89 est bon
Un coefficient entre 0.70 et 0.79 est _________
adéquat
Un coefficient entre ______ et _____ est faible
0.60 et 0.69
Un test avec un coefficient sous _____ ne devrait pas être utilisé
0.60
