Chapitre 4

Question 1

Qu’est-ce que la fiabilité?

Answer 1

La fiabilité = est-ce que l’on obtient toujours les mêmes scores dans des contextes divers ?

La fiabilité c’est obtenir les mêmes résultats en passant un même test, une version parallèle, ou des moitiés d’un test aux mêmes sujets.
Permet d’estimer si les conditions de passation sont de bonnes qualités.
La fiabilité est une condition nécessaire, mais insuffisante pour déterminer la qualité d’un test

Question 2

Que peut-on faire pour augmenter la fiabilité d’un test?

Answer 2

Réduire l’erreur de mesure conduit à augmenter la fiabilité d’un test (ex: condition de passation du test (si la salle est bruyante. peuvent être contrôlées plus ou moins )

On peut réduire toutes les erreurs de mesure sauf celles qui concernent le sujet(ex: si il est malade)

Comme aucun test ne sera parfaitement fiable, on accepte une certaine marge d’erreur de mesure (cette marge est fluctuante. Elle est obtenue par consensus. Dans cas importants : marge faible. Ex: dans un test de conduite)

Question 3

Quelles sont les distinctions qu’on doit garder en tête lorsqu’on parle de fiabilité?

Answer 3

1) Fiabilité versus validité (voir les cibles)
2) Dimensions technique et quantitative (grâce aux corrélations (surtout de pearson), tester la fiabilité, la constance, la reproductibilité des scores bruts)
3) Changement réel ou temporaire

4) Erreur aléatoire versus erreur systématique
- (erreur systématique: on a bcp de difficulté à l’identifier. Ex: biais par rapport aux groupes d’appartenance (ex: personne allophone qui passe un test en français alors son score sera mauvais…est-ce que c’est pcq le test est mauvais ou pcq la personne a pas les coméptences voulues?)
- L’erreur aléatoire se comporte tjrs de la meme facon et grace a ca, on peut essayer de la controler. L’erreur aléatoire va tjrs en plus ou en moins par rapport au score. (elle va jouer en faveur ou en défaveur)

Question 4

Définis ce qu’est la notion de corrélation

Answer 4

Les divers indices de corrélation estiment une possible relation linéaire entre deux variables (souvent appelées x et y)

Coefficient de corrélation = outil principal pour mesurer la fiabilité.

Question 5

Quels sont les facteurs qui influencent le coefficient de corrélation? (et auxquels on doit s’intéresser avant d’interpréter une corrélation) (4)

Answer 5

1) Linéarité vs curvilinéarité
2) Hétéroscédasticité (assez courant) ex: il y a une corrélation entre valeurs faibles mais ds les scores élevés, non (ou inversement)
3) Position relative vs absolue

4) La variabilité: homogénéité versus hétérogénéité (Si l’échantillon est trop homogène, on a des corrélations qui se rapprochent de 0 alors meme si il y a un lien, on ne le verra pas.)
Ex. l’agression et le TDAH (souvent des petits échantillons alors le groupe est assez homogène)
- Formules de «corrections pour la restriction de l’étendue»
- Surtout dans le contexte de recherche

Question 6

Quel est le seuil auquel on dit que 2 juges atteignent un accord?

Answer 6

0,8

Question 7

Quelles sont les principales sources d’erreur de mesure en lien avec la fiabilité? (4)

Answer 7

1) Type de correction du test (pour régler cela, on met des choix de réponses)
2) Contenu du test
3) Conditions de passation du test
4) Circonstances personnelles

Question 8

Explique ce qu’est la théorie du score vrai

Answer 8

Principaux concepts:

• Le score vrai (V) : score que la personne obtiendrait si toutes les sources d’erreur étaient éliminées. Peut être perçu comme étant le score moyen obtenu lors d’administrations successive du test.
• Le score observé (O) : score brut. ce qu’on obtient à notre test
• L’erreur de mesure (E) : la différence entre le score vrai et le score observé. Peut être positive ou négative

Les relations entre V, O et E:

O = V + et - E
V = O + et - E

Question 9

Quelles sont les relations entre les variances vraie, observée totale et d’erreur?

Answer 9

voir diapo 64

Question 10

Avec un graphique, représente un test dont la fidélité est élevée et un test dont la fidélité est plus faible

Answer 10

fait ton graphique! correction à la diapo 65

Question 11

Quelles sont les différentes méthodes qui permettent de déterminer la fiabilité?

Answer 11

1) Fidélité test-retest
- Lorsqu’on s’intéresse à la stabilité des scores, d’une administration à l’autre. La marge entre les 2 administrations dépend de la nature du test (si très difficile, l’intervalle peut être plus court).
- Le test-retest permet de déterminer si les conditions dans lesquelles on a administré le tests a un impact sur la score.
- Ne s’applique pas aux tests longs.
- Ne tient pas en compte des variations de contenu et de l’effet du premier test.
- Quel est l’effet du premier test sur la reprise?
- Utilise le coefficient de corrélation

2) Fidélité inter-juge
- lorsqu’on est dans une situation qui implique le jugement d’un être humain. Les scores ne doivent pas être obtenues dus à un juge plus conciliant ou plus sévère. La corrélation devrait être forte. C’est le score brut qui est corrigé par 2 juges différents.
- Coefficient interclasse
- Renseigne sur des erreurs aléatoires attribuables aux variations entre les évaluateurs. Ne relève rien des autres sources d’erreurs

*Test-retest et interjuge sont des indices de l’erreur de mesure attribuable aux fluctuations dans la passation ou la correction

3) Méthode des versions parallèles
- Quand on doit passer une même évaluation dans un court intervalle. Pour que la personne ne se rappelle pas des réponses a la première passation. Les items ds chaque version sont complètement différents.
- Limitée par la longueur du test et il est rare d’avoir 2 versions d’un même test)
- On calcule la corrélation entre les 2 passations
- Intervalle court ou long entre les 2 passations…va influer sur les sources d’erreurs en découlant. Pour les tests plus longs, l’intervalle de temps entre les 2 tests est plus long.

4) Cohérence interne
- très populaire.** On s’intéresse seulement à l’alpha de Conbrach, pas aux méthodes suivantes:
- Fiabilité déterminée par bissection
- Fidélité pair-impair
- Correction de Spearman-Brown
- Kuder-Richardson (pour les échelles dichotomiques. Ex: oui-non)

Question 12

Qu’est-ce que l’alpha de Cronbach?

Answer 12

• L’alpha de Cronbach nous aide à dire si on a choisi le bon item ou non pour représenter un construit ou un sous-construit. L’alpha indique dans quelle mesure les items mesurent le ou les mêmes construits.
• Coefficient de fiabilité très fréquent, surtout pour les tests de personnalité.
• Est déterminé par la moyenne des corrélations entre les items et le nombre d’item
• L’alpha de Cronbach présume que tous les items sont standardisés (convertis de manière à ce que chacun ait une moyenne égale à 0)
• N’est pas utile dans les tests de vitesse ou de performance (réussite/échec)
• Formules : voir manuel p. 90

Variables-clés et conclusions:

• Nombre d’items (joue bcp pour faire l’interprétation. La fidélité s’accroit avec le nombre d’items.)
• Niveau de «difficulté» (l’alpha ne s’applique pas quand il y a des différents niveaux de difficulté (?))
• Corrélations entre les items. L’augmentation de la corrélation moyenne inter-item correspond à celle de la fidélité
• En présence d’un nombre réduit d’items, la fidélité est faible lorsque la corrélation inter-items est faible

Question 13

Définis ce qu’est la cohérence interne

Answer 13

indice de l’erreur de mesure attribuable à l’échantillonnage du contenu

Question 14

Qu’est-ce que l’erreur type de mesure? (ETM)

Answer 14

C’est une formule de base pour comparer un score individuel à des scores d’un groupe. L’Etm, c’est l’écart-type d’un nombre théorique infini de scores vrai d’une personne. Ce sera probablement le seul calcul qui me sera demandé à l’ordi lors de l’examen

Lorsque la fidélité du test est parfaite (1), l’Emt = 0 (donc absence de emt). Si Fidélité = 0, l’emt = écart-type du test.

Peut être converti en intervalle de confiance. On peut recourir à l’etm pour créer un intervalle de confiance autour du score observé.

L’Etm devrait être exprimée selon l’unité de mesure utilisée pour l’interprétation (score brut ou unité de l’échelle originale ou scores transformés)

Question 15

explique l’exemple des diapo 74-75-76 avec Marcel et son score observé au PSA.

Answer 15

voir diapo 74-75-76

Question 16

Qu’est-ce que l’erreur type de la différence?

Answer 16

En gros, c’est l’erreur type de mesure entre 2 scores. La distribution entre les scores est présumée normale et l’EMT en est l’écart-type. L’erreur type de différence combine les erreurs pour les scores individuels

Formule de base pour comparer 2 scores individuels à ceux d’un groupe.

voir formules diapo 77

Question 17

Quelles sont les 3 sortes d’erreurs type? Quelles sont leurs distinctions?

Answer 17

1) Erreur type de mesure: problème de fiabilité (c’est l’écart-type d’une population hypothétique de scores observés, distribués autour d’un score vrai pour 1 individu)
2) Erreur type de la moyenne: problème d’échantillonnage (c’est l’écart-type d’une population hypothétique d’échantillonnage de moyennes (d’une taille donnée) distribuées autour de la population moyenne) Utilisé pour les tests de signification (ex: Test t ou tests Z ou pour connaître l’intervalle de confiance pour les moyennes d’échantillonnage)
3) Erreur type d’estimation. Problème de prédiction (c’est l’écart-type des scores Y réels autour des scores Y estimés lorsque l’estimation repose sur X)

Question 18

Quelles sont les questions particulières qui reposent sur la fiabilité? (4)

Answer 18

1) Fidélité dans rapports narratifs: De plus en plus, on rend compte de la performance des tests en employant la forme narrative. N’est pas adapté aux outils traditionnels d’analyse de fidélité. 2 précautions à prendre: 1) s’assurer de connaître l’information relative à la fidélité du test. 2) en faire bon usage au moment d’interpréter le rapport. Tout bon rapport narratif devrait inclure la notion d’erreur de mesure.
2) Fiabilité inter-items et de sous-tests: doivent concerner le score qui fait l’objet de l’interprétation. Ne pas présumer que les items pris individuellement ou en sous-tests présentent la même fidélité que les scores totaux.
3) Fiabilité de profils: la question de l’erreur type de différence est importante ici. Par exemple, 3 personnes répondent à un tests et leurs scores relèvent un profil particulier. (voir image p.95)
4) Fiabilité des tests critériés: les méthodes d’inerprétation peuvent varier entre les tests critériés et normatifs (on doit parfois avoir recours à des méthodes différentes pour déterminer la fidélité d’un test critérié, selon la distribution des scores obtenus aux test et l’utilisation que l’on veut en faire). Les approches classiques supposent tjrs une distribution normale. Dans les tests critériés, la distribution des scores doit être raisonnables (distribution normale ou presque). La distribution des scores obtenus à un test critérié par rapport à la note de passage peut aussi influer sur l’interprétation de la fidélité des tests

Question 19

Explique ce qu’est la fidélité dans la théorie de réponse à l’item (TRI)

Answer 19

La théorie de réponse à l’item concerne d’abord les tests informatisés. Ceci fait différer la fidélité de l’approche classique

• La TRI n’aborde la fidélité que sous l’angle de la cohérence interne. Par contre, les questions relatives à la fidélité temporelle ou à l’accord interjuge doivent reporser sur les mêmes méthodes que dans la théorie classique.
• L’analyse de la cohérence interne est un peu différente. L’analyse de la fidélité TRI repose sur le fonctionnement des items du test. Dans les tests élaborés selon la TRI, les items sont interdépendants.
• Dans la TRI, l’ETM est un indice de la précision de mesure. Avantage de la TRI: Dans la théorie classique, on présume que l’etm est la même quel que soit le score obtenu. Donc l’Etm est tributaire de l’homogénéité des items du test ET de l’hétérogénéité des individus à partir desquels ont a déterminé alpha (ces limitations n’influent pas sur ET)(voir formule de l’erreur type à la page 96)

Question 20

Explique la fiabilité dans la théorie de la généralisabilité

Answer 20

Théorie de la généralisabilité : tente d’évaluer plusieurs sources d’erreur. Repose sur la même notion que la TCT : chaque personne a un score vrai. Dans la TG (théorie de la généralisabilité), on appelle ce score le score univers. La TG tente de déterminer dans une seule étude de la fidélité de tests passés à plusieurs occasions, présentés dans plusieurs versions et corrigés par plusieurs évaluateurs.

• L’analyse de variance sert de cadre de travail pour la TG. Elle permet d’étudier l’effet simultané de plusieurs variables indépendantes comparé à leur effet distinct
• La TG permet aux chercheurs de préciser et d’évaluer diverses composantes de la variance des scores réels, de la variance de l’erreur et de la variance des scores observés. (obtenu généralement par l’analyse de variance)
• Exemple: si on mesure l’anxiété auprès d’un échantillon de 50 personnes à 5 occasions, on pourrait leur faire exécuter, chaque fois, 2 tâches potentiellement anxiogènes. 4 juges pourraient évaluer le degré d’anxiété manifesté. (fidélité test-retest, fidélité par version parallèle et fidélité interjuge seraient estimées ici)
• Difficile à appliquer sur le plan pratique

Question 21

Quels sont les facteurs influant sur les coefficients de fidélité et à quel point ont-ils une influence?

Answer 21

1- Position relative vs absolue : dans l’accord interjuge, oui. Mais rarement pour les autres types de fidélité.

2. Curvilinéarité. Pas impossible mais improbable
3. Hétéroscédasticité. Oui possible
4. Homogéneité. Oui possible

Question 22

Quel degré de fidélité devrait-on viser?

Answer 22

Cela dépend de l’intention qu’on a.

• 0,90 - 0,95 = excellent. Requis lorsque les résultats d’un test dictent d’importantes décisions
• 0,8 – 0,89 = coefficient bon. Quand la fidélité est à ce niveau. D’autres informations doivent s’ajouter au score du test. Dans la mesure où ces autres informations est suffisamment fidèles, la combinaison des informations augmentera la fidélité.
• 0,7 - 0,79 = coefficient adéquat mais on doit faire attention et on doit tenir compte de d’autres informations.
• 0,6 – 0,69 = ne devraient être utilisés qu’en recherche. En dessous de 0,6, il est recommandé de recourir à un autre test.

Question 23

Quelles sont des recommandations à garder en tête lorsqu’on parle de fidélité? (6)

Answer 23

1) Souvent les études de fidélité n’estiment qu’une seule source d’erreur. Donc un coefficient de 0,9 ne relève pas de l’ensemble de la fidélité du test.
2) L’usage des tests implique souvent de comparer les scores à l’intérieur d’un profil, de calculer des différences entre ceux-ci. Ces différences entre les scores sont presque toujours moins fidèles que la fidélité des scores eux-mêmes.
3) La fidélité est TOUJOURS importante, peu importe le type de test
4) Les tests courts sont généralement peu fidèles. On doit se méfier des affirmations des auteurs qui disent que la fidélité est bonne malgré le fait que le test est court.
5) Certains auteurs soulignent la signification statistique des coefficients de fidélité en affirmant que le coefficient est full important. Ce genre de compte rendu n’est pas très utile. On vise des standards bcp plus élevés en matière de coefficient de fidélité que l’atteinte de simples seuils de signification statistiques.
6) La validité du test est encore plus importante. Un test qui n’est pas fidèle ne peut être valide mais un test valide peut ne pas être fidèle. Un test qui a une fidélité et une validité modérée vaut mieux qu’un test très fidèle mais peu valide