Fidélité de la mesure Flashcards
Quel est la formule théorique du score z ?
z=(X-M)/s
À quoi s’intéresse une corrélation ?
À la constance de l’écart de la moyenne d’un individu sur 2 variables.
Dans quel conditions peut se calculer une corrélation ?
- Des données sont disponibles pour une groupe d’individus
- Ces individus doivent avoir un score sur deux variables ou à deux temps de mesure
- Ces variables doivent minimalement être de niveau ordinal
Nommez les trois concepts de base de la corrélation.
- Vise à étudier le lien entre deux variables
- Ne permet pas d’établir un lien de causalité
- Vérifie s’il existe une relation linéaire entre deux variables
Qu’est-ce qu’un niveau d’association ?
Est-ce que X est associé à Y ?
Qu’est-ce qu’un niveau prédictif ?
Est-ce que X et Y ont une variance commune ? Dans quel mesure la variance de X permet de prédire la variance de Y ?
Quand le coefficient de variation est près de -1, cela signifie qu’il y a une relation moins forte. Vrai ou faux ?
Faux. Plus c’est près de 0, moins c’est important. Donc une relation de -1 et de 1 sont de force égale.
Qu’est-ce qu’une corrélation positive ?
Plus les scores à la variable X augmentent, plus les scores à la variable Y augmentent.
Qu’est-ce qu’une corrélation négative ?
Plus les scores à la variable X augmentent, plus les scores de la variable Y diminuent.
Nommez le critère d’interprétation de Guilford.
- 0,90 à 1,00 (-0,90 à -1,00): Relation très forte
- 0,70 à 0,89 (-0,70 à -0,89): Relation forte
- 0,40 à 0,69 (-0,40 à –0,69): Relation modérée
- 0,20 à 0,39 (-0,20 à –0,39): Relation faible
- 0,00 à 0,19 (0,00 à –0,19): Relation négligeable
Une corrélation négative n’est pas synonyme de corrélation faible. Vrai ou faux ?
Vrai.
Le coefficient de détermination aide à interpréter le coefficient de corrélation. Vrai ou faux ?
Vrai.
Qu’est-ce que le coefficient de détermination indique ?
- Indique le % de variance commune entre deux variables. - Indique la proportion de variance d’une variable qui est
commune à la variance de l’autre variable. - Coefficient de détermination = (r2) * 100
À quoi s’intéresse la fidélité ?
La fidélité s’intéresse à la constance de la mesure, et par conséquent aux sources d’inconstance ou d’erreur transitoire (ou non-systématique) dans l’évaluation.
À quoi s’intéresse la validité ?
La validité s’intéresse à la précision, à la capacité de la mesure à faire des prédictions juste par rapport à des variables psychologiques.
En recourant à différentes méthode d’estimation, la fidélité vise à déterminer le % d’erreur d’échantillonnage relative… :
- au moment de l’évaluation;
- au contenu du test (choix des items);
- à la subjectivité de la correction;
- au hasard.
Comment illustre-t-on la fidélité ?
rxx
Quel aspect la fidélité compare-t-elle entre eux ?
- Les questions d’un test devraient être corrélées;
- Les résultats à un test ne devraient par être influencés par le correcteur;
- Les résultats à un test devraient être stables dans le temps.
Qu’est-ce que la théorie classique des tests stipule et quel est sa formule ?
Cette théorie postule qu’aucune mesure n’est parfaite et donc... - X=V+E • X=Score observé • V=Score vrai • E = Erreur de mesure
Comment l’erreur de mesure peut affecter la fidélité et le validité d’un test ?
- Sources d’erreur transitoire affectent la fidélité.
- Sources d’erreur systématique affectent la validité.
- La validité est limitée par la fidélité d’un test.
Fidélité parfaite = coefficient parfait (valeur de 1) . Vrai ou faux ?
Vrai.
Quel est la formule de % de variance à l’erreur ?
% de variance à l’erreur = (1 – coefficient de fidélité) * 100
Quels sont les principes de base de la fidélité test-retest ?
- Une évaluation se produit à un moment donné, mais quel est l’impact du choix de ce moment sur les résultats?
- La fidélité test-retest vise à savoir si l’échantillonnage de moment qu’on a pris pour évaluer le comportement de la personne permet une évaluation représentative de son comportement dans la vie de tous les jours.
- Fournit un indice de la stabilité de la mesure et de l’erreur d’échantillonnage de moment.
Quel est la démarche employée dans la fidélité test-retest ?
- Passation du test à deux reprises à un groupe.
- Délai est souvent de 2 à 4 semaines.
- Délai plus long si le construit est supposé être stable.
Quel est le contexte d’utilisation de la fidélité test-retest ?
- Lorsque le construit évalué par le test a la réputation d’être stable (ex: personnalité) ou de varier selon les situations (ex: anxiété).
- Si l’objectif d’utilisation du test est d’évaluer des changements dans le temps.
- Donc, presque toujours pertinent de recourir à la fidélité test-retest.
Comment interprète-t-on un coefficient de corrélation dans un contexte de fidélité test-retest ?
- Coefficient + car le test est comparé à lui-même.
- Plus le délai est long, plus le coefficient sera faible.
- Dépend de la stabilité du construit évalué et des caractéristiques des participants à l’étude.
Si les résultats ne vont pas dans le sens du construit mesuré = … ?
Instabilité attribuable à l’utilisation du test.
Comment un test peut-il être instable ?
- Apprentissage possible (surtout si cognitif); réactivité de la mesure;
- Influence de facteurs transitoires.
% de variance d’erreur liée à l’échantillonnage de moment =.. ?
1 - fidélité du test.
Quel sont les principes de base des formes équivalentes ?
- Bien que le test constitue un échantillon de comportements, le fait qu’on ait choisi tel ou tel comportement (item) ne devrait pas influencer le résultat au test.
- Si on a des échantillons de comportements (d’items) différents, les résultats devraient donc être les mêmes.
Quel est la démarche employée dans la méthode des formes équivalentes ?
- Constitution d’une banque d’items.
- Division en deux pour faire 2 versions du même test.
- Administration des 2 versions au même groupe d’individus.
- Corrélation entre les résultats.
- Administration généralement consécutive des 2 tests.
- Si délai introduit = le coefficient mesure aussi la stabilité
Quel est le contexte d’utilisation des formes équivalentes ?
- Lorsque le test sera passé à plus d’une reprise et que l’effet de la mesure est jugée important (apprentissage, réactivité, facteurs transitoires).
- Donc, pas toujours pertinent de recourir à cette méthode d’estimation.
Quel sont les méthodes d’estimation ?
- Test-retest
- Formes équivalentes
- Accord inter-juges
- Cohérence interne
Comment interprète-t-on le coefficient de corrélation avec les formes équivalentes ?
- Coefficient + car le test est comparé à lui-même.
- Corrélation élevée (r = 0.70 et +) si pas de délai entre la passation des deux formes ou que le délai très court.
Si les résultats ne vont pas dans le sens attendu = … ?
Problème d’échantillonnage de contenu.
Comment les formes équivalentes peuvent avoir un problème d’échantillonnage de contenu ?
Il est plutôt difficile de constituer deux formes équivalentes à un test.
% de variance d’erreur liée à l’échantillonnage de contenu = … ?
1 - fidélité du test.
Quels sont les principes de bases de l’accord interjuges ?
- Le test est une mesure objective d’un construit qui suit certaines règles. L’application des règles peut être empreinte d’erreurs.
- L’accord interjuges vise à vérifier si les résultats seront les mêmes indépendamment de la personne qui évalue l’individu.
Quel est la démarche employée dans l’accord interjuge ?
- Deux experts cotent le même groupe de sujets.
- Calcul de la corrélation des résultats des deux juges.
Quel est le contexte d’utilisation dans l’accord interjuge ?
- Lorsque les résultats d’un test impliquent le jugement d’un tiers. Ex: tests d’intelligence, grilles d’observation, tests projectifs.
- Illustration avec un test d’intelligence: Comporte des tâches où l’examinateur doit juger de la qualité des réponses selon diverses balises.
- Illustration avec une grille d’analyse de dossier: Dans cet exemple, grille qui vise à catégoriser les formes d’abus vécus par un enfant.
Comment interprète-t-on le coefficient de corrélation avec l’accord interjuge ?
- Corrélation + car le test est comparé à lui-même.
- Corrélation élevée (r = 0.70 et +) car on applique les mêmes critères pour tous.
- S’il s ’agit d’un % d’accord, on visera 90%.
Si les résultats ne vont pas dans le même sens = ..?
critères de correction
pas assez objectifs, termes pas assez définis ou opérationnels.
% de variance d’erreur attribuable à la subjectivité de la correction =… ?
1 - fidélité du test.
Quels sont les principes de base de la cohérence interne ?
- Si les items d’un test mesurent tous le même construit, ceux-ci devraient être corrélés entre eux. Ils devraient varier à un rythme comparable.
Quel est la démarche employée avec la cohérence interne ?
- On administre le test à un groupe d’individus.
- On procède à des corrélations entre les items.
- On applique une formule qui considérera un certain nombre de corrélations possibles.
Quels sont les trois méthodes d’estimation de la cohérence interne ?
- Moitié-moitié
- Alpha de Cronbach
- Kuder-Richardson
Dans chacune des 3 méthodes d’estimation de cohérence interne il y a un indice d’hétérogénéité de la mesure. Vrai ou faux ?
Faux. D’homogéneité.
En quoi consiste la méthode moitié-moitié ?
- Division du test en deux (seulement pour analyses) et calcul de la rxx
- Inconvénients:
- Le résultat peut être dû au hasard.
- Le résultat n’est peut-être pas
représentatif de l’ensemble des corrélations moitié-moitié. - La formule de correction de Spearman- Brown permet de prendre en compte
ces inconvénients et de corriger le coefficient obtenu (voir p. 89 Hogan). - Formule pas à mémoriser.
En quoi consiste les méthodes alpha de cronbach et du kuder-richardson ?
- Considèrent toutes les corrélations moitié-moitié possibles.
- Plus précise que la méthode moitié- moitié.
- Le Kuder-Richardson (KR-20) = pour les données dichotomiques (0-1)
- L’alpha = pour les données continues (0, 1, 2, 3, etc.).
- Ces formules (voir p. 89-90 de Hogan) ne sont pas à mémoriser.
Quel est le contexte d’utilisation de le cohérence interne ?
- Nécessaire d’avoir un indice de cohérence interne pour chacun des scores utilisés dans un test (donc toujours pertinent).
- Utile pour identifier les énoncés marginaux lors du développement d’une mesure.
- Dans certains cas, l’emploi d’un alpha ou d’un KR-20 est impossible: Ex: lorsque le résultat à un item est influencé par le résultat à l’item
précédent (tâches chronométrées). - Dans ces cas, on vérifiera… la fidélité test-retest ou la fidélité moitié-moitié (pair/impair).
Quel est le contexte d’interprétation d’un coefficient moitié-moitié ?
- Coefficient de corrélation
- Corrélation + car le test est
comparé à lui-même. - Corrélation élevée (r = 0.70 et +) car deux parties du même test.
% de variance d’erreur attribuable à l’échantillonnage de contenu = 1 - fidélité du test. Ce calcul à rapport avec ?
Un coefficient moitié-moitié.
Quel est le contexte d’interprétation d’un alpha ou d’un kuder-richardson ?
- L’interprétationdépenddutypede mesure et de l’utilisation du test:
- En recherche = 0,65 et +
- Évaluation des individus = 0,70 et +
- Décision de classement = 0,90 +
%devarianced’erreuraléatoire= 1 - fidélité du test. Ce calcul à rapport avec ?
Interprétation d’un alpha ou d’un Kuder-richardson.
Tous ces coefficients assument que tous les items mesurent le même trait. Ils camouflent aussi l’influence des facteurs transitoires. Ces coefficients sont les moins conservateurs. Pour la cohérence interne. Vrai ou faux ?
Vrai.
Nommez les facteurs influençant la fidélité.
- Méthodes d’estimation
- Longueur du test
- Variabilité des scores
- Réponses aléatoires
- Intervalle test-retest
- Variation au cours du testing
- Erreur non systématique
- Hétérogénéité de l’échantillon
Qu’est-ce que l’erreur type de mesure ?
Permet de rendre en compte que la fidélité du test est imparfaite lors de l’interprétation des résultats des individus.
Si un test est moins fidèle, on devrait être plus prudent dans l’interprétation des données. On sait que l’écart entre le score observé et le score vrai est plus petit. Vrai ou faux ?
Faux. plus grand.
Quel est la formule de l’erreur-type de mesure ?
- ETM = s √ 1- rxx
- s=écart-type
- rxx=fidélitédutest
En fonction de l’aire sous la courbe normale et l’ETM, nous savons : … ?
- 68% équivaut à un z = 1
- 95% équivaut à un z = 1,96
- 99% équivaut à un z = 2,58
À partir de l’ETM, l’intervalle de confiance permet de déterminer le % de chances de retrouver le score vrai à l’intérieur de l’intervalle particulier. Vrai ou faux ?
Vrai.
Quel est la formule de l’intervalle de confiance ?
• X ± z (ETM) • X = score observé • z = % de chances que l’on souhaite obtenir - 68% équivautàz=1 - 95%équivautàz=1,96 - 99% équivaut à z=2,58 • ETM = erreur type de mesure
La fidélité s’intéresse à l’erreur de mesure attribuable … ?
- À la subjectivité de la correction (accord interjuges).
- À l’échantillonnage de contenu (formes équivalentes, cohérence interne).
- À l’échantillonnage de moment (fidélité test-retest).
- À l’erreur aléatoire (cohérence interne)
La fidélité compare des aspects du test entre eux (rxx) : … ?
- Accord interjuges: comparaison des cotes de juges évaluant les mêmes sujets à l’aide des critères de correction du test.
- Formes équivalentes: comparaison de deux versions du même test qu’on a administré aux mêmes sujets.
- Fidélité test-retest: comparaison des résultats au test à deux moments distincts pour les mêmes sujets.
- Cohérence interne: comparaison des items entre eux.
Selon les normes de pratique du testing, au sujet de la fidélité, les documents accompagnateurs d’un test doivent … ?
- Fournir un coefficient de fidélité pertinent pour chaque score disponible dans le test.
- Fournir des preuves de fidélité pour tous les types d’erreur de mesure susceptibles
de s’appliquer à son test. - Fournir ces informations pour tous les sous-groupes d’individus pour lesquels il
existe des normes. - Préciser si la correction d’un test est influencée par la subjectivité du correcteur, et
l’évaluer, le cas échéant. - Préciser le délai entre les prises de mesure si on fait des études de stabilité (fidélité test-retest).
- Pour chaque méthode d’estimation de la fidélité, décrire de façon détaillée le contexte dans lequel les coefficients ont été obtenus.
