Cours 5 - Évaluation de la qualité d’une mesure (fidélité) Flashcards
Qu’est-ce qui est à la base de la corrélation?
Le rang ou l’écart à la moyenne
Quel est la formule du z?
z= (X - M)/s (score de l’individu - moyenne)/ écart type du test
Si l’écart entre temps 1 et 2 est la même, la corrélation (le r) est de …
1
Une corrélation s’intéresse à ….
la constance de l’écart à la moyenne d’un individu sur 2 variables.
Une corrélation peut se calculer dans les 3 conditions suivantes …
- Des données sont disponibles pour un groupe d’individus 2. Ces individus doivent avoir un score sur deux variables ou à deux temps de mesure. 3. Ces variables doivent minimalement être de niveau ordinal.
La corrélation vise à étudier le lien entre 2 variables à 2 niveaux: …
- Niveau d’association 2. Niveau prédictif
Vrai ou Faux. La corrélation permet d’établir un lien de causalité.
Faux. On ne peut pas savoir si une des deux variables vient avant l’autre.
La corrélation vérifie s’il existe une relation ________ entre 2 variables.
relation linéaire (qui va toujours dans le même sens)
Plus la valeur d’un coefficient de corrélation est près de -1 ou de +1 …
plus la relation entre les 2 variables est importante
Plus la valeur d’un coefficient de corrélation est près de 0 …
moins la relation est importante
Que signifie une corrélation positive?
Plus les scores à la variable X augmentent, plus les scores à la variable Y augmentent.
Que signifie une corrélation négative?
Plus les scores à la variable X augmentent, plus les scores à la variable Y diminuent.
Nommez les critères d’interprétation de Guilford.
0 à 0,19 : relation négligeable
0,20 à 0,39 : relation faible
0,40 à 0,69 : relation modérée
0,70 à 0,89 : relation forte
0,90 à 1 : relation très forte
Vrai ou Faux. Peu importe le contexte, l’interprétation d’un coefficient de corrélation est la même.
Faux. L’interprétation dépend du contexte.
Le coefficient de détermination aide à interpréter …
le coefficient de corrélation.
Qu’indique le coefficient de détermination?
Il indique le % de variance commune entre 2 variables, c’est-à-dire la proportion de variance d’une variable qui est commune à la variance de l’autre variable.
Quel est l’équation du coefficient de détermination?
(r2) *100
À quoi s’intéresse la fidélité?
La fidélité s’intéresse à la constance de la mesure, et par conséquent aux sources d’inconstance ou d’erreur transitoire dans l’évaluation.
En recourant à différentes méthode d’estimation, la fidélité vise à déterminer le % d’erreur d’échantillonnage relative… (4)
- au moment de l’évaluation 2. au contenu du test 3. à la subjectivité de la correction 4. au hasard
Vrai ou Faux. La fidélité compare divers aspects du test entre eux, alors que la validité les compare avec quelque chose d’extérieur.
Vrai!!!!!!!!!
À quoi s’intéresse la validité?
La validité s’intéresse à la précision, à la capacité de la mesure à faire des prédictions par rapport à des variables psychologiques.
Selon le principe de fidélité, les questions d’un test devraient être …
corrélées
Selon le principe de fidélité, les résultats à un test (ne) devraient (pas) être … (2)
- ne pas être influencés par le correcteur 2. être stables dans le temps
Le concept de fidélité des tests découle d’un modèle de mesure intitulé …
Théorie classique des tests
Que postule la théorie classique des tests?
Elle postule qu’aucune mesure n’est parfaite et donc X=V+E, où le score observé est égal à l’addition du score vrai et de l’erreur de mesure.
Vrai ou Faux. L’erreur de mesure peut affecter la fidélité et la validité d’un test.
Vrai.
Les sources d’erreur transitoire affectent ….
la fidélité
Les sources d’erreur systématique affectent …
la validité
Vrai ou Faux. La fidélité est limitée par la validité d’un test.
Faux. C’est l’inverse.
Les méthodes d’estimation de la fidélité fournissent généralement des coefficients varient de _ à _.
de 0 à 1.
Une fidélité parfaite correspond à un coefficient de _.
1
Quel est le calcul du % de variance à l’erreur?
(1 - coefficient de fidélité) * 100
Quelles sont les méthodes d’estimation de la fidélité? (4)
- Fidélité test-retest 2. Formes équivalentes 3. Accord interjuges 4. Cohérence interne
Que vise à savoir la fidélité test-retest?
Vise à savoir si l’échantillonnage de moment qu’on a pris pour évaluer le comportement de la personne permet une évaluation représentative de son comportement dans la vie de tous les jours.
Que fournit la fidélité test-retest?
Fournit un indice de la stabilité de la mesure et de l’erreur d’échantillonnage de moment.
Quel est la démarche employée pour la fidélité test-retest?
Passation du test à 2 reprises à un groupe. Délai est souvent de 2 à 4 semaines. Délai plus long si le construit est supposé être stable.
Dans quels contextes utilise-t-on la fidélité test-retest? (2)
- Lorsque le construit évalué par le test a la réputation d’être stable ou de varier selon les situations. 2. Si l’objectif d’utilisation du test est d’évaluer des changements dans le temps.
Vrai ou Faux. Il est presque toujours pertinent de recourir à la fidélité test-retest.
Vrai.
Pour la fidélité test-retest, pourquoi dit-on que plus le délai entre les tests est long, plus la corrélation est faible?
Parce que plusieurs facteurs peuvent entrer en ligne de compte.
Pourquoi le coefficient de la fidélité test-retest, de formes équivalentes, d’accord interjuges et de moitié-moitié est positif?
Car le test est comparé à lui-même.
L’interprétation d’un coefficient de corrélation dépend de la ________________ et des ______________.
de la stabilité du construit évalué et des caractéristiques des participants à l’étude.
Si les résultats ne vont pas dans le sens du construit mesuré lors de la fidélité test-retest, l’instabilité est attribuable à …
à l’utilisation du test.
Pour quelles raisons les résultats peuvent ne pas aller dans le sens du construit mesuré lors de la fidélité test-retest? (2)
- Apprentissage possible, réactivité de la mesure 2. Influence de facteurs transitoires
Quel est le calcul du % de variance d’erreur liée à l’échantillonnage du moment de la fidélité test-retest?
1 - fidélité du test
Quel est le principe de la fidélité formes équivalentes?
Si on a des échantillons de comportements (d’items) différents, les résultats devraient donc être les mêmes, puisque le fait qu’on ait choisi tel ou tel comportement ne devrait pas influencer le résultat au test.
Quelle est la démarche employée pour les formes équivalentes? (5)
- Constitution d’une banque d’items 2. Division en 2 pour faire 2 versions du même test. 3. Administration des 2 versions au même groupe d’individus. 4. Administration généralement consécutive des 2 tests 5. Corrélation entre les résultats
Dans les formes équivalentes, si il y a un délai introduit entre la passation des 2 tests, la coefficient mesure aussi la ________, en plus de l’équivalence.
la stabilité
Dans quel contexte utilise-t-on les formes équivalentes?
- Lorsque le test sera passé à plus d’une reprise et que l’effet de la mesure est jugée important (apprentissage, réactivité, facteurs transitoires)
Vrai ou Faux. S’il n’y a pas de délai entre la passation des deux formes équivalentes ou que le délai est très court, il y a une corrélation plus élevée.
Vrai. r=0,70 et plus
Si les résultats ne vont pas dans le sens attendu dans la fidélité de formes équivalentes, on a un problème de …..
problème d’échantillonnage de contenu
Quel est le calcul du % de variance d’erreur liée à l’échantillonnage du contenu de la fidélité de formes équivalentes?
1 - fidélité du test
Que vise l’accord interjuges?
Il vise à vérifier si les résultats seront les mêmes indépendamment de la personne qui évalue l’individu.
Quelle est la démarche employée lors de l’accord interjuges? (2)
- Deux experts cotent le même groupe de sujets. 2. Calcul de la corrélation des résultats des 2 juges.
Dans quel contexte utilise-t-on l’accord interjuges?
Lorsque les résultats d’un test impliquent le jugement d’un tiers. (ex: test d’intelligence ou grille d’analyse de dossier)
Pourquoi la corrélation est élevée pour l’accord interjuges?
Car on applique les mêmes critères pour tous.
Quel pourcentage vise-t-on s’il s’agit d’un % d’accord interjuges?
90%, car il y a des conséquences pour l’individu suite à la décision.
Dans l’accord interjuges, pour quelles raisons les résultats pourraient ne pas aller dans le même sens? (2)
- Critères de correction pas assez objectifs 2. Termes pas assez définis ou opérationnels.
Quel est le calcul du % de variance d’erreur attribuable à la subjectivité de la correction dans l’accord interjuges?
1 - fidélité du test
Quel est le principe de base de la cohérence interne?
Si les items d’un test mesurent tous le même construit, ceux-ci devraient être corrélés entre eux. Ils devraient varier à un rythme comparable.
Quelle est la démarche employée pour la cohérence interne? (3)
- On administre le test à un groupe d’individus. 2. On procède à des corrélations entre les items. 3. On applique une formule qui considérera un certain nombre de corrélations possibles.
Quelles sont les 3 méthodes d’estimation de la cohérence interne?
- Moitié-moitié 2. Alpha de Cronbach 3. Kuder-Richardson
Les méthodes d’estimation de la cohérence interne fournissent un indice de ____________ de la mesure.
de l’homogénéité
Quelle est la démarche employée pour la méthode moitié-moitié?
Division du test en deux et calcul de la fidélité
Quels sont les 2 inconvénients de la méthode moitié-moitié?
- Le résultat peut être dû au hasard 2. Le résultat n’est peut-être pas représentatif de l’ensemble des corrélations moitié-moitié.
La formule de correction de Spearman-Brown permet de ….
permet de prendre en compte les inconvénients de la méthode moitié-moitié et de corriger le coefficient obtenu.
Quelles méthodes de cohérence interne considèrent toutes les corrélations moitié-moitié possibles? (2)
Méthodes de l’alpha de Cronbach et du Kuder-Richardson
Vrai ou Faux. Les méthodes de l’alpha de Cronbach et du Kuder-Richardson sont moins précises que la méthode moitié-moitié.
Faux, elles sont plus précises.
Le Kuder-Richardson est utilisé pour les données….
données dichotomiques
L’alpha de Cronbach est utilisé pour les données…
données continues
Est-ce que l’utilisation d’indice de cohérence interne est toujours pertinent?
Oui, il est nécessaire d’avoir un indice de cohérence interne pour chacun des scores utilisés dans un test.
La cohérence interne est utile pour identifier les _____________ lors du développement d’une mesure.
les énoncés marginaux
Vrai ou Faux. Dans certains cas, l’emploi d’un alpha ou d’un KR-20 est impossible.
Vrai.
Dans le cas où l’emploi d’un alpha ou d’un KR-20 est impossible, que vérifie-t-on?
On vérifiera la fidélité test-retest ou la fidélité moitié-moitié
Pourquoi la corrélation d’un coefficient moitié-moitié est élevée?
La corrélation est élevée car c’est deux parties du même test. (r=0,70 et plus)
Quel est le calcul du % de variance d’erreur attribuable à l’échantillonnage du contenu pour un coefficient moitié-moitié?
1 - fidélité du test
L’interprétation d’un alpha ou d’un Kuder-Richardson dépend du __________ et de _____________.
du type de mesure et de l’utilisation du test
Quel est le calcul du % de variance d’erreur aléatoire pour l’alpha et le KR-20?
1 - fidélité du test
Quel est la corrélation voulue en recherche? En évaluation des individus? En décision de classement?
Recherche: 0,65 et plus Évaluation des individus: 0,70 et plus Décision de classement: 0,90 et plus
Quels sont les facteurs influençant la fidélité? (8)
- Méthode d’estimation
- Longueur du test
- Variabilité des scores
- Intervalle test-retest
- Réponse aléatoire
- Variation dans une même situation de testing
- Toutes les sources d’erreur non systématique
- Taille et hétérogénéité de l’échantillon de participants
Pourquoi la méthode d’estimation influence la fidélité?
Les coefficients de fidélité ne s’interprètent pas de la même façon (ils estiment des aspects différents de la fidélité)
Pourquoi la longueur du test influence la fidélité?
Plus il y a d’items, plus l’impact d’un item qui ne va pas dans le même sens sera minime.
Pourquoi la variabilité des scores influence la fidélité?
Plus l’échelle de mesure contient de choix de réponses, moins l’impact d’une réponse divergente aura de l’importance.
Pourquoi les réponses aléatoires influence la fidélité?
On ne peut prédire le hasard, il n’est pas constant!
Pourquoi l’intervalle test-retest influence la fidélité?
Plus il est long, plus les coefficients sont faibles.
Pourquoi la variation au cours du testing influence la fidélité?
Plus il y a de variation transitoires au cours du testing, moins les données sont fidèles.
Pourquoi l’erreur non systématique influence la fidélité?
Fidélité = constance. Sera affectée par tout ce qui est non systématique.
Pourquoi l’hétérogénéité de l’échantillon influence la fidélité?
Plus l’échantillon est grand et hétérogène, plus l’impact de la dissension est minime.
Qui suis-je? Je permet de prendre en compte que la fidélité du test est imparfaite lors de l’interprétation des résultats des individus.
L’erreur-type de mesure
Si un test est moins fidèle, on devrait être ____ prudent dans l’interprétation des données. On sait que l’écart entre le score observée et le score vrai est plus ____.
être plus prudent
est plus grand
Quel est le calcul de l’erreur-type de mesure (ETM)?
ETM = s * (racine de 1-rxx)
Que permet de déterminer l’intervalle de confiance?
Permet de déterminer le % de chances de retrouver le score vrai à l’intérieur de l’intervalle particulier.
Quel est la formule de l’intervalle de confiance?
X +/- z(ETM)
