Cours 4 Flashcards
Qu’est-ce que la fidélité ?
Ça concerne la précision de notre mesure, ou le niveau d’erreur de mesure qu’elle génère.
À quoi s’applique l’adjectif fiable lorsqu’on dit qu’un test est fiable ? Pourquoi la distinction est-elle importante ?
Aux scores et non au test en question. Parce que affirmer qu’un test est fiable sous-entend que la fidélité est établie de façon permanente.
La fidélité est-elle un concept dichotomique ?
Non, il est question de degré
Que veut-on savoir au sujet de la variation des scores en évaluation psychoéducative ?
À quel point elle résulte de différences réelles dans le construit qui nous intéresse ou plutôt d’imprécisions (erreurs) de l’instrument de mesure qu’on utilise (bref est-ce que le score vrai est estimé avec justesse)
Qu’est-ce que la théorie du score vrai ?
Score observé = score vrai + erreur de mesure
Vrai ou faux : il est possible qu’un instrument n’ait aucune erreur !
FAUX !!!
Quelle responsabilité a le pratcticien quant à la fidélité de l’instrument utilisé ?
Bien connaître sa fidélité pour en faire une interprétation rigoureuse et PRDUDENTE
Deux facteurs déterminent la corrélation observée entre deux mesures. QUelles sont-elles?
-Corrélation entre les scores vrais
-Fidélité des mesures
Quels sont les deux grands types d’erreur ?
Aléatoire et systématique (ou biais)
Qu’est-ce que l’erreur de mesure aléatoire ?
-Fluctuations statistiques non reproductibles, toujours présentes pour tous les instruments
-Autant aud dessus qu’en dessous de la moyenne
-Distribuée normalement
Qu’est-ce qui cause l’erreur aléatoire et comment la minimiser ?
Cause : variation dans l’échantillonnage
Min : +grand échantillon, +de moments de mesure, +facilement contrôlées statistiquement
Qu’est-ce que l’erreur de mesure systématique ?
-Fluctuations constantes et reproductibles, qui sont toujours dans la même direction. Pas dans tous les instruments
-Surestimation ou sous estimation constante des paramètres
-Pas distribué normalement
Qu’est-ce qui cause les erreurs systématique et comment les minimiser ?
Cause : mauvaise utilisation de l’instrument ; conditions d’administration inadéquates ; imperfections de l’instrument
Min : difficile à détecter, souvent pas connues ; difficile à quantifier statistiquement.
Quelles sont les source d’erreurs possibles ?
-Échantillonnage de contenu
-Échantillonage dans le temps
-Incohérence interne ou inter-item
-Incohérence inter-informateurs
Quel type d’instrument est-il sujet à une erreur d’échantillonnage de contenu et comment pouvons nous estimer leur erreur?
-Instrument pour lesquels des résultats cohérents au sens large sont souhaités ; coefficient de fidélité des formes parallèles ou coefficiennt de congruence
Quel type d’instrument est-il sujet à une erreur d’échantillonnage dans le temps et comment pouvons nous estimer leur erreur?
-Instruments de mesure de trait ou comportement relativement stable
-COefficient de fidélité test-retest (ou stabilité temporelle)
Quel type d’instrument est-il sujet à une incohérence interne et comment pouvons nous estimer leur erreur?
-Instrument qui requière une grande cohérence interne ou inter-item
-Coefficient fidélité moitié-moitié ; coefficient de cohérence interne
Quel type d’instrument est-il sujet à une incohérence inter-informateur et comment pouvons nous estimer leur erreur?
-Instruments qui impliquent un degré realtivement élevé de subjecctivité
-Coefficient de fidélité inter-juges
Peut-on évaluer le degré de fidélité avec les résultats d’un seul individu ?
Non ! il faut les données d’un échantillon qui sont évalués avec l’instrument
Par quelle équation est représentée la fidélité selon la théorie du score vrai ?
rx = VARvrai/VARerreur
En quoi consiste la fidélité des formes parallèles ?
Mesure classique de la fidélité : développer deux formes équivalentes du même instrument et estimer la corrélation des scores entre les deux formes pour les mêmes individus
Quelle source d’erreur est associée à la fidélité des formes parallèles ?
L’échantillonnage de contenu
Dans les formes parallèles, comment fait-on pour choisir les items?
sélection quasi-aléatoire, tous les domaines et sous domaines doivent être représentés proportionnellement
Que se passe-t-il après la collecte de données des formes parallèles ?
Corrélation élevée suggère bonne précision, ou peu d’erreur de mesure. On veut une corrélation élevée car 1= pas d’incohérenece de contenu.
Y a-t-il un coefficient minimum attendu pour les formes parallèles ? q exam.
Non, puisque la corrélation dépendra du contenu (complexité du construit) et plus de facteurs personnels des individus évalués. Typiquement, on s’attend quand même à un minimum de 0.7 (mais c’est arbitraire)
Qu’est-ce que la fidélité test-retest ?
Pour les instruments prétendant mesurer des construits stables dans le temps. On évalue les mêmes personnes avec les mêmes instruments à des moments rapprochés dans le temps (2semaines-1mois). Une corrélation élevée suggère une bonne précision, peu d’erreurs de mesure.
Y’a-t-il un coefficient minimum au test retest ?
NON le ,70 est arbitraire
À quoi faut-il faire attention pour le test-retest?
S’il y a un écart entre les résultats, il est parfois difficile de déterminer les raisons : intervalles trop long, changement réel chez ind., qt d’erreurs de mesure ; il faut juger de manière éclairée !
De façon générale, faut-il s’attendre à des corrélations très élevées pour le test-retest ? Pourquoi?
Non ! parce certains construits sont assez plastiques ou changeants dans le temps
Qu’est-ce que la cohérence interne?
Principe selon lequel les items d’une échelle doivent être corrélés entre eux, non seulement empiriquement mais aussi conceptuellement, afin d’être sur que les items mesurent bien le même construit.
Quelles sont les deux stratégies souvent utilisées pour mesurer la cohérence interne ?
Coefficient de fidélité moitié-moitié
Coefficient de cohérence interne
En quoi consiste le coefficient moitié moitié ?
Personnes chercheuse divise en deux les items d’une échelle et on estime ensuite les corrélations entre ces deux moitiés (contrairement aux formes parallèles qu’on fait à priori, c’est après), les items sont sélectionnés selon des critères, donc de manière quasi-aléatoire.
Compléter : moins il y a d’items mesurés, plus la corrélation est….
faible
Qu’est-ce que la prophécie de Spearman ?
Plus il y a d’items dans une échelle, plus sa fidélité est élevée.
Que peut-on faire avec des échelles qui comptent peu d’échelles afin de contrer la prophécie spearman ?
Appliquer la formule de la prophécie Spearman-Brown pour déterminer quelle serait la corrélation avec plus d’items !
Ra=2(Rsh)/1+Rsh
*a=ajustée avec tous itmes
sh=splithalf
Peut-il y avoir une cohérence interne avec un seul items à l’échelle ?
Non.
Qu’est-ce que la cohérence interne ?
Estimé statistique quantifiant l’ensemble des inter-corrélations entre tous les items d’une échelle.
Quels sont les deux indices très utilisés pour la cihérence interne ?
-Alpha de Cronchbach et Kuder Richardson
-Omega de Mc-Donald
Qu’est-ce que l’indice Alpha (de Cronchbach) ?
-Pour les times continus ; on assume mais ne test pas que les items mesurent une même variable latente ; on assume aussi que tous les items sont reliés de la même façon à la variable (taux équiv).
-Coefficient a est l’équivalent de la moyenne de toutes les moitié-moitié possibles
Comment calcule-t-on le ocefficient alpha ?
a= (k/k-1)*(1-la somme de la var des items/var du score total au test)
note : k est le nombre d’items au test
Qu’est-ce que l’indice KR-20 ?
Un cas spécial du alpha pour les items dichotomiques.
Qu’est-ce que le Omega de McDonald ?
-On teste explicitement les items que les items mesurent une même variable latente en utilisant l’analyse factorielle.
-Postulat irréaliste que tous les items sont reliés de la même façon à la vairable n’a pas à être respectée (saturatioins factorielles peuvent être différentes)
-Estimé de la fidélité plus près de la réalité que alpha ou KR-20
Si le coefficient omega est trop près de 0, qu’est-ce que cela suggère ?
Que les items ne sont pas homogènes, questions de l’échelle sont trop indépendanntes. Échelle immprécise qui génère beaucoup d’erreurs.
Dans la pratique clinique, quel minimum d’erreur interne est préféré ? expliquer.
0,80 et plus ! L’erreur de mesure dans une éhelle est un problème grave si on se base sur cet instrument pour prendre une décision clinique importante qui aura une incluence sur la vie d’un individu.
Vrai ou faux : un coefficient de cohérence interne au-dessus de 0.95 est très bon, cela signifie une cohérence presque parfait hashtag slay !! (expliquer)
Faux : ceci suggère qu’il y a potentiellement de la redondance dans le contenu, donc des questions qui mesurent la même chose.
Qu’est-ce que le principe de parcimonie ?
Enlever certaines questions de leur outils, par soucie de ne pas se répéter.
Vrai ou faux : un coefficient de cohérence interne en dessous de 0 est nécessairement mauvais, même en recherche, car c’est en bas de 0,6. Ce n’est vraiment pas un slay. (expliquer)
Faux ! Pour une échelle qui compte très peu d’items (2 ou 3), c’est attendu (prophécie de spearman)! On peut alors appliquer la transformation de Spearma-Brown.
Quelle est la formule de la transformation spearman-brown ?
Rp=kRo/(k-1)Ro
Rp est coefficient fidélité prédit
k est le facteur par lequel le nombre d’items du test est changé
Ro est le coefficient fidélité original
Quelle est la différennce entre la fidélité inter-juge et l’accord inter-juge ?
F : Renvoie au degré de cohérence entre différents informateurs avec des mesures continues ; on compare la variabilité entre iles informateurs
A : renvoie à une mesure de degré auquel des informateurs sont en accord exactement-souvent avec des mesures catégorielles ; ne considère pas la variance.
Les corrélations d’accord inter-juges sont-elles plus élevées ou plus faibles pour des instruments dimensionnels ?
Plus faible.
Comment interprète-t-on un coefficient de fidélité inter-juges plutôt faible ?
C’est attendu : les individus manifestent fréquemment des comportement différents selon les contextese et les informateurs ont des perceptions différencres selon leurs propres expériences.
Qu’est-ce que l’erreur type de mesure ?
Erreur standard de mesure
Qu’est-ce que l’erreur standard de mesure ?
-Donne indication de la qtt ou degré d’erreur de mesure associée aux scores d’une échelle.
-Écart-type de la distribution des erreurs (en score standardisé)
-On tente d’estimer le score vrai qui est théorique
Comment est calculé l’ESM ?
ESM = ÉT(des scores au test)*racine carré de (1-Rt )
Rt= oefficient de fidélité du test
De quelle manière l’ESM est-elle liée à la fidélité ?
Inversement
À quoi servent les ESM dans la pratique ?
Construire un intervalle de confiance autour du score observé (estimé prbabiliste permettant de situer le score observé à l’intérieur d,une étendue de scores donnée)
Quels sont les eux intervalles de confiance que l’on peut avoir ?
1 ESM : 68%
2 ESM : 95%
