2e exam. 2 Flashcards
<p>Qu'est-ce que la fidélité ? </p>
<p>Le concept de fidélité réfère à la reproductibilité des scores obtenus par les mêmes personnes
• lorsqu’on leur administre un même test à des occasions différentes;
• lorsqu'on leur administre des ensembles différents
d’items équivalentes;
• ou qu’ils sont soumis à des conditions d’administration variables.
</p>
<p>Quelle est l'utilité de mesurer la fidélité d'un test ? </p>
<p>La fidélité d’un test permet de déterminer dans quelle mesure les différences individuelles dans les scores aux tests peuvent être attribuées à de « réelles » différences sur le plan des caractéristiques mesurées (variance réelle) et dans quelle mesure elles doivent être attribuées à des erreurs dues au hasard (variance d’erreur).</p>
<p>Une variance d'erreur, c'est quoi ? </p>
<p>Variance d’erreur: toutes les erreurs qui peuvent arriver et nuire au bon calcul de la fidélité (variance vraie).
Tout ce qu’on peut pas expliquer s'ajoute aussi dans les variances d’erreurs.
*Toute condition non pertinente à l'objectif d'un test représente de la variance d'erreur.</p>
<p>Comment les examinateurs font pour maintenir des conditions de testage uniformes ? </p>
<p>en contrôlant l’environnement du testage, les consignes, les limites de temps, le climat interpersonnel avec les sujets et bien d’autres facteurs.</p>
<p>Pourquoi les examinateurs s'efforcent de maintenir des conditions de testage uniformes ? </p>
<p>Cela leur permet de réduire l’erreur de mesure et de rendre ainsi plus fidèles les scores aux tests.</p>
<p>Qu'est-ce qui ne fonctionne pas avec les passations sur internet ? </p>
<p>on ne peut pas contrôler l'environnement du testage ! = variance d'erreur</p>
<p>Malgré les efforts, aucun test n'est parfaitement fidèle. Pour compenser, de quoi devrions-nous accompagner un test ? </p>
<p>Chaque test devrait être accompagné d'un rapport sur son degré de fidélité (un manuel)</p>
<p>À quelle condition un indice de fidélité caractérise bien le test ? </p>
<p>sous réserve qu’il soit administré dans les mêmes conditions standardisées et à des personnes similaires à celles qui composent l’échantillon normatif
(les caractéristiques de l’échantillon devraient être précisées, de même que le type de fidélité qui fut évalué).</p>
<p>On veut que la variance d'erreur soit la plus petite ou la plus grande possible ? </p>
<p>petite</p>
<p>Étant donné que tous les types de fidélité ont pour objet un degré d'association entre deux séries \_\_\_\_\_\_\_de scores à un test, ils peuvent tous prendre forme d'un \_\_\_\_\_\_\_\_\_\_\_\_.</p>
<p>INDÉPENDANTES, coefficient de corrélation</p>
<p>Qu'est-ce qui exprime le degré de correspondance entre deux séries indépendantes des scores ? </p>
<p>un coefficient de corrélation (r pearson, rho spearman, corr tétrachorique, corr. polychorique, corr. partielle)</p>
<p>Que représente alpha ? </p>
<p>Moyenne des corrélations partielles </p>
<p>Que signifie une corrélation de 0 ? </p>
<p>absence d'association. pas de possibilité de prédire le 2e score à partir du premier score. cela reproduit le hasard</p>
<p>Quelle valeur de corrélation correspond au hasard ? </p>
<p>0</p>
<p>Qu'est-ce qu'un coefficient de corrélation ? </p>
<p>Un coefficient de corrélation (r, rho, rt, rpo, rpa) exprime le degré de correspondance (ou relation) entre deux séries INDÉPENDANTES des scores. </p>
<p>Quel coefficient est TRÈS IMPORTANT pour la psychométrie ? </p>
<p>le coefficient de pearson</p>
<p>Expliquez</p>
Quel type de corrélation correspond à moyenne, médiane et mode ?
moyenne = pearson médiance = polYchorique mode = tétrachorique
Quelle est la formule la plus simple de la corrélation de Pearson ?
corrélation = variance / les 2 É-T.
Pourquoi faut-il standardiser les résultats de covariance? (pourquoi on divise variance / les 2 ÉT ? )
La covariance peut varier de +infini à –infini et devient ainsi ininterprétable. (ex: différence de 603929 négligeable)
Dire classification corrélations
Classification des corrélations: autour de… (pas de consensus) .15 -> faible .35 -> moyenne .55 -> forte .75 -> très forte
Comment on exprime les résultats de corrélation (normes APA)
exemple vu en classe: La corrélation trouvée (r(8) = 0,40) au tableau précédant indique une corrélation positive et modérée entre les scores de mathématiques et de lecture.
Interprétation de ces deux éléments: les enfants qui réussissent en mathématiques TENDENT (r = 0,40), dans une certaine mesure, à réussir également en lecture, ET VICE VERSA, bien que la relation ne soit pas très étroite.
Qu’est-ce qu’une covariance ?
Deux choses qui varient ensemble
Pourquoi quand on dit les résultats en APA, on peut précriser et VICE VERSA à la fin ?
pcq il n’y a pas de causalité, donc c’est associé dans les deux sens, je peux renverser la chose.
Que devons-nous vérifier dans une corrélation ?
- le signe
- la force
- le niveau de signification
Que signifie: “la corrélation est significative au seuil de 0,05” ?
nous voulons dire que les chances ne sont pas supérieures à 5 sur 100 que la corrélation dans la population soit zéro (ou proche).
Il est difficile d’établir une relation générale de façon relativement certaine avec un échantillon de seulement 10 sujets.
Avec un échantillon de 10 personnes, la plus petite corrélation significative au seuil de 5% est de ___
0.63 !! Toute indice de corrélation inférieure à cette valeur laisse sans réponse la question de savoir si les deux variables sont statistiquement corrélées dans la population d’où fut tiré l’échantillon
Peut-on avoir une corrélation négative en fidélité ?
Non; on n’en veut pas !!
Pourquoi le N est-il très important dans une mesure de corrélation ?
Autour de 1000 personnes, une corrélation peut devenir significative à partir de 0,01. On peut dire que c’est significatif possiblement en raison du N.
Quelle force la corrélation doit-elle avoir pour être significative lorsque l’Échantillon est de 104 ?
Avec 104 sujets toute corrélation égale ou supérieure à 0,25 serait statistiquement significative. Toutefois, le coefficient de corrélation obtenu est quelque peu inférieur à ce que l’on considère désirable pour des coefficients de fidélité (au-dessus de 0,80 – ou même de 0,90).
Quelle force de corrélation souhaitons-nous en fidélité ?
au dessus de .80, ou même 0.90
Quels sont les différents types de fidélité ?
- Fidélité par test-retest (la stabilité);
- Fidélité par versions parallèles (l’équivalence);
- Fidélité par bissection (la cohérence interne);
- Fidélité de Kuder-Richardson (KR20) et coefficient Alpha (Alpha de Cronbach) (l’homogénéité);
- Fidélité intercorrecteurs (l’équivalence interjuges)
Qu’est-ce que la fidélité par test-retest ?
On ré-administre un même test aux même sujets;
• Le coefficient de fidélité (rtr) équivaut tout simplement à la corrélation entre les scores obtenus par les mêmes personnes aux deux passations;
• La variance d’erreur correspond aux fluctuations aléatoires des performances d’une séance de testage à l’autre
Quelle est l’effet du temps entre le test et le retest ?
Plus il y a de temps entre les deux, plus la corrélation est petite.
Effet de pratique. Intervalle très court -> effet de mémoire (meilleur à l’autre test).
Normalement, l’écart en 3 semaines, 6 semaines, 9 semaines (tjrs multiples de 3).
Pourquoi l’utilisation répétitive du même test peut ne pas constituer une bonne mesure de fidélité ?
pcq effet d’apprentissage
_____ la fidélité test-retest est élevée, ____ les scores sont influencés par des changements quotidiens imprévisibles.
plus, moins
Lorsqu’on inclut la fidélité test-restest dans le manuel d’un test, que faut-il spécifier ?
il faut spécifier l’intervalle de temps entre les deux passations [étant donné que les corrélations test-retest (rtr) diminuent progressivement à mesure que s’accroît l’intervalle de temps].
Quelles sont les difficultés soulevées par la technique du test-retest ?
- l’effet de pratique peut augmenter les scores au retest;
- si l’intervalle est très court, les sujets peuvent se rappeler de leurs réponses (effet de la mémoire);
- dans le cas de quelques tests (par ex. de performance), l’utilisation répétitive d’un même test peut ne pas constituer une façon appropriée pour obtenir une mesure de fidélité.
Qui suis-je ? Je suis un moyen pour contourner les difficultés soulevées par le test-retest
fidélité par version parallèle
Qu’est-ce que la fidélité par versions parallèles ?
Les individus peuvent ainsi passer une version lors de la première séance de testage et une autre version (parallèle ou équivalente) lors de la seconde séance;
• La corrélation obtenue entre les deux séries de scores deviendra le coefficient de fidélité;
• On remarque qu’un tel coefficient mesure, simultanément, la stabilité et la similitude des réponses à des échantillons d’items différents (il combine donc deux types de fidélité).
La fidélité par versions parallèle combine deux types de fidélité. Explqiuer.
On remarque qu’un tel coefficient mesure, simultanément, la stabilité et la similitude des réponses à des échantillons d’items différents
Lors de la rédaction de versions parallèles, il faut prendre toutes les précautions pour assurer un véritable parallélisme. Comment fait-on ?
Des versions parallèles d’un test devraient être préparées de manière indépendante, tout en respectant un même devis de rédaction :
- contenir le même nombre d’items, la même forme, et couvrant le même type de contenu;
- l’étendue des difficultés et le niveau de difficulté moyen devraient être les mêmes;
- il faut assurer l’équivalence des consignes, de minutage, des exemples, du format de présentation, bref, de tous les aspects du cadre de passation du test.
Les versions parallèles peuvent servir à d’autres fins que celle d’estimer la fidélité d’un test. Comme pour quoi ?
- Pour étudier l’impact d’une variable intermédiaire;
* L’emploi de versions parallèles permet de réduire l’impact du monitorat et de la tricherie.
La fidélité par versions parallèles soulève au moins 1 faiblesse: quelle est-elle ?
Il est bien probable que les sujets différeront quant à leur degré d’amélioration due à la pratique (n’auront pas les mêmes occasions de se pratiquer; ne seront pas également motivés à repasser le test, etc.), ce qui implique une autre forme de variance d’erreur qui tend à réduire la corrélation entre les deux versions;
Même avec une seule administration d’une seule version d’un test, il est possible d’obtenir une mesure de fidélité. Avec quelle méthode peut-on faire ça ?
à l’aide de la méthode de bissection (split-half)
Qu’est-ce que le test de bissection ?
Diviser le test en deux parties équivalentes (ce qui permet de calculer deux scores pour chaque examiné) – étant donné que l’unique passation n’implique qu’une seule version d’un test, le coefficient de fidélité obtenu porte le nom d’indice de cohérence interne;
- Il faut décider comment diviser le test en deux (de manière à ce que les deux moitiés soient aussi équivalentes que possible).
- Lorsque tous les sujets ont reçu leurs deux demi-scores, ces derniers peuvent être mis en corrélation para la technique usuelle (corrélation);
Le coefficient de fidélité obtenu par la méthode de bissection porte quel nom ?
indice de cohérence interne
Quelle est la différence majeure entre la cohérence interne (bissection) et les autres types de fidélité ?
• Il faut toutefois souligner que cette corrélation n’indique que la fidélité d’un demi-test. En effet, dans le cas d’un test composé de 100 items, la corrélation sera calculée entre deux séries de scores qui comptent chacune de 50 items. Par contre, dans le cas des fidélités par Test-retest et par Versions parallèles, tous les items du test contribuent au calcul de chacun des scores
Quelle est la faiblesse de la fidélité par bissection ?
Parce qu’il n’y a qu’une seule passation, ce type de fidélité ne tient aucunement compte de la stabilité temporelle des scores;
Qu’est-ce que la fidélité de Kuder-Richardson et Coefficient Alpha?
Il s’agit d’une seule passation d’une seule version d’un test. Cette fidélité a pour fondement la cohérence entre les réponses de tous les items du test
Différence entre Kuder et Alpha ?
Dichotomique d’une part (kuder) vs likert de l’autre part (alpha).
Cette cohérence interitems ( la fidélité de Kuder-Richardson et Coefficient Alpha) est sensible à une source de variance d’erreur : laquelle ?
: le degré d’hétérogénéité du domaine des contenus échantillonnés (plus le domaine est homogène, plus la cohérence interitems sera élevée). Par exemple, si un test ne contient que de problèmes de multiplication, tandis que l’autre est composée de problèmes d’addition, soustraction, division et multiplication, il est fort probable que le premier manifestera une plus forte cohérence interitems.
La formule KR20 s’applique aux items tout système ________
• La formule Alpha s’applique aux items selon une échelle de type ____.
“tout ou rien”, Likert
Le coefficient alpha a remplacé le KR20 dans presque toutes les situations. Expliquer
En réalité, depuis les années 1980 (avec la popularisation des ordinateurs et des logiciels statistiques) le coefficient alpha a remplacé le KR20 dans presque toutes les situations. Jusqu’aux années 2012, il s’agissait du coefficient de fidélité par excellence. Dans ces jours-ci nous vivons un moment historique important (Thomas Kuhn), le coefficient oméga prend de plus en plus une place importante dans les articles scientifiques en psychologie, à cause des certaines difficultés associées aux calcules Alpha.
Infos supp. corr partielle
Corrélation classique:
On corrèle item 1 à item 2, item 1 à item 3, etc…
Au moment où je corrèle 1 et 2, tous les autres résultats influencent quand même.
Mais on veut pas ça on veut corréler l’item 1 avec l’item 2 sans l’effet des autres items du test. Donc corrélation partielle
Partielle: on corrèle 1 avec 2 et on met le même résultat pour tous les autres items, ce qui contrôle leur effet. La corrélation partielle n’admet pas l’influence des autre items. J’annule l’effet des autres variables sur la corrélation que je suis ne train d’analyser. J’annule la variance d’erreur en remplaçant les autres corrélations par 1 ou 0.s
Alpha = moyenne de toutes les corrélations possibles. (1 et 2, , et 8, 6 et 7…..) 10 items: on fait tjrs la corrélation entre 2 items en contrôlant 8 items.
Alpha de Cronbach = la meilleure mesure de fidélité qu’on peut trouver.
Qu’est-ce que la fidélité par intercorrecteurs ?
- Les grilles de correction de certains types de tests, tout spécialement les tests de personnalité de type projectif, accordent un rôle important au jugement du correcteur. Dans le cas de ces tests, il deviens tout aussi nécessaire d’évaluer la fidélité intercorrecteurs;
- On peut évaluer la fidélité intercorrecteurs en faisant corriger un teste (le Rorschach, par exemple) séparément par au moins deux examinateurs. Les deux scores (ou plus) qu’obtiendront ainsi les sujets seront alors mis en corrélation de façon usuelle; le coefficient obtenu indiquera la fidélité dans toutes les études qui font appel à des instruments à correction subjective.
- On devrait retrouver de tels coefficients dans les manuels de tous les tests
Pour quel genre de test la fidélité par intercorrecteurs est plus utilisée ?
pour les tests de personnalité
Pourquoi le Kappa de Cohen est intéressant ?
car cette formule considère le hasard (quelqu’un qui répond au hasard mais qui a la bonne réponse, par exemple).
Quelle est la distinction entre la mesure de la vitesse et celle de la puissance ?
Dans un pur test de vitesse, la rapidité de la performance explique les différences individuelles observées. On prépare ce type de test à l’aide d’items qui sont tous faciles et qui font partie des habiletés maîtrisées par les sujets auxquels il est destiné. On fixe un limite de temps si court que la personne ne peut pas compléter tous les items. Dans de telles conditions, le score de chaque personne reflète exclusivement son rythme de travail.
À l’inverse, un pur test de puissance offre une limite de temps suffisamment longue pour que tous puissent tenter de répondre à chacun des items; ceux-ci sont cependant ordonnés selon une échelle de difficulté qui augmente très rapidement jusqu’à des items à peu près insolubles; ainsi, personne ou presque ne peut obtenir un score parfait
En quoi consiste les tests de vitesse?
limite de temps très courte et on en fait le plus possible. Je dois offrir une condition ou personne n’arrive à la limite.
Les tests de vitesse et de puissance sont tous les deux conçus pour empêcher une réussite parfaite. Pourquoi ?
Pareille précaution s’explique par le fait qu’un score parfait est indéterminé, en ce sens qu’il est impossible de savoir quel score plus élevé le sujet aurait atteint si le test avait contenu plus d’items ou des items plus difficiles.
Qu’est-ce que l’Effet Flynn ?
augmente de 3-5 points QI à chaque décennie.
Quelles sont les différence/ressemblance entre écart-tyoe et erreur-type ?
Ecart-T= un résultat pas personne Erreur-T = plusieurs résultats pour la même personne.
Même chose que pour écart-type ça se distribue de la même façon dans une distribution normale (68% entre 1 et -1 ETM).
Quel est le synonyme pour erreur-type de mesure ?
Erreur standard de mesure
, imaginons que nous ayons obtenu, avec un test de QI, en ensemble de 100 QI différents pour une même personne. En raison des divers types d’erreurs aléatoires, ces QI’s ont variés (adoptant la forme d’une distribution normale). Que représente le score réel et l’ETM ?
On peut interpréter la moyenne de cette distribution comme représentant le score réel de cette personne, l’écart-type de cette même distribution correspond à l’ETM
Comment s’interprète l’erreur-type ?
De même que pour tout écart type, cette erreur type s’interprète à l’aide des pourcentages associés aux divers segments de la distribution normale: 68% des individus se regroupent entre -1,00 et +1,00 É-T. On peut donc conclure qu’il y a environ deux chances contre une (ou 68:32) que le QI obtenu à ce test variera de +/- 1 ETM, autour de son réel QI (la moyenne).
Quelle est la formule de l’ETM ?
ETM = É-T * (1- coeff fidélité)^(1/2)
Considérons que les QI’s dérivés d’un test d’intelligence particulier ont un É-T de 15 et un coefficient de fidélité de 0,89. Quel est l’ETM ?
l’ETM d’un QI à ce test est = 15 multiplié par la racine carré de (1 – 0,89) = 15(0,33) = 5. Alors, si son QI réel est de 110, on s’attendra, deux fois sur trois (68%), à ce que le score obtenu fluctue entre 105 et 115.
Comment pouvons-nous prédire avec plus de certitude les scores individuels ? (ETM)
Si nous souhaitons prédire avec plus de certitude, nous pouvons choisir une probabilité plus forte (plus élevée). L’étendue délimité par +/- 2,58 É-T contient exactement 99% des sujets. Il y a 99 chances sur 100 que le QI obtenu pour cette personne ne dépasse pas 2,58 ETM, ou 13 points, de chaque côté de son score réel. Nous pouvons donc affirmer, avec un seuil de confiance de 99% (une seule chance d’erreur sur 100), que lors d’une quelconque passation de ce test le QI de cette personne devrait se situer entre 97 et 123 (110 – 13 & 110 + 13). En d’autres termes, si cette personne passait ce test 100 fois [dans de conditions similaires], son QI n’excèderait ces limites qu’une seule fois!
Le testage soulève fréquemment la question de la position relative d’un individu dans différents domaines d’habiletés. Expliquez.
• Les habiletés verbales de Marcos sont-elles plus grandes que ses habiletés numériques ? Si Marcos a obtenu un meilleur score au sous test numérique qu’au sous-test verbal, jusqu’à quel point sommes nous assurés qu’il conserverait cette position relative lors d’un retest? En d’autres termes, est-il possible que les différences entre les scores ne reflètent que le jeu du hasard dans l’échantillonnage des contenus spécifiques représentés par les items de ces tests particuliers d’habiletés ?
ETM: comment interprétons-nous la différence entre les scores ?
à l’aide d’un graphique des résultats: les résultats aux 2 tests ne se chevauchent pas.
