cours 6 Flashcards
Qu’est-ce que la fidélité ?
- réfère à la reproductibilité des scores obtenus par les mêmes personnes
Quelles sont les 2 conditions pour que ce soit les mêmes personnes ?
- on leur administre un même test à des occasions différentes
- on leur administre des ensembles différents d’items équivalentes
Pourquoi les mesures physiques sont plus «faciles» à mesurer que les mesures psychologiques ?
- niveau de précision des mesures physiques est plus élevé qu’au niveau psychologique
Qu’est-ce qui peut influencer la différence de résultats aux tests ?
- variance réelle
- variance d’erreur
Qu’est-ce que permet de déterminer la fidélité d’un test ?
- dans quelle mesure les différences individuelles dans les scores aux tests peuvent être attribuées à de réelles différences sur le plan des caractéristiques mesures (variance réelle)
- dans quelle mesure elles doivent être attribuées à des erreurs dues au hasard (variance d’erreur)
Qu’est-ce que la variance d’erreur
Tout ce que je ne peux pas contrôler dans la différence de reproductibilité entre les 2 passations
- changement du à l’erreur
- toute condition non pertinente à l’objectif d’un test
Qu’est-ce qu’une variance réelle ?
- la personne a changé par son vécu, expérience ou traitement psychologique
- changement voulu
Comment fait on pour minimiser la variance d’erreur ?
Essayer de tout contrôler
- examinateurs s’efforcent de maintenir des conditions de testage uniformes
- réduisent l’erreur de mesure et rendent ainsi plus fidèles les scores aux tests
Quelles sont les choses que les examinateurs s’efforcent de contrôler ?
- l’environnement du testage
- les consignes
- les limites de temps
- le climat interpersonnel avec les sujets
- etc.
Est-ce qu’un test peut être parfaitement fidèle ?
Aucun test n’est parfaitement fidèle
- tout test devrait être accompagné d’un rapport sur son degré de fidélité (manuel)
Dans quelle circonstance considère-t-on que l’indice de fidélité caractérise bien le test dans le rapport ?
- le test soit administré dans les mêmes conditions standardisées
- administré à des personnes similaires à celles qui composent l’échantillon normatif
- les caractéristiques de l’échantillon devraient être précisées, de même que le type de fidélité qui fut évalué
Quel est l’objet de tous les types de fidélité ?
- un degré d’association
- entre 2 séries indépendantes de scores à un test
- ces associations peuvent prendre forme comme un coefficient de corrélation ou coefficient d’association
Qu’est-ce qu’un coefficient de corrélation ?
exprime le degré de correspondance (ou relation) entre deux séries indépendantes de scores
Quelles sont les 6 corrélations les plus importantes ?
r : pearson rho : Spearman r(t) : tétrachorique r(po) : polychorique r(pa) : partielle R : multiple
Qu’est-ce qu’un problème de colinéarité ?
- Une variable d’une façon non voulu influence beaucoup l’autre variable
- Alors que la variance n’est pas voulu ; amène réflexion
- p. ex., 2 items avec du contenu différent avec une colinéarité, théoriquement les items sont différents, mais pratiquement et selon la psychométrie ils sont vues pareillement
Pourquoi les problèmes de colinéarité n’est pas le cas dans les mesure de fidélité ?
Pcq on veut des corrélation TROP élevé
Quelle est le rationnel du coefficient de corrélation ?
- obtenir une corrélation parfaite entre variables 1 et 2
- si pas une corrélation parfaite = il y a des choses pas parfaites = variance d’erreur
- Corrélation à la 2 = coefficient de détermination = façon de trouver la variance réelle
Qu’indique une corrélation de zéro (ou presque zéro) ?
- l’absence complète de relation
- ce qui produirait le hasard
- on ne peut pas prédire de comportement
Qui a trouver les corrélations poly et tétra ?
Pearson ???
Comment est-il possible de calculer le coefficient de corrélation ?
VOIR NOTE DE COURS POUR APPRENDRE CALCUL
Comment interpète-on un score ?
- signe
- force
- p. ex., variable x tendent (R(degré de liberté) = 0,x) dans une certaine mesure à variable x et vice versa, bien que la relation ne soit pas très étroite (forte)
Comment interprète on la force d’une corrélation ?
,15 = faible
,35 = modéré
,55 = élevé
, 75 = très élevé
Comment détermine t-on le degré de liberté ?
- degré de liberté est constante
- lorsque c,est une corrélation bivarié (r) = n-2
- comparation de moyenne = n-1
- comparaison des fréquences = variable
Quel est le 3e élément qu’on doit considérer dans une interprétation ?
- cette corrélation est elle significativement différente de zéro ?
- affirme qu’une corrélation est significative au seuil de 0,05, nous voulons dire que les chances ne sont pas supérieurs à 5 sur 100 que la corrélation dans la population soit zéro
Qu’est-ce qui peut influencer la significativité ?
- petit échantillon
Qu’est que la taille de l’échantillon peut influencer ?
- la corrélation
- la significativité
En quoi n influence la corrélation ?
- n influence le résultat d’une corrélation
- fondamentalement dans une corrélation n est partout dans la formule de corrélation
En quoi n influence la significativé ?
- plus on a de personnes plus la corrélation ne nécessite pas d’être forte pour être significative
- avec un grand n, tout devient significatif, alors il ne faut ni un trop petit (pas significatif) ni un trop grand n (tout significatif)
- un grand n = varie artificiellement les résultats = tout est significatif
En psychométrie est-ce qu’on accorde plus d’attention à la significativité ou à la corrélation ?
- corrélation
- coefficients de fidélité considérable est au dessu de 0,80 ou même 0,90
- pcq au dessu de 0,80 on dépasse le seuil de chance = 64% de variance réelle
- on va parler de significativité, mais on va focusser sur la force de la relation
- par convention on va dire un coefficient de 0,72 = 52% de variance (la différence est expliqué plus par le contenu des items que par la chance et autre chose)
Donne des exemples de significativité avec le nombre de personne dans un échantillon
- avec un échantillon de 10 personnes, la plus petite corrélation significative au seuil de 5% est de 0,63
- toute indice de corrélation inférieur à cette valeur laisse sans réponse la question de savoir si les 2 variables sont statistiquement corrélées
- avec 104 sujets, toute corrélation égale ou supérieur à 0,25 serait statistiquement significative (mais inférieur à ce que l’on considère désirable pour des coefficients de fidélité)
- avec 1000 personne significativité à 0,008
Quels sont les types de fidélité ?
- fidélité par test-retest (stabilité)
- fidélité par versions parallèles (l’équivalence)
- fidélité par bissection (cohérence interne)
- fidélité de Kider-Richardson (KR20) et coefficient d’alpha (Alpha de Cronbach) (l’homénéité)
- fidélité intercorrecteurs (équivalence interjuges
Qu’est-ce que la fidélité par test-retest (stabilité temporelle) ?
- on ré-administre un même test aux mêmes sujets
- coefficient de fidélité (r(tr)) = corrélation entre les scores obtenus par les mêmes personnes aux deux passations
- la variance d’erreur correspond aux fluctuations aléatoires des performances d’une séance de testage à l’autre
La fidélité test reteste indique quoi ?
- Dans quelle mesure il est possible de généraliser à des occasions diverses, les scores d’un test
- plus fidélité est élevée, moins les scores sont influencés par des changements quotidiens imprévisibles
- plus fidélité est élevée = moins les changements sont due à la variance d’erreur
Lorsqu’on inclut la fidélité test retest dans un manuel d’un test qu’est-ce qui faut spécifier ?
- l’intervalle de temps entre les deux passations
- corrélations test-retest diminuent progressivement à mesure que s’accroît l’intervalle de temps
Qu’elles sont les difficultés/désavatange associés à la fidélité test-retest ?
- effet de pratique
- augmenter les scores au retest - effet de mémoire
- si l’intervalle est très court les sujets peuvent se rappeler de leurs réponses - normalement ils prennent 3-6-9 semaines entre les passations
Pourquoi utiliser des versions parallèle ?
- contourner les difficultés soulevés par le test-retest
- servir à d’autres fin que celle d’estimer la fidélité d’un test (p. ex., étudier l’impact d’une variable intermédiaire : ce qui se passe entre A et B)
- l’emploi de versions parallèles permet de réduire l’impact du monitorat et de la tricherie
Qu’est-ce que la fidélité par versions parallèles ?
- individus passent une version lors de la première séance de testage et une autre version (parallèle ou équivalente) lors de la seconde séance
- corrélation obtenue entre les 2 séries de scores deviendra le coefficient de fidélité
Le coefficient de fidélité par versions parallèles mesure quoi ?
- stabilité
- similitude des réponses à des échantillons d’items différents
- combine 2 types de fidélité
Quelles précautions faut-il prendre lors de la rédaction de versions parallèles pour assurer un véritable parallélisme ?
- contenir le même nombre d’items, la même forme et couvrant le même type de contenu
- respecter l’étendue des difficultés et le niveau de difficulté moyen devraient être les mêmes
- Assurer l’équivalence des consignes, de minutages, des exemples, du format de présentation, bref de tous les aspects du cadre de passation du test
Quel est le désavantage d’utiliser la fidélité par versions parallèles ?
- les sujets différeront quant à leur degré d’amélioration due à la pratique
- n’auront pas les mêmes occasions de se pratiquer
- ne seront pas également motivés à repasser le test
- implique une autre forme de variance d’erreur qui tend à réduire la corrélation entre les 2 versions
Qu’est-ce que la fidélité par bissecton (split-half)?
- 1 seule administration et 1 seule version
- Diviser le test en 2 parties équivalentes
- permet de calculer deux scores pour chaque passation
- coefficient de fidélité = indice de cohérence interne
Comment divison-ton le test en 2 lors d’une fidélité par bissection ?
- pair et impair
- permet d’obtenir un niveau de difficulté équilibré pour chaque groupe d’items
- de manière à ce que les deux moitiés soient aussi équivalentes que possible
Quels sont les désavantages de la fidélité par bissection ?
- on calcul la fidélité de la moitié du test parce qu’on fait une corrélation d’une des 2 demi
- une demi va donner le support à l’autre demi
- on va utiliser la moitié pour validé (dans le sens fidélité) l’autre moitié - ne tient aucunement compte de la stabilité temporelle des scores
Que permet la formule Spearman-Brown ?
Permet d’estimer l’impact que le raccourcissement d’un test (lors de la fidélité par bissection) aurait sur son coefficient de cohérence interne
- formule qui intègre les 2 moitiés
Qu’est-ce que la différence entre la fidélité de Kuder-Richardson et le coefficient d’alpha ?
- Kuder-Richardson inventé pour vérifier la fidélité dans les échelles dichotomiques
- coefficient d’alpha : utilise la formule de K-R pour les échelles de Likert
- maintenant alpha fait dichotomique et multiple
Qu’est-ce que la fidélité de Kuder-Richardson et Coefficient Alpha (homogénéité) ?
- 1 seule passation, 1 seule version
- cohérence entre les réponses de tous les items du test
La cohérence interitems est sensible à quelle source de variance d’erreur ?
- Le degré d’hétérogénéité du domaine des contenus échantillonnés
- plus le domaine est homogène, plus la cohérence interitems sera élevée
Pourquoi la formule KR est 20 ?
Pcq c’est la 20e fois que la fomule a fonctionné
Pourquoi le coefficient oméga prend de plus en plus une place importante dans les articles scientifiques en psychologie ?
- Thomas Kuhn
- à cause des certaines difficultés associées aux calcules Alpha
- Beaucoup d’article demande les 2 ; oméga et alpha
Quelle est la différence entre oméga et alpha ?
la quantité d’items (n asocié à l’item)
- omega minimise l’influence du n
- Alpha maximise l’effet du n sur la fidélité
Lors des grands échantillons (personnes ou items) qu’utilisons nous ? Alpha ou Oméga ?
1000 personnes et plus
- omega
- pour éviter la variabilité artificiellement
- n a un trop grand impact sur le alpha de Cronbach, alors l’alpha va être grand, mais ne signifie pas que le test est fidèle
Qu’est-ce que la fidélité par intercorrecteurs ?
- Faire corriger un test séparément par au moins 2 examinateurs
- les 2 scores qu’obtiendront ainsi les sujets seront alors mis en corrélation de façon usuelle
- correction subjective
Combien de juges est impliquer dans la fidélité intercorrecteur ?
- pas plus de 5 juges pcq sinon augmente artificiellement la variabilité = variance d’erreur
- exception 2 juges
- idéal : 3 à 5 juges
Quand est-ce qu’on utilise des calcules à la mains lors de la fidélité intercorrecteur ?
- on peut faire calcule avec SPSS ; 2juges
- plus de 2 = calcules à la mains
En quoi les tests de personnalité sont différents ?
- accorde un rôle important au jugement du correcteur
- grilles de correction
- nécessaire d’évaluer la fidélité intercorrecteur
- une grande part de subjectivité va venir expliquer la différence entre 2 passation d’un individu avec 2 évaluateurs différents
Exepté l’équivalence interjuge, quel autre type d’associations mesure la fidélité par interrroecteur ?
Kappa de Cohen
- mesure le niveau de concordance entre ce que les 2 juges disent
- pertinence à partir de 0,8, mais convention à partir de 0,7
Qu’est-ce qu’un test de vitesse ?
La rapidité de la performance explique les différences individuelles observées
- les items sont tous faciles
- limite de temps si court que la personne ne peut pas compléter tous les items
- le score de chaque personne reflète exclusivement son rythme de travail
Quelle est la variance des scores d’un test de vitesse ?
- la différence entre les individus c’est le nombre de bonnes réponses en x temps
- nombre de questions réussies qui représentent la vitesse
Qu’est-ce qu’un test de puissance ?
- limite de temps suffisamment longue pour que tous puissent tenter de répondre à chacun des items
- niveau de difficulté des items augmentent très rapidement jusqu’à des items à peu près insolubles
Quelle est la comparaison entre les test de puissance et de vitesse ?
- les 2 sont conçus pour empêcher une réussite parfaite
- aucun score parfait est déterminer
- permet de discriminer
- sinon comment savoir la variance entre les 3-4 personnes qui auraient un score parfait
