mi-session Flashcards
torching ultra 200
donne une définition de la psychométrie
science de la mesure en psychologie qui étudie les différences individuelles à travers différentes méthodes ayant comme objectif central de mieux comprendre l’individu de manière rigoureuse et objective
qu’est-ce que l’évaluation psychométrique?
mesure des traits psychologiques qui se fait à l’aide des instruments psychométriques (tests et questionnaires)
donne 3 obstacles à la mesure de concepts en psychologie, et donne la conclusion résultante à propos des mesures de concepts en psychologie
- plusieurs concepts n’ont pas de “point zéro”
- plusieurs concepts n’ont pas d’ “étalons”
- l’opérationnalisation des concepts varie en fonction de leur degré d’abstraction
Donc, la mesure des concepts psychologiques est relative.
Qu’est-ce qu’on observe généralement afin de mesurer un concept psychologique?
des comportements
vrai ou faux. Les concepts en psychologie sont dit “latent”
vrai
quel est le but d’une mesure?
D’estimer un concept non observable sous-jacent grâce à des indicateurs.
bonus:
- ces indicateurs varient quant à leur degré d’inférence
- l’inférence peut s’effectuer à partir de l’observation d’une constellation de traits.
donne 2 “variété” de concept psychologique
- catégoriel (présence ou absence)
- dimensionnel (+/-)
les concepts en psychologie ont différents ______ __ ______.. compléter la phrase
niveaux de spécificité.
ex: personnalité - traits - facettes
ou
intelligence - facteurs généraux - facteurs spécifiques.
donne une définition de “instrument psychométrique’
dispositif (méthode ou outil) développé scientifiquement qui permet de mesurer un concept psychologique de manière objective et standardisée (à partir d’un échantillon de comportements)
qu’Est-ce qui rend un instrument “psychométrique” ? (3 éléments de réponse)
- standardisation
- objectivité de la mesure
- propriétés psychométriques (fidélité et validité)
Un instrument psychométrique fournit des consignes claires sur:
- les consignes d’administration
- le matériel à utiliser
- les consignes à donner à la personne évaluée
- les démonstrations préliminaires
- la façon de répondre aux questions de la personne évaluée.
de quoi s’agit il?
de Standardisation : uniformité de la démarche d’administration et de notation de l’instrument.
(5 trucs sur lesquels un instrument psychométrique fournir des consignes claires)
que permet la standardisation?
que se passe-t-il sans standardisation?
la standardisation permet une mesure objective.
sans standardisation:
- il est impossible de comparer les personnes entre elles ou avec la norme
- une même personne aurait des résultats différents à un même instrument administré par différents évaluateurs.
qu’exige l’objectivité de la mesure?
que les résultats obtenus ne résultent pas d’une évaluation subjective.
Ainsi, différents évaluateurs devraient arriver à des résultats très semblables pour le même instrument appliqué sur la même personne.
qu’implique l’objectivité d’une mesure? 2 choses
une quantification du concept évalué
les sources de biais sont contrôlées au maximum
donne 2 sous-caractéristiques de la fidélité
l’instrument produit des résultats PRÉCIS et CONSTANTS.
donne 2 sous-caractéristiques de la validité
l’instrument mesure ce qui prétend mesurer (fidélité) avec SENSIBILITÉ et SPÉCIFICITÉ (arrive-t-il à différencier correctement les personnes)
donne 4 principes sous-jacents de l’évaluation psychométrique
- les êtres humains se distinguent par les caractéristiques ou des traits importants.
- ces traits peuvent être quantifiés
- ces traits sont assez stables
- les mesures de ces traits sont liées au comportement
donne les 6 objectifs fondamentaux de la psychométrie
- comprendre le fonctionnement psychologique des individus
- réduire l’erreur d’évaluation d’un phénomène psychologique
- aider au développement des personnes(favorise la connaissance et la compréhension de soi)
- faciliter la communication
- permettre la protection de l’individus et du public
- permettre la prise de décision à l’égard d’une recommandation
de quelle façon est-ce que la psychométrie permet de mieux comprendre le fonctionnement psychologique des individus?
- permet d’évaluer des concepts complexes
2. contribue à la production de connaissances scientifiques
de quelle façon la psychométrie permet de réduire l’erreur d’évaluation d’un phénomène psychologique?
- permet d’évaluer plus précisément les caractéristiques psychologiques d’une personne
- Effectuer un diagnostic différentiel
- permet un regard plus objectif et normatif
- cibler les aspects du fonctionnement passés inaperçus au premier regard
de quelle façon la psychométrie aide au développement des personnes?
favorise la connaissance et la compréhension de soi.
de quelle façon la psychométrie facilite la communication?
- permet de susciter des réflexions sur l’image projetée par les résultats par rapport à l’image de soi
- encourage l’explication des propos pour ensuite permettre de confronter, infirmer ou préciser l’image de soi
de quelle façon la psychométrie permet la protection de l’individus et du public?
- évaluation de la dangerosité
2. réinsertion sociale
pour quelles circonstances la psychométrie permet la prise de décision à l’égard d’une recommandation?
- admissibilité à la psychothérapie
- mesures d’Adaptation à l’environnement
- Sélection de candidats
donne 3 utilité de l’évaluation psychométrique dans le secteur clinique.
- déterminer la nature/gravité d’un problème particulier
- Suggérer des solutions au problème
- mesurer les progrès accomplis
donne 2 utilité de l’évaluation psychométrique dans le secteur médical/psychiatrique.
diagnostic/diagnostic différentiel
évaluation du risque suicidaire.
à quoi peut servir la psychométrie dans le domaine de la recherche?
- définir de façon opérationnelle une variable dépendante
- décrire des échantillons
- instrument en tant qu’objet de recherche
Donne les 5 principales catégories d’instrument psychométrique
- test d’aptitudes intellectuelles
- test de rendement
- inventaire de personnalité
- échelles d’attitudes
- inventaire des intérêts professionnels
donne 6 méthodes de classification des instruments (6 axes)
- performance vs papier-crayon
- vitesse vs puissance
- individuel vs collectif
- performance maximale vs performance type
- normatif vs critérié
- performance vs auto-évaluation
donne 3 cas particulier d’instrument psychométrique
- entrevue clinique structurée (directive
- méthode d’observation systématique du comportement
- techniques projectives
de quel catégorie d’instrument s’agit-il?
mesure diverses fonctions cognitives
test d’aptitudes intellectuelles
de quel catégorie d’instrument s’agit-il?
évaluent le niveau de connaissance et d’habileté d’une personne dans un domaine particulier
test de rendement
de quel catégorie d’instrument s’agit-il?
permettent de décrire le fonctionnement habituel, déceler des comportements problématiques, etc.
inclus les instruments cliniques permettant de mesurer les troubles pathologiques
inventaires de personnalité
de quel catégorie d’instrument s’agit-il?
portent sur les types d’Activités qu’une personne a le plus de plaisir à exercer
inventaire des intérêts professionnels
de quel catégorie d’instrument s’agit-il?
mesure les attitudes envers des pratiques, des sujets et des groupes particuliers.
échelles d’Attitudes
de quel type d’instrument psychométrique s’agit-il?
permet de recueillir verbalement de l’information à l’Aide de questions prédéterminées
entrevue clinique structurée (directive)
de quel type d’instrument psychométrique s’agit-il?
permettent d’observer un comportement dans les situations naturelles
méthode d’observation systématique du comportement
de quel type d’instrument psychométrique s’agit-il?
permettent d’évaluer la personnalité par la présentation de stimuli ambigus
techniques projectives.
de quoi sont composés les instruments psychométriques?
3 éléments
- items (questions)
- Échelles (regroupement d’items qui mesurent un même concept)
- épreuves (tâches qui visent à mesurer une aptitude
mesure dimensions et sous-dimensions d’une réalité. Regroupe les items implicites et explicites. De quoi s’agit-il?
Échelles
de quoi s’agit-il?
sont l’unité de base de la mesure.
portent sur les indicateurs du concept mesuré
items
Distingue les objets les uns des autres en leur attribuant des numéros.
La réponse à l’item est catégorielle.
Aucun ordre de grandeur ou hiérarchie
mesure nominale
Les objets portent des numéros qui en indiquent l’ordre.
La réponse à l’item est catégorielle, mais les catégories sont hiérarchisées.
La distance qui sépare les différents niveaux n’est pas précisée
mesure ordinale
Place les objets en ordre et à intervalles égaux.
Il n’existe pas de zéro absolu (peut exister sous forme arbitraire).
mesure d’intervalle
Place les objets en ordre et à intervalles égaux.
Il comporte un zéro absolu.
mesure de rapport (ou de proportion)
La majorité des questionnaires utilisent des items ______________
- nominal
- ordinal
- à intervalle
- de rapport
à intervalle car Difficulté à définir un point « zéro » lorsque nous référons à des construits psychologiques
L’échelle de Likert est considérée comme un item _____
- nominal
- ordinal
- à intervalle
- de rapport
intervalle
que permet les item à intervalle comme l’échelle de Likert?
de saisir la variance des indicateurs mesurés
Donne une condition nécessaire pour pouvoir faire la moyenne d’un ensemble d’items?
tous les items doivent être quantifiés et avoir la même valeur maximale
qu’est-ce qu’un score?
Un score est un résultat numérique obtenu à un instrument, à une échelle ou à une épreuve
il peut être brut ou pondéré
vrai ou faux, Un score brut est en partie déterminé par les caractéristiques de l’instrument.
Vrai
de quoi s’Agit-il?
résultat obtenu après une transformation statistique qui tient compte de la comparaison du score brut à une norme.
score pondéré
de quelle approche s’Agit-il?
le résultat à l’instrument est interprété en comparaison aux résultats d’un échantillon représentatif d’une population de référence
approche normative
de quelle approche s’Agit-il?
le résultat à l’instrument est comparé à un critère externe plutôt qu’à une norme
approche critériée
vrai ou faux: La majorité des concepts psychologiques ne peuvent pas être évalués en rapport à un critère externe
vrai
Pour comprendre un score brut, il est donc nécessaire de le comparer à une distribution de scores obtenus par des individus de la même population
désigne tout élément mesurable qui peut varier entre les personnes ou chez une même personne.
Ainsi, la réponse à un item, le score à une échelle, le résultat à une épreuve en sont
variable
donne les 3 composantes du modèle de la cible, de l’Extérieur vers le centre(noyau)
- utilité
- validité
- fidélité.
le modèle de la cible divise l’élaboration d’un outil psychométrique selon 2 phases et 2 tâches, que sont-elles?
2 phases:
- préparation
- vérification
2 tâches:
- objectifs
- moyens
donne les 6 étapes du modèle de la cible
- usage anticipé
- conceptualisation
- élaboration
- stabilité
- congruence
- usage recommandé
donne 4 raisons pour lesquels faire un test psychométrique (usage anticipé)
- combler un besoin concret
- combler un besoin théorique(confirmer un concept théorique)
- réviser ou adapter des instruments existants
- créer une nouvelle mesure visant à pallier aux limites d’une mesure déjà existante
quels sont les objectifs (préoccupations) de l’étape 1 (usage anticipé)?
- buts de l’instrument (quoi et pourquoi?)
- population visée(qui?: bénéficiaires, administrateurs, utilisateurs)
- circonstances d’utilisation/de passation (contexte: discriminer, diagnostic, profil des caractéristiques)
de quelle étape s’Agit-il?
C“est là qu’on détermine les échelles et les sous-échelles que le test va mesurer.
Tente, par exemple pour l’embauche d’ambulancier, de déterminer les caractéristiques qui font les meilleurs ambulanciers.
étape 2: conceptualisation
vrai ou faux, lors de la conceptualisation, se référer à un modèle théorique est la stratégie la plus souvent employée
vrai
donne 4 stratégies d’opérationnalisation (étape 2)
- se référer à un modèle théorique (dimensions, sous-dimension, traits, etc)
- définition des objectifs pédagogiques et tableau de spécification (ex: le ministère de l’éducation veut s’assurer que les élèves du secondaire maîtrisent certaines capacités particulières)
- observation directe des comportements dans le milieu de vie ou de travail
- méthode des incidents critiques
que facilite ultimement le fait de se référer à un modèle théorique lors de la conceptualisation?
cela facilite la communication d’information avec d’autres professionnels qui connaissent la théorie.
quels sont les objectifs de la conceptualisation (étape 2)?
-définir,
-catégoriser,
-organiser
les composantes des phénomènes à mesurer.
résume les moyens à utiliser pour toutes les étapes du modèle de la cible
passer en revue les connaissances déjà connues afin de s’en inspirer ou de carrément y trouver ce que l’on recherche
donne les 2 moyens disponibles pour l’élaboration (étape 3)
- lectures psychométriques
- inventaire des stratégies déjà employées
qu’Est-ce que l’élaboration et quel est son objectif?
élaboration = préparation des items: quelle méthode choisissons nous pour approcher ce que l’on veut mesurer?
objectif: prévoir les sources d’erreur de manière à les minimiser
vrai ou faux, il est impossible d’Avoir 100% de fidélité, même avec un test à choix de réponses.
faux, les items à choix de réponses peuvent avoir 100% de fidélité, surtout s’il y a juste une seule bonne réponse. De manière générale, les items à choix de réponse augmente la fidélité
comment augmenter la fidélité de cotation lorsqu’il y a plusieurs juges (fidélité interjuge)?
ajouter des critères d’évaluation qui vont baliser l’interprétation de l’évaluateur.
comment contrer la tendance à l’acquiescement lors d’un test à choix de réponse?
utiliser des items positif et négatif (je suis X/je ne suis PAS X)
donne 3 avantages des items à choix de réponses
- optimisation temporelle
- optimisation de cotation
- fidélité de cotation (fidélité interjuge)
nomme 5 dangers auxquels il faut se prévenir lorsqu’on formule un questionnaire à choix de réponse
- utiliser le bon contenu
- ne pas exposer la réponse
- faire preuve de simplicité et de clarté (pas de double négation, pas de question ambiguë: ex: vous êtes RELATIVEMENT calme)
- contrer la tendance à l’Acquiescement
- éviter les items à forte désirabilité sociale (les gens répondent rarement honnêtement aux questions socialement indésirables)
donne 3 avantages des items à développement
- facilite l’observation du comportement et des processus associés à l’instrument.
- permet d’explorer certaines zones inhabituelles
- approche plus globale et écologiquement valide
donne une façon que les cliniciens ont d’aller chercher la subtilité qui manque à un item à choix de réponse
en questionnant leur client sur leur réponse à certains items.
3 choses auxquelles faire attention lorsqu’on formule un questionnaire à développement
- veiller à ce que la tâche soit claire (consignes écrites dans un langage de 4eme année)
- avoir une idée précise du mode de correction
- avoir un nombre suffisant d’items pour augmenter la validité et la fidélité
à quelle étape du modèle de la cible fait-on des analyses préliminaires?
étape 4: stabilité
donne les objectifs et les moyens de l’étape 4: stabilité
objectifs:
- vérifier la nature et l’ampleur de l’Erreur
- établir la stabilité temporelle et interne
Moyens:
- erreur-type de mesure
- analyse d’items
- analyse corrélationnelle
Que vise l’analyse des items et nomme les 3 démarches (étapes) utilisées lors de l’analyse des items
choisir les meilleurs items parmi ceux qu’on a créés afin de produire le meilleur instrument possible
- mise à l’essai
- analyse statistique
- sélection des items
donne 3 indices permettant de sélectionner les meilleurs items lors de l’analyse d’items
- cohérence interne
- indice de fidéité interjuge
- fidélité test-retest
qu’Est-ce que l’indice de fidélité d’un item
?
c’Est l’indice de contribution de chaque item à la fidélité et à la validité de l’instrument
(on détermine si le fait de retirer un item augmente ou diminue la fidélité et la validité de l’instrument)
quelle est la 5eme étape du modèle de la cible?
congruence
quels sont les objectifs et les moyens de l’étape de la congruence (étape 5) du modèle de la cible?
objectifs:
-vérifier les quantification et/ou l’organisation des concepts
moyens:
- analyses corrélationnelles
- équations structurelles
- analyses factorielles confirmatoires
- approche hypothético-déductive
l’étape de la congruence (étape 5) se préoccupe de la validité, donne en 5 types
- validité de contenu
- validité critériée
- validité de construit
- validité apparente
- validité différentielle
quelle est la 6eme étape du modèle de la cible?
usage recommandé
quels sont les obectifs et les moyens de la 6eme étape du modèle de la cible: usage recommandé
objectifs:
- préciser les buts, la population visée, les circonstances d’utilisation/de passation
- guider l’interprétation
Moyens:
- description par stratification du groupe normatif
- développer un manuel de test
adapter un instrument c’est le rendre compatible avec les aspects de la population visée.
donne 3 raisons ou facteurs dans lesquels une adaptation du test est favorable.
- pour l’administration du test à des gens d’une autre culture ou une autre langue
- lorsque certains aspects de l’instrument ou son contenu est inadapté (s’adapter aux nouvelles théories par exemple)
- lorsque c’est préférable à la conception d’un nouvel instrument.
Est ce que l’Adaptation fait parti des étapes de création d’un instrument?
non, l’Adaptation est une méthode alternative à la création d’un test
donne 4 exemples d’axes de contenu inadapté
- contenu culturel périmé (monté du communisme au Québec)
- référence technologique dépassée (métier de dactylographe)
- différence intergénérationnelle (une personne âgée performe moins bien sur un test à l’ordinateur)
- évolution conceptuelle (le WISC utilise maintenant 4 indices plutôt que 2)
donne 3 sortes de biais qui nuise à l’Adaptation d’un instrument
- biais de concept: concept trop spécifique ou exprimé de manière différente dans différentes cultures.
- biais de méthode: l’Administration de l’instrument est conduite différemment (le temps alloué pour une tâche et la d’interprétation qui y est associé va être biaisée si c’Est la même pour un enfant, un adulte et une personne âgée)
- biais d’items : différentes propriétés statistiques des items selon les cultures (lié à une différence de la distribution statistique, donc la norme qui devrait y être associé)
décrit la méthode de la traduction directe
on traduit directement l’instrument de la langue source à la langue cible (1)
puis on évalue l’équivalence des deux version (on utilise le test et on compare les résultats de 2 échantillons)
décrit la méthode de la rétrotraduction
on traduit l’instrument de la langue source à la langue cible (1)
on refait une traduction de la langue cible vers la langue source (2)
on évalue l’équivalence des 2 version (source et rétrotraduite)
Lors d’une traduction d’instrument, il ne suffit pas d’en traduire les questions.
donne 5 procédures de validation
- comité d’expert
- prétest
- analyse des items
- vérification de l’équivalence des propriétés psychométriques
- nouvelles normes
(on revérifie la fidélité et la validité du test une fois traduit)
donne 3 difficultés liées à la traduction
-identifier la langue cible appropriée : il existe plusieurs dialectes d’une même langue (francais de france vs francais québec)
- caractéristiques des traducteur(avoir de bons traducteurs)
- équivalence entre la langue source et la langue cible (certains mots sont loin d’être clair: amour, justice, honneur)
Quelle qualité d’un instrument psychométrique nous permet de DÉTERMINER quelle est la part des différences individuelles qui sont attribuables à de vraies différences plutôt qu’à l’imprécision de l’instrument utilisé?
la fidélité, car c’Est la mesure que dans laquelle les résultats sont reproductibles à l’intérieur d’une marge d’Erreur
elle est une estimation de l’Erreur de mesure d’un instrument
la fidélité
qu’est-ce qu’une erreur systématique?
une erreur qui augmente ou réduit systématiquement les résultats attendus à un instrument
- n’est pas aléatoire
- ne relève pas de l’erreur de mesure de l’instrument
- diminue la validité d’un instrument
quel type d’Erreur (systématique ou aléatoire) diminue la fidélité et la validité respectivement
l’erreur systématique réduit la validité
l’erreur aléatoire réduit la fidélité
quel type d’erreur relève de l’Erreur de mesure de l’instrument, l’Erreur aléatoire ou systématique?
l’Erreur aléatoire
nomme les 4 principales sources d’erreur de mesure associées à la fidélité
- type de correction de l’instrument
- contenu de l’instrument (variation plus ou moin aléatoire des items composant un instrument :sélection/échantillonage des items)
- conditions d’Administration de l’instrument (passé un rorschach dans un placard à balais)
- circonstances personnelles (personne très fatiguée lors d’un exercice d’introspection)
quel est la relation entre la variance et l’écart-type?
l’écart-type est la racine carrée de la variance
qu’est-ce que la variance?
c’est la dispersion des scores autour de la moyenne(degré de dispersion des données)
qu’est-ce que la variance et l’écart-type indiquent?
à quel point les personnes obtiennent des résultats différents à l’instrument.
qu’Est-ce que la covariance?
C’est une mesure de l’association entre 2 variables: c’est le degré de covariation entre deux variable: c’est la mesure dans laquelle la distribution des scores de chaque sujet à chaque variable est parallèle.
quand peut-il être difficile d’obtenir la covariance de 2 variables?
quelle solution utilisons-nous couramment?
cela peut être difficile lorsque les 2 variables n’ont pas les même unités de mesure.
Depuis Pearson, on utilise l’écart-type pour comparée les mesures entre elles.
la covariance est affecté par les unités de mesure des variables. Quelle mesure lui ressemble sans toute fois avoir cette limite?
la corrélation, elle est aussi une mesure de ;a force d’Association entre deux variables, mais elle n’est pas affectée par les unités de mesure.
La correlation est STANDARDISÉE, ce que la covariance n’Est pas.
définir le score observé
score obtenu à l”instrument qui contient l’erreur de mesure
définir le score vrai
score qu’on obtiendrait si toutes les sources d’erreur de mesure qui sont associées à un problème de fidélité étaient supprimées du score observé
ce score est hypothétique
vrai ou faux, la moyenne de plusieurs administration contient la moyenne de toutes les erreurs de mesure donc elle n’est pas plus fidèle (proche du score vrai) qu’une administration simple
faux, la moyenne de plusieurs administration devrai théoriquement nous approcher du score vrai
vrai ou faux, la moyenne de plusieurs administration devrait nous approcher du score vrai?
vrai
définir l’erreur de mesure
compris ici comme caractéristique de l’instrument en général, pas d’une passation en particulier.
c’est la somme de toutes les influences aléatoires susceptibles de compromettre la fidélité de l’instrument
le score vrai est la somme de 2 choses, quelles sont-elles?
le score vrai (V) est la somme du score observé (O) et de l’erreur de mesure (E)
V=O+E
dans la théorie classique des scores, est-ce que le score vrai est une constance ou une variable ?
une constante
de quelle façon est-ce que la théorie classique des score considère que l’erreur de mesure se distribue en générale?
on considère que l’Erreur de mesure se distribue normalement autour du score vrai.
cela implique que le score observé se distribue normalement autour du score vrai
vrai ou faux: la valeur attendue pour le score observé est le score vrai?
vrai
pour quelle raison est-ce que le score vrai est la moyenne de la distribution THÉORIQUE des scores observés?
car l’ensemble des scores observés sont distribués normalement autour du score vrai, autant dans le positif que le négatif, donc c’Est deux pôles devraient s’annuler lors de la moyenne et nous donner le score vrai.
est-il vrai que théoriquement, plus on fait d’observation sur un même individu, plus notre score observé deviendra précis? (près du score vrai)
oui c’Est vrai.
vrai ou faux, le score vrai a une variance propre (une marge de scores différents sont “vrais”) que l’on nomme variance vraie
vrai
et la variance vraie peut différer d’un concept ou d’un instrument à l’autre
explique la relation entre la variance vraie, la variance observée totale et la variance d’Erreur
la variance d’erreur = la variance observée totale - la variance vraie
plus la variance vraie est élevée et plus la variance d’erreur est petite, (plus/mois) il y a de chances que le score mesuré soit le score vrai
plus
vrai ou faux, dans un instrument psychométrique, on cherche à minimiser la variance vraie et minimiser la variance d’erreur
faux, on chercher à maximiser la variance vraie et minimiser la variance d’Erreur
comment expliquer la fidélité en terme de variance ?
c’Est la proportion de la variance observée qui relève de la variance vraie
explique la précision d’un instrument en terme de variance
plus un instrument est précis, plus la variance des scores observés est due à la variance des scores vrais et non à l’erreur aléatoire
que doit-on suspecter lorsqu’un nouveau test de personnalité a une faible fiabilité test-retest lorsque appliqué à des sujets en thérapie pour trouble de personnalité?
changement du score vrai
ou grande variance d’erreur, ce qui empêche du même coup de détecter ou quantifier des variations réelles.
que cherchons nous à estimer lorsque l’on utilise une méthode pour déterminer la fidélité d’un instrument?
on cherche à estimer l’Erreur de mesure
chacune des méthode cible une ou plusieurs sources d’erreurs de mesure qui représentent chacune différents aspects de la fidélité
que nous indique le coefficient de fidélité?
quelle portion de la variance du score observé est attribuable au score vrai.
quelle est la relation entre la variance d’erreur et le coefficient de fidélité?
le coefficient de fidélité (r) a une valeur entre 0 et 1
la variance d’Erreur = 1 - r
donne 4 méthodes servant à déterminer la fidélité
- fidélité test-retest
- fidélité interjuge
- méthode des versions parallèles
- cohérence interne
que permet l’évaluation de la fidélité test-retest?
quels sont les sources d’Erreurs ciblées?
quel plage de temps entre 2 administrations est préférable?
de mesurer la stabilité dans le temps
de cibler les sources d’Erreur suivantes:
- circonstances personnelles
- conditions d’administration
- type de correction
généralement entre 1 journée et 1 mois. on veut que ce soit suffisamment espacé afin qu’il n’y ai pas de mémoire, mais pas trop espacé afin qu’il n’y ait pas trop de changement chez la personne.
donne 3 effets qui peuvent jouer lors d’une passation test-retest
effet de pratique: lors d’un intervalle très court, les sujets risquent de se souvenir de plusieurs de leurs réponses
effet d’Apprentissage: apprentissage de la tâche depuis ou lors de la dernière passation
effet de maturation: avec un intervalle trop long, le trait risque d’Avoir vraiment changé (ou la norme de référence: enfant de 6vs8 ans par exemple)
donne 2 limites à la fidélité test-retest
elle ne tient pas compte des erreurs liées au contenu de l’instrument
la méthode peut être difficilement applicable si l’administration de l’instrument est long et complexe
que représente le coefficient de fidélité lors de l’évaluation de la fidélité interjuge et quelle source d’Erreur cette méthode cible-t-elle?
cela représente la corrélation entre les scores attribués par les différents juges.
source d’Erreur ciblée: type de correction.
elle a comme limite qu’elle ne tien pas compte des variations liées aux autres sources d’Erreurs.
que mesure la méthode des versions parallèles?
l’équivalence des deux versions
la méthode des versions parallèles nécessite-t-elle que l’instrument soit administré aux mêmes candidats?
oui
quelles sources d’Erreur cible la méthode des versions parallèles?
dans un délais court: le contenu de l’instrument et les circonstances personnelles
dans un long délais: le contenu de l’instrument, les circonstances personnelles. si c’Est fait dans 2 contextes différents avec des évaluateurs différents: conditions d’Administration et le type de correction.
donne 2 défauts de la méthode des versions parallèles
les 2 formes ne sont jamais 100% équivalentes
il est long et coûteux de produire 2 versions.
quels effets peuvent jouer lors de la méthode des versions parallèles, selon différents délais (cours, moyen, long)
court: effet de pratique et effet d’Apprentissage
moyen: dépend de la tâche - effet de pratique ou d’Apprentissage
long: effet de maturation, possiblement effet d’Apprentissage
lorsqu’on évalue la fidélité d’un test, que cherche à mesurer la méthode de la cohérence interne?
quelle source d’Erreur est ciblé?
cherche à mesurer l’homogénéité des items, c’Est à dire s’ils mesurent le même concept
source d’erreur ciblée: contenu de l’instrument
donne 3 méthodes qui permettent de mesurer la cohérence interne d,une instrument
- la bissection
- les formules de Kuder-Richardson
- le coefficient alpha de Cronbach
de quelle méthode d’évaluation de la cohérence inter s’Agit-il?
Administration d’un seul instrument dont on corrige les deux moitiés comme si chacune était une version différente de l’instrument
quel défaut comporte la méthode de la bissection?
sous-estime la fidélité de l’instrument car les 2 moitiés ne sont pas forcément équivalentes et et cette méthode estime la fidélité d’un instrument 2 fois moins long que celui auquel on s’intéresse (car plus de bons items augmente la fidélité)
quelle limite comporte la formule de Kuder-Richardson que le coefficient de Cronbach n’A pas?
les formules de Kuder-Richardson se limitent aux items dichotomiques
de quoi s’Agit-il?
corrélation moyenne entre les items pour toutes les divisions possibles (corrélations testées pour toutes les combinaisons de paires d’items).
coefficient de fidélité alpha (de Cronbach)
de quoi dépend l’alpha de Cronbach et donc, quelles en sont les limites?
dépend du nombre d’items et de la corrélation moyenne entre les items
limite: sous-estime la fidélité de l’instrument car la fidélité du test est ultimement limité par l’élément qui a la covariance la plus faible
- Plus il y a d’items et plus elle évalue un tout cohérent et plus la mesure est fidèle.
- Car plus il y a d’items qui covarient ensemble, moins ils y a de chances qu’ils soient tous dans le champ.
- Plus on a d’items, moins on a besoin d’une correlation forte entre les items.
il s’Agit de?
l’alpha de Cronbach
donne 4 facteurs qui influencent la fidélité
- la difficulté de l’instrument
- l’étendue des différences individuelles (homogénéité du groupe)
- limite de temps
- longueur de l’instrument
que provoque un instrument trop facile ou trop difficile?
quel effet cela a-t-il sur la perception de la fidélité de l’instrument?
une asymétrie des résultats, donc une réduction de la variance des scores
la fidélité de l’instrument sera sous-estimée car
y a-t-il un lien entre la symétrie d’une distribution et le coefficient de de fidélité?
oui, la corrélation de Pearson ne peut atteindre sa valeur maximum de 1 que lorsque que la symétrie (ou asymétrie) des 2 variables est la même. or la corrélation de Pearson est la base des coefficients de fidélité
quel défaut a, respectivement, un instrument (test) trop facile et un trop difficile?
un test trop facile n’est pas discriminant
un test trop difficile est trop sensible aux circonstances.
Difficulté de l’instrument
Exemple: calcul d’un coefficient au moyen de la corrélation test-retest
Lors de la première passation, les scores sont distribués selon une courbe normale (symétrique)
Lors de la seconde passation, les scores sont distribués de manière asymétrique
donne 3 hypothèses.
- les résultats ne sont pas constants (variation des caractéristiques des questionnaires)
- l’instrument est devenu trop facile (effet d’Apprentissage potentiel?)
- l’instrument est devenu trop difficile
qu’entraîne la passation d’un instrument à un groupe homogène?
cela réduit l’étendue des scores individuels et cette réduction entraîne une sous-estimation de la corrélation entre les scores
cela sous-estime la fidélité de l’instrument
administrer un instrument a un groupe hétérogène a-t-il pour effet d’augmenter la fidélité ou la diminuer?
administrer un instrument à un groupe hétérogène augmente la fidélité, car on utilise ainsi l’étendu “totale” de la variance
qu’a pour effet la limite de temps sur un instrument?
qu’est-ce que ça a sur la corrélation entre les items, et donc sur l’estimation de la cohérence interne(fidélité) entre les items?
les derniers items sont moins répondus
cela entraîne une surestimation des corrélations entre ces derniers items (sont artificiellement plus homogènes)
cela fausse l’estimation de la cohérence interne
quelle méthode d’évaluation de la fidélité est grandement affecté par les défauts d’une limite de temps?
quelle méthode devient-il alors préférable d’utiliser pour évaluer la fidélité?
la méthode de la cohérence interne est grandement affectée car les derniers items non répondus ont alors artificiellement une cohérence interne parfaite.
Il vaut alors mieux s’en remettre à la fidélité test-retest
qu’a a longueur de l’instrument comme effet sur la fidélité?
pourquoi?
quel est le lien à faire avec la théorie de l’échantillonnage?
plus un instrument a d’items, plus il devrait être précis,
car la somme des erreurs aléatoires de mesure devrait tendre vers zéro lorsqu’un grand nombre d’items est utilisé
la théorie de l’échantillonnage veut que plus un échantillon est grand, plus l’Estimation des caractéristiques de la population tend à être précise
quel lien peut-on faire entre les instruments critériés et les groupes homogènes en ce qui concerne la fidélité d’un instrument?
les 2 font diminuer la variance possible: groupe homogène implique peu de variance, un critère change une variable continue en variable dichotomique (donc moins de variance)
donne une façon d’évaluer la fidélité d’un test critérié
effectuer un double testage avec des versions parallèles afin de vérifier le pourcentage de sujets qui sont classifiés de la même façon.
que signifie une fidélité de 0.90?
que 90% de la variance est attribuable au score vrai
vrai ou faux, il est rare que les coefficient de fidélité atteignent 0.90+
vrai
qualifie en chiffre un coefficient de fidélité
- excellent
- très bien
- acceptable
- faible
excellent: 0.90+
très bien : 0.80 - 0.90
acceptable: 0.70 - 0.80
faible: moins de 0.70
pour quels méthode d’évaluation de la fidélité recherchons-nous habituellement un coefficient de fidélité élevé (0.90+)?
- fidélité interjuge
- fidélité des versions parallèles
- coefficient alpha de cronbach
que faire lorsqu’on recherche beaucoup de fidélité pour une décision importante?
s’en remettre à plusieurs instruments
ou bien viser 0.90+ fidélité avec l’instrument utilisé
quelle implication a la fidélité lors de l’interprétation des résultats d’un test?
permet de calculer l’erreur de mesure, donc l’intervalle de confiance autour du score observé. Cette intervalle de confiance est l’un des principaux facteur qui joue dans l’interprétation des résultats.
plus de fidélité implique moins de marge d’Erreur.
vrai ou faux: une division d”une distribution en quartiles est similaire sur une courbe normale avec une division par écart-type
faux, car l’air sous la courbe des premier écart-type est bien plus grand que les derniers et c’Est l’Air sous la courbe (nombre de personnes) que les quartiles démarquent.
ils consistent en la séparation des résultats de l’échantillon normatif en classes égales:
les quantiles
c’est le quantile le plus utilisé
les centiles
vrai ou faux, C25 délimite le quartile supérieur
faux, le quartile supérieur est délimité par le C75
un centile est-il un score relatif ou un score absolu?
c’est un score relatif. On peut être au centile 68 sur l’échelle de dépression et scorer 75/80 à une échelle de dépression
C__ est la médiane de la distribution (rang centile)
C50
donne 3 avantages à utiliser le rang centile
- il est facile à calculer à partir d’un groupe de référence
- il est facile à comprendre et à expliquer
- il s’applique à tous les types d’instruments
vrai ou faux: les rang centiles indiquent correctement les positions relatives dans l’échantillon normatif et l’ampleur des différences entre les scores bruts d’une position à l’autre.
faux.
le rang centile exagère les différences au centre de la distribution et les minimise aux extrémités de la distribution.
comment appelait-on les stanines, historiquement?
standard nine
quel est la moyenne des stanine?
leur écart-type?
de quelle représentation statistique sont-elle dérivées?
quels sont les extrémités de leur étalonnage?
M=5
ÉT=2
sont dérivés des rangs centiles
s’échelonne entre 1 et 9
quels sont les avantages et les limites des stanines?
- avantages: ne représentent pas des classes égales (pas distribué selon le score relatif mais le score absolu), contrairement aux quantiles: donc rendent mieux compte de la distribution normale
- simple, pratique, souvent utilisé
Limites: moins précises que les autres normes intragroupes
de quelles information a-t-on besoin pour qu’une norme intragroupe ait du sens?
valeurs moyennes et écart-type associé à la mesure
que permettent les tables de prédiction?
de faire le lien entre un score obtenu et un critère externe.
C’Est à dire, par exemple, que la stanine 9 à un test d’Aptitudes académiques est associé à 98% de probabilité de compléter un baccalauréat.
