RÉVISION DU COURS Flashcards
OBSERVATION & MESURE
______________________
Qu’est-ce que l’observation ?
L’observation est l’investigation d’un phénomène sans que le chercheur puisse intervenir dans le déroulement du phénomène pour en varier les facteurs, auquel cas IL EXPÉRIMENTE.
OBSERVATION & MESURE
______________________
Quelle est la fonction de la standardisation?
La standardisation permet de comparer les sujets entre eux à partir des résultats à une épreuve. L’épreuve doit répondre à des règles strictes de passation et de cotation. Le psychologue doit suivre le manuel de passation (ordre des épreuves) et de cotation (évaluation aux différents items).
La standardisation permet:
◻️ de s’assurer que les différences entre les sujets ne sont pas dues à la situation ou à la subjectivité de l’observateur ;
◻️ de fournir des mesures objectives: accord entre observateurs, neutralisation des erreurs…
Nota: Standardisation ≠ Comportement stéréotypé de l’observateur: consignes adaptables au sujet, prise en compte du contexte, suggestions…
Exemple prototypique : la méthode «critique» de Piaget
OBSERVATION & MESURE
______________________
A- L’observation standardisée
______________________
Les procédures d’observation peuvent être placées sur un continuum avec à un pôle l’observation [?] et à l’autre l’observation [?].
Les procédures d’observation peuvent être placées sur un continuum avec à un pôle l’observation [libre] et à l’autre l’observation [contrainte].
OBSERVATION & MESURE
______________________
L’observation libre
_______________________
Dans le cadre de l’observation libre, l’observateur n’a pas de [?]. Les conditions de l’observation et les indications sont très [?] et dépendent des [?]. On peut observer des choses très [?] que l’on ne soupçonnait pas.
La manière de caractériser la conduite du sujet relève de la [?] de l’observateur.
Dans le cadre de l’observation libre, l’observateur n’a pas de [règles]. Les conditions de l’observation et les indications sont très [variables] et dépendent des [circonstances]. On peut observer des choses très [différentes] que l’on ne soupçonnait pas.
La manière de caractériser la conduite du sujet relève de la [décision] de l’observateur.
OBSERVATION & MESURE \_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_ L'observation contrainte \_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_ L'observation contrainte correspond à la [?]. La [?] est bien définie, les [?] sont spécifiées à l’avance, et le [?] du sujet est explicité.
L’observation contrainte correspond à la [situation de test]. La [situation] est bien définie, les [consignes] sont spécifiées à l’avance, et le [mode de caractérisation] du sujet est explicité.
OBSERVATION & MESURE
______________________
La standardisation est poussée à son maximum avec les tests de [?] utilisant des [? (…)] : les sujets sont dans des conditions rigoureusement [?] et la correction se limite au [?].
Idem lorsque les tests sont [?].
La standardisation est poussée à son maximum avec les tests de [groupe] utilisant des [questions à choix multiples (QCM)] : les sujets sont dans des conditions rigoureusement [identiques] et la correction se limite au [relevé des bonnes réponses].
Idem lorsque les tests sont [informatisés].
OBSERVATION & MESURE
______________________
Quand la standardisation est-elle moins stricte ?
La standardisation est moins stricte dans les tests individuels. Par exemple dans le cas d’un test de vocabulaire où le sujet doit fournir des définitions des mots. Certes, un barème accompagné de nombreux exemples, permet de coter les réponses fournies. Mais il n’est pas toujours aisé de faire entrer dans une catégorie du barème une réponse particulière. Par ailleurs, on n’indique pas jusqu’où l’observateur doit aller pour faire préciser une définition ou donner la possibilité au sujet de modifier sa réponse.
OBSERVATION & MESURE
______________________
Quand la standardisation est-elle moins poussée ?
La standardisation est moins poussée dans les tests projectifs et plus particulièrement dans la cotation des réponses. Il existe cependant pour ces épreuves des procédures parfaitement objectives (cf. Test de Rorschach).
OBSERVATION & MESURE
______________________
Quelle est la fonction de la standardisation ?
La fonction de la standardisation est de permettre la comparabilité des sujets aux résultats d’une épreuve et de s’assurer que leurs différences ne relèvent pas des aléas de la situation ou de la subjectivité de l’observateur. L’épreuve doit répondre à des règles strictes de passation et de cotation. L’observateur doit suivre le manuel de passation et de cotation.
OBSERVATION & MESURE
______________________
Quand l’observation standardisée est-elle dite « objective » ?
L’observation standardisée est dite « objective » lorsqu’il y a accord entre les observateurs.
OBSERVATION & MESURE
______________________
B - Les items
____________________
Définissez les items.
Les items sont des questions, des problèmes ou des tâches à effectuer.
OBSERVATION & MESURE
______________________
De quoi dépend le choix des items ?
Le choix des items dépend des objectifs visés par le constructeur, de ses conceptions psychologiques et obéit à certaines considérations pratiques.
OBSERVATION & MESURE
______________________
En quoi consistent les objectifs visés par le constructeur ?
Les objectifs visés peuvent consister à évaluer l’efficience dans un secteur particulier du fonctionnement cognitif (capacité verbale/visuelle), à évaluer le niveau scolaire des élèves, à identifier la source de certaines difficultés d’apprentissage, à sélectionner du personnel ou bien à caractériser le sujet sur plusieurs traits de personnalité…
OBSERVATION & MESURE
______________________
Que permet le fait de définir les objectifs ?
Le fait de définir les objectifs permet de restreindre la population des items possibles, les conceptions psychologiques permettent de la restreindre encore davantage.
Toutefois, si le constructeur ne dispose pas de théorie, les items proviendront de la psychologie commune. S’il dispose d’une théorie, celle-ci donnera des indications sur la nature des items à retenir (Ex. Test Introversion-Extraversion : théorie structurale de Hans).
OBSERVATION & MESURE
______________________
Le test doit être [?], mais il ne doit pas être trop [?], il ne doit pas non plus impliquer la mise en œuvre d’un matériel [?] et [?].
Le test doit être [attrayant], mais il ne doit pas être trop [long], il ne doit pas non plus impliquer la mise en œuvre d’un matériel [coûteux] et [sophistiqué].
OBSERVATION & MESURE
______________________
Quels formats les items peuvent-ils prendre ?
a) 1er format : Le sujet peut produire librement la réponse :
»> On peut lui demander de dire ce qu’il voit sur une image et analyser ensuite son discours pour évaluer sa capacité d’énumération, de description, d’interprétation…
»> On peut lui présenter plusieurs images et lui demander de les ordonner afin d’évaluer sa capacité à pouvoir raconter une histoire cohérente.
b) 2ème format : Le sujet doit choisir la bonne réponse parmi plusieurs réponses possibles.»_space;> Les mauvaises réponses sont appelées des distracteurs. Si les bonnes réponses sont choisies par hasard, il est possible de corriger son score en faisant une estimation des réponses faites par hasard.
C) 3ème format : Le sujet estime son degré d’accord (Tout à fait d’accord, d’accord, plutôt d’accord, moyennement d’accord, pas du tout d’accord..) ou la fréquence de ses conduites (toujours, très souvent, souvent, parfois, très rarement, rarement, jamais…) avec une proposition sur une échelle en plusieurs points Exemples :
- Échelle de Likert (5 à 7 échelons),
- Échelles Dichotomiques (Vrai/Faux, Oui/Non).
OBSERVATION & MESURE
______________________
En quoi consiste la tendance à l’acquiescement ?
La tendance à l’acquiescement consiste à répondre plutôt vrai que faux, plutôt d’accord que pas d’accord.
Pour contrôler cette tendance, la méthode optimale consiste à intégrer dans le questionnaire un nombre équivalent d’items pour lesquels la réponse «oui» indique que les sujets se situent plutôt à un pôle de la dimension et des items dont la réponse «non» indique qu’ils se situent au même pôle de la dimension. Pour mesurer une opinion par exemple, le sujet, en répondant favorablement à un item et défavorablement à un autre item formulé différemment, se situera sur le même pôle de la dimension.
OBSERVATION & MESURE
______________________
En quoi consiste la tendance à donner des réponses socialement désirables ?
La tendance à donner des réponses socialement désirables consiste à ne pas donner son véritable choix, à ne pas répondre selon ses propres convictions mais en donnant une réponse socialement valorisée.
OBSERVATION & MESURE
______________________
Quelles méthodes utilise-t-on pour contrôler la tendance à donner des réponses socialement désirable ?
Pour contrôler cette tendance, on utilise classiquement deux méthodes :
◻️ La première méthode consiste à mesurer la force de la tendance en construisant une ÉCHELLE DE MENSONGE. Dans cette échelle, certains items incitent les sujets à ne pas répondre dans un sens socialement désirable. Si toutefois à l’issue de cette évaluation un certain seuil est dépassé, les réponses des sujets au test ne seront pas prises en compte.
◻️ La seconde méthode consiste à construire des ITEMS À CHOIX FORCÉS. Le constructeur du test va donc choisir des items où le sujet va devoir indiquer des réponses ayant le même degré de désirabilité sociale (qu’elle soit positive ou négative). Ainsi cette deuxième tendance est contrôlée dans la mesure où le sujet est face à des items présentant la même désirabilité.
OBSERVATION & MESURE
______________________
Que pouvez-vous dire sur le choix de la méthode pour contrôler les biais de réponse ?
Le choix de la méthode pour contrôler les biais de réponse se fait en fonction des objectifs du chercheur et doit être réfléchie en amont, soit au moment de la construction du test.
OBSERVATION & MESURE
______________________
D - Les niveaux de difficultés des items : Le concept de sensibilité
_____________________
Les items sont caractérisés par leur niveau de [?]. Celui-ci est défini par la fréquence de [?] dans une population.
- Les items très [?] ou très [?] ne permettent pas une différenciation interindividuelle.
- Les items moyennement [?] (50% de réussite) permettent une différenciation interindividuelle plus forte.
Les items sont caractérisés par leur niveau de [difficulté]. Celui-ci est défini par la fréquence de [réussite] dans une population.
- Les items très [faciles] ou très [difficiles] ne permettent pas une différenciation interindividuelle.
- Les items moyennement [faciles] (50% de réussite) permettent une différenciation interindividuelle plus forte.
OBSERVATION & MESURE
______________________
Dans des situations de [?] sévère, on peut utiliser des items très difficiles, ces tests sont appelés tests de [?].
Toutefois, le niveau de difficulté n’est pas toujours le [?] retenu pour différencier les individus. C’est ainsi que dans certains tests, c’est plutôt la [?] qui permet de différencier les individus que [?] des réponses, ces tests sont appelés tests de [?].
Dans des situations de [sélection] sévère, on peut utiliser des items très difficiles, ces tests sont appelés tests de [puissance].
Toutefois, le niveau de difficulté n’est pas toujours le [facteur] retenu pour différencier les individus. C’est ainsi que dans certains tests, c’est plutôt la [vitesse d’exécution] qui permet de différencier les individus que [l’exactitude] des réponses, ces tests sont appelés tests de [vitesse].
OBSERVATION & MESURE
______________________
Qu’est-ce qui différencie les tests pédagogiques des tests psychologiques ?
À la différence des tests psychologiques, les tests pédagogiques ne visent pas à différencier les sujets.
Si le test vise à évaluer les acquis à l’issue
d’une formation, il n’y a pas de raison que les individus se différencient fortement ; il est en effet préférable que les objectifs de la formation soient atteints par tous.
OBSERVATION & MESURE
______________________
E - Les dimensions
____________________
De manière générale, un test est constitué de plusieurs [?] et la somme des résultats à ces différents [?] constituent un [?] (exemple : le QI).
De manière générale, un test est constitué de plusieurs [items] et la somme des résultats à ces différents [items] constituent un [score global] (exemple : le QI).
OBSERVATION & MESURE
______________________
Une dimension ou un facteur existe lorsque les items sont [?] et [?].
Une dimension ou un facteur existe lorsque les items sont [regroupés] et [homogènes].
OBSERVATION & MESURE
______________________
La question qui se pose est de savoir si tous les items évaluent la même [?] et donc s’il est réellement possible de les [?].
La question qui se pose est de savoir si tous les items évaluent la même [dimension] et donc s’il est réellement possible de les [sommer].
OBSERVATION & MESURE
______________________
Quelles sont les méthodes d’analyse des items qui sont utilisées ?
Trois méthodes d’analyse des items sont utilisées :
1) Indice de discrimination
2) Calcul de la corrélation entre chaque item et le test : corrélation item-test
3) Corrélation item-item : corrélation entre les scores d’items
OBSERVATION & MESURE
______________________
À propos de l’indice de discrimination…
__________________
Le but est de savoir si chaque item permet une bonne [?] entre les sujets qui réussissent bien le test et ceux qui le réussissent mal»_space;> Est-ce que ceux qui réussissent le test [?] vont également réussir un [?] ?
Un [?] est donc calculé. On prend les [?%] qui réussissent le mieux au test et les [?%] qui réussissent le moins bien. Dans chacun de ces 2 groupes, on examine les [?] des sujets qui réussissent à un item particulier et ceux qui échouent à cet item. La différence de ces 2 pourcentages mesure le [?]. Si l’item [?] bien, les bons au test réussiront plus souvent à l’item que les mauvais. L’indice de discrimination est lié à la [?]. Les items de difficultés moyennes permettent une [?].
Le but est de savoir si chaque item permet une bonne [discrimination] entre les sujets qui réussissent bien le test et ceux qui le réussissent mal»_space;> Est-ce que ceux qui réussissent le test [globalement] vont également réussir un [item particulier] ?
Un [indice de discrimination] est donc calculé. On prend les [30%] qui réussissent le mieux au test et les [30%] qui réussissent le moins bien. Dans chacun de ces 2 groupes, on examine les [pourcentages] des sujets qui réussissent à un item particulier et ceux qui échouent à cet item. La différence de ces 2 pourcentages mesure le [pouvoir discriminant de l’item]. Si l’item [discrimine] bien, les bons au test réussiront plus souvent à l’item que les mauvais. L’indice de discrimination est lié à la [difficulté de l’item]. Les items de difficultés moyennes permettent une [discrimination interindividuelle forte].
OBSERVATION & MESURE
______________________
À propos du calcul de la corrélation entre chaque item et le test : corrélation item-test….
__________________
Cet indice est moins [?] que l’indice de discrimination. Il indique la part de [?] au test et à l’item. Le score à l’item doit être lié au [?].
Cet indice est moins [ambigu] que l’indice de discrimination. Il indique la part de [variance commune] au test et à l’item. Le score à l’item doit être lié au [score au test].
OBSERVATION & MESURE
______________________
À propos de la corrélation item-item : corrélation entre les scores d’items…
__________________
Il consiste à calculer les [?] de tous les items entre eux. Si celles-ci sont suffisantes, on considérera que la [?] existe et on pourra [?] tous les résultats. (si les corrélations sont proches de [?], les items sont liés)
On peut ensuite faire une [?] pour rechercher si tous les items sont « saturés » de façon suffisante autour d’un même [?]. Il s’agit de faire ressortir les items [?] et les plus [?].
Il consiste à calculer les [intercorrélations] de tous les items entre eux. Si celles-ci sont suffisantes, on considérera que la [dimension] existe et on pourra [sommer] tous les résultats. (si les corrélations sont proches de [1], les items sont liés)
On peut ensuite faire une [analyse factorielle] pour rechercher si tous les items sont « saturés » de façon suffisante autour d’un même [facteur]. Il s’agit de faire ressortir les items [pertinents] et les plus [discriminants].
OBSERVATION & MESURE
______________________
Que permettent ces différentes méthodes ?
Ces différentes méthodes permettent d’éliminer ou de reformuler des items et donc de ne garder que ceux qui évaluent la même dimension.
OBSERVATION & MESURE
______________________
F - Le statut métrique de la mesure
_____________________
Quels sont les 3 niveaux de mesure qui sont pertinents en psychologie ?
1) Les échelles nominales
2) Les échelles ordinales
3) Les échelles d’intervalles
OBSERVATION & MESURE
______________________
◻️ Les échelles nominales
Lorsque le psychologue regroupe ses observations en [?] et ne fait que cela, il peut désigner par un [?] chaque chose. Ces nombres sont en fait des [?] qu’on ne peut pas ordonner en [?] (Sex : 1/F et 2/M).
Ce niveau de mesure est [?]. Cette échelle permet quelques [?] : indices de [?], indices de [?] (mode), degré de [?] entre 2 variables avec [?].
Lorsque le psychologue regroupe ses observations en [classes d’équivalence] et ne fait que cela, il peut désigner par un [nombre] chaque chose. Ces nombres sont en fait des [symboles] qu’on ne peut pas ordonner en [classes] (Sex : 1/F et 2/M).
Ce niveau de mesure est [faible]. Cette échelle permet quelques [calculs statistiques] : indices de [dispersion], indices de [tendance centrale] (mode), degré de [liaison] entre 2 variables avec [Chi2].
OBSERVATION & MESURE
______________________
◻️ Les échelles ordinales
Lorsque le psychologue peut établir un [?] entre les classes en montrant leurs relations [?]. Les nombres sont alors des [?]. Cette échelle permet quelques [?] : Indice de tendance [?] (médiane), degré de [?] entre deux variables ordinales avec [?].
Lorsque le psychologue peut établir un [ordre] entre les classes en montrant leurs relations [anti systémiques]. Les nombres sont alors des [symboles ordonnés]. Cette échelle permet quelques [calculs statistiques] : Indice de tendance [centrale] (médiane), degré de [liaison] entre deux variables ordinales avec [le taux de Kendall].
OBSERVATION & MESURE
______________________
◻️ Les échelles d’intervalles
Lorsque le psychologue peut définir des [?] entre des classes. Cette échelle permet quelques calculs statistiques : Opérations [?] (Moyenne), la [?], le coefficient de [?] de [?].
Lorsque le psychologue peut définir des [distances] entre des classes. Cette échelle permet quelques calculs statistiques : Opérations [arithmétiques] (Moyenne), la [Variance], le coefficient de [corrélation] de [Bravais-Pearson].
OBSERVATION & MESURE
______________________
G - Les étalonnages
_______________________
Le score global qui permet de caractériser un sujet est une donnée [?] dont la signification reste [?] tant qu’elle n’est pas comparée aux [?] des sujets d’une [?]. Cette comparaison est possible grâce à [?].
Le score global qui permet de caractériser un sujet est une donnée [brute] dont la signification reste [ambiguë] tant qu’elle n’est pas comparée aux [scores] des sujets d’une [population de référence]. Cette comparaison est possible grâce à [l’étalonnage].
OBSERVATION & MESURE
______________________
L’étalonnage est la construction d’une [?] à partir des résultats obtenus dans un échantillon représentatif d’une [?]. Il permet de transformer un score brut en notes [?] ou [?] et de situer un sujet par rapport au [?]. Ces notes sont directement comparables et permettent de faire des comparaisons [?] et [?].
Une fois qu’un échantillon représentatif de la population de référence est constitué et que les sujets de l’échantillon ont passé le test, on peut procéder à [?]. On pourra ainsi déterminer pour une population quelles notes au test correspondent à quel [?] : par exemple jusqu’à quel [?] fait-on partie des 10% qui réussissent le moins bien. A partir de quel [?] au contraire fait-on partie de ceux qui réussissent le mieux.
L’étalonnage est la construction d’une [échelle de notation standard] à partir des résultats obtenus dans un échantillon représentatif d’une [population de référence]. Il permet de transformer un score brut en notes [standards] ou [étalonnées] et de situer un sujet par rapport au [groupe de référence]. Ces notes sont directement comparables et permettent de faire des comparaisons [interindividuelles] et [intra individuelles].
Une fois qu’un échantillon représentatif de la population de référence est constitué et que les sujets de l’échantillon ont passé le test, on peut procéder à [l’étalonnage de leurs scores]. On pourra ainsi déterminer pour une population quelles notes au test correspondent à quel [rang] : par exemple jusqu’à quel [score] fait-on partie des 10% qui réussissent le moins bien. A partir de quel [score] au contraire fait-on partie de ceux qui réussissent le mieux.
OBSERVATION & MESURE
______________________
Quelles sont les techniques utilisées pour procéder à l’étalonnage de leurs scores ?
Deux techniques sont principalement utilisées :
1) Le quantilage
2) Les échelles normalisées
OBSERVATION & MESURE
______________________
◻️ Qu’est-ce que le quantilage ?
Il s’agit d’ordonner les notes selon un ordre croissant, de les regrouper en classes de telle sorte que chaque classe contienne le même effectif et la même proportion de l’effectif total et de calculer les limites de classes. Il y a plusieurs formes de quantilage en fonction du nombre de classes. Le choix dépend de ce que l’on cherche à obtenir. Plus il y a de classes, plus les résultats sont fins.
»> Le quartilage : Faire un découpage de sorte à obtenir 4 classes dans la distribution des notes de l’effectif. 25% de l’effectif dans chaque classe, 4 interquartiles (étendue de la classe), délimités par 3 quartiles.
»> Le quantilage : Faire un découpage de sorte à obtenir 5 classes, 20% de l’effectif dans chaque classe, 5 interquantiles, délimités par 4 quantiles.
»> Le décilage : Faire un découpage de sorte à obtenir 10 classes, 10% de l’effectif dans chaque classe, 10 interdéciles, délimités par 9 déciles.
»> Le centilage : Faire un découpage de sorte à obtenir 100 classes, 1% de l’effectif dans chaque classe, 100 intercentiles, délimités par 99 centiles.
OBSERVATION & MESURE
______________________
◻️ Que pouvez-vous dire sur les échelles normalisées ?
La caractéristique principale est que les classes sont définies de telle sorte que les effectifs (fréquences) qui correspondent à chaque classe soient conformes aux fréquences de la distribution normale. Celle-ci est une distribution symétrique en forme de cloche. On va donc transformer les valeurs de la variable en distance en écart type par rapport la moyenne (notes z). Les proportions de chaque classe dans une distribution normale sont lues dans une table selon le nombre de classes constituées.
LA FIABILITE DES MESURES
___________________________
H - Le coefficient de fidélité
_____________________
Quand une mesure est-elle dite fidèle (ou fiable) ?
Une mesure est dite fidèle (ou fiable) lorsqu’elle n’est pas entachée d’erreurs trop importantes. C’est pourquoi nous calculons le coefficient de fidélité.
LA FIABILITE DES MESURES
___________________________
H - Le coefficient de fidélité
_____________________
Quels sont les types d’erreurs de mesure les plus courants ?
Deux types d’erreurs de mesure sont courants :
1) Les erreurs systématiques
2) Les erreurs aléatoires
LA FIABILITE DES MESURES
___________________________
H - Le coefficient de fidélité
_____________________
◻️ Les erreurs systématiques se manifestent toujours dans le même [?] et avec la même [?] lors de la [?] de la mesure (un sujet dont l’acuité visuelle est déficiente peut échouer à des tests spatiaux sans que ses capacités visuelles soient mises en cause, appareil mal réglé). Pour les éviter, il faut analyser les [?] et s’assurer que le test ne mesure que [?].
◻️ Les erreurs systématiques se manifestent toujours dans le même [sens] et avec la même [intensité] lors de la [répétition] de la mesure (un sujet dont l’acuité visuelle est déficiente peut échouer à des tests spatiaux sans que ses capacités visuelles soient mises en cause, appareil mal réglé). Pour les éviter, il faut analyser les [conditions d’observation] et s’assurer que le test ne mesure que [ce qu’il est censé mesurer].
LA FIABILITE DES MESURES
___________________________
H - Le coefficient de fidélité
_____________________
◻️ Les erreurs aléatoires diffèrent d’une [?] à l’autre et apparaissent avec des [?] et des [?] différentes.
Le coefficient de fidélité ne s’intéresse qu’aux [?] c’est-à-dire qu’il cherchera à déterminer si les différences individuelles de score au test peuvent être attribuées aux [?] des sujets ou si elles sont dues à des erreurs lors des passations, erreurs sur le [?], dues à des [?], des [?] lors des passages successifs.
Un [?] entre la mesure à un test et la mesure au retest est effectué. Si le coefficient est proche de [?] l’erreur est peu importante si elle est proche de [?] le test n’est pas fiable puisqu’il ne permet pas d’évaluer la [?]. Dans ce cas, le chercheur doit [?].
Les erreurs aléatoires diffèrent d’une [passation] à l’autre et apparaissent avec des [intensités] et des [directions] différentes.
Le coefficient de fidélité ne s’intéresse qu’aux [erreurs aléatoires] c’est-à-dire qu’il cherchera à déterminer si les différences individuelles de score au test peuvent être attribuées aux [caractéristiques] des sujets ou si elles sont dues à des erreurs lors des passations, erreurs sur le [choix des items], dues à des [observateurs différents], des [conditions différentes] lors des passages successifs.
Un [coefficient de corrélation] entre la mesure à un test et la mesure au retest est effectué. Si le coefficient est proche de [1] l’erreur est peu importante si elle est proche de [0] le test n’est pas fiable puisqu’il ne permet pas d’évaluer la [mesure vraie]. Dans ce cas, le chercheur doit [construire un autre test].
LA FIABILITE DES MESURES
___________________________
I - Stabilité et constance
________________________
On distingue 3 grands modes de répétition de la mesure correspondant à trois grandes sources d’erreur. Développez.
On peut donc :
1) Répéter la mesure à des moments différents :»_space;> Les facteurs d’erreurs pris en compte ici correspondent à des événements qui se manifestent différemment d’une passation à l’autre.
2) Répéter la mesure en faisant varier le contenu de la situation qui demeure conceptuellement identique
»> Les facteurs d’erreurs sont alors relatifs aux décisions prises lors de l’opérationnalisation des idées sur lesquelles est fondé le test, ou, en d’autres termes, à l’échantillonnage.
3) Demander à deux personnes différentes d’évaluer une même conduite
»> Les facteurs d’erreurs proviennent de la subjectivité de l’observateur. Cette source d’erreur est neutralisée dans les tests par la standardisation de la procédure d’application et de cotation. C’est sa fonction essentielle.
LA FIABILITE DES MESURES
___________________________
I - Stabilité et constance
________________________
Qu’appelle-t-on Test-Retest ?
Pour prendre en compte les erreurs dues au moment de l’observation, on utilise la méthode de test-retest qui consiste à appliquer le même test à un même groupe d’individus à deux moments différents.
Le coefficient de corrélation entre les deux séries de mesures obtenues est le coefficient de constance ou de stabilité.
LA FIABILITE DES MESURES
___________________________
I - Stabilité et constance
________________________
Le coefficient de corrélation peut-il être interprété comme un coefficient de fidélité ?
Les différences de classement d’une passation à l’autre peuvent s’expliquer par des fluctuations aléatoires dues à l’état du sujet qui peuvent être considérées comme des erreurs de mesures (Ex. un sujet peut être malade à une passation et pas à une autre, être confiant lors d’une passation et pas à lors de la suivante, être plus attentifs à passation qu’à une autre, il peut exister un conflit collectif avant une passation…).
La corrélation non parfaite entre le test et le retest peut en outre s’expliquer par d’autres facteurs tels que L’EFFET D’APPRENTISSAGE.
Ainsi, lorsque le sujet réalise plusieurs fois un même test, il va y avoir un effet d’apprentissage, :
- soit une AUGMENTATION DE SES PERFORMANCES entre T1 et T2 (ce qui réduit le coefficient de stabilité),
- soit une DIMINUTION DE SES PERFORMANCES (par exemple par manque d’intérêt de passer 2 fois le même test !)
»> Ce qui réduit aussi le coefficient de stabilité.
Si le temps d’intervalle entre le test et le retest est long, si les sujets ont été soumis à des apprentissages différents, s’ils se sont développés à des rythmes divers et dans des directions différentes, les coefficients de stabilité ne peuvent être interprétés comme des coefficients de fidélité.
Le coefficient de stabilité est un INDICE AMBIGU qui ne peut renseigner sur LE POIDS DES ERREURS ALÉATOIRES que lorsque l’intervalle entre le test et le retest est COURT.
LA FIABILITE DES MESURES
___________________________
J - L’équivalence et l’homogénéité
__________________
Le but est de savoir si un test mesure bien la même [?] dans ses différentes [?] ou [?].
Le but est de savoir si un test mesure bien la même [dimension] dans ses différentes [parties] ou [items].
LA FIABILITE DES MESURES
___________________________
Quelles méthodes sont utilisées pour vérifier qu’un test mesure bien la même dimension dans ses différents items ?
Diverses méthodes sont utilisées dont :
◻️ La méthode des formes parallèles
◻️ La méthode du partage par moitié (split-half)
◻️ L’indice de Cronbach
LA FIABILITE DES MESURES
___________________________
◻️ La méthode des formes parallèles consiste à construire deux [?] d’un même test, à les appliquer à un même [?] puis à calculer la [?] entre les [?]. Si le coefficient d’équivalence obtenu est proche de [?] les items choisis sont corrects, a contrario, si le coefficient d’équivalence est proche de [?], les items choisis sont entachés d’erreurs.
◻️ La méthode des formes parallèles consiste à construire deux [versions] d’un même test, à les appliquer à un même [groupe] puis à calculer la [corrélation] entre les [deux séries de mesures]. Si le coefficient d’équivalence obtenu est proche de [1] les items choisis sont corrects, a contrario, si le coefficient d’équivalence est proche de [0], les items choisis sont entachés d’erreurs.
LA FIABILITE DES MESURES
___________________________
◻️ La méthode du partage par [? (?)] consiste en la présentation d’un test qui sera [?]. Cette méthode consiste à calculer la [?] entre deux parties d’un test : avec les items [?] d’une part et les items [?] de l’autre, ou bien en répartissant les items en deux parties [?] selon le degré de difficulté. Si le [?] obtenu est proche de 1, on peut dire que l’instrument mesure bien une même [?] au moyen des différentes questions le constituant.
La méthode item score considère que plus le résultat de chaque item est fortement lié au [?] de test, plus [?] d’un test est [?].
◻️ La méthode du partage par [moitié (split-half)] consiste en la présentation d’un test qui sera [coupé en deux parties]. Cette méthode consiste à calculer la [corrélation] entre deux parties d’un test : avec les items [pairs] d’une part et les items [impairs] de l’autre, ou bien en répartissant les items en deux parties [équivalentes] selon le degré de difficulté. Si le [coefficient d’homogénéité] obtenu est proche de 1, on peut dire que l’instrument mesure bien une même [dimension] au moyen des différentes questions le constituant.
La méthode item score considère que plus le résultat de chaque item est fortement lié au [score total] de test, plus [l’homogénéité] d’un test est [élevée].
LA FIABILITE DES MESURES
___________________________
◻️ L’indice de Cronbach est une méthode très souvent utilisée pour estimer les [?] dus aux choix d’items qui est un calcul [?] pour [?] l’ensemble du test. Cette méthode est plus [?] et moins [?]. Plus le coefficient de Cronbach est proche de [?] plus le degré d’[?] est élevé.
◻️ L’indice de Cronbach est une méthode très souvent utilisée pour estimer les [biais] dus aux choix d’items qui est un calcul [mathématique] pour [tester] l’ensemble du test. Cette méthode est plus [rapide] et moins [coûteuse]. Plus le coefficient de Cronbach est proche de [1] plus le degré d’[homogénéité] est élevé.
LA FIABILITE DES MESURES \_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_ La généralisabilité \_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_ Quelles sont les sources d’erreurs essentielles ?
Il existe deux sources d’erreurs essentielles :
1) celles relatives au moment de l’observation
2) celles relatives aux choix d’items.
Toutefois d’autres sources d’erreurs sont possibles que l’on peut examiner simultanément.
LA FIABILITE DES MESURES
___________________________
À quoi sert la théorie de généralisabilité de Cronbach ?
La théorie de généralisabilité de Cronbach vise à restituer la complexité de la notion de fidélité et d’évaluer les poids respectifs des diverses sources d’erreur.
LA FIABILITE DES MESURES
___________________________
La théorie de la généralisabilité indique la [?] des [?] que l’on peut effectuer à partir d’une observation. Elle repose sur [?]. Chaque condition est un [?] et les coefficients de généralisabilité sont des [?]. Ces coefficients permettent de déterminer le poids dune [?] par rapport à une autre ou par rapport à [?].
La théorie de la généralisabilité indique la [précision] des [généralisations] que l’on peut effectuer à partir d’une observation. Elle repose sur [l’analyse de variance]. Chaque condition est un [facteur de classification] et les coefficients de généralisabilité sont des [rapports de variance]. Ces coefficients permettent de déterminer le poids dune [contribution] par rapport à une autre ou par rapport à [toutes les autres].
L’ERREUR TYPE DE MESURE
____________________________
Les coefficients de fidélité fournissent une indication sur [?] des erreurs de mesure (celle-ci est d’autant plus grande que les coefficients sont [?]) mais ils n’indiquent pas précisément l’écart entre la note [?] et la note [?].
Si l’on répétait plusieurs fois la mesure, on pourrait mesurer cet écart type appelé [?] ou [?].
Cette répétition est impossible mais une formule permet de calculer l’erreur type de mesure à partir du [?].
À retenir : Malgré une fidélité élevée, [?] sur la note vraie demeure importante.
Les coefficients de fidélité fournissent une indication sur [l’importance] des erreurs de mesure (celle-ci est d’autant plus grande que les coefficients sont [faibles]) mais ils n’indiquent pas précisément l’écart entre la note [vraie] et la note [observée].
Si l’on répétait plusieurs fois la mesure, on pourrait mesurer cet écart type appelé [erreur type] ou [erreur standard de mesure].
Cette répétition est impossible mais une formule permet de calculer l’erreur type de mesure à partir du [coefficient de fidélité].
À retenir : Malgré une fidélité élevée, [l’incertitude] sur la note vraie demeure importante.
L’ERREUR TYPE DE MESURE
____________________________
L - Les facteurs qui affectent la fidélité
_________________
Quels facteurs affectent la fidélité d’un test ?
◻️ L’homogénéité du groupe sur lequel la fidélité a été estimée
◻️ La longueur du test
L’ERREUR TYPE DE MESURE
____________________________
◻️ L’homogénéité du groupe sur lequel la fidélité a été estimée
Plus le groupe est homogène, c’est-à-dire, des individus [?], peu [?] et plus le risque d’avoir des erreurs toujours dans le même sens est [?]. En revanche plus le groupe est hétérogène, plus les individus sont mieux [?], plus les erreurs ont de « chances » d’être [?], réduisant ainsi leur effet.
◻️ L’homogénéité du groupe sur lequel la fidélité a été estimée
Plus le groupe est homogène, c’est-à-dire, des individus [semblables], peu [différents] et plus le risque d’avoir des erreurs toujours dans le même sens est [important]. En revanche plus le groupe est hétérogène, plus les individus sont mieux [différenciés], plus les erreurs ont de « chances » d’être [compensées], réduisant ainsi leur effet.
L’ERREUR TYPE DE MESURE
____________________________
◻️ La longueur du test
Plus le test est long (items nombreux), plus il y a de [?] et plus on tend à mesurer le [?] car en additionnant les [?] on réduit leur [?].
◻️ La longueur du test
Plus le test est long (items nombreux), plus il y a de [mesures] et plus on tend à mesurer le [score vrai] car en additionnant les [erreurs aléatoires] on réduit leur [poids].
LA VALIDITE DES OBSERVATIONS
__________________________
Qu’est-ce qu’un test valide ?
Un test valide est un test qui :
- permet d’atteindre de manière satisfaisante les objectifs poursuivis par son constructeur ou son utilisateur ;
- qui mesure bien ce qu’il est censé mesurer.
LA VALIDITE DES OBSERVATIONS
__________________________
La validité est la propriété des tests mais ce n’est pas un concept [?] car un test peut être valide par rapport à un [?] et ne pas l’être par rapport à un autre.
La validité est la propriété des tests mais ce n’est pas un concept [unitaire] car un test peut être valide par rapport à un [objectif] et ne pas l’être par rapport à un autre.
LA VALIDITE DES OBSERVATIONS
__________________________
On distingue 3 types de validité. Lesquels ?
1) la validité du contenu
2) la validité critérielle
3) la validité théorique
LA VALIDITE DES OBSERVATIONS
__________________________
Quand parle-t-on de validité apparente (ou de façade ou de conviction) ?
On parle aussi de validité apparente lorsque le test paraît valide A PRIORI sans que l’on dispose de la moindre preuve.
LA VALIDITE DES OBSERVATIONS
__________________________
Quand parle-t-on de validité interne ou factorielle ?
On parle parfois de la validité interne (ou factorielle) d’un test pour désigner l’homogénéité d’un test.
LA VALIDITE DES OBSERVATIONS
__________________________
1. La validité de contenu
La validité de contenu indique dans quelle mesure le contenu des items d’un test est [?] du domaine visé par l’évaluation. Cela suppose que l’on puisse définir un [?] dont les [?] sont bien définies.
Par exemple, dans le domaine de l’évaluation de l’apprentissage, on peut se baser sur des [?] fixant le contenu des [?] et des textes officiels exposant les [?] et pour évaluer les acquis professionnels, on peut se baser sur la [?].
Le constructeur de test doit définir son [?] en se référant aux [théories structurales] du domaine. Après la définition de [?], on tire une [?] dont le contenu doit être soigneusement examiné. Ces items doivent correspondre aux différentes [?] de l’univers de référence et dans les mêmes [?].
L’évaluation de la validité du contenu ne peut se faire qu’avec un travail approfondie de [?].
Au-delà du contenu, il faut prendre en compte le [?], la [?], le [?].
La validité de contenu indique dans quelle mesure le contenu des items d’un test est [représentatif] du domaine visé par l’évaluation. Cela suppose que l’on puisse définir un [univers de référence structuré] dont les [frontières] sont bien définies.
Par exemple, dans le domaine de l’évaluation de l’apprentissage, on peut se baser sur des [programmes] fixant le contenu des [acquisitions visées] et des textes officiels exposant les [objectifs de l’enseignement] et pour évaluer les acquis professionnels, on peut se baser sur la [nomenclature des métiers].
Le constructeur de test doit définir son [univers du test] en se référant aux [théories structurales] du domaine. Après la définition de [l’univers de référence], on tire une [série d’items] dont le contenu doit être soigneusement examiné. Ces items doivent correspondre aux différentes [facettes] de l’univers de référence et dans les mêmes [proportions].
L’évaluation de la validité du contenu ne peut se faire qu’avec un travail approfondie de [groupes d’expert].
Au-delà du contenu, il faut prendre en compte le [format des items], la [présentation de la consigne], le [mode de recueil de la réponse].
LA VALIDITE DES OBSERVATIONS
__________________________
2. La validité critérielle
Comment peut-on définir la validité critérielle ?
La validité critérielle se définit comme étant le fait qu’un test corrèle notablement ou non avec un critère qui est une autre variable jugée intéressante.
LA VALIDITE DES OBSERVATIONS
__________________________
Quand la validité critérielle est-elle qualifiée d’empirique ?
La validité critérielle est (parfois) qualifiée d’empirique quand la liaison test-critère n’est pas expliquée.
LA VALIDITE DES OBSERVATIONS
__________________________
Pourquoi un test est-il un prédicteur ?
Le test est un prédicteur puisqu’à partir de lui on peut faire une prédiction sur le critère.
LA VALIDITE DES OBSERVATIONS
__________________________
Quand la validité critérielle est-elle meilleure ?
La validité critérielle est meilleure quand la corrélation entre le test et le critère est élevée (coefficient de validité).
LA VALIDITE DES OBSERVATIONS
__________________________
Citez les deux grands types de validité critérielle.
1) La validité prédictive
2) La validité concurrente
Ces deux validités sont complémentaires et non équivalentes.
LA VALIDITE DES OBSERVATIONS
__________________________
La validité prédictive implique un [?] entre la mesure du [?] et celle du [?].
Pour la validité concurrente, il n’y a pas d’[?], la mesure du prédicteur et celle du test se font [?].
La validité prédictive implique un [intervalle de temps] entre la mesure du [prédicteur] et celle du [critère].
Pour la validité concurrente, il n’y a pas d’[intervalle de temps], la mesure du prédicteur et celle du test se font [au même moment].
LA VALIDITE DES OBSERVATIONS
__________________________
Comment est représentée la corrélation entre le test et le critère ? Donnez des exemples.
La corrélation entre le test et le critère est représentée par un DIAGRAMME DE CORRÉLATION ou TABLE D’EXPECTATION.
Exemple de Prédicteur : nombre d’années à un test, score à un test d’aptitude, résultat à un examen.
Exemple de Critère : un chef de service remplit une échelle d’évaluation en fonction du volume des ventes effectuées par le sujet.
Quand les sujets passent un test d’aptitude pour entrer dans une société, le recruteur ne gardera que les meilleurs. Ensuite 5 ans après, le chef de service va s’interroger sur la valeur du test et vérifiera l’efficacité des sujets recrutés.
LA VALIDITE DES OBSERVATIONS
__________________________
Quand observe-t-on une erreur de pronostic ?
Citez un exemple.
Une erreur de pronostic s’observe lorsque la corrélation entre le prédicteur (test) et le critère n’est pas parfaite. C’est le cas par exemple d’une majorité des sujets ayant eu 9 au test (les meilleurs) qui réussissent la formation de pilote alors qu’il y a tout de même 5,5% de sujets qui ne réussissent pas. Donc le test n’est pas valide à 100%.
LA VALIDITE DES OBSERVATIONS
__________________________
Citez les 2 facteurs affectant la validité critérielle
1) la restriction de la variabilité sur le prédicteur
2) la fidélité du prédicteur et du critère
LA VALIDITE DES OBSERVATIONS
__________________________
◻️ La restriction de la variabilité sur le prédicteur
On ne peut pas toujours évaluer sur le [?] l’ensemble des mêmes candidats que sur le [?]. En réalité, on procède à une sélection sur la base du test ou des [?] associées au test. Puis on examinera sur un groupe plus [?] que le groupe initial, la [?] entre le test et le critère. Le coefficient de validité sera plus faible que si on avait retenu le même groupe.
Il existe des méthodes permettant d’estimer l’effet de cette [?], et de « corriger » le [?] obtenu.
On ne peut pas toujours évaluer sur le [critère] l’ensemble des mêmes candidats que sur le [prédicteur]. En réalité, on procède à une sélection sur la base du test ou des [variables] associées au test. Puis on examinera sur un groupe plus [homogène] que le groupe initial, la [corrélation] entre le test et le critère. Le coefficient de validité sera plus faible que si on avait retenu le même groupe.
Il existe des méthodes permettant d’estimer l’effet de cette [réduction de variabilité], et de « corriger » le [coefficient de validité] obtenu.
LA VALIDITE DES OBSERVATIONS
__________________________
◻️ La fidélité du prédicteur et du critère
D’après la théorie du [?], on conçoit que la corrélation entre deux variables ne puisse résulter que de la corrélation de leurs [?]. Cette corrélation ne peut être parfaite que si les [?] sont parfaites également et elle sera d’autant plus atténuée que les [?] seront faibles.
Connaissant les fidélités du prédicteur et du critère, on peut donc calculer la [?] (ie sans erreur de mesure).
Ainsi, la validité n’est pas la propriété exclusive du test mais tout autant une propriété du [?].
D’après la théorie du [score vrai], on conçoit que la corrélation entre deux variables ne puisse résulter que de la corrélation de leurs [scores vrais]. Cette corrélation ne peut être parfaite que si les [fidélités] sont parfaites également et elle sera d’autant plus atténuée que les [fidélités] seront faibles.
Connaissant les fidélités du prédicteur et du critère, on peut donc calculer la [corrélation corrigée] (ie sans erreur de mesure).
Ainsi, la validité n’est pas la propriété exclusive du test mais tout autant une propriété du [critère].
LA VALIDITE DES OBSERVATIONS
__________________________
3. La validité théorique
Un premier aspect de la validité théorique est la validité du construit (les construits sont des [? assez ?] : l’intelligence, la sociabilité). Il s’agit de se demander s’il y a une bonne [?] entre le construit et le test dont il est une [?].
La question de [? du ?] est présente tout au long du processus de construction du test.
Un premier aspect de la validité théorique est la validité du construit (les construits sont des [dimensions assez abstraites] : l’intelligence, la sociabilité). Il s’agit de se demander s’il y a une bonne [adéquation] entre le construit et le test dont il est une [opérationnalisation].
La question de [validité du construit] est présente tout au long du processus de construction du test.
LA VALIDITE DES OBSERVATIONS
__________________________
Le test doit [? ?] avec certaines variables proches du construit :
»> validité [?] : certains tests sont saturés dans les mêmes facteurs et faiblement avec certaines autres variables éloignées du construit ;
»> validité [?] : certains tests ne sont pas saturés dans les mêmes facteurs.
Le test doit [corréler notablement] avec certaines variables proches du construit :
»> validité [convergente] : certains tests sont saturés dans les mêmes facteurs et faiblement avec certaines autres variables éloignées du construit ;
»> validité [divergente] : certains tests ne sont pas saturés dans les mêmes facteurs.
LA VALIDITE DES OBSERVATIONS
__________________________
Qu’est-ce que la méthode « muti-trait multi-méthodes » ?
La méthode « muti-trait multi-méthodes » est fréquemment utilisée pour valider les construits. On caractérise les sujets sur plusieurs traits au moyen de plusieurs méthodes. On peut par exemple, avec des enfants, retenir les traits honnêteté, agressivité et intelligence et recueillir les données en appliquant un test, en procédant à des observations de comportement, en relevant le jugement des enseignants… Les sujets sont alors caractérisés par 9 variables. L’analyse de la table d’intercorrélation entre ces variables permet de répondre à plusieurs questions relatives à la validité du construit : observe-t-on de fortes corrélations ou de faibles corrélations entre les mesures du même trait évalués par la même méthode ? Et par des méthodes différentes ?
LA VALIDITE DES OBSERVATIONS
__________________________
Pourquoi peut-on affirmer que la validité conceptuelle est beaucoup plus générale que celle de la validité de construit ?
Toute information nouvelle sur ce que mesure le test enrichit sa validité conceptuelle. Il peut s’agir d’informations provenant de la validité critérielle. Par exemple s’agissant de l’information selon laquelle une supériorité marquée du QI performance sur le QI verbal dans les échelles de Wechsler peut être associée à une scolarisation irrégulière ou à des troubles de la lecture ; cette information contribue à la validité du test.
Les informations concernant l’analyse de la conduite du sujet en cours des épreuves sont également utiles.
