CRÉATION DES TESTS Flashcards
Que mesure un test ?
Quelles sont les 3 étapes de sa création ?
Mesure objective d’une caractéristique psychologique (pour le rendre plus objectif)
- standardisation
- étalonnage
- qualités métrologiques (sensibilité, fidélité, validité)
On a d’abord développé la psychométrie puis la théorie. Psychométrie (méthodes) ⇒ théories
Qu’est ce qu’une variable ?
Paramètre (mesurable) qui peut prendre différentes valeurs numériques (au moins 2) .(quantitatif ou qualitatif)
→ variable X
→ plusieurs valeurs : x1, x2, x3, …, xn (n = nombre de valeurs)
(X : note obtenue
⇒ X1 : note de l’étudiant 1)
Qu’est ce que la distribution ?
répartition de toutes les valeurs : distribution
Qu’est ce qu’une constante ?
paramètre qui ne peut prendre qu’une seule valeur.
Qu’est ce que la tendance centrale d’une variable ?
représente le centre de la distribution (donne une idée du centre)
Elle peut être → mode, médiane, moyenne
Qu’est ce que la dispersion d’une variable ?
Représente la variabilité de la distribution (comment les valeurs s’écartent autour de la moyenne)
→ il y a plusieurs indicateur de dispersion :
- étendue
- quantiles (ex : quartiles, centiles)
- variance
- écart-type
Que permet l’écart-type ?
Comment le calcule t on ?
Permet d’avoir une idée de l’écart par rapport à la moyenne. Indicateur utilisé pour la dispersion de la variable.
Pour le caculer : élever la variance au carré
Comment calculer la variance ?
1 : faire la moyenne
2 : calculer écart à la moyenne (note-moyenne)
3 : faire la moyenne des écarts à la moyenne
4 : passer chaque écarts au carré
5 : faire la moyenne des écarts au carré = variance
Qu’indique la moyenne ?
Indicateur d’une valeur autour d’une distribution : donne une notion générale sur 1 distribution
Quand se fait l’étape de standardisation.
Son objectif ?
Se fait en amont, mais peut se refaire après que le test ait été utilisé.
- objectif : perte de subjectivité
Il s’agit de perdre au maximum la subjectivité (du psyg, de la personne qui fait passer le test) dans le test pour obtenir des mesures objectives.
Qu’est -ce que veut dire “standardiser” ?
mettre des règles strictes qui doivent être respectées par la personne qui fait passer le test.
3 points de la standardisation ?
→ consigne
Il faut l’écrire pour que le psy dise exactement la même chose à tout le monde. (l’utilisation de synonyme ou une répétition de la consigne biaise le test) ex : « je vais vous lire des listes de chiffres, vous devrez me les restituer aussitôt après »
→ matériel : ce que l’on utilise pour faire passer le test. Ex : 1ère liste : « 3 - 7 - 4 - 9 » lue avec 1 s d’intervalle entre chaque
→ cotation : manière d’attribuer des points à chaque item. ex 1 point si l’individu rappelle les quatre chiffres dans le bon ordre,
même s’il hésite un peu (après 3 s d’hésitation, relancer une fois seulement puis stopper après à nouveau 3 s sans réponse)
Anamnèse : entretien se déroulant avant la passation.
De plus en plus, les tests sont électroniques, la standardisation y est donc optimum.
Quel est l’objectif de l’étalonnage ?
Etablir une population de référence
Cela permet de :
→ situer l’individu par rapport à sa population
→ déterminer si son score est « normal »
Combien y a t il de méthode pour étalonner ?
Quelles sont les étapes de chaque méthode ?
- 2 méthodes : quantilage ou échelles normalisées
- 4 étapes (3 communes, 4ème dépend de la méthode)
- échantillonner
- tester
- observer la distribution des effectifs
- construire des classes
Cite les 4 étapes de l’étalonnage
- Échantillonner
- Tester
- Observer la distribution des effectifs
- Construire des classes (échelle normalisée)
Détail les 4 étapes de l’étalonnage et leurs objectifs
-
Échantillonner
*objectif : sélectionner un échantillon de personnes pour avoir pop de réf
- méthode des quotas
- méthode d’échantillonnage aléatoire -
Tester
*objectif : faire passer le test en respectant les règles définies par la standardisation -
Observer la distribution des effectifs
*objectif : définir la répartition des individus
extraire les effectifs
graphique et/ou tableau
analyse visuelle -
Construire des classes (échelle normalisée)
*objectif : répartir les effectifs selon une loi normale
- avantage : situer un individu par / à sa population
- inconvénient : perte d’information
discrimine bien aux extrêmes de la distribution
A quoi correspond “échelle normalisée”
faire en sorte/s’organiser pour que cela suive la loi normale avec m de 100 et écart-type de 15.
Qu’est ce que la Loi Normale (Laplace-Gauss)
Par quoi est-elle caractérisée ?
C’est une distribution (particulière) de référence pour de nombreuses variables quand le n (valeur) est élevé
Bcp phéno la suive Ex : t°, paramètre physiologique comme taille….
Cela arrive quand les phénomènes ont des bornes différentes. Ex : pas bcp de femme de 1m ou de 2m.
Avec une population large, on a souvent bcp de valeurs autour de la moyenne (et + on s’écarte de la moyenne et - il y a de valeurs)
Elle est caractérisée par la répartition des valeurs autour de la moyenne.
⇒ Dans loi normale : 95% se trouve entre -2 et +2 écart-type. (on ne regarde plus la courbe de base mais la courbe de la loi normale)
Que permet la loi Normale ?
- calculer les proportion des valeurs situées à x écart-types de la moyenne (dans la loi normale) (score z)
⇒ Il faut pour cela connaître la moyenne et l’écart-type (de la courbe/tableau de base)
Si on connaît moyenne et écart-type : on peut calculer des proportion d’individus car dans loi normal on sait que 95% se trouve entre -2 et +2 écart-type….
⇒ Situer un individu par rapport à sa population de référence.
⇒ cela permet d’établir une norme statistique : 95% + ou - 2 écart-types.
95% du milieu de la distribution, et au-delà (en + ou en -) : anormal, atypique.
Seuil pris en compte : les 5% extrêmes (+2,5 en haut et -2,5 en bas ds 1 distribution)
Le QI suit-il une loi normale ?
En psychologie, le QI est sur le même principe, et de manière à ce que la moyenne soit de 100 et l’écart type de 15.
S’il est étalonné pour francophone entre 20 et 30 ans avec moyenne de 100 et écart type de 15.
⇒ 95% des individus sont entre 70 et 130 de QI.
avec 2,5% en dessous de 70 (déficience intellectuelle) et 2,5% au-dessus de 130 (HPI).
La plupart des outils utilisés par le psyg sont basés sur ce principe pour ainsi détecter quand les individus s’écartent trop de la moyenne.
Quels sont les 3 qualités métrologiques
Vérifier que le test respecte les qualités métrologiques :
- sensibilité,
- fidélité,
- validité
qualités métrologiques :
- sensibilité : définition
*définition : capacité d’un test à discriminer les individus
qualités métrologiques :
- sensibilité : évaluation
*évaluation : distribution des scores
Exemples de défaut de sensibilité (test calcul mental) :
- faible variabilité entre individus (mais bonne tendance centrale)
⇒ peut être pas assez de questions faciles et difficiles
B-S a introduit questions de difficulté croissante : permet de bien discriminer.
- mauvais scores pour tous (effet plancher)
⇒ le test comporte peut être trop de questions difficile (il ne sert donc à rien) - bons scores pour tous (effet plafond)
⇒ le test comporte peut être trop de questions faciles (il ne sert donc à rien)
S’il y a une épreuve parmi d’autres qui présente un défaut de sensibilité, je la supprime. (On prévoit toujours un peu plus d’épreuves) mais s’il y en a beaucoup, il faut augmenter la sensibilité.
qualités métrologiques :
Méthodes pour augmenter la sensibilité d’un test
- Faire varier la difficulté des questions.
- Augmenter le nombre d’item (je peux plus facilement faire varier la difficulté / avoir difficulté croissante.)
- Affiner les critères de cotation (cad noter certains items sur plusieurs valeurs différentes. (0/1 échec/réussi, mais 0,5 si une partie est bonne))
- Réactualiser test régulièrement (Qi a aug au fil des générations. Niveau des gens augmente donc on tend vers 1 effet plafond
- réécrire dans langage plus contemporain)
qualités métrologiques :
But de l’évaluation de la sensibilité
*But de l’évaluation de la sensibilité : Maximiser les différences interindividuelles
S’assurer que je peux faire des différences entre les gens et finement détecter si des personnes ont un niveau trop haut/bas.
qualités métrologiques :
- Fidélité définition
*définition : qualité d’un test dont la part d’erreur est minime
On considère que lorsque l’on mesure, le score est forcément composé d’un score vrai de l’individu et d’un marge d’erreur.
qualités métrologiques :
- Fidélité 3 types d’erreur
- erreurs au moment de la passation (fatigué qd je fais passer le test ou si 2 pers ≠ font passer le test, est ce que cela introduit des différences : nécessité consignes claires/précises)
- erreurs liées aux items utilisés (en fonction du matériel utilisé : nécessité matériel fiable)
- erreurs liées à la cotation (on ne doit pas se demander si on attribue tous les points par ex …)
⇒ on ne doit pas avoir à se demander si on retrouve les 3 points que l’on a vu dans la standardisation (consigne, matériel et cotation)
qualités métrologiques :
- Fidélité : évaluation
*évaluation (utilisation des corrélations pour ces 3 méthodes)
- méthode test-retest (surtt erreur liée à la passation) : tester 2x par même pers à interval défini et vérifier que l’on obtient même résultats
On peut par ex tester 2x une part de l’échantillon => permet d’obtenir la marge d’erreur. - méthode des formes parallèles, méthode «split-half» (surtt erreur liée aux items) : 2 versions d’un test ou le couper en 2 vérifier cohérence entre les items, regarder si un changement de matériel donne pourtant le même résultat.
- fidélité inter-cotateurs : résultats donnés à 2 pers qui doivent coter les résultats et on vérifie que l’on obtient bien les mêmes valeurs, que la cotation ne change pas selon la pers qui la fait.
qualités métrologiques :
- Fidélité : méthode et but
*méthode pour augmenter la fidélité
améliorer la standardisation
*But : Minimiser les différences intra-individuelles
qualités métrologiques :
- Validité
Définition et types de validité
*définition : qualité d’un test qui mesure bien ce qu’il est censé mesurer
Il faut bien définir ce que je veux mesurer. Ex : Qi utile mais on ne peut pas dire qu’il mesure l’intelligence
- validité apparente
- validité de contenu
- validité empirique
- validité théorique
qualités métrologiques :
- Validité
Détailler validité apparente et validité de contenu
*validité apparente : simple sentiment que le test est valide ⇒ insuffisant
*validité de contenu : définie par un groupe d’experts ⇒ méthode simple mais pas la + rigoureuse !
qualités métrologiques :
- Validité
Détailler validité empirique
On évalue le test et un critère diagnostique ou pronostic
- lien entre le test et un critère simultané (validité concurrente = diagnostic)
Ex : je connais 1 patho : alzheimer.
Test est censé être - réussi par les alz.
Je fais 2 groupes (av/ss alzheimer).
Si groupe alz. a un score + élevé : validité du test + validité diagnostique pour cette maladie (on peut associer ce test avec d’autre)
- lien entre le test et un critère ultérieur (validité prédictive = pronostic) (Jamais sûre à 100%)
Le résultat à un temps t prédit-il qq chose ou pas à t+1
Ex : faire passer test mémoire à des pers non diag alz.
1an plus tard, 10% ont 1 diag alz.
En regardant données du temps t, je vois s’il y a 1 donnée qui permet de faire le pronostic.
Ex : test ADN pour pronostiquer cancer du sein.
qualités métrologiques :
- Validité
Détailler validité théorique
Mesure d’un processus décrit par une théorie (est ce que cela correspond à la définition que l’on a donné de ce que l’on veut mesurer)
- lien avec un test mesurant le même processus (validité convergente)
Ex : mémoire. est que mon test est corrélé avec un autre test de mémoire - absence de lien avec un test mesurant un autre processus (validité divergente / discriminante)
Vérifier que l’on n’a pas de lien (pas de corrélation) avec autres tests qui mesure un autre processus.
Ex : on veut tester mémoire visuelle mais on fait passer test qui mesure la mémoire langagière - lien avec un facteur issu d’un modèle factoriel
On effectue une analyse factorielle sur les données recueillies, cela peut révéler des facteurs latents/sous jacents qui expliquent la variation des réponses aux questions du test.
Ces facteurs représentent généralement des caractéristiques psychologiques ou des traits de personnalité que le test est censé mesurer indirectement.
Ensuite, vous examinez si les scores obtenus au test sont corrélés avec l’un des facteurs extraits lors de l’analyse factorielle. Si vous trouvez une corrélation significative entre les scores du test et le facteur extrait, cela suggère que le test mesure effectivement le concept ou le trait psychologique représenté par ce facteur.
Il n’est pas possible de faire toutes les vérifications. C’est parfois la pratique des psyg qui remet en cause la validité.
Création test / QI standard
Innovations
Innovations
- inspiré du QI Stern (m = 100) mais pas de quotient d’âges
- QI = mesure statistique
- 2 sous-échelles (QI verbal et QI performance)
QI verbal et QI performance
- QI total = moyenne de ces deux QI indépendants
- QI verbal = symbolique, abstrait (mots, phrases, chiffres)==> ce qui est symbolique (pas de lien concret entre mot et objet par ex)
- QI performance = pratique, concret (objets) ⇒ lié à la manière dont on comprend/interagit avec l’objet (Ex : représentation géométrique)
Exemple d’items QI verbal et QI performance.
QI verbal
Exemples d’items
*Information
que signifie ONU ? Comment faire bouillir de l’eau ?
*Similitudes : «en quoi se ressemblent…»
laine et coton, lait et eau, récompense et punition
*Vocabulaire
qu’est-ce qu’un bouchon ? une polémique ?
*Compréhension
que veut dire l’expression «l’habit ne fait pas le moine»?
pourquoi encourage-t-on la récupération des bouteilles vides ?
QI performance
Exemples d’items
*Cubes
*Complément d’image (que manque ds image)
*Code (associer chiffres à symboles)
Création test / QI standard
QI = mesure statistique
Objectif : situer les individus dans une population de référence
Étalonné selon une loi normale : m = 100, σ= 15 (ne pas chercher pourquoi !)
C’est cette étape de l’étalonnage qui fait en sorte que le QI soit centré sur m100 et ET 15.
*Avantage : peu d’individus aux extêmes (bonne sensibilité)
*QI = rang statistique
- rang dans la population de référence (selon l’âge)
Le QI est devenu un rang statistique : on nous range par rapport à notre âge dans la pop de référence. - proportion d’individus avec un score >ou<
Notre valeur de QI permet de connaître combien d’ind du même âge ont 1 score inf/sup à nous. (avec x% je fais partie des x% les + haut et donc x% ont 1 QI inf à moi)
QI = 118 signifie toujours la même chose (≠ QI Stern)
à 5 ans ou à 50 ans les compétences ne sont pas les mêmes, mais je suis toujours situé parmi la population de ma tranche d’âge.
⇒ QI ne mesure pas l’intelligence. C’est un rang dans une pop défini par classe d’âge.
95 % des individus dans une population ont un QI > 70 et < 130 (±2 σ)
déficience intellectuelle (QI < 70)
haut potentiel intellectuel (HPI : QI > 130)
