Cours 10 : Usage recommandé

Question 1

Lorsqu’on se préoccupe d’utilité, on se pose toujours la même question générale «Quelles décisions mon instrument doit-il m’aider à prendre?»

Mais dans l’étape de l’usage recommandé, il est nécessaire de répondre à quel question ?

Answer 1

Quel est le degré de certitude associé aux conclusions tirées de mon instrument ? (À quel point je peux le recommander à mes pairs ?)

Question 2

Quels sont les objectifs de l’usage recommandé ? (2)

Answer 2

1) Préciser … :
- les buts,
- la population visée,
- les circonstances d’utilisation/de passation
(Retour sur l’usage anticipé)

2) Guider l’interprétation
Cad, publier l’ensemble des processus de création de l’instrument afin de permettre à deux qui regardent l’article de porter un jugement critique et préciser les points forts/faibles de l’instrument

Question 3

Les objectifs de l’usage recommandé sont :
- Préciser buts, population visée, circonstances d’utilisation/de passation
- Guider l’interprétation

Quels sont les moyens pour y arriver ? (3)

Answer 3

• Article scientifique
• Manuel de test
  Si quelqu’un veut utiliser l’instrument, c’est ce qui va lui permettre d’avoir tous les indices statistiques et recommandations => permet une décision éclairée sur le contexte
• Normes
  Permet de guider l’interprétation des résultats pour les bénéficiaires

Question 4

Dans le document formel (article ou manuel), il faut inclure … (3)

Answer 4

1. Le processus d’élaboration et de validation
   Quels choix ont été faits ? Pourquoi ?
2. La présentation des preuves de la validité (et par conséquent la fiabilité) de l’instrument.
   Le système hypothético-déductif
3. Les procédures qui rendent optimales l’usage de l’instrument.
   Donc les épreuves de validité et fidélité

Question 5

L’équipe de concepteurs doit ___________ sur leur instrument en exposant clairement leur démonstration de la ___________

Answer 5

L’équipe de concepteurs doit porter un jugement critique sur leur instrument en exposant clairement leur démonstration de la validité.
- Peut-on accomplir le but fondamental ?
- Convient-il à la population visée?
- Est-il fiable, valide et utile?

Question 6

Pour permettre aux bénéficiaires d’interpréter les résultats, il faut …

Answer 6

Créer des normes

Question 7

Norme des tests - Score bruts

C’est quoi un score brut ?
Il peut s’agir de … (2)

Answer 7

C’est le résultats au test sans interprétation. Il peut s’agir de :
1. De la somme ou moyenne des réponses/cotations associées aux réponses
Ex : échelle d’altruisme, et on a 3 items bons sur 6, on additionne tous les scores et on divise par le nombre d’items.
2. Algorithmes plus complexes

Question 8

Norme des tests

Pourquoi on crée des normes pour guider l’interprétation des résultats ?

Answer 8

Parce que les scores brurts sont difficiles à interpréter

Ça veut dire quoi un score de 62 ??

Question 9

Norme des tests

Rappel
C’est quoi un instrument normatif?

Answer 9

Instruments dont l’interprétation des résultats repose sur la comparaison aux résultats compilés auprès d’un échantillon de la population à qui s’adresse l’instrument

Question 10

Norme des tests

Rappel
C’est quoi un instrument critériée?

Answer 10

Instruments dont l’interprétation des résultats repose sur le fait qu’un seuil critique a été, ou non, dépassé

Question 11

Norme des tests

C’est quoi un groupe de référence dans un instrument normatif ?

Comment on constitue un groupe de référence ?

Answer 11

C’est sur quoi on compare le score d’un participant.

Le groupe de référence se constitue à travers un plan d’étalonnage ou de normalisation.

Question 12

Norme des tests - Groupe de référence

Comment assurer une erreur-type de mesure la plus faible possible ?

Answer 12

Que l’échantillon utilisé pour constituer le groupe soit suffisament grand

Question 13

Norme des tests - Groupe de référence

1. La représentativité du groupe de référence dépend de quoi ? (2)
2. Comment on peut assurer une bonne représentativité du groupe de référence ?
3. Comment peut-on vérifier la représentativité du groupe de référence ?
4. Et si on n’a pas de population visée ?

Answer 13

1. De l’usage anticipé et de la population visée
2. Avec la méthode d’échantillonage
3. En comparant le groupe de référence à la population cible sur les variables importantes (âge, sexe, statut socio-économique, groupes ethniques, taille de la ville, etc.)
4. Alors on peut l’extrapoler à partir des caractéristiques du groupe de référence

Question 14

Norme des tests - Méthodes d’échantillonage

Quelles sont les deux types de méthodes d’échantillonage ?

Answer 14

1. Aléatoire simple (probabiliste)
2. Convenance (non probabiliste)

Question 15

Norme des tests

Définit la méthode d’échantillonage de type «aléatoire simple».

Answer 15

Procédure accordant à chaque participant une chance égale de faire partie de l’échantillon.

Question 16

Norme des tests

Quelles sont les avantages (1) et inconvénients (3) de la méthode d’échantillonage de type «aléatoire simple» ?

Answer 16

Avantages:
- Objectivité
Pas de choix, pris au hasard

Inconvénients:
- Coûteux
- Doit connaître la liste de toutes les personnes constituant la population visée
Ex: population visée = classe en psychométrie. Il faut donc avoir accès à toute la liste d’étudiants. La sélection est aléatoire, donc tout le monde a la même chance d’être sélectionné

Question 17

Norme des tests

Définit la méthode d’échantillonage de type «convenance».

Answer 17

On inclut des participants sur la base de la facilité d’accès ou ses contacts

Question 18

Norme des tests

Quelles sont les avantages (1) et inconvénients (3) de la méthode d’échantillonage de type «convenance» ?

Answer 18

Avantages:
- Commode
- Peu coûteux

Inconvénients:
- La procédure n’est pas aléatoire
- La représentation de la population visée peut être compromise

Question 19

Norme des tests - Ampleur

Que permettent de représenter les :
1. Normes nationales
2. Normes internationales
3. Normes locales

Answer 19

1. La population visée au niveau national
2. La population visée au niveau mondial
3. La population visée dans un milieu restreint

Question 20

Norme des tests - Ampleur

Comment l’éditeur du test fait des normes d’utilisateurs ?

Answer 20

Il ajoute chaque groupe qui passe le test à ses normes.

Comme si le groupe de départ est plus petit et chaque fois qu’on fait passer le test à un nouveau groupe, on ajuste nos normes. On fait rentrer des nouveaux groupes et on crée nouvelles normes

Question 21

Norme des tests - Ampleur

Quand fait-on des normes de sous-groupe ?

Answer 21

Lorsqu’il existe des différences entre les individus en fonction de certaines variables (âge, sexe, statut socio-économique, groupe professionnel, etc.).

Question 22

Normes

Pour qu’il soit plus facile d’interpréter les scores grâce à des normes, on doitÉtant donné que les scores bruts sont difficiles à interpréter, la norme choisie doit fournir 2 informations.
Lesquelles ?
Cad, comment on transforme un score brut en score normalisé ?

Answer 22

1. La performance du participant
2. Sa position relative comparativement à son groupe de référence

Question 23

Normes - Types

Quels sont les deux types de normes ?

Answer 23

1. Les percentiles
2. Les scores z

Question 24

Normes - Types

Quels sont les avantages des percentiles pour représenter la norme ? (2)

Answer 24

1) Facile à comprendre et à expliquer
- De 1 à 99
Représentent le % de gens du groupe de référence ≤ percentile

2) Pas influencés par la forme de la distribution des scores bruts
Donc s’applique bien même dans le cas de distribution qui ne sont pas normales

Question 25

# Normes - Types Quels sont les **inconvénients** des percentiles pour représenter la norme ? (2)

Answer 25

- Confusion avec les pourcentages - Des petites variations du score brut au centre de la distribution ont une incidence majeure sur le percentile. *Aux extrémités de la distribution, de grandes variations dans le score brut n’ont que peu d’incidence sur le percentile (voir l'image)*

Question 26

# Normes - Types **Les scores z** *Pour faire un score z, on crée une échelle standardisée (on compare un groupe de référence à un groupe standardisé)* - **Moyenne** = - **Écart-type** = - Scores négatifs possibles ? - Avantage (1) - Ça permet quoi un score z ?

Answer 26

- **Moyenne** = 0 - **Écart-type** = 1 - Scores négatifs possibles ? oui - **Avantage** : S'agence bien avec la courbe normale - Permettre que l'écart entre deux scores bruts a le même impact sur le score Z et ce, peu importe l’endroit dans la distribution où se trouvent les deux données *Donc peu importe l'unité utilisée par la mesure, on va avoir échelle ayant les mêmes valeurs (autour de zéro)*

Question 27

# Traduction des tests - Introduction Traduire ne signifie pas valider (on traduit, puis on valide la traduction). Valider une traduction est un type de recherche spécifique ! Quel est le but utime quand on veut traduire un instrument ?

Answer 27

Que les propriétés psychométriques du nouvel instrument soient être aussi bonnes que l’original.

Question 28

# Traduction des tests - Méthodes de traduction Quelles sont les méthodes de traductions qui existent ? (4)

Answer 28

1. **Traduction traditionnelle** 2. **Traduction par comité** 3. **Traduction parallèles aveugles** 4. **Traduction renversée** (ou inversée)

Question 29

# Traduction des tests - Méthodes de traduction - Décrit la méthode de **traduction traditionnelle**. - Quelle est la limite de cette méthode ?

Answer 29

- Le chercheur traduit lui-même le questionnaire (parfois avec l’aide de traducteurs) - **Limite** : biais du chercheur (biais linguistiques, psychologiques et de compréhension) *Ex: Pas parfaitement bilingue, utilisation de jargon pas nécessairement accessible à tout le monde (dans le cas d'un expert), etc.*

Question 30

# Traduction des tests - Méthodes de traduction - Décrit la méthode de **traduction par comité**. - Quel est l'avantage de cette méthode par rapport à la traditionnelle ? - Quelle est la limite de cette méthode ?

Answer 30

- Test traduit en équipe (si possible avec le chercheur original) - Moins de biais du chercheur - **Limite** : Difficile de traduire en équipe

Question 31

# Traduction des tests - Méthodes de traduction Décrit les étapes de la méthode de **traduction parallèles aveugle** (3).

Answer 31

1. **Plusieurs traductions simultanées** *Chaque traducteur fait une traduction de manière indépendante* 2. Chacun des items est évalué par un comité pour sélectionner la meilleure version possible 3. Deux experts évaluent l’équivalence des items retenus et des items originaux

Question 32

# Traduction des tests - Méthodes de traduction Décrit les étapes de la méthode de la **traduction renversée** (5).

Answer 32

Question 33

# Traduction des tests - Méthodes de traduction Quels sont les **avantages** de la traduction renversée ? (2)

Answer 33

- Au moins deux personnes impliquées (moins de biais) - Permet de vérifier la qualité de la traduction

Question 34

# Traduction des tests - Méthodes de traduction Quels sont les **limites** de la traduction renversée ? (2)

Answer 34

- Difficile d’obtenir une équivalence parfaite - Variabilité culturelle et contextuelle du chercheur qui affecte l’équivalence de la traduction

Question 35

# Traduction des tests - Validation d'instruments traduits Quelles méthodes sont utilisées pour valider un instrument traduit ? (2)

Answer 35

1. Méthode avec deux groupes 2. Technique par groupe unique ou par corrélations croisées

Question 36

# Traduction des tests - Validation d'instruments traduits Pour les deux méthodes de validation, les échantillons sont composés de participants bilingues. Quels sont les problèmes relatifs à l'usage d'échantillons bilingues ? (3)

Answer 36

- On ne peut pas savoir si le niveau de bilinguisme des participants est vraiment équivalent - On ne peut pas savoir si les participants bilingues « répondent dans la langue » des items ou s'ils font une sorte de traduction implicite « dans leur tête » qui affecte l’évaluation de la traduction de l’instrument - On ne peut pas savoir si les participants bilingues sont vraiment représentatifs de la population bilingue ou de la population unilingue visée par la traduction

Question 37

# Traduction des tests - Validation d'instruments traduits Explique les étapes de la méthode de deux groupes

Answer 37

1. Il y a deux groupes bilingues (grA et grB). 2. L'instrument est séparé en deux 3. On fait la comparaison entre la moyenne des scores totaux des deux groupes 4. La comparaison entre la version originales (VO) et la version traduite (VT) pour chaque groupe devrait être équivalente (split-half élevée ou similaire ?) ``` Procédure complète - Traduction a priori - Pré-test avec la méthode présentée - Ajustement s’il y a des items problématiques - Pré-test #2 avec la méthode présentée - Si les items problématiques le sont encore, les enlever. - Procéder à l’étude principale ```

Question 38

# Traduction des tests - Validation d'instruments traduits **Méthode avec deux groupes** Quels sont les critères de décision pour déterminer que les deux versions sont équivalentes? (3)

Answer 38

1. Moyennes des scores totaux équivalentes entre les 2 groupes 2. La corrélation entre V.O. et V.T. pour chacun des groupes devra être élevée et équivalente. 3. Comparaison des fréquences de réponse pour les items (Item langue A VS Item langue B)

Question 39

# Traduction des tests - Validation d'instruments traduits **Méthode avec deux groupes** Quelles sont les limites de la méthode ?

Answer 39

- Difficile de distinguer entre l'interaction de la stabilité interne de l'instrument et l'exactitude de la traduction pour déterminer si ma traduction est bone ou non *Inverse vrai si j'ai une forte corrélation*

Question 40

# Traduction des tests - Validation d'instruments traduits **Technique par groupe unique ou par corrélations croisées** En quoi elle consiste ?

Answer 40

Question 41

# Traduction des tests - Validation d'instruments traduits

Question 42

# Traduction des tests - Validation d'instruments traduits

Question 43

# Traduction des tests - Validation d'instruments traduits