Cours 10 : Usage recommandé Flashcards

1
Q

Lorsqu’on se préoccupe d’utilité, on se pose toujours la même question générale «Quelles décisions mon instrument doit-il m’aider à prendre?»

Mais dans l’étape de l’usage recommandé, il est nécessaire de répondre à quel question ?

A

Quel est le degré de certitude associé aux conclusions tirées de mon instrument ? (À quel point je peux le recommander à mes pairs ?)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Quels sont les objectifs de l’usage recommandé ? (2)

A

1) Préciser … :
- les buts,
- la population visée,
- les circonstances d’utilisation/de passation
(Retour sur l’usage anticipé)

2) Guider l’interprétation
Cad, publier l’ensemble des processus de création de l’instrument afin de permettre à deux qui regardent l’article de porter un jugement critique et préciser les points forts/faibles de l’instrument

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Les objectifs de l’usage recommandé sont :
- Préciser buts, population visée, circonstances d’utilisation/de passation
- Guider l’interprétation

Quels sont les moyens pour y arriver ? (3)

A
  • Article scientifique
  • Manuel de test
    Si quelqu’un veut utiliser l’instrument, c’est ce qui va lui permettre d’avoir tous les indices statistiques et recommandations => permet une décision éclairée sur le contexte
  • Normes
    Permet de guider l’interprétation des résultats pour les bénéficiaires
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Dans le document formel (article ou manuel), il faut inclure … (3)

A
  1. Le processus d’élaboration et de validation
    Quels choix ont été faits ? Pourquoi ?
  2. La présentation des preuves de la validité (et par conséquent la fiabilité) de l’instrument.
    Le système hypothético-déductif
  3. Les procédures qui rendent optimales l’usage de l’instrument.
    Donc les épreuves de validité et fidélité
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

L’équipe de concepteurs doit ___________ sur leur instrument en exposant clairement leur démonstration de la ___________

A

L’équipe de concepteurs doit porter un jugement critique sur leur instrument en exposant clairement leur démonstration de la validité.
- Peut-on accomplir le but fondamental ?
- Convient-il à la population visée?
- Est-il fiable, valide et utile?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Pour permettre aux bénéficiaires d’interpréter les résultats, il faut …

A

Créer des normes

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Norme des tests - Score bruts

C’est quoi un score brut ?
Il peut s’agir de … (2)

A

C’est le résultats au test sans interprétation. Il peut s’agir de :
1. De la somme ou moyenne des réponses/cotations associées aux réponses
Ex : échelle d’altruisme, et on a 3 items bons sur 6, on additionne tous les scores et on divise par le nombre d’items.
2. Algorithmes plus complexes

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Norme des tests

Pourquoi on crée des normes pour guider l’interprétation des résultats ?

A

Parce que les scores brurts sont difficiles à interpréter

Ça veut dire quoi un score de 62 ??

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Norme des tests

Rappel
C’est quoi un instrument normatif?

A

Instruments dont l’interprétation des résultats repose sur la comparaison aux résultats compilés auprès d’un échantillon de la population à qui s’adresse l’instrument

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Norme des tests

Rappel
C’est quoi un instrument critériée?

A

Instruments dont l’interprétation des résultats repose sur le fait qu’un seuil critique a été, ou non, dépassé

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Norme des tests

C’est quoi un groupe de référence dans un instrument normatif ?

Comment on constitue un groupe de référence ?

A

C’est sur quoi on compare le score d’un participant.

Le groupe de référence se constitue à travers un plan d’étalonnage ou de normalisation.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Norme des tests - Groupe de référence

Comment assurer une erreur-type de mesure la plus faible possible ?

A

Que l’échantillon utilisé pour constituer le groupe soit suffisament grand

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Norme des tests - Groupe de référence

  1. La représentativité du groupe de référence dépend de quoi ? (2)
  2. Comment on peut assurer une bonne représentativité du groupe de référence ?
  3. Comment peut-on vérifier la représentativité du groupe de référence ?
  4. Et si on n’a pas de population visée ?
A
  1. De l’usage anticipé et de la population visée
  2. Avec la méthode d’échantillonage
  3. En comparant le groupe de référence à la population cible sur les variables importantes (âge, sexe, statut socio-économique, groupes ethniques, taille de la ville, etc.)
  4. Alors on peut l’extrapoler à partir des caractéristiques du groupe de référence
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Norme des tests - Méthodes d’échantillonage

Quelles sont les deux types de méthodes d’échantillonage ?

A
  1. Aléatoire simple (probabiliste)
  2. Convenance (non probabiliste)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Norme des tests

Définit la méthode d’échantillonage de type «aléatoire simple».

A

Procédure accordant à chaque participant une chance égale de faire partie de l’échantillon.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Norme des tests

Quelles sont les avantages (1) et inconvénients (3) de la méthode d’échantillonage de type «aléatoire simple» ?

A

Avantages:
- Objectivité
Pas de choix, pris au hasard

Inconvénients:
- Coûteux
- Doit connaître la liste de toutes les personnes constituant la population visée
Ex: population visée = classe en psychométrie. Il faut donc avoir accès à toute la liste d’étudiants. La sélection est aléatoire, donc tout le monde a la même chance d’être sélectionné

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Norme des tests

Définit la méthode d’échantillonage de type «convenance».

A

On inclut des participants sur la base de la facilité d’accès ou ses contacts

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Norme des tests

Quelles sont les avantages (1) et inconvénients (3) de la méthode d’échantillonage de type «convenance» ?

A

Avantages:
- Commode
- Peu coûteux

Inconvénients:
- La procédure n’est pas aléatoire
- La représentation de la population visée peut être compromise

19
Q

Norme des tests - Ampleur

Que permettent de représenter les :
1. Normes nationales
2. Normes internationales
3. Normes locales

A
  1. La population visée au niveau national
  2. La population visée au niveau mondial
  3. La population visée dans un milieu restreint
20
Q

Norme des tests - Ampleur

Comment l’éditeur du test fait des normes d’utilisateurs ?

A

Il ajoute chaque groupe qui passe le test à ses normes.

Comme si le groupe de départ est plus petit et chaque fois qu’on fait passer le test à un nouveau groupe, on ajuste nos normes. On fait rentrer des nouveaux groupes et on crée nouvelles normes

21
Q

Norme des tests - Ampleur

Quand fait-on des normes de sous-groupe ?

A

Lorsqu’il existe des différences entre les individus en fonction de certaines variables (âge, sexe, statut socio-économique, groupe professionnel, etc.).

22
Q

Normes

Pour qu’il soit plus facile d’interpréter les scores grâce à des normes, on doitÉtant donné que les scores bruts sont difficiles à interpréter, la norme choisie doit fournir 2 informations.
Lesquelles ?
Cad, comment on transforme un score brut en score normalisé ?

A
  1. La performance du participant
  2. Sa position relative comparativement à son groupe de référence
23
Q

Normes - Types

Quels sont les deux types de normes ?

A
  1. Les percentiles
  2. Les scores z
24
Q

Normes - Types

Quels sont les avantages des percentiles pour représenter la norme ? (2)

A

1) Facile à comprendre et à expliquer
- De 1 à 99
Représentent le % de gens du groupe de référence ≤ percentile

2) Pas influencés par la forme de la distribution des scores bruts
Donc s’applique bien même dans le cas de distribution qui ne sont pas normales

25
Q

Normes - Types

Quels sont les inconvénients des percentiles pour représenter la norme ? (2)

A
  • Confusion avec les pourcentages
  • Des petites variations du score brut au centre de la distribution ont une incidence majeure sur le percentile.
    Aux extrémités de la distribution, de grandes variations dans le score brut n’ont que peu d’incidence sur le percentile (voir l’image)
26
Q

Normes - Types

Les scores z
Pour faire un score z, on crée une échelle standardisée (on compare un groupe de référence à un groupe standardisé)

  • Moyenne =
  • Écart-type =
  • Scores négatifs possibles ?
  • Avantage (1)
  • Ça permet quoi un score z ?
A
  • Moyenne = 0
  • Écart-type = 1
  • Scores négatifs possibles ? oui
  • Avantage : S’agence bien avec la courbe normale
  • Permettre que l’écart entre deux scores bruts a le même impact sur le score Z et ce, peu importe l’endroit dans la distribution où se trouvent les deux données

Donc peu importe l’unité utilisée par la mesure, on va avoir échelle ayant les mêmes valeurs (autour de zéro)

27
Q

Traduction des tests - Introduction

Traduire ne signifie pas valider (on traduit, puis on valide la traduction). Valider une traduction est un type de recherche spécifique !

Quel est le but utime quand on veut traduire un instrument ?

A

Que les propriétés psychométriques du nouvel instrument soient être aussi bonnes que l’original.

28
Q

Traduction des tests - Méthodes de traduction

Quelles sont les méthodes de traductions qui existent ? (4)

A
  1. Traduction traditionnelle
  2. Traduction par comité
  3. Traduction parallèles aveugles
  4. Traduction renversée (ou inversée)
29
Q

Traduction des tests - Méthodes de traduction

  • Décrit la méthode de traduction traditionnelle.
  • Quelle est la limite de cette méthode ?
A
  • Le chercheur traduit lui-même le questionnaire (parfois avec l’aide de traducteurs)
  • Limite : biais du chercheur (biais linguistiques, psychologiques et de compréhension)
    Ex: Pas parfaitement bilingue, utilisation de jargon pas nécessairement accessible à tout le monde (dans le cas d’un expert), etc.
30
Q

Traduction des tests - Méthodes de traduction

  • Décrit la méthode de traduction par comité.
  • Quel est l’avantage de cette méthode par rapport à la traditionnelle ?
  • Quelle est la limite de cette méthode ?
A
  • Test traduit en équipe (si possible avec le chercheur original)
  • Moins de biais du chercheur
  • Limite : Difficile de traduire en équipe
31
Q

Traduction des tests - Méthodes de traduction

Décrit les étapes de la méthode de traduction parallèles aveugle (3).

A
  1. Plusieurs traductions simultanées
    Chaque traducteur fait une traduction de manière indépendante
  2. Chacun des items est évalué par un comité pour sélectionner la meilleure version possible
  3. Deux experts évaluent l’équivalence des items retenus et des items originaux
32
Q

Traduction des tests - Méthodes de traduction

Décrit les étapes de la méthode de la traduction renversée (5).

A
33
Q

Traduction des tests - Méthodes de traduction

Quels sont les avantages de la traduction renversée ? (2)

A
  • Au moins deux personnes impliquées (moins de biais)
  • Permet de vérifier la qualité de la traduction
34
Q

Traduction des tests - Méthodes de traduction

Quels sont les limites de la traduction renversée ? (2)

A
  • Difficile d’obtenir une équivalence parfaite
  • Variabilité culturelle et contextuelle du chercheur qui affecte l’équivalence de la traduction
35
Q

Traduction des tests - Validation d’instruments traduits

Quelles méthodes sont utilisées pour valider un instrument traduit ? (2)

A
  1. Méthode avec deux groupes
  2. Technique par groupe unique ou par corrélations croisées
36
Q

Traduction des tests - Validation d’instruments traduits

Pour les deux méthodes de validation, les échantillons sont composés de participants bilingues.

Quels sont les problèmes relatifs à l’usage d’échantillons bilingues ? (3)

A
  • On ne peut pas savoir si le niveau de bilinguisme des participants est vraiment équivalent
  • On ne peut pas savoir si les participants bilingues «répondentdans la langue » des items ou s’ils font une sorte de traduction implicite «dans leur tête» qui affecte l’évaluation de la traduction de l’instrument
  • On ne peut pas savoir si les participants bilingues sont vraiment représentatifs de la population bilingue ou de la population unilingue visée par la traduction
37
Q

Traduction des tests - Validation d’instruments traduits

Explique les étapes de la méthode de deux groupes

A
  1. Il y a deux groupes bilingues (grA et grB).
  2. L’instrument est séparé en deux
  3. On fait la comparaison entre la moyenne des scores totaux des deux groupes
  4. La comparaison entre la version originales (VO) et la version traduite (VT) pour chaque groupe devrait être équivalente (split-half élevée ou similaire ?)
    Procédure complète
           - Traduction a priori
           - Pré-test avec la méthode présentée 
           - Ajustement s’il y a des items problématiques
           - Pré-test #2 avec la méthode présentée 
           - Si les items problématiques le sont encore, les enlever.
           - Procéder à l’étude principale
38
Q

Traduction des tests - Validation d’instruments traduits

Méthode avec deux groupes
Quels sont les critères de décision pour déterminer que les deux versions sont équivalentes? (3)

A
  1. Moyennes des scores totaux équivalentes entre les 2 groupes
  2. La corrélation entre V.O. et V.T. pour chacun des groupes devra être élevée et équivalente.
  3. Comparaison des fréquences de réponse pour les items (Item langue A VS Item langue B)
39
Q

Traduction des tests - Validation d’instruments traduits

Méthode avec deux groupes
Quelles sont les limites de la méthode ?

A
  • Difficile de distinguer entre l’interaction de la stabilité interne de l’instrument et l’exactitude de la traduction pour déterminer si ma traduction est bone ou non
    Inverse vrai si j’ai une forte corrélation
40
Q

Traduction des tests - Validation d’instruments traduits

Technique par groupe unique ou par corrélations croisées
En quoi elle consiste ?

A
41
Q

Traduction des tests - Validation d’instruments traduits

A
42
Q

Traduction des tests - Validation d’instruments traduits

A
43
Q

Traduction des tests - Validation d’instruments traduits

A