Cours 10 : Usage recommandé Flashcards
Lorsqu’on se préoccupe d’utilité, on se pose toujours la même question générale «Quelles décisions mon instrument doit-il m’aider à prendre?»
Mais dans l’étape de l’usage recommandé, il est nécessaire de répondre à quel question ?
Quel est le degré de certitude associé aux conclusions tirées de mon instrument ? (À quel point je peux le recommander à mes pairs ?)
Quels sont les objectifs de l’usage recommandé ? (2)
1) Préciser … :
- les buts,
- la population visée,
- les circonstances d’utilisation/de passation
(Retour sur l’usage anticipé)
2) Guider l’interprétation
Cad, publier l’ensemble des processus de création de l’instrument afin de permettre à deux qui regardent l’article de porter un jugement critique et préciser les points forts/faibles de l’instrument
Les objectifs de l’usage recommandé sont :
- Préciser buts, population visée, circonstances d’utilisation/de passation
- Guider l’interprétation
Quels sont les moyens pour y arriver ? (3)
- Article scientifique
-
Manuel de test
Si quelqu’un veut utiliser l’instrument, c’est ce qui va lui permettre d’avoir tous les indices statistiques et recommandations => permet une décision éclairée sur le contexte -
Normes
Permet de guider l’interprétation des résultats pour les bénéficiaires
Dans le document formel (article ou manuel), il faut inclure … (3)
- Le processus d’élaboration et de validation
Quels choix ont été faits ? Pourquoi ? - La présentation des preuves de la validité (et par conséquent la fiabilité) de l’instrument.
Le système hypothético-déductif - Les procédures qui rendent optimales l’usage de l’instrument.
Donc les épreuves de validité et fidélité
L’équipe de concepteurs doit ___________ sur leur instrument en exposant clairement leur démonstration de la ___________
L’équipe de concepteurs doit porter un jugement critique sur leur instrument en exposant clairement leur démonstration de la validité.
- Peut-on accomplir le but fondamental ?
- Convient-il à la population visée?
- Est-il fiable, valide et utile?
Pour permettre aux bénéficiaires d’interpréter les résultats, il faut …
Créer des normes
Norme des tests - Score bruts
C’est quoi un score brut ?
Il peut s’agir de … (2)
C’est le résultats au test sans interprétation. Il peut s’agir de :
1. De la somme ou moyenne des réponses/cotations associées aux réponses
Ex : échelle d’altruisme, et on a 3 items bons sur 6, on additionne tous les scores et on divise par le nombre d’items.
2. Algorithmes plus complexes
Norme des tests
Pourquoi on crée des normes pour guider l’interprétation des résultats ?
Parce que les scores brurts sont difficiles à interpréter
Ça veut dire quoi un score de 62 ??
Norme des tests
Rappel
C’est quoi un instrument normatif?
Instruments dont l’interprétation des résultats repose sur la comparaison aux résultats compilés auprès d’un échantillon de la population à qui s’adresse l’instrument
Norme des tests
Rappel
C’est quoi un instrument critériée?
Instruments dont l’interprétation des résultats repose sur le fait qu’un seuil critique a été, ou non, dépassé
Norme des tests
C’est quoi un groupe de référence dans un instrument normatif ?
Comment on constitue un groupe de référence ?
C’est sur quoi on compare le score d’un participant.
Le groupe de référence se constitue à travers un plan d’étalonnage ou de normalisation.
Norme des tests - Groupe de référence
Comment assurer une erreur-type de mesure la plus faible possible ?
Que l’échantillon utilisé pour constituer le groupe soit suffisament grand
Norme des tests - Groupe de référence
- La représentativité du groupe de référence dépend de quoi ? (2)
- Comment on peut assurer une bonne représentativité du groupe de référence ?
- Comment peut-on vérifier la représentativité du groupe de référence ?
- Et si on n’a pas de population visée ?
- De l’usage anticipé et de la population visée
- Avec la méthode d’échantillonage
- En comparant le groupe de référence à la population cible sur les variables importantes (âge, sexe, statut socio-économique, groupes ethniques, taille de la ville, etc.)
- Alors on peut l’extrapoler à partir des caractéristiques du groupe de référence
Norme des tests - Méthodes d’échantillonage
Quelles sont les deux types de méthodes d’échantillonage ?
- Aléatoire simple (probabiliste)
- Convenance (non probabiliste)
Norme des tests
Définit la méthode d’échantillonage de type «aléatoire simple».
Procédure accordant à chaque participant une chance égale de faire partie de l’échantillon.
Norme des tests
Quelles sont les avantages (1) et inconvénients (3) de la méthode d’échantillonage de type «aléatoire simple» ?
Avantages:
- Objectivité
Pas de choix, pris au hasard
Inconvénients:
- Coûteux
- Doit connaître la liste de toutes les personnes constituant la population visée
Ex: population visée = classe en psychométrie. Il faut donc avoir accès à toute la liste d’étudiants. La sélection est aléatoire, donc tout le monde a la même chance d’être sélectionné
Norme des tests
Définit la méthode d’échantillonage de type «convenance».
On inclut des participants sur la base de la facilité d’accès ou ses contacts
Norme des tests
Quelles sont les avantages (1) et inconvénients (3) de la méthode d’échantillonage de type «convenance» ?
Avantages:
- Commode
- Peu coûteux
Inconvénients:
- La procédure n’est pas aléatoire
- La représentation de la population visée peut être compromise
Norme des tests - Ampleur
Que permettent de représenter les :
1. Normes nationales
2. Normes internationales
3. Normes locales
- La population visée au niveau national
- La population visée au niveau mondial
- La population visée dans un milieu restreint
Norme des tests - Ampleur
Comment l’éditeur du test fait des normes d’utilisateurs ?
Il ajoute chaque groupe qui passe le test à ses normes.
Comme si le groupe de départ est plus petit et chaque fois qu’on fait passer le test à un nouveau groupe, on ajuste nos normes. On fait rentrer des nouveaux groupes et on crée nouvelles normes
Norme des tests - Ampleur
Quand fait-on des normes de sous-groupe ?
Lorsqu’il existe des différences entre les individus en fonction de certaines variables (âge, sexe, statut socio-économique, groupe professionnel, etc.).
Normes
Pour qu’il soit plus facile d’interpréter les scores grâce à des normes, on doitÉtant donné que les scores bruts sont difficiles à interpréter, la norme choisie doit fournir 2 informations.
Lesquelles ?
Cad, comment on transforme un score brut en score normalisé ?
- La performance du participant
- Sa position relative comparativement à son groupe de référence
Normes - Types
Quels sont les deux types de normes ?
- Les percentiles
- Les scores z
Normes - Types
Quels sont les avantages des percentiles pour représenter la norme ? (2)
1) Facile à comprendre et à expliquer
- De 1 à 99
Représentent le % de gens du groupe de référence ≤ percentile
2) Pas influencés par la forme de la distribution des scores bruts
Donc s’applique bien même dans le cas de distribution qui ne sont pas normales
Normes - Types
Quels sont les inconvénients des percentiles pour représenter la norme ? (2)
- Confusion avec les pourcentages
- Des petites variations du score brut au centre de la distribution ont une incidence majeure sur le percentile.
Aux extrémités de la distribution, de grandes variations dans le score brut n’ont que peu d’incidence sur le percentile (voir l’image)
Normes - Types
Les scores z
Pour faire un score z, on crée une échelle standardisée (on compare un groupe de référence à un groupe standardisé)
- Moyenne =
- Écart-type =
- Scores négatifs possibles ?
- Avantage (1)
- Ça permet quoi un score z ?
- Moyenne = 0
- Écart-type = 1
- Scores négatifs possibles ? oui
- Avantage : S’agence bien avec la courbe normale
- Permettre que l’écart entre deux scores bruts a le même impact sur le score Z et ce, peu importe l’endroit dans la distribution où se trouvent les deux données
Donc peu importe l’unité utilisée par la mesure, on va avoir échelle ayant les mêmes valeurs (autour de zéro)
Traduction des tests - Introduction
Traduire ne signifie pas valider (on traduit, puis on valide la traduction). Valider une traduction est un type de recherche spécifique !
Quel est le but utime quand on veut traduire un instrument ?
Que les propriétés psychométriques du nouvel instrument soient être aussi bonnes que l’original.
Traduction des tests - Méthodes de traduction
Quelles sont les méthodes de traductions qui existent ? (4)
- Traduction traditionnelle
- Traduction par comité
- Traduction parallèles aveugles
- Traduction renversée (ou inversée)
Traduction des tests - Méthodes de traduction
- Décrit la méthode de traduction traditionnelle.
- Quelle est la limite de cette méthode ?
- Le chercheur traduit lui-même le questionnaire (parfois avec l’aide de traducteurs)
-
Limite : biais du chercheur (biais linguistiques, psychologiques et de compréhension)
Ex: Pas parfaitement bilingue, utilisation de jargon pas nécessairement accessible à tout le monde (dans le cas d’un expert), etc.
Traduction des tests - Méthodes de traduction
- Décrit la méthode de traduction par comité.
- Quel est l’avantage de cette méthode par rapport à la traditionnelle ?
- Quelle est la limite de cette méthode ?
- Test traduit en équipe (si possible avec le chercheur original)
- Moins de biais du chercheur
- Limite : Difficile de traduire en équipe
Traduction des tests - Méthodes de traduction
Décrit les étapes de la méthode de traduction parallèles aveugle (3).
-
Plusieurs traductions simultanées
Chaque traducteur fait une traduction de manière indépendante - Chacun des items est évalué par un comité pour sélectionner la meilleure version possible
- Deux experts évaluent l’équivalence des items retenus et des items originaux
Traduction des tests - Méthodes de traduction
Décrit les étapes de la méthode de la traduction renversée (5).
Traduction des tests - Méthodes de traduction
Quels sont les avantages de la traduction renversée ? (2)
- Au moins deux personnes impliquées (moins de biais)
- Permet de vérifier la qualité de la traduction
Traduction des tests - Méthodes de traduction
Quels sont les limites de la traduction renversée ? (2)
- Difficile d’obtenir une équivalence parfaite
- Variabilité culturelle et contextuelle du chercheur qui affecte l’équivalence de la traduction
Traduction des tests - Validation d’instruments traduits
Quelles méthodes sont utilisées pour valider un instrument traduit ? (2)
- Méthode avec deux groupes
- Technique par groupe unique ou par corrélations croisées
Traduction des tests - Validation d’instruments traduits
Pour les deux méthodes de validation, les échantillons sont composés de participants bilingues.
Quels sont les problèmes relatifs à l’usage d’échantillons bilingues ? (3)
- On ne peut pas savoir si le niveau de bilinguisme des participants est vraiment équivalent
- On ne peut pas savoir si les participants bilingues «répondentdans la langue » des items ou s’ils font une sorte de traduction implicite «dans leur tête» qui affecte l’évaluation de la traduction de l’instrument
- On ne peut pas savoir si les participants bilingues sont vraiment représentatifs de la population bilingue ou de la population unilingue visée par la traduction
Traduction des tests - Validation d’instruments traduits
Explique les étapes de la méthode de deux groupes
- Il y a deux groupes bilingues (grA et grB).
- L’instrument est séparé en deux
- On fait la comparaison entre la moyenne des scores totaux des deux groupes
- La comparaison entre la version originales (VO) et la version traduite (VT) pour chaque groupe devrait être équivalente (split-half élevée ou similaire ?)
Procédure complète - Traduction a priori - Pré-test avec la méthode présentée - Ajustement s’il y a des items problématiques - Pré-test #2 avec la méthode présentée - Si les items problématiques le sont encore, les enlever. - Procéder à l’étude principale
Traduction des tests - Validation d’instruments traduits
Méthode avec deux groupes
Quels sont les critères de décision pour déterminer que les deux versions sont équivalentes? (3)
- Moyennes des scores totaux équivalentes entre les 2 groupes
- La corrélation entre V.O. et V.T. pour chacun des groupes devra être élevée et équivalente.
- Comparaison des fréquences de réponse pour les items (Item langue A VS Item langue B)
Traduction des tests - Validation d’instruments traduits
Méthode avec deux groupes
Quelles sont les limites de la méthode ?
- Difficile de distinguer entre l’interaction de la stabilité interne de l’instrument et l’exactitude de la traduction pour déterminer si ma traduction est bone ou non
Inverse vrai si j’ai une forte corrélation
Traduction des tests - Validation d’instruments traduits
Technique par groupe unique ou par corrélations croisées
En quoi elle consiste ?
Traduction des tests - Validation d’instruments traduits
Traduction des tests - Validation d’instruments traduits
Traduction des tests - Validation d’instruments traduits
