Cours #10 Flashcards
Cible, utilité et usage recommandé
Utilité en général : ?
À l’étape de l’usage recommandé : ?
Lorsqu’on se préoccupe d’utilité, on se pose toujours la même question générale «Quelles décisions mon instrument doit-il m’aider à prendre?»
Plus spécifiquement, l’étape de l’Usage recommandé nécessite de répondre à la question générale «Quel est le degré de certitude associé aux conclusions tirées de mon instrument? »
Objectifs et moyens usage recommandé
Objectifs
- Préciser buts, population visée, circonstances d’utilisation/de passation
- Guider l’interprétation
Moyens
- Article scientifique
- Manuel de test
- Normes
Usage recommandé : quelles sont les deux étapes / choses que les concepteurs doivent s’assurer de faire ?
1) Formaliser dans un document (article ou manuel) :
- Le processus d’élaboration et de validation ;
- La présentation des preuves de la validité (et par conséquent de la fiabilité) de l’instrument ;
- Les procédures qui rendent optimales l’usage de l’instrument.
2) L’équipe de concepteurs doit porter un jugement critique sur leur instrument en exposant clairement leur démonstration de la validité
- Peut-on accomplir le but fondamental?
- Convient-il à la population visée?
- Est-il fiable, valide et utile?
Ceux qui choisiront (ou non) cet instrument doivent pouvoir le faire de façon éclairée
Création de normes pour l’interprétation des résultats
Scores bruts
(de quoi peuvent s’agir les scores bruts?)
Le score brut correspond au résultat direct d’un test. Il peut s’agir:
- De la somme des réponses ou des cotations associées aux réponses ;
- De la moyenne des réponses ou des cotations associées aux réponses ;
- D’algorithmes plus complexes.
Scores bruts dur à interpreter
Retour sur élaboration : instrument normatif vs critérié
NORMATIF
Instruments dont l’interprétation des résultats repose sur la comparaison aux résultats compilés auprès d’un échantillon de la population à qui s’adresse l’instrument
Exemple:
WAIS
CRITÉRIÉ
Instruments dont l’interprétation des résultats repose sur le fait qu’un seuil critique à été, ou non, dépassé
Exemple:
Examen au baccalauréat en psychologie
Groupe de reference , c’est quoi ?
(se constitue à travers quoi ?)
Le score du participant doit être comparé avec celui d’autres participants.
Ces autres participants sont le groupe de référence ou le groupe étalon.
Le groupe de référence se constitue à travers un plan d’étalonnage ou de normalisation.
Groupe de référence : taille et représentativité
Le groupe doit avoir une taille suffisante afin d’avoir une erreur-type de mesure relativement faible.
REPRÉSENTATIVITÉ
- En fonction de l’usage anticipé et de la population visée
- Peut être assurée grâce à la méthode d’échantillonnage
- Peut être vérifiée en comparant le groupe de référence à la population cible sur les variables importantes (âge, sexe, statut socio-économique, groupes ethniques, taille de la ville, etc.)
- S’il n’y avait pas de population visée, alors on peut l’extrapoler à partir des caractéristiques du groupe de référence
Méthodes d’échantillonnage
Aléatoire simple (probabiliste)
Convenance (non probabiliste)
Ampleur des normes : 5 types
Normes nationales
Normes internationales
Normes locales
Normes d’utilisateurs
Normes de sous-groupe
Normes nationales
représentatives de la population visée au niveau national
Normes internationales
représentatives de la population visée au niveau mondial
Normes locales
représentatives de la population visée dans un milieu restreint
Normes d’utilisateurs
l’éditeur du test ajoute chaque groupe qui passe le test à ses normes
Normes de sous-groupes
lorsqu’il existe des différences entre les individus en fonction de certaines variables (âge, sexe, statut socio-économique, groupe professionnel, etc.
Rationnel derrière scores bruts difficiles à interpréter
La métrique choisie doit fournir deux informations :
- la performance du participant ;
- sa position relative comparativement à son groupe de référence.
2 exemples de normes
Percentiles
Score Z
Percentiles : avantages et inconvénients
AVANTAGES
Facile à comprendre et à expliquer
De 1 à 99
Pas influencés par la forme de la distribution des scores bruts (s’applique bien, même dans le cas de distribution qui ne sont pas normales)
INCONVÉNIENTS
Confusion avec les pourcentages
Des petites variations du score brut au centre de la distribution ont une incidence majeure sur le percentile. Aux extrémités de la distribution, de grandes variations dans le score brut n’ont que peu d’incidence sur le percentile (voir résumé diapo 20).
Score Z
Transformation de la distribution:
Moyenne = 0
Écart-Type = 1
Scores négatifs possibles
Un écart entre deux scores bruts a le même impact sur le score Z et ce, peu importe l’endroit dans la distribution où se trouvent les deux données
S’agence très bien avec la courbe normale
Traduction : intro
C’est quoi la lng de la science ?
Que veut dire traduire ? Qcequ’il faut faire d’autre ?
La francophonie et la langue de la science
Traduire ne signifie pas valider (on traduit, puis on valide la traduction)
Valider une traduction est un type de recherche spécifique
Les propriétés psychométriques du nouvel instrument doivent être aussi bonnes que l’original
4 types de traduction
- Traduction traditionnelle
- Traduction par comité
- Traduction parallèles aveugles
- Traduction renversée (ou inversée)
Traduction traditionnelle
Le chercheur traduit lui-même le questionnaire (parfois avec l’aide de traducteurs)
Biais du chercheur (biais linguistiques, psychologiques et de compréhension)
Traduction par comité
En équipe (si possible avec le chercheur original)
- Moins de biais du chercheur, mais traduire en équipe est difficile
Traduction parallèles aveugles
- Plusieurs traductions simultanées
- Chacun des items est évalué par un comité pour sélectionner la meilleure version possible
- Deux experts évaluent l’équivalence des items retenus et des items originaux
Traduction renversée (ou inversée)
VOIR SCHEMA ET NOTES ONE NOTE
Trad renversée : avantages et inconvénients
Avantages
- Au moins deux personnes impliquées (moins de biais)
- Permet de vérifier la qualité de la traduction
Limites
- Difficile d’obtenir une équivalence parfaite
- Variabilité culturelle et contextuelle qui affecte l’équivalence de la traduction
Traduction : échantillons utilisés + problèmes
Pour toutes les méthodes suivantes, les échantillons sont composés de participants bilingues.
PROBLÈMES relatifs à l’usage d’échantillons bilingues
Est-ce que le niveau de bilinguisme des participants est vraiment équivalent ?
Est-ce que les participants bilingues «répondentdans la langue » des items ou ne font-ils pas une sorte de traduction implicite «dans leur tête» qui affecte l’évaluation de la traduction de l’instrument ?
Est-ce que les participants bilingues sont représentatifs
- de la population bilingue ?
- de la population unilingue visée par la traduction ?
Trad : méthode avec deux groupes (prince et mambour)
Comparaison entre la moyenne des scores totaux des deux groupes
Comparaison entre les VO et VT pour chaque groupe devrait être élevée et équivalente
Comparaison des fréquences de réponse pour les items
Item langue A vs item langue B
VOIR NOTES ET POWERPOINT
Méthode avec deux groupes : critères de décision
Moyennes des scores totaux équivalentes entre les 2 groupes
La corrélation entre V.O. et V.T. pour chacun des groupes devra être élevée et équivalente.
Comparaison des fréquences de réponse pour les items (Item langue A VS Item langue B)
Méthode avec deux groupe : procédure complète
- Traduction a priori
- Pré-test avec la méthode présentée
- Ajustement s’il y a des items problématiques
- Pré-test #2 avec la méthode présentée
- Si les items problématiques le sont encore, les enlever.
- Procéder à l’étude principale
Technique par groupe unique ou par corrélations croisées (Haccoun)
On fait passer la VO ET la VT à un groupe à deux reprises
(avec un délai entre les deux)
Mm groupe, deux temps de mesure
Critères de décision
rA et rB élevées et équivalentes
Ceci va pour les scores totaux ET pour les scores des dimensions ET pour les scores des items
Critères de décision
rC et rD élevées et équivalentes
Ceci va pour les scores totaux ET pour les scores des dimensions ET pour les scores des items
Critères de décision
rE et rF élevées et équivalentes
Ceci va pour les scores totaux ET pour les scores des dimensions ET pour les scores des items
Critères de décision
rC et rD élevées et équivalentes
rA et rB élevées et équivalentes
rE et rF élevées et équivalentes
Ceci va pour les scores totaux ET pour les scores des dimensions ET pour les scores des items.
Technique par groupe unique ou par corrélations croisées : avantages
Indices de qualité psychométrique indépendants de l’équivalence des traductions.
Permet de détecter les erreurs de traduction
Stabilité temporelle
Avantages et inconvénients : aléatoire simple
Procédure accordant à chaque participant une chance égale de faire partie de l’échantillon
Avantages
- Objectivité
Inconvénients
- Coûteux
- Doit connaître la liste de toutes les personnes constituant la population visée
Avantages et inconvénients : convenance
Inclure des participants sur la base de la facilité d’accès ou ses contacts
Avantages
- Commode
- Peu coûteux
Inconvénients
- La procédure n’est pas aléatoire
- La représentativité peut être compromise
