Cours 10 Usage recommandé et traduction Flashcards
ÉTAPE 6: L’USAGE RECOMMANDÉ
CIBLE, UTILITÉ ET USAGE RECOMMANDÉ
Lorsqu’on se préoccupe d’utilité, on se pose toujours la même question générale «Quelles décisions mon instrument doit-il m’aider à prendre?»
Plus spécifiquement, l’étape de l’Usage recommandé nécessite de répondre à la question générale «Quel est le degré de certitude associé aux conclusions tirées de mon instrument? » à quel point je peux le recommander à mes paires
Est-ce qu’on répond à toutes ces questions et à quel degré je mesure vraiment ce que je veux mesurer
Objectifs
- Préciser buts, population visée, circonstances d’utilisation/de passation
- Guider l’interprétation
Moyens
- Article scientifique
- Manuel de test
- Normes
Retour sur l’usage anticipé, publier l’ensemble du processus (guider l’interprétation, donner des normes)
Portrait global de l’usage recommandé: étapes qu’on doit retrouver
- Formaliser dans un document (article ou manuel) :
o Le processus d’élaboration et de validation ;
o La présentation des preuves de la validité (et par conséquent de la fiabilité) de l’instrument ;
o Les procédures qui rendent optimales l’usage de l’instrument (dernière étape, revient sur toutes les étapes et encadrer l’utilisation de notre test, détailler nos choix et expliquer ce qui fait que notre instrument est bien utilisé).
- L’équipe de concepteurs doit porter un jugement critique sur leur instrument en exposant clairement leur démonstration de la validité (Pour le travail: ces éléments + proposer des pistes d’améliorations et préciser les étapes futures)
o Peut-on accomplir le but fondamental?
o Convient-il à la population visée?
o Est-il fiable, valide et utile?
- Ceux qui choisiront (ou non) cet instrument doivent pouvoir le faire de façon éclairée
- Création de normes pour l’interprétation des résultats
Normes des tests
SCORES BRUTS
Le score brut correspond au résultat direct d’un test. Il peut s’agir:
o De la somme des réponses (ex: toutes les bonnes réponses valent 1pts donc on additionne les bonne réponses) ou des cotations associées aux réponses ;
o De la moyenne (moyennes des résultats) des réponses ou des cotations associées aux réponses;
o D’algorithmes plus complexes. (Correction négative, certaines questions valent plus que d’autres)
LES SCORES BRUTS: DIFFICILES À INTERPRÉTER
Les différentes personnes ont obtenu ces scores: score brut = 62
Mais selon les différentes populations: le score est interprété différemment
Ex: cégep = mauvaise performance mais au primaire = excellente performance
Retour sur l’élaboration
Instrument normatif vs critérié:
Instrument normatif
• Instruments dont l’interprétation des résultats repose sur la comparaison aux résultats compilés auprès d’un échantillon de la population à qui s’adresse l’instrument (seulement s’il y a une norme)
Exemple:
• WAIS
Instrument critérié
• Instruments dont l’interprétation des résultats repose sur le fait qu’un seuil critique a été, ou non, dépassé
Exemple:
• Examen au baccalauréat en psychologie
GROUPE DE RÉFÉRENCE (normatif/étalon)
Souvent partage des caractéristiques
- Le score du participant doit être comparé avec celui d’autres participants.
- Ces autres participants sont le groupe de référence ou le groupe étalon.
- Le groupe de référence se constitue à travers un plan d’étalonnage ou de normalisation.
Le groupe doit avoir une taille suffisante afin d’avoir une erreur-type de mesure relativement faible.
Représentativité
GROUPE DE RÉFÉRENCE
• En fonction de l’usage anticipé et de la population visée
• Peut être assurée grâce à la méthode d’échantillonnage
• Peut être vérifiée en comparant le groupe de référence à la population cible sur les variables importantes (âge, sexe (50% d’homme vs 50% femme dans la population = représentativité dans notre échantillon), statut socio-économique, groupes ethniques, taille de la ville, etc.)
• S’il n’y avait pas de population visée, alors on peut l’extrapoler à partir des caractéristiques du groupe de référence
MÉTHODES D’ÉCHANTILLONNAGE
Aléatoire simple vs convenance
Aléatoire simple (probabiliste)
Procédure accordant à chaque participant une chance égale de faire partie de l’échantillon
Avantages:
• Objectivité
Inconvénients:
• Coûteux
• Doit connaître la liste de toutes les personnes constituant la population visée
Convenance (non probabiliste)
Inclure des participants sur la base de la facilité d’accès ou ses contacts
Avantages:
• Commode
• Peu coûteux
Inconvénients:
• La procédure n’est pas aléatoire
• La représentativité peut être compromise
AMPLEUR DES NORMES
(5)
- Normes nationales : représentatives de la population visée au niveau national (ex. test de personnalité)
- Normes internationales : représentatives de la population visée au niveau mondial (ex. certains tests de personnalité)
- Normes locales : représentatives de la population visée dans un milieu restreint (ex. dans une école/entreprise)
- Normes d’utilisateurs : l’éditeur du test ajoute chaque groupe qui passe le test à ses normes (ex. on ajuste constamment nos normes, on ajoute de nouveau groupe donc nouvelle norme. Ex. on ajoute un groupe d’employer, on ajoute ce groupe à nos normes)
- Normes de sous-groupe : lorsqu’il existe des différences entre les individus en fonction de certaines variables (âge (souvent utilisé), sexe, statut socio-économique, groupe professionnel, etc.) peut être critiquer car petit n pour chaque groupe = biaisé nos résultats. Peut-être plus pertinent d’avoir des normes qui sont lié à un plus gros groupe)
La métrique (la mesure) choisie doit fournir deux informations :
- La performance du participant (x rouge sur la normale);
- Sa position relative comparativement à son groupe de référence.
LES PERCENTILES
1er type de normes
avantages/inconvénients
Avantages:
* Facile à comprendre et à expliquer
- De 1 à 99
- Pas influencés par la forme de la distribution des scores bruts (s’applique bien, même dans le cas de distribution qui ne sont pas normales)
Ex. 68 percentiles: 68% des participants ont un score égal ou inférieur
Inconvénients:
* Confusion avec les pourcentages
- Des petites variations du score brut au centre de la distribution ont une incidence majeure sur le percentile. (70 à 73 = augmente beaucoup le percentile mais pas 97 et 100%, incidence où on se trouve dans la courbe car influence plus de personne) Aux extrémités de la distribution, de grandes variations dans le score brut n’ont que peu d’incidence sur le percentile (voir résumé diapo 19).
LES SCORES Z
2e type de normes
Z = (x - M)/ÉT
- Transformation de la distribution (normale):
Création d’une échelle standardisée
o Moyenne = 0
o Écart-Type = 1
o Scores négatifs possibles (pour les scores z (si négatif = en bas de la moyenne)
- Un écart entre deux scores bruts à le même impact sur le score Z et ce, peu importe l’endroit dans la distribution où se trouvent les deux données
- S’agence très bien avec la courbe normale
Résumé: voir notes
Centile: concentration au milieu (autour de la moyenne) (ex. grille des notes en psycho (90 et 100 = A+ mais 70-72 = B-)
Étendue des scores (écart type)
Score z: à 0, +/-1, +/-2….
Modèle de la cible
- Usage anticipé
- Conceptualisation
- Élaboration
- Stabilité
- Congruence
- Usage recommandé
Si pas utile à l’étape 6, on doit recommencer du début
Sans fidélité on ne peut pas être valide, et du coup utile
Traduction de test
Introduction
- La francophonie et la langue de la science
- Traduire ne signifie pas valider (on traduit, puis on valide la traduction)
- Valider une traduction est un type de recherche spécifique
- Les propriétés psychométriques du nouvel instrument doivent être aussi bonnes que l’original
- TRADUCTION TRADITIONNELLE
Méthode de traduction
- Le chercheur traduit lui-même le questionnaire (parfois avec l’aide de traducteurs)
- Biais du chercheur (biais linguistiques (provient d’une région spécifique peuvent avoir des mots différents), psychologiques (hommes vs femme) et de compréhension (expert dans un sujet, utilisé des mots riches qui ne serait peut-être pas accessible à tout le monde)
