Cours 10 Flashcards
Quelle question se pose-t-on par rapport à l’usage recommandé?
Quelles décisions mon instrument doit-il m’aider à prendre?
o En lien avec le but fondamental et psychométrique
o À travers le processus qu’on a fait jusqu’à maintenant, est-ce que notre population est toujours pertinente
Quel est le degré de certitude associé aux conclusions tirées de mon instrument?
Quels sont les objectifs de l’usage recommandé
Préciser buts, population visée, circonstances d’utilisation/de passation
On fait un retour sur les étapes qu’on a fait pour voir si tout a été bien fait et avoir un point de vue critique
Guider l’interprétation des scores
Interprétation de la cotation
Comment faire parler les scores
Moyens utilisés pour remplir les objectifs de l’usage recommandée
Article scientifique (Débouché à laquelle on veut parvenir quand on créer un nouvel instrument)
Revue par les paires
On revisite tout le proessus qui a été fait
Manuel de test (Manuel par rapport comment utiliser le test)
Normes (Échelle qui permet d’interpréter les scores d’un individu spécifique)
Dans l’usage recommandé, qu’est-ce qu’il faut formaliser dans un document
Le processus d’élaboration et de validation ;
La présentation des preuves de la validité (et par conséquent de la fiabilité) de l’instrument ;
Présenté l’Alpha de Cronbach
Les procédures qui rendent optimales l’usage de l’instrument.
Optimal en groupe/individuel/en ligne?
Conditions de passations
Que doit faire l’équipe de conception de l’outil à l’usage recommandé?
L’équipe de concepteurs doit porter un jugement critique sur leur instrument en exposant clairement leur démonstration de la validité
o Peut-on accomplir le but fondamental?
o Convient-il à la population visée?
o Est-il fiable, valide et utile?
o Regard critique sur notre instrument et les décisions prises et trouver des solutions pour les problèmes trouvés
Ceux qui choisiront (ou non) cet instrument doivent pouvoir le faire de façon éclairée
Création de normes pour l’interprétation des résultats
o Normes permettent d’interpréter les scores
Pourquoi un score brut est difficile à interpreter
Car il dépend de l’échelle de cotation. Il faut définir les normes pour pouvoir générer de l’utilité dans l’instrument
Un score brut de 62 ne signifira pas la même chose pour un étudiant au cegep, secondaire et université
Étudiant CEGEP
o Correspond à une piètre performance, comparativement aux autres étudiants de son groupe
Étudiant du secondaire
o Correspond à une performance moyenne, comparativement aux autres étudiants de son groupe
Élève du primaire
o Correspond à une excellente performance, comparativement aux autres étudiants de son groupe
Quelles sont les caractéristiques d’un groupe de référence
Le score du participant doit être comparé avec celui d’autres participants similaires.
Le groupe de référence se constitue à travers un plan d’étalonnage ou de normalisation.
Génère une norme à laquelle un participant peut etre comparer
Créer une norme = créer un groupe de référence
Le groupe doit avoir une taille suffisante afin d’avoir une erreur-type de mesure relativement faible.
ETM diminuer quand il y a plus de participants
Par quoi la représentativité peut être assurer et vérifier
Peut être assurée grâce à la méthode d’échantillonnage
Peut être vérifiée en comparant le groupe de référence à la population cible sur les variables importantes (âge, sexe, statut socio-économique, groupes ethniques, taille de la ville, etc.)
• Correspondance entre groupe de référence et population cible (Le groupe référence doit etre représentatif de la population cible)
S’il n’y avait pas de population visée, alors on peut l’extrapoler à partir des caractéristiques du groupe de référence
• Faire des sous-groupes et mesurer ce qu’on mesure et faire une norme pour ce sous-groupe
Quels sont les méthodes d’échantillonnage et leurs avantages et inconvénients
Aléatoire simple (Probabiliste)
Procédure accordant à chaque participant une chance égale de faire partie de l’échantillon
Il faut avoir une liste de toute les personnes qui constitue la population cible
Avantages
* Objectivité (Chaque personne à des chances de participer optimise la représentativité de la population)
Inconvénients
* Coûteux
* Doit connaître la liste de toutes les personnes constituant la population visée
Convenance (Non probabiliste)
Inclure des participants sur la base de la facilité d’accès ou ses contacts
Chaque personne n’ont pas la meme chance de faire partie de l’échantillon
Avantages
* Commode
* Peu coûteux
Inconvénients
* La procédure n’est pas aléatoire (Effet sur représentativité)
* La représentativité peut être compromise
Théoriquement aléatoire simple est meilleure, mais de facon pratique de convenance est plus utilisée
Quelles sont les différentes normes
Normes nationales : représentatives de la population visée au niveau national
Anxiété au Canada
Normes internationales : représentatives de la population visée au niveau mondial
Tous les pays
Normes locales : représentatives de la population visée dans un milieu restreint
Institution scolaire/milieu de travail
Normes d’utilisateurs : l’éditeur du test ajoute chaque groupe qui passe le test à ses normes
Au fur et à mesure que des gens passent le tests, on les ajoute aux normes
Normes de sous-groupe : lorsqu’il existe des différences entre les individus en fonction de certaines variables (âge, sexe, statut socio-économique, groupe professionnel, etc.
Plus il y a de sous groupes, moins il y a de puissance statistique. Il faut séparer selon ce qui pourrait vraiment affecter le score
La métrique du score brut doit fournir quoi?
la performance du participant ;
sa position relative comparativement à son groupe de référence.
Fonctionnement de spercentiles
Avantages et inconvénients des percentiles
Si on est au 66e percentile on est meilleur ou égale à 66% des personnes
Avantages
Facile à comprendre et à expliquer
De 1 à 99
Pas influencés par la forme de la distribution des scores bruts (s’applique bien, même dans le cas de distribution qui ne sont pas normales)
Inconvénients
Confusion avec les pourcentages
Des petites variations du score brut au centre de la distribution ont une incidence majeure sur le percentile. Aux extrémités de la distribution, de grandes variations dans le score brut n’ont que peu d’incidence sur le percentile (voir résumé diapo 20).
• Les intervalles ne sont pas proportionnelles
Comment fonctionne les scores Z
Place l’individu par rapport à la moyenne
Transformation de la distribution:
Moyenne = 0
Écart-Type = 1
Scores négatifs possibles
Un écart entre deux scores bruts a le même impact sur le score Z et ce, peu importe l’endroit dans la distribution où se trouvent les deux données
S’agence très bien avec la courbe normale
Quelles informations sont nécessair pour passer d’un type de norme à un autre
Zone de concentration des scores exprimer par la moyenne
Étendue des scores (Écart-type)
Quelles sont les différents types de traduction
Traduction traditionnelle
Le chercheur traduit lui-même le questionnaire (parfois avec l’aide de traducteurs)
Biais du chercheur (biais linguistiques, culturels, psychologiques et de compréhension)
Traduction par comité
En équipe (si possible avec le chercheur original)
• Moins de biais du chercheur, mais traduire en équipe est difficile
Traduction parallèles aveugles
1. Plusieurs traducteurs simultanées
2. Chacun des items est évalué par un comité pour sélectionner la meilleure version possible
3. Deux experts évaluent l’équivalence des items retenus et des items originaux
Traduction renversée (Ou inversée)
Version original traduite d’une langue à l’autre et ensuite un 2e traducteur traduit la version traduite à la langue original. L’original est ensuite comparer à la version traduite 2 fois
Il faut que les deux versions veulent dire la même chose
Avantages et inconvénients de la traduction renversée
Avantages
• Au moins deux personnes impliquées (moins de biais)
• Permet de vérifier la qualité de la traduction
Limites
• Difficile d’obtenir une équivalence parfaite
• Variabilité culturelle et contextuelle (Des traducteurs) qui affecte l’équivalence de la traduction
Dans la validation d’instruments traduits l’échantillon doit être?
Problèmes associés
Pour toutes les méthodes suivantes, les échantillons sont composés de participants bilingues.
Problèmes relatifs à l’usage d’échantillons bilingues
• Est-ce que le niveau de bilinguisme des participants est vraiment équivalent ?
• Est-ce que les participants bilingues « répondent dans la langue » des items ou ne font-ils pas une sorte de traduction implicite « dans leur tête » qui affecte l’évaluation de la traduction de l’instrument ?
• Est-ce que les participants bilingues sont représentatifs :
o de la population bilingue ?
o de la population unilingue visée par la traduction ?
Décrit la Méthode avec deux groupes pour valider la traduction (Prince et Mumbour, 1967)
Comparaison entre la moyenne des scores totaux des deux groupes
V.o = version original
V.t = version traduite
Les deux groupes passent le test en même temps
Comparaison entre les VO et VT pour chaque groupe devrait être élevée et équivalente
• Corrélation élevé = constance interne
Comparaison des fréquences de réponses pour les items – Item langue A vs item langue B
• Ici problème par rapport à la qualité de traduction de l’item
Critères de décision de la méthode avec deux groupes de Prince et Mumbour
- Moyennes des scores totaux équivalentes entre les 2 groupes
- La corrélation entre V.O. et V.T. pour chacun des groupes devra être élevée et équivalente.
- Comparaison des fréquences de réponse pour les items (Item langue A VS Item langue B)
Procédre complete de la méthode avec deux groupes de Prince et Mumbour
- Traduction a priori
- Pré-test avec la méthode présentée
- Ajustement s’il y a des items problématiques
- Pré-test #2 avec la méthode présentée
- Si les items problématiques le sont encore, les enlever.
- Procéder à l’étude principale (traduction et validation fait, donc on retourne au modèle de la cible pour la validation principale)
Limite de la méthode avec deux groupes de Prince et Mumbour
Manque de corrélation entre VT et VO, révèle un manque d’équivalence entre les traductions ou un manque de fidelité?
Pourquoi Haccoun développe sa technique pour la traudction
Pour pallier à la limite du modele de prince et mumbour
Comment fonctionne la technique par groupe unique ou par corrélations croisées Haccoun
On fait passer la VO ET la VT à un groupe à deux reprises (avec un délai entre les deux)
On évalue la fidelité du test et l’équivalence des versions
Quelles sont toutes les corrélations fait dans le modèle d’Haccoun
Critères de décision • La VO T1 est comparer à la VT temps 2 • La VT T1 est comparer à la VO temps 2 • rA et rB élevées et équivalentes • Les corrélations sont comparer pour les scores totaux ET pour les scores des dimensions ET pour les scores des items
- On compare le temps 1 et 2 de la version original et traduite
- rC et rD élevées et équivalentes
- Ceci va pour les scores totaux ET pour les scores des dimensions ET pour les scores des items
- On compare les corrélations entre VO et VT temps 1 et VO et VT temps 2
- rE et rF élevées et équivalentes
- Ceci va pour les scores totaux ET pour les scores des dimensions ET pour les scores des items
- rC et rD élevées et équivalentes
- rA et rB élevées et équivalentes
- rE et rF élevées et équivalentes
- Ceci va pour les scores totaux ET pour les scores des dimensions ET pour les scores des items
Quels sont les avantages du modèle d’Haccoun
- Indices de qualité psychométrique indépendants de l’équivalence des traductions.
- Permet de détecter les erreurs de traduction
- Stabilité temporelle
