Cours 2 Flashcards
Le modèle de la cible est une processus qui décrit quoi?
Comment construire/modifier un instrument psychométrique.
Comment vérifier les qualités psychométriques d’un instrument.
Différents acteurs dans le modèle de la cible?
- Concepteur : La personne qui crée l’instrument
- Administrateur : La personne qui procède à la mesure
- Bénéficiaire : La personne qui se fait évaluer à l’aide de l’instrument
- Utilisateur : La personne qui évalue les bénéficiaires à l’aide des résultats de l’instrument
Les raisons de créer un nouvel instrument
Procéder à une évaluation plus courte : Afin de réduire la durée de l’évaluation, de réduire la fatigue liée à l’évaluation ou afin de réduire les coûts de celle-ci.
Changer la modalité d’évaluation : Pour mieux répondre aux besoins d’une population cible donnée; pour répondre à un changement de contexte
o (Ex.: passer d’une entrevue à un questionnaire afin d’évaluer un plus grand nombre de personnes).
Traduire avec ou sans adaptation culturelle : Parce qu’un bon instrument existe déjà dans une autre langue ou culture.
Préciser le construit : Pour mieux correspondre aux avancées théoriques et cliniques et répondre aux besoins d’une population cible
o (Ex.: la dépression « générale » se subdivise-t-elle en types de dépression?)
Cibler plus précisément un plan de la population : Pour mieux répondre aux besoins d’une population donnée.
o (Ex.: la dépression « en générale » VS la dépression de femmes enceintes et monoparentales.)
Créer une version parallèle d’un test
o Pour s’assurer que les réponses d’un test ne soient pas divulguées
But fondamental et psychométrique de l’instrument dans les objectifs de l’usage anticipé
But fondamental:
o « Qu’est-ce qu’on évalue et pourquoi? » Quel est le problème que l’instrument entend contribuer à régler? À quoi les résultats serviront-ils?
o Voulez-vous discriminer entre deux groupes de personnes? Voulez-vous effectuer un diagnostic? Voulez-vous établir un profil des caractéristiques d’une personne?
But psychométrique:
Procéder à une évaluation plus courte
* Réduire durée d’évaluation, fatigue et coûts
Changer la modalité d’évaluation
* Pour mieux répondre aux besoins d’une pop cible donnée ; pour répondre à un changement de contexte
o Ex : entrevue < questionnaire
* (Ex.: passer d’une entrevue à un questionnaire afin d’évaluer un plus grand nombre de personnes).
Traduire avec ou sans adaptation culturelle
* Parce qu’un bon instrument existe déjà dans une autre langue ou culture (contexte)
* Parce qu’un bon instrument existe déjà dans une autre langue ou culture.
Préciser le construit
* Mieux correspondre aux avancées théoriques et clinique et répondre aux besoins de pop cible
* (Ex.: la dépression « générale » se subdivise-t-elle en types de dépression?)
Cibler plus précisément un pan de la population
* Pour mieux répondre aux besoins d’une pop donnée
* (Ex.: la dépression « en générale » VS la dépression de femmes enceintes et monoparentales.)
Créer une version parallèle d’un test
* Assurer que les réponses ne soient pas divulguées
Les résultats d’un instrument doivent obligatoirement être interprétés en fonction
Du construit
Le concept que l’instrument va mesurer
Ex : dépression, engagement, etc
C’est le concept qu’on va mesurer avec notre instrument (ex: dépression, engagement, etc.)
EXEMPLES
La dépression (avec le BDI) ne doit pas être utilisée pour mesurer l’anxiété (il faudrait utiliser le BAI) ou l’épuisement professionnel.
de la population
Les gens qui vont passer le test
• Socioéconomique, tranche d’âge, statut, etc.
• Ex : enfants, adultes canadiens, travailleurs de la santé, etc.
Exemple
• Binet (1905) BUT : Identifier les enfants « retardés » et les assigner à des classes spéciales
• Stanford-Binet (1916) BUT : Adapter le Binet aux besoins des États-Unis
o Développer plus d’épreuves « à la Binet »
o Démontrer l’utilité auprès d’un plus grand groupe normatif
du contexte
Conditions dans lesquelles les participants vont passer le test
Temps de passation, connaissances préalables, etc.
EXEMPLES
• Temps de passation
• Connaissances préalables
PROBLÉMATIQUES AUXQUELLES LE MODÈLE DE LA CIBLE AIDE À RÉPONDRE
- Mauvaise connaissance des autres instruments
- Utilisation d’instruments désuets
- Concepts mal définis
- Type de mesure peu approprié à la situation
- Techniques statistiques mal utilisées
- Mauvaise interprétation des indices statistiques
Les problèmes suivants font référence à quelle étape du modèle de la cible?
Problème stabilité
Congruence
Usage recommandé
Problème détecté à l’étape de la stabilité
Retour à l’étape de l’élaboration (concept de la fiabilité)
Problème détecté à l’étape de la congruence
Retour à l’étape de la conceptualisation (concept de la validité)
Problème détecté à l’étape de l’usage recommandé
Retour à l’étape de l’usage anticipé (concept de l’utilité)
Lors de la construction et de la validation il faut:
o détecter les problèmes ;
o apporter les correctifs requis
Objectifs et moyens de l’usage recommandé
Objectif
* Préciser buts, pop visée, circonstances d’utilisation/ de passation
* Guider l’interprétation
* présenter les preuves scientifiques de pertinence de son instrument
* L’étape est franchie si le degré de confiance avec lequel l’instrument peut être utilisé est spécifié clairement et fait l’objet d’un document où sont consignées les étapes du processus de création de l’instrument, la justification des choix stratégiques et des conclusions des différentes vérifications effectuées, les résultats obtenus et, finalement, les paramètres d’utilisation.
Moyens
* Article scientifique
* Normes
* La rédaction d’articles scientifiques est le meilleur moyen de faire la démonstration de la qualité et la pertinence d’un instrument puisque le processus de publication est régi par la critique et l’approbation anonyme d’un comité de pairs
* Importance d’utiliser des normes pour viser des groupes spcifiques et nuancer les résultats
* Le document peut être un manuel de l’utilisateur, un rapport technique ou un article scientifique publié dans une revue spécialisée
* Qu’est ce qui est normal ou non
Objectifs et moyens de la congruence
3 types de verifications?
Objectif
* Vérifier quantifications et/ou organisation des concepts
* Cette étape vise à déterminer si les phénomènes définis, structurés et quantifiés au moment de la conceptualisation ont été mesurés correctement.
o les théories utilisées à l’étape de conceptualisations sont mises à l’épreuve sous forme d’hypothèses à l’étape de la congruence
- Trois types de vérifications sont possibles.
o Concomittantes = point de repères
o Prédictives = point de repères
Points de repères : Des comparaisons prédictives ou concomitantes constituent les deux premiers types et impliquent l’utilisation de points de repère. Les points de repère peuvent être des comportements, des caractéristiques des individus, des résultats à d’autres instruments ou le jugement d’autres individus ou, évidemment, une combinaison de ces éléments. Plus ces points de repère sont valides eux-mêmes, nombreux et variés, plus la conclusion sur l’atteinte de l’objectif de cette étape est elle-même valide.
o Le troisième type implique de vérifier dans quelle mesure l’organisation des concepts effectuée à l’étape de la conceptualisation se reproduit empiriquement grâce aux résultats obtenus avec l’instrument.
Moyens
* Analyse corrélationnelle
* Approche hypothético-déductive
* Analyses factorielles
* Équations structurelles
o Mélange entre factorielles et corrélationnelles (on ne voit pas ça dans le cours)
Objectifs et moyens de la stabilité
Objectif
* Vérifier nature et ampleur de l’erreur
* Établie à quel point on peut être confiant en nos résultats
* Établir stabilité interne et temporelle
o Interne : relations entre items (s’il se supporte ou non), peut être instable à l’intérieur du test (Réponse différente à différent items)
o La stabilité temporelle, moyennant un délai justifié entre les mesures, constitue l’indice de stabilité le plus important. (Même réponse à travers différente passation)
- Vise à déterminer si les choix stratégiques effectués à l’étape de l’élaboration ont été efficaces
- identifier la nature et l’ampleur de l’erreur présente dans la mesure
Moyens
* Erreur-type de mesure
* Analyses d’items
* Analyses corrélationnelles
* Approche hypothético-déductive
* La vérification des moyennes et écarts-types de chacun des items est une étape nécessaire, mais doit être complétée par des analyses corrélationnelles (p. ex. : test-retest, split-half) et de consistance interne (analyses factorielles et alpha de Cronbach)
- Accord inter-juges
o Quotation, est-ce qu’on arrive au même résultat même si l’admin change ?
Objectifs et moyens de l’élaboration
Objectifs
* prévoir les sources d’erreur de mesure et de construire l’instrument de manière à les minimiser
* il faut considérer, entre autres, l’impact du niveau de langage et de la culture
* C’est à l’étape de l’élaboration que sont créés les items de notre instrument
* Lors de l’administration, les comportements éventuels de l’utilisateur et du sujet sont des facteurs importants.
* Enfin, il est important d’établir les balises de standardisation et préciser les consignes, même s’il est possible qu’elles soient temporaires, avant d’aller sur le terrain procéder à la vérification.
* Prévoir sources d’erreur pour les minimiser
- Choix du format de l’instrument
o Lichert ? - Construire les items
o Lichert pair ou impair pour voir positionnement ? - Choisir la méthode de correction
o Moyenne ? Addition ?
Moyens
* Lectures « psychométriques »
* Inventaire des stratégies déjà employées
* Une analyse des recherches portant spécifiquement sur la psychométrie est cruciale
* L’entrevue semi-structurée procure une information plus fidèle que ne le permet l’usage d’un questionnaire
Moyens et objectifs de la conceptualisation
Objectif
* Définir, catégorisation, organiser composantes des phénomènes à mesurer
* Rendre opérationnelles les définitions à l’aide d’indicateurs clairs
* Le fait d’organiser et de maîtriser les liens conceptuels qui sous-tendent les différentes composantes de l’instrument à venir permet de déterminer l’importance relative de ces composantes
o Ex : santé psychologique au travail
o Est-ce que ce concept peut se décliner en sous-dimension? Oui –> Bien etre au travail et detresse
o Décomposition hiérarchique = organiser et maitriser les liens conceptuels
* Positionnement avec d’autres concepts = avec hypothèses
* Si notre mesure est bien conceptualisée elle devrait se comporter d’une facon X
o Si on mesure dépression, on devrait avoir des réponses similaires avec d’Autres concepts comme anxiété on compare avec des concepts connexes
o Ou impulsivité avec consommation de drogues et alcool
o Hypothèses serait que plus impulsive = plus de consommation
Moyens
* Synthèse des concepts des instruments
* Lectures théoriques
* Consultations
o Avec experts, gens concernés dans le milieu
o S’assurer d’utiliser les définitions appropriées et actualisées selon le contexte
Objectif et moyens de l’usage anticipé?
Objectifs
* Prédéterminé les buts de l’instrument et les buts qu’il veut régler
* Concerne aussi l’utilisation qui sera faite des résultats obtenus grâce à l’instrument
* Cette étape nécessite aussi de préciser la population visée par l’instrument désiré.
* Baliser les circonstances d’utilisation et indiquer les principaux utilisateurs de l’instrument constituent des préoccupations essentielles. (Contexte, éléments enourage la passation, durée, administrateur)
* Il faut décrire et anticiper la quantité de formation requise par les utilisateurs de l’instrument pour effectuer la passation ou interpréter les résultats ainsi que la durée de passation optimale
* Ce qu’on cherche
o Buts de l’instrument
o Population visée (concerne aussi l’utilisation qui sera faite des résultats obtenus grâce à l’instrument)
o Contexte d’utilisation
o Dans la même veine, il faut décrire et anticiper la quantité de formation requise par les utilisateurs de l’instrument pour effectuer la passation ou interpréter les résultats ainsi que la durée de passation optimale
Moyens
* Un survol analytique des instruments existants et des articles de recherches sur le domaine est nécessaire. Des consultations auprès d’experts ou auprès des sujets eux-mêmes
o Analyse d’instruments
o Lectures
o Consultations d’Experts
Décrit la phase de préparation
La phase la plus importante (fondation), car on effectue les recherches necessaires et on crée la premiere version de l’instrument (Choix DÉTERMINANTS), choix du but et du contexte de l’instrument (Utilité), choix de la définition du concept mesurer (Validité), générer des hypotheses pour voir comment le concept a l’etude se manifeste par rapport à d’autres concepts
Fonctions de la préparation
* Créer des conditions qui faciliteront la vérification ultérieure des proprités attendues de l’instrument
* On prend des décisions qui vont minimiser l’erreur de mesure
* La préparation donne une direction théorique et conceptuelle aux stratégies qui seront employées pour procéder à la vérification
* Définir ce que l’on cherche à mesurer
* La préparation donne un direction theorique et conceptuelle aux stratégies qu’on va utiliser dans la phase de vérification
* Élaborer les items
* Prévoir toutes les sources d’erreurs
* Survol de la littérature
Les problèmes engendrés par une préparation déficiente ne peuvent être réparés lors de la phase de vérification
Inclus :
* incluent une compréhension fine du but et du contexte (utilité) dans lequel l’instrument sera utilisé, la définition de ce que l’on veut mesurer (validité) et les principaux problèmes qui peuvent survenir dans le contexte de la mesure (fidélité)
