Cours 5-6 Flashcards
Qu’est-ce qu’on veut savoir lorsqu’on évalue la validité d’un instrument ?
S’il mesure vraiment ce qu’il prétend mesurer, ou devrait mesurer.
-Si l’échantillons d’items de l’échelle représente bien le construit qu’on veut mesurer
Qu’est-ce que le degré de validité détermine ?
L’interprétation et les inférences que l’on peu faire à partir des scores d’un échelle.
Quelle est la vraie question à se poser sur la validité ?
Est-ce que ce test est une mesure valide de ce construit, pour cette population particulière et pour cette application particulière.
Quels sont les trois aspects relatifs à l’évaluation de la validité ?
1- Est-ce qu’il mesure bien le construit qu’il prétend mesurer ?
2- Est-ce qu’il mesure bien ce construit pour la population ciblée ?
3- Est-ce qu’il mesure bien ce construit pour une application particulière ?
Quels sont les trois points clés à propos de la validité des tests soulignées par les ordres professionnels ?
- La validité concerne l’interprétation des scores procurés par un test pour un construit spécifique; ce n,est pas une caractéristique du test.
- La validité est une question de degré ; ce n’est pas une question absolue de tout ou rien
- La validité d’un test repose sur de solides bases théoriques et empiriques.
Quelles sont les différentes sources de validité ?
Contenu
Construit : factorielle, convergente, discriminante
Critère : concomitante, prédictive, incrémentielle
Qu’est-ce que la vaisemblance ?
Validité d’apparence qui n’est pas une forme ou source de validité. Degré auquel une mesure semble adéquate selon le jugement des personnes qui sont évaluées avec le test et les personnes qui utilisent le test.
Dans quel cas une mesure détient-elle une bonne vraisemblance ?
Lorsque les personnes évaluées ou celles qui l’utilisent jugent qu’elle semble pertinente et adéquate pour mesurer le construit.
Avec quelle validité mélange-t-on la vraisemblance ?
Validité de contenu.
Est-ce que la vraisemblance peu avoir une vrai influence sur la validité ?
Oui,, si la personne qui interprète les scores n’est pas convaincue que les question sont appropriées ou si la personne faisant le test n’Est pas convaincu que cela soit approprié, les résultats peuvent être altérés.
Quels facteurs peuvent influenceer la vraisemblance ?
-Format de présentation de l’instrument
-Conteste de l’évaluation
-Capacités cognitives des répondant.es
-Santé mentale et état psychologique des répondants
-Personnalité des répondantes
-Motif de l’évaluation (désirabilité sociale)
À quoi réfère la validité de contenu ?
La représentatité des items utilisés pour mesurer un construit
De quelle manière est elle établie ? Quelles question sont posées ?
De manière déductive. On demande :
1- Chaque item individuellement correspond bien au contruit ?
2- Tous les items d’une échelle considérés comme un groupe constituent un échantillon représentatif de tous les domaines (et sous-domaines) du construit d’intérêt ?
Qu’est-ce qui est centrale à l’échantillonnage de contenu pour des construits psychologiques complexes ?
La représentativité : tous les domaines sont-ils représentés ?
À partir de quoi les chercheuses définissent un construit et son contenu ?
1- Cadre théorique
2- Recherches empiriques (recension de la littérature)
3- Connaissances et expériences professionnelles/pratiques
Quels sont les deux types de validité de contenu ?
Nominale : auteures du test
Consensuelle : groupe de spécialistes indépendants
Comment peut-on estimer le degré de validité de contenu empiriquement ?
Avec un échelle de mesure quantitative, on demande à des experts indépendants d’estimer :
1-à quel point chacun des items d’un test est pertinent et représentatif du construit d’intérêt
2-à quel point l’ensemble des items constitue un bon échantillon représentatif du contenu du construit.
Qu’est-ce qu’on cherche à calculer en questioinnant des experts indéendants au sujet de la validité de contenu ?
L’IVC : Indice de validité de contenu.
IVC-I = nombre d’experts qui on jugé l’item représentatif divisé par le nombre tootal d’experts
IVC-É=somme des ivc-I divisée par le nb total d’expert.es
Quelles sont les deux grands menaces à la validité du contenu ?
1- Inclusion de contenu conceptuellement non-pertinentx
2- Sous-représentation conceptuelle de certains domaines du construits.
Qu’est-ce que la validité de construit ?
Degré de reproductibilité de la structure interne théorique sous-jacente à l’instrument ainsi que les relations du construit d’intérêt avec d’autres construits externes.
Quelles sont les deux grandes façon de vérifier la validité de construit ? Que faut-il connaître en premier lieu ?
1- Validité factorielle
2- Validité convergente
Il faut connaitre la théorie sous-jacente au construit.
Qu’est-ce que le réseau nomologique ?
La théorie expliquant le construit par le biais de ses interrelations avec d’autres construits : l’étude des lois donc bien qu’une liste de domaine ou sous domaines.
Qu’est-ce que devrait représenter le réseau nomologique ?
La structure interne et les interrelations (ordonnées et prévisibles entre les domaines importants.
Qu’est-ce que la validité factorielle ?
On vérifie si la structure factorielle théorique qui représente le construit esr reproduite sur le plan empirique (avec des données)
Pourquoi la validité factorielle s’appelle-t-elle ainsi ?
Le terme facteur désigne souvent une dimensions latente.
Facteur : une réduction parcimonieuse de plusieurs variables expliquées par une variable latente.
Quels deux aspects veut-on vérifier dans la validité factorielle ?
- Les items sont-ils significativement associés au facteur
- Dans le cas d’un instrument multidimmensionnel : -les items sont ils significativement associés au bon facteur et non associés aux autres facteurs ? -fdans le cas d,une structure hiérarchique, est-ce que les sous-domaines sont significativement associés au domaine général ?
Qu’est-ce que l’analyse factorielle exploratoire ?
On identifie des regroupements d’items inter-corrélés signifiant que les individus tendent à y répondre de façon similaire ; les chercheur.euses n’imposent aucune matrice de corrélation entre les items ; on devrait avoir des saturations factorielles de 0,40 pour les items associés à un facteur.
Qu’est-ce que l’analyse factorielle confirmatoire ?
-le chercheur-euse impose une structure stricte a priori à la matrice de corrélations et teste si elle correspond auxx données (méthode qu’il faudrait normalement employée à l’étape de la validation puisque la structure est supposée être connue.)
Qu’est-ce que la validité convergente ?
Degré auquel les scores d’une échelle sont associés avec ceux d’une autre échelle existante qui mesure le même construit théorique.
Qu’est-ce que la validité discriminante ?
Degré auquel les scores d’une échelle ne sont pas associés avec ceux d’une échelle qui ne mesure pas le même construit
Quelle méthode est idéale pour tester rigourseumenet la validité C/D ?
La matrice multitraits-multiméthodes
Quels sont des synonymes de validité pragmatique ou critérié ?
Validité de critère
À quoi réfère la validité de critère ?
Au degré auquel les scores à une échelle sont associés à l’adaptation (ou la performance) des individus ; scores à l’échelles sont comparés à critères externes.
Qu’est-ce que devrait être le critère dans la validité de critère ?
Une mesure objective et indépendante de l’instrument, mais relié conceptuellement au construit d’intérêt.
Quels sont les deux grands types de validité de critère ?
Concomitante et prédictive.
Quelles sont les deux manières d’estimer la validité de critère concomitante ?
1- corrélation avec un critère indépendant (test d’intelligence avec réussite académique ; test d’empathie avec conduites délinquantes)
2- Méthodes des groupes contrastés (on teste les différences de score moyens entre des groupes)
Qu’est-ce que la validité de critère prédictive ?
le degré auquel les scores d’une mesure sont capables de prédire un critère externe prospectivement, i.e. plus tard dans le temps.
Qu’est-ce que la validité incrémentielle ?
Forme de validité pas toujours présente dans les livres de pschométrie, mais dans les faits, est une forme spécifique de validité de critère. À quel point les scores à un test ont une valeur ajoutée pour prédire un critère externe, au dela de la capacité d’autres facteurs prédictfs importants ?
À quelle idée est liée la validité incrémentielle ?
Contrôle statistique en analyse statistique
En contexte de classification, que signifie une bonne validité incrémentielle ?
Scores d’une échelle de dépistage procurent une meilleure sensibilité et spécificité que ceux d’une autre échelle simmilaire, donc on prend possibement de meilleures décisions.
Qu’est-ce que la théorie de la décision ?
Comprend une série de concepts visant l’analyse des effets quantitatifs des décisions prises avec des tests.
Dans quels cas la théorie de la décision est-elle pertinente ?
Contextes de classification tels que pour le dépistage, le dx, la sélection du personnel, la dérogation scolaire…
À quelle validité les concepts de la théorit de la décision sont-ils intimement liés ?
La validité de critère.
Quelle est l’essentiel de la théorie de la décision ?
Déterminer à quel pont les scores d’un test peuvent classifier adéquantement les personnes dans des groupes.
Qu’est-ce que la sensibilité ?
Capacité d’une échelle de procurer un résultat positif pour les personnes présentant le statut qu’elle prétend identifie, donc capacité de détection.
Que sont les indices de sensibilité et de spécifité ?
Observations empiriques de la performance rétrrospective d’un test calculés à partir d’une classification de différents groupe diagnostiques (ou attributs autres)
Par quoi les indices des sensibilité et de spécificités sont-ils déterminés ?
Par le score critère établi par les auteur.trices du test.
Sur quoi renseignent les indices de sensibilité et de spécificité ?
Sur la capacité de classification d’une échelle ou d’un test lorsque ce dernier est utilisé avec des personnes dont le statut est connu.
Utilise-t-on les indices de s et s pour des personnes dont le statut n’est pas connu dans la pratique clinique ?
Oui, exemple le dépistage.
En clinique quel est la tâche de l’évaluateur par rapport au pouvoir prédictif ?
Déterminer le niveau de confiance qui peut être accordé à un résultat obtenu (positif ou négatif) pour un individu classifié.
Qu’est-ce qu,on veut savoie en calculant ?
La probabilité qu’un individu présente réellement le trouble, étant donné un résultat positif a un test, ou inversemnt, la probabilité que l’individu ne présente pas réellement le trouble, étant donné un résultat négatif au test.
Qu’est-ce que le pouvoir prédictif positif ?
PPP : probabilité qu’un individu avec un résultat positif sur une échelle ait réellement le statut prédit.
Qu’est-ce que le pouvoir prédictif négatif ?
La probabilité qu’un individu avec un résultat négatif sur une échelle n’ait réellement pas le statut prédit.
Le PPP et le PPN
Que
