cours 9 Flashcards
Qu’est-ce que la validité ?
Une qualité psychométrique et le degré avec lequel un test mesure ce qu’il prétend mesurer
Pourquoi un parle de degré ?
- Parce que ce n’est pas tout ou rien (valide ou pas valide)
- question de degré de validité
- un test n’est jamais 100% valide
Plusieurs instruments de mesure ne permettent pas quoi ?
- observer directement le concept qu’on cherche étudier
- concept psychologique qui n’ont pas de mesure direct sur le corps
Qu’est-ce une mesure indirect ?
ce sont les comportement des réponses aux questions qui va déterminer mon degré d’intelligence p. ex.
Qu’est-ce qu’on doit faire lorsqu’un concept n’a pas de mesure direct?
- s’appuie sur la définition du concept
- connaissances ne sont pas absolues, donc on doit procéder au processus de validation de l’instrument
Quel est le processus de validation ?
- pas l’instrument de mesure lui-même
- l’interprétation des résultats
- contexte de son utilisation
En quoi l’interprétation des résultats est impliqué dans le processus de validation ?
- détermine le niveau de confiance
- par rapport aux statistiques
- p. ex., on accepte une erreur à 5%
Les statistiques d’un test s’appui sur quoi ?
les résultats obtenus à un test
En quoi le contexte de l’utilisation d’un test est impliqué dans le processus de validation ?
- on ne peut pas dire qu’un test est valide point
- on doit dire qu’on a démontré qu’il est valide avec TELLE clientèle et sous TELLES conditions
- évaluer la validité de contenu d’un test pour toutes les clientèles et contextes d’utilisation
Que représente telle clientèle et telles conditions dans le processus de validation ?
- telle clientèle = échantillon normatif
- telles conditions = standardisation
L’évaluation de la validité d’un test passe par quoi ?
- Processus continu d’accumulation de preuves ou d’évidences
- normalement de nature quantitatives
Que réfère l’accumulation de preuves ou d’évidences ?
- Analyse des résultats
- Diagnostic est réaliste et la précision est constante à travers le temps et les années
Il faut éviter de considérer le nom du test comme quoi ?
- Comme un indice précis de ce qu’il mesure
Qui a étudier les différentes méthodes de validité ?
- APA
- Standards for Educational and Psychological Testing
Selon la publication de l’APA, quels sont les grandes catégories de validité ?
- validation de contenu
- validation pragmatique
- validation de construit
Quels sont les synonymes de la validation pragmatique ?
- Validation de critère
- Validation prédictive
Quels sont les synonymes de la validation de construit ?
- validation conceptuelle
- validation théorique
Est-ce que validation de contenu et validation apparente est similaire ?
non il y a une nuance entre les 2 types de validation
Qu’est-ce que la validation de contenu ?
- Désigne l’aptitude d’un instrument à appréhender les aspects (3) de contenu des items
- pour lesquels il a été conçu et ceux-là seulement
Que la validation de contenu s’assure ?
- Que chaque le contenu de chaque item contribue tous à évaluer un aspect significatif du concept
- que tous les contenus de l’item forment un échantillon représentatif du concept
Dans la validité de contneu on surveillera également que les contenus des items ne fassent pas appel à quoi ?
- à des caractéristiques que l’on souhaite explicitement ne pas solliciter
Quand est-ce qu’on examine la validité de contenu ?
- Lors de la construction de l’instrument de mesure
- choix des items
- avant de faire la passation pour évaluer les autres types de validité
Quelle est la manière d’estimé la validité de contenu ?
- méthode des juges experts
Qui sont les juges dans la méthode des juges experts ?
- experts qui ont une bonne connaissance du concept à mesurer
- ou experts qui ont une expertise dans l’élaboration d’instrument de mesure
Sur quoi les juges se prononcent-t-ils dans la validité de contenu ?
- sur le contenu des énoncés :
- leur clarté
- leur représentativité (représentent bien la théorie)
- l’exhaustivité (ça touche fondamentalement la théorie)
- dimensionnalité
- pertinence de l’outil dans son ensemble
Qu’est-ce que la validation pragmatique ?
- Désigne l’aptitude d’un instrument à prédire (de manière aussi précise que possible) le niveau de X variable d’un ensemble d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement
En quoi la notion de prédire dans la validation pragmatique nous met à l’échec ?
- Prédire un comportement - nous met à l’échec du vise et versa
- pcq il est basé sur des corrélations et la on parle de prédire
- prédire = cause à effet
Qu’est-ce qui est important et différent des corrélations au niveau des variables dans la validation pragmatique ?
- La façon que je présente l’ordre des variables change
- p. ex., QI comme VI et succès comme VD VS VD comme succès et QI comme VI
- on ne peut plus dire vise et versa
Avec quoi mesure-t-on la validation pragmatique ?
- Régression
- R
- à 2 moments différents
- la plus simplement techniquement parlant
Qu’est-ce que le régression ?
- prédire la situation future d’un individu sur la base d’éléments qui caractérisent sa situation présente
- prédiction par le biais de corrélation
- approche corrélationnelle
- pas juste des corrélations
- permet de donner une certaine nuance à partir des prédictions
- pseudo cause à effet (pcq c’est par le biais des corrélations)
Qu’est-ce que R au carré va nous donner comme résultat ?
- le pourcentage de variance qui est prédit ou expliquée
- dans quelle mesure les prédicteurs (VI) retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (VD)
Quels sont les 2 types de validité pragmatiques ?
- validité concomitante/concourante
- validité prédictive
Qu’est-ce que la validité concomitante/concourante ?
- On détermine le degré de corrélation entre les scores obtenus au test et les scores obtenus à une mesure de référence
- administration du test et de la mesure du critère pratiquement en même temps
- Pas d’important lap de temps p. ex aujourd’hui-demain
Qu’est-ce que la validité prédictive ?
- on évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future
- administration du test et du critère séparée
- important laps de temps (p. ex., aujourd’hui - 1 an)
- le test étant administré en premier
Quel type de validité les revues nous demande obligatoirement ?
- validation de construit
Qu’est-ce que la validation de construit ?
- la justesse avec laquelle un instrument de mesure permet d’obtenir des résultats conformes aux construits définis par son contexte théorique
- Dans quelle mesure les énoncés d’un instrument sont cohérents avec la théorie et les concepts
- défini de façon opérationnelle
Dans de nombreuses situations en psychologie, on cherche à étudier quoI ?
- entités hypothétiques
- résultent d’une élaboration psycho-sociale et héorique
- ## entité = construit
Qu’est-ce qu’une entité ?
- construit
- pas direcement accessibles à l’observation et à la mesure
- mesurer à partir des manifestations qu’elles sont censées produire ou rendre possibles
- généralement des comportements
Les construits sont considérés comme quoi ?
- Des mini théories
- qui expliquent la relation entre différents concepts
- explique les corrélations qu’on observe entre différentes variables
Quels sont les synonymes d’un construit ?
- facteur
- dimension
- composante
Quelle est la façon usuelle de calculer la validité de construit ?
- méthode issue de l’approche corrélationnelle
- analyse multitrait-multiméthode
- analyse factorielle
Quel est l’objectif de la méthode issue de l’approche corrélationnelle ?
- démontrer la pertinence (relation association) d’un item par rapport à sa propre dimension théorique
Quel est le désaventage de faire multitrait-multiméthode par rapport à l’analyse factorielle ?
- demande beaucoup plus d’argent
- plus de temps de la part des sujets (faire plusieurs tests)
- difficulté à trouver des tests qui évaluent les mêmes traits
Qu’est-ce que l’analyse multitrait-multiméthode ?
- matrice de corrélation entre les résultats obtenus à différents tests
- on s’attend à ce que la plus forte corrélation soit trouvé pour un même trait-même méthode
- la plus petite corrélation pour traits différents-méthode0différente
La méthode multritrait-multriméthode analyse quel autre type de validité ?
- validité convergente
- validité discriminante
- 2 types de validité de construit
Il y a combien de temps à la méthode multitrait-multiméthode ?
- 2 temps
- qui chacun, sont représentés par les axes abscisses X et ordonnées Y
Donnes des exemples de traits et de méthodes
- traits : dépression A, tristesse B, désespoir C
- méthode : observation direct (Méthode 1), questionnaire papier (méthode 2), entrevue semi-structurée (méthode3)
Pourquoi on appele la méthode multritrait-multiméthode une matrice de corrélation ?
- pcq 1 résultat est évalué 2 fois
- corrélation les plus forte pcq c’est la même chose qui est mesuré
- fidélité test retest (stabilité temporelle)
Dans une méthode multitrait-multiméthode, comment on interprète une corrélation dans le tableau ?
- positif
- force
- significatif (se référé au nombre de personne ou au niveau de significatif)
- variance expliqué :
1. corrélation à la 2
2. x% de la variance de la variable C3 est expliqué par la variance de la variable C1 - et vise versa
- fidélité test- retest corrélation forte = intuition que le laps de temps entre les 2 devrait être assez cours au regard des fortes corrélations de la diagonale de fidélité
Qu’est-ce que l’analyse factorielle ?
Le rationnel de l’analyse factorielle est de projeter 3 (ou plus) variables (items) qui sont fortement corrélées entre elles sur une une nouvelle variable qui retient l’essentiel de la variance commune
Dans une analyse factorielle, comment est appelé une nouvelle variable ?
- représente le facteur
Qu’est-ce que la variance commune ?
Variance qui se chevauche
Qu’est-ce que la variance unique ?
- L’autre partie de la variance commune
- l’autre partie pour chacune des facteurs
Quels sont les questions qu’on doit se poser avec une analyse factorielle ?
- Combien de facteurs l’analyse nous propose ? (lien théorie)
- Quel est le pourcentage d’explication de la varience ? (on s’attend à ce qui soit entre 40 et 60%, de tout les items par rapport à mon construit)
- Est-ce que tous les items sont valides par le biais de la validation de construit ou y a-t-il des items nécessitant une reformation ?
Dans le tableau total variance explained, que représente «factor» à gauche ?
les items
Que représente les lignes horizontales à droite ?
Le nombre de facteurs
Comment savoir la variance unique de chaque facteur ?
% of variance à droite
Comment savoir la variance commune ?
Le dernier pourcentage de cumulative % à droite
Comment on interprète le tableau total variance explained ?
- Le premier facteur explique X% de la variance, le 2e facteur explique X % de la variance de plus
- le 2e facteur explique une variance unique
- le 3e facteur explique X% de la variance qui n’a pas été expliqué par le premier et le 2e facteur
- variance unique du 3e facteur
- le total de la variance expliqué par les 3 facteurs est de X%. C’est une bonne meusre pcq ça se situe entre 40 et 60% par convention
Pourquoi on dit que le 2e facteur explique X% de la variance de plus ?
- c’est le % de variance qui n’a pas été expliqué par le premier facteur
- pcq il y a toujours une partie de la variance qui a déjà été expliqué par le premier facteur
- il y a une partie de la variance commune entre les 2 premiers facteurs, mais c’est le premier facteur qui l’explique.
Comment on interprète le score d’un item à l’intérieur d’un facteur ?
- force
- signe
- la significativité
- variance = corrélation à la 2 = coefficient de détermination = pourcentage de variance
que cet item explique dans le 2e facteur
Comment on interprète un item qui corrèle sur 2 facteurs ?
- item complexe
- il sature de façon importante sur 2 facteurs.
- Il ne devrait pas pcq selon la définition général de la validité de construit, il faut mesurer 1 seul dimension et ça seulement et pas les autres.
- Cette même logique s’applique pour l’item 21 qui sature de façon plus importante sur 3 facteurs. Les items 23 et 24 vont dans la même sens.
- il explique une partie de la variance du premier facteur et une partie de la variance du 2e facteur aussi
Quels sont les types de problèmes qu’il est possible d’observer dans une analyse factorielle ?
- problématiquue de la qté d’items par facteur (moins de 3)
- la problématique de la saturation des items dans plus d’un facteur
Comment savoir si un item explique de façon importante un facteur ?
- Explique de façon importante pcq il y plus haut de 0,4 ou ,03 (par convention).
Comment on peut résoudre le problème de double saturation des items ?
- pour résoudre 1 des problèmes je coupe à 0,5 au lieu de 0,3
- les items qui saturent dans plus qu’un facteur = n’apparaisse pas
- il reste juste 1 problème = 1 facteur à 2 items seulement,
- mais c’est MAL et pas éthique
Pourquoi on appele un item complexe ?
- On appele ça item complexe pcq les gens répondent à cette item en visualisant le contenu du premier facteur et en même temps le contenu du 2e facteur il mesure donc 2 contenus
Lorsque l’analyse factorielle n’a aucun item complexe comment on peut appeler le test ?
- on dit alors que le test est une solution pure pcq il y a aucun item complexe
- même si c’est de façon artifielle en augmentant les corrélations
Ou est-ce qu’un facteur commence ?
La 2e corrélation suivant la double saturation
Le résultat du processus de validation de construit mène à quoi ?
- pas à 1 indice statistique unique
- plusieurs résultats qui doivent être interprétés en lien avec les les éléments théoriques sur lesquels le test se base
Dans quel contexte la validation de construit serait plus facilement mesurable ?
- si la théorie utilisée est explicite et bien définie
Quels sont les 2 types de validité de construit ?
- validité convergente
- validité discriminante
Qu’est-ce que la validité convergente ?
Vérifier à quel point est-ce que l’échelle est reliée à des variables et des mesures du même construit. En ce sens, l’outil devrait corréler avec les autres outils qui évaluent des construits identiques ou très similaire
Qu’est-ce que la validité discriminante ?
Vérifier à quel point l’échelle s’écarte de variables et de mesures de construits différents. En ce sens, l’outil ne devrait pas corréler avec des construits indépendants de celui qu’il évalue.
