Examen final Flashcards
3 types de validité?
Validité de contenu, Validité pragmatique, Validité de construit
Définition validité?
Degré avec lequel un test mesure ce qu’il prétend mesurer et cela seulement (pas d’autres choses, pas 2-3 choses, 1 seul chose et c’est seulement cette chose qui compte pour la validité)
Pourquoi procéder au processus de validation?
Plusieurs instruments ne mesurent ne permettent pas d’observer directement le concept qu’on cherche à étudier, alors il est nécessaire de procéder au processus de validation. Ex: l’intelligence est localisé ds le bras gauche? –> Non, car y’a pas de place où je peux tester directement l’intelligence, c’est tjr par le biais de cmpts ou de réponses à des question qu’on peut déterminer l’intelligence
Pourquoi le mot-clé de validité = degré?
Parce que la validité n’est pas quelque chose de tout ou rien, c’est degré. Un peu plus de validité, un peu moins, mais jamais 100% ni 0% (valide ou pas valide)
La validité ne concerne pas l’instrument de validité lui-même, pourquoi?
Car elle concerne plutôt l’interprétation des résultats. Le processus de validation est une façon de déterminer le niveau de confiance qu’on peut avoir p/r aux inférences qu’on fait en s’appuyant sur les résultats obtenus à un test
La validité n’est pas inhérente à l’instrument lui-même, pourquoi?
Pcq elle est plutôt inhérente au contexte de son utilisation (ex: valider par internet = contexte différent)
On ne peut pas dire qu’un test est valide, on peut seulement dire…
Qu’on a démontré qu’il est valide avec une telle clientèle sous telles conditions. La validité d’un instrument est directement + uniquement relié au contexte ds lequel le processus de validation a été effectué
L’évaluation de la validité d’un test est un processus continu d’accumulation de??
D’accumulation de «preuves» ou «d’évidences» (normalement quantitatives).
Accumulation de preuves = analyse de résultats
Accumulation de preuves = Test valide si après 2 ans, 3 ans, les résultats sont précis, le diagnostic qui sort des résultats est réaliste, etc
Moi je fais la validation ici, mon collègue fait la validation à vancouver, un autre en Espagne, etc = on cumule des évidences (pas mal semblable de l’un à l’autre)
Pourquoi le nom d’un test n’est pas un indice précis de ce qu’il mesure?
Le nom d’un test ne détermine pas sa validation pcq ça veut rien dire (pas pcq c’est écrit test d’intelligence que c’est valide) faire référence à validité = degré
Nom # exactement toutes les dimensions mesurées (on doit procéder à l’analyse de la validité de contenu pour le savoir)
Définition de validité de contenu?
L’aptitude d’un instrument à appréhender les aspects de contenu pour lesquels il a été conçu et seulement ceux-là (pour 1 contenu désiré et pas d’autres)
Il faut s’assurer que les contenus des items utilisés contribuent tous à évaluer un aspect significatif (ou dimension) de ce domaine; en d’autres mots, qu’ils forment un échantillon important de tous les items (qui représentent les contenus).
Il faut que les contenus de ces items ne fassent pas appel à des caractéristiques qu’on souhaite pas solliciter!
Quand est-ce qu’on examine la validité de contenu?
Lors de la construction de l’instrument de mesure (choix des items).
Comment on examine la validité de contenu?
Par la méthode des «juges experts». Ce sont des personnes qui ont une bonne connaissance du concept à mesurer ou qui ont une expertise ds l’élaboration d’instrument de mesure.
Ils doivent se prononcer sur le contenu des énoncés (clarté, représentativité, exhaustivité, dimensionnalité, pertinence de l’outil ds son ensemble)
Représentativité: Les questions représentent bien la théorie ou ecq y’a un bout de la théorie que les questions ne touchent pas?
Exhaustivité: J’ai vraiment touché toutes les nuances et tous les éléments fondamentaux de la théorie?
Dimensionnalité: 3-4-5 dimensions, les items touchent aux bonnes dimensions?
Pertinence: Ecq c’est la façon la + pertinente de le demander?
Pourquoi on se sert de des experts pour la validité de contenu?
Pcq on veut qu’ils donnent leurs opinions çar c’est important d’avoir le «consentement théorique» de spécialistes afin de pouvoir passer notre instrument
Un peu comme si les experts nous donnent la permission de faire la passation
Définition validation pragmatique?
L’aptitude d’un instrument (conçu par ex. ds une perspective d’évaluation pronostique) à prédire (le + précis possible) le niveau de réussite, d’adaptation, d’intégration, etc, d’un ensemble d’individus p/r à des situations qu’ils rencontreront ou pourraient rencontrer ultérieurement
Ex: Évaluation du QI ou évaluation du succès professionnel
Comment évaluer la validation pragmatique?
En étudiant la corrélation (ou comparaison de moyennes mais moins robuste) entre les résultats obtenus par un mm groupe à 2 moments différents (ex: début + fin d’un programme universitaire)
On peut utiliser la régression, dont l’objectif est de prédire la situation future d’un individu en se basant sur les éléments de sa situation présente.
Quand on parle de prédiction par le biais des corrélations on parle de régression (la régression nous permet de faire des prédictions)
R = régression
R au carré = coefficient de détermination de la régression (corrélation)
Les gens utilisent moins ce type de validité en psychologie
Dans des régressions le vice-versa marche pas (pcq cest un genre de cause-effet basé sur des corrélations)
On peut faire des prédictions présentes ou futures avec les régressions
Évaluer la validation pragmatique, ça veut dire qu’on détermine…?
Dans quelle mesure les prédicteurs retenus (VI) permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (VD)
En gros, le % de variance prédite
Variable prédite = VD
Prédicteurs = VI
Quels sont les 2 types de validation pragmatique?
Validité concomitante ou courante:
Degré de corrélation entre scores obtenus au test + scores obtenus à une mesure de référence (administration du test + mesure du critère = pratiquement en mm temps –> pas d’important laps de temps)
Validité prédictive:
On évalue la qualité des prédictions faites sur la base des résultats obtenus au test et d’une réalité future (administration du test + mesure du critère = séparés d’un important laps de temps, test est administré en 1er)
Définition validité de construit?
La justesse avec laquelle un instrument de mesure permet d’obtenir des résultats conformes aux construits définis par son contexte théorique
Elle indique dans quelle mesure les énoncés d’un instrument sont cohérents avec la théorie et les concepts, définis de façon opérationnelle
Pourquoi le contexte théorique est important ds la validité de construit?
Car on se base sur la théorie pour formuler nos choses (genre hypothèses)
Quelle est entre les 3 la validité la + importante et pourquoi?
La validité de construit, car il est obligatoire pour publier de se baser sur la théorie
Des construits, c’est quoi?
C’est les entités hypothétiques qu’on cherche à étudier dans plusieurs situations en psycho
Ils ne sont pas directement accessibles à l’observation + à la mesure (donc on mesure par le biais du cmpt)
Ex: intelligence, aptitudes, personnalité, motivation
Les construits sont considérés comme des…?
Comme des mini-théories (ou facteurs) qui expliquent la relation/corrélation qu’on observe entre différents concepts/variables (cmpts, attitudes)
Comment calculer la validité de construit?
Soit par l’analyse multitrait-multiméthode ou par l’analyse factorielle. C’est 2 façons indépendantes de calculer la validité de construit. L’objectif est de démontrer la pertinence d’un item p/r à sa propre dimension théorique (AF)
Les gens font plus analyse factorielle car analyse multitrait-multiméthode coute très cher
Explique la matrice de corrélation de l’analyse multitrait-multiméthode
Voir pwp diapo 22
C’est une matrice de corrélations pcq les résultats obtenus en bas de la diagonale + longue sont les mm qui sont en haut de la diagonale + longue
Ya tjr 2 temps
A1 et A1 = mm trait mm méthode = je mesure la stabilité temporelle (ça c’est la fidélité, donc la diagonale + longue ne mesure pas la validité mais la fidélité test-retest)
A1 et B1 = mm méthode différent trait = je mesure la validité (tout ce qui n’est pas fidélité c’est validité, toutes les diagonales autre que la longue mesurent la validité)
Hétérotrait (différent trait) Heteromethod (différente méthode)
C3 et C1 = corrélation de 0,45 positive et moyenne, variance expliquée (0,45 x 0,45) = 0,20 donc 20% de la variance de la variable C3 est expliquée par la variance de la variable C1 et vice versa (pcq c’est une corrélation)
Les corrélations en bleu sont très élevées = le laps de temps doit être court car pas eu le temps de changer
Quel est le rationnel de l’analyse factorielle?
C’est de projeter 3 variables ou + qui sont fortement corrélées entre elles sur une nouvelle variable qui retient l’essentiel de la variance commune. Cette nouvelle variable représente le facteur (le construit)
Variance commune = variance qui se chevauche (milieu du diagramme Venne)
Variance unique = côté droit ou gauche du diagramme de Venne sont chacune des variances uniques
Quelles sont les 3 questions liées à l’analyse factorielle?
(1) Combien de facteurs l’analyse nous propose?
(2) Quel est le pourcentage d’explication de la variance?
On s’attend que ça soit entre 40-60% donc 52-54%
(3) Est-ce que tous les items sont valides par la biais de la validation de construit ou y a-t-il des items nécessitant une reformulation?
Explique le tableau de l’analyse factorielle à la diapo 24
C’est ce qu’on retrouve ds les manuels de tests
Après l’extraction de mes facteurs j’ai 3 lignes: Par le biais de la variance totale expliquée mes données m’offrent l’info que 3 facteurs sont suffisants pour expliquer mes données
Facteur 1 explique 24,58% de la variance
Facteur 2 explique 22,12% DE PLUS de la variance (qui n’a pas été expliqué par le facteur 1) la partie commune entre facteur 1 et 2 est expliquée dans le 24,58% du facteur 1
Facteur 3 explique 11,77% de la variance qui n’a pas été expliquée par les facteur 1 et 2
Variance totale expliquée 58,48% C’est une bonne mesure
(3) Est-ce que tous les items sont valides par la biais de la validation de construit ou y a-t-il des items nécessitant une reformulation? Ça répond pas on a besoin d’un nouveau tableau (diapo suivante)
Expliques le tableau à la diapo 25
Le facteur 1 fini à 0.587 car c’est là que le facteur 2 arrive
Le facteur 2 commence à 0.739 car c’est là ou la saturation factorielle est la + élevée (si je multiplie la corrélation 0.739 par 0.739 je vais trouver le coefficient
de détermination c-a-d le % de variance que cet item explique dans le facteur 2)
Le facteur 2 termine à 0.559
Le facteur 3 commence à 0.668
Cb d’items représentent le facteur 3? 2 items c’est pas bon car faut 3 items au moins dans chaque facteur
Mon 3e facteur n’existe donc pas
(3) Ecq tous les items sont valides? Non pcq item 17 sature de façon importante au facteur 1 ET au facteur 2 (plus élevé que 0,40)
En d’autres mots, l’item 17 explique une partie de variance du facteur 1 mais aussi une partie de la variance du facteur 2 (ce qui n’est pas correct car un item ne peut pas mesurer 2 contenus il doit en mesurer 1 et seulement 1)
Item 17 est appelé un item complexe (les gens qui répondent visualisent les contenus du facteur 1 mais aussi du facteur 2)
Items 23 et 24 sont aussi des items complexes
2 problèmes majeurs dans ce tableau:
1- Problématique des items complexes
2- Problématique de la qté d’items par facteurs (pas tjr 3)
Solution pure = couper à 0.50:
Enlève les items complexes
Toutes les corrélations inférieures à ça disparaissent
Ça ma donne 1 seul facteur
Qu’est-ce donne le résultat du processus de validation de construit?
Ne donne pas un indice unique mais bien plusieurs résultats qui doivent être interprétés en lien avec les éléments théoriques sur lesquels le test se base
Comment la validité de construit pourrait être + facilement mesurable?
Si la théorie utilisée est explicite et bien définie. (Ex: théorie 16 PF est claire 16 facteurs)
Quels sont les 2 types de validité de construit?
Validité convergente:
- Vérifier à quel point l’échelle est reliée à des variables et
des mesures du même construit
- L’outil devrait corréler avec les autres outils qui évaluent
des construits identiques ou très similaire
Validité discriminante:
- Vérifier à quel point l’échelle s’écarte de variables et de
mesures de construits différents
- L’outil ne devrait pas corréler avec des construits
indépendants de celui qu’il évalue.
Quelles sont les 5 étapes du processus de construction d’un instrument de mesure?
1- La détermination des utilisations prévues du test
2- La définition de ce qu’on souhaite mesurer
3- La création des items (étape la + difficile)
4- L’évaluation des items
5- La détermination des propriétés métriques du test définitif
Étape 1: Détermination des utilisations prévues du test
Le point de départ: un objectif plus général:
• On n’a pas encore déterminé les dimensions!
• Qcq qu’on veut mesurer en général
Ex: estime de soi
Ensuite définir, avec plus de précision, les caractéristiques psychologiques (ou dimensions) que le test devra mesurer
La validation du contenu du test repose sur la définition de ce que l’on veut mesurer
En imaginant les dimensions précises qu’on veut mesurer = c’est là qu’on voit la pertinence de la validité de contenu (les experts vont juger la dimensionnalité)