Examen final Flashcards
1
Q
3 types de validité?
A
Validité de contenu, Validité pragmatique, Validité de construit
2
Q
Définition validité?
A
Degré avec lequel un test mesure ce qu’il prétend mesurer et cela seulement (pas d’autres choses, pas 2-3 choses, 1 seul chose et c’est seulement cette chose qui compte pour la validité)
3
Q
Pourquoi procéder au processus de validation?
A
Plusieurs instruments ne mesurent ne permettent pas d’observer directement le concept qu’on cherche à étudier, alors il est nécessaire de procéder au processus de validation. Ex: l’intelligence est localisé ds le bras gauche? –> Non, car y’a pas de place où je peux tester directement l’intelligence, c’est tjr par le biais de cmpts ou de réponses à des question qu’on peut déterminer l’intelligence
4
Q
Pourquoi le mot-clé de validité = degré?
A
Parce que la validité n’est pas quelque chose de tout ou rien, c’est degré. Un peu plus de validité, un peu moins, mais jamais 100% ni 0% (valide ou pas valide)
5
Q
La validité ne concerne pas l’instrument de validité lui-même, pourquoi?
A
Car elle concerne plutôt l’interprétation des résultats. Le processus de validation est une façon de déterminer le niveau de confiance qu’on peut avoir p/r aux inférences qu’on fait en s’appuyant sur les résultats obtenus à un test
6
Q
La validité n’est pas inhérente à l’instrument lui-même, pourquoi?
A
Pcq elle est plutôt inhérente au contexte de son utilisation (ex: valider par internet = contexte différent)
7
Q
On ne peut pas dire qu’un test est valide, on peut seulement dire…
A
Qu’on a démontré qu’il est valide avec une telle clientèle sous telles conditions. La validité d’un instrument est directement + uniquement relié au contexte ds lequel le processus de validation a été effectué
8
Q
L’évaluation de la validité d’un test est un processus continu d’accumulation de??
A
D’accumulation de «preuves» ou «d’évidences» (normalement quantitatives).
Accumulation de preuves = analyse de résultats
Accumulation de preuves = Test valide si après 2 ans, 3 ans, les résultats sont précis, le diagnostic qui sort des résultats est réaliste, etc
Moi je fais la validation ici, mon collègue fait la validation à vancouver, un autre en Espagne, etc = on cumule des évidences (pas mal semblable de l’un à l’autre)
9
Q
Pourquoi le nom d’un test n’est pas un indice précis de ce qu’il mesure?
A
Le nom d’un test ne détermine pas sa validation pcq ça veut rien dire (pas pcq c’est écrit test d’intelligence que c’est valide) faire référence à validité = degré
Nom # exactement toutes les dimensions mesurées (on doit procéder à l’analyse de la validité de contenu pour le savoir)
10
Q
Définition de validité de contenu?
A
L’aptitude d’un instrument à appréhender les aspects de contenu pour lesquels il a été conçu et seulement ceux-là (pour 1 contenu désiré et pas d’autres)
Il faut s’assurer que les contenus des items utilisés contribuent tous à évaluer un aspect significatif (ou dimension) de ce domaine; en d’autres mots, qu’ils forment un échantillon important de tous les items (qui représentent les contenus).
Il faut que les contenus de ces items ne fassent pas appel à des caractéristiques qu’on souhaite pas solliciter!
11
Q
Quand est-ce qu’on examine la validité de contenu?
A
Lors de la construction de l’instrument de mesure (choix des items).
12
Q
Comment on examine la validité de contenu?
A
Par la méthode des «juges experts». Ce sont des personnes qui ont une bonne connaissance du concept à mesurer ou qui ont une expertise ds l’élaboration d’instrument de mesure.
Ils doivent se prononcer sur le contenu des énoncés (clarté, représentativité, exhaustivité, dimensionnalité, pertinence de l’outil ds son ensemble)
Représentativité: Les questions représentent bien la théorie ou ecq y’a un bout de la théorie que les questions ne touchent pas?
Exhaustivité: J’ai vraiment touché toutes les nuances et tous les éléments fondamentaux de la théorie?
Dimensionnalité: 3-4-5 dimensions, les items touchent aux bonnes dimensions?
Pertinence: Ecq c’est la façon la + pertinente de le demander?
13
Q
Pourquoi on se sert de des experts pour la validité de contenu?
A
Pcq on veut qu’ils donnent leurs opinions çar c’est important d’avoir le «consentement théorique» de spécialistes afin de pouvoir passer notre instrument
Un peu comme si les experts nous donnent la permission de faire la passation
14
Q
Définition validation pragmatique?
A
L’aptitude d’un instrument (conçu par ex. ds une perspective d’évaluation pronostique) à prédire (le + précis possible) le niveau de réussite, d’adaptation, d’intégration, etc, d’un ensemble d’individus p/r à des situations qu’ils rencontreront ou pourraient rencontrer ultérieurement
Ex: Évaluation du QI ou évaluation du succès professionnel
15
Q
Comment évaluer la validation pragmatique?
A
En étudiant la corrélation (ou comparaison de moyennes mais moins robuste) entre les résultats obtenus par un mm groupe à 2 moments différents (ex: début + fin d’un programme universitaire)
On peut utiliser la régression, dont l’objectif est de prédire la situation future d’un individu en se basant sur les éléments de sa situation présente.
Quand on parle de prédiction par le biais des corrélations on parle de régression (la régression nous permet de faire des prédictions)
R = régression
R au carré = coefficient de détermination de la régression (corrélation)
Les gens utilisent moins ce type de validité en psychologie
Dans des régressions le vice-versa marche pas (pcq cest un genre de cause-effet basé sur des corrélations)
On peut faire des prédictions présentes ou futures avec les régressions
16
Q
Évaluer la validation pragmatique, ça veut dire qu’on détermine…?
A
Dans quelle mesure les prédicteurs retenus (VI) permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (VD)
En gros, le % de variance prédite
Variable prédite = VD
Prédicteurs = VI
17
Q
Quels sont les 2 types de validation pragmatique?
A
Validité concomitante ou courante:
Degré de corrélation entre scores obtenus au test + scores obtenus à une mesure de référence (administration du test + mesure du critère = pratiquement en mm temps –> pas d’important laps de temps)
Validité prédictive:
On évalue la qualité des prédictions faites sur la base des résultats obtenus au test et d’une réalité future (administration du test + mesure du critère = séparés d’un important laps de temps, test est administré en 1er)
18
Q
Définition validité de construit?
A
La justesse avec laquelle un instrument de mesure permet d’obtenir des résultats conformes aux construits définis par son contexte théorique
Elle indique dans quelle mesure les énoncés d’un instrument sont cohérents avec la théorie et les concepts, définis de façon opérationnelle
19
Q
Pourquoi le contexte théorique est important ds la validité de construit?
A
Car on se base sur la théorie pour formuler nos choses (genre hypothèses)
20
Q
Quelle est entre les 3 la validité la + importante et pourquoi?
A
La validité de construit, car il est obligatoire pour publier de se baser sur la théorie
21
Q
Des construits, c’est quoi?
A
C’est les entités hypothétiques qu’on cherche à étudier dans plusieurs situations en psycho
Ils ne sont pas directement accessibles à l’observation + à la mesure (donc on mesure par le biais du cmpt)
Ex: intelligence, aptitudes, personnalité, motivation
22
Q
Les construits sont considérés comme des…?
A
Comme des mini-théories (ou facteurs) qui expliquent la relation/corrélation qu’on observe entre différents concepts/variables (cmpts, attitudes)
23
Q
Comment calculer la validité de construit?
A
Soit par l’analyse multitrait-multiméthode ou par l’analyse factorielle. C’est 2 façons indépendantes de calculer la validité de construit. L’objectif est de démontrer la pertinence d’un item p/r à sa propre dimension théorique (AF)
Les gens font plus analyse factorielle car analyse multitrait-multiméthode coute très cher
24
Q
Explique la matrice de corrélation de l’analyse multitrait-multiméthode
A
Voir pwp diapo 22
C’est une matrice de corrélations pcq les résultats obtenus en bas de la diagonale + longue sont les mm qui sont en haut de la diagonale + longue
Ya tjr 2 temps
A1 et A1 = mm trait mm méthode = je mesure la stabilité temporelle (ça c’est la fidélité, donc la diagonale + longue ne mesure pas la validité mais la fidélité test-retest)
A1 et B1 = mm méthode différent trait = je mesure la validité (tout ce qui n’est pas fidélité c’est validité, toutes les diagonales autre que la longue mesurent la validité)
Hétérotrait (différent trait) Heteromethod (différente méthode)
C3 et C1 = corrélation de 0,45 positive et moyenne, variance expliquée (0,45 x 0,45) = 0,20 donc 20% de la variance de la variable C3 est expliquée par la variance de la variable C1 et vice versa (pcq c’est une corrélation)
Les corrélations en bleu sont très élevées = le laps de temps doit être court car pas eu le temps de changer
25
Quel est le rationnel de l'analyse factorielle?
C'est de projeter 3 variables ou + qui sont fortement corrélées entre elles sur une nouvelle variable qui retient l'essentiel de la variance commune. Cette nouvelle variable représente le facteur (le construit)
Variance commune = variance qui se chevauche (milieu du diagramme Venne)
Variance unique = côté droit ou gauche du diagramme de Venne sont chacune des variances uniques
26
Quelles sont les 3 questions liées à l'analyse factorielle?
(1) Combien de facteurs l’analyse nous propose?
(2) Quel est le pourcentage d’explication de la variance?
On s’attend que ça soit entre 40-60% donc 52-54%
(3) Est-ce que tous les items sont valides par la biais de la validation de construit ou y a-t-il des items nécessitant une reformulation?
27
Explique le tableau de l'analyse factorielle à la diapo 24
C’est ce qu’on retrouve ds les manuels de tests
Après l’extraction de mes facteurs j’ai 3 lignes: Par le biais de la variance totale expliquée mes données m’offrent l’info que 3 facteurs sont suffisants pour expliquer mes données
Facteur 1 explique 24,58% de la variance
Facteur 2 explique 22,12% DE PLUS de la variance (qui n’a pas été expliqué par le facteur 1) la partie commune entre facteur 1 et 2 est expliquée dans le 24,58% du facteur 1
Facteur 3 explique 11,77% de la variance qui n’a pas été expliquée par les facteur 1 et 2
Variance totale expliquée 58,48% C’est une bonne mesure
(3) Est-ce que tous les items sont valides par la biais de la validation de construit ou y a-t-il des items nécessitant une reformulation? Ça répond pas on a besoin d’un nouveau tableau (diapo suivante)
28
Expliques le tableau à la diapo 25
Le facteur 1 fini à 0.587 car c’est là que le facteur 2 arrive
Le facteur 2 commence à 0.739 car c’est là ou la saturation factorielle est la + élevée (si je multiplie la corrélation 0.739 par 0.739 je vais trouver le coefficient
de détermination c-a-d le % de variance que cet item explique dans le facteur 2)
Le facteur 2 termine à 0.559
Le facteur 3 commence à 0.668
Cb d’items représentent le facteur 3? 2 items c’est pas bon car faut 3 items au moins dans chaque facteur
Mon 3e facteur n’existe donc pas
(3) Ecq tous les items sont valides? Non pcq item 17 sature de façon importante au facteur 1 ET au facteur 2 (plus élevé que 0,40)
En d’autres mots, l’item 17 explique une partie de variance du facteur 1 mais aussi une partie de la variance du facteur 2 (ce qui n’est pas correct car un item ne peut pas mesurer 2 contenus il doit en mesurer 1 et seulement 1)
Item 17 est appelé un item complexe (les gens qui répondent visualisent les contenus du facteur 1 mais aussi du facteur 2)
Items 23 et 24 sont aussi des items complexes
2 problèmes majeurs dans ce tableau:
1- Problématique des items complexes
2- Problématique de la qté d’items par facteurs (pas tjr 3)
Solution pure = couper à 0.50:
Enlève les items complexes
Toutes les corrélations inférieures à ça disparaissent
Ça ma donne 1 seul facteur
29
Qu'est-ce donne le résultat du processus de validation de construit?
Ne donne pas un indice unique mais bien plusieurs résultats qui doivent être interprétés en lien avec les éléments théoriques sur lesquels le test se base
30
Comment la validité de construit pourrait être + facilement mesurable?
Si la théorie utilisée est explicite et bien définie. (Ex: théorie 16 PF est claire 16 facteurs)
31
Quels sont les 2 types de validité de construit?
Validité convergente:
- Vérifier à quel point l’échelle est reliée à des variables et
des mesures du même construit
- L’outil devrait corréler avec les autres outils qui évaluent
des construits identiques ou très similaire
Validité discriminante:
- Vérifier à quel point l’échelle s’écarte de variables et de
mesures de construits différents
- L’outil ne devrait pas corréler avec des construits
indépendants de celui qu’il évalue.
32
Quelles sont les 5 étapes du processus de construction d'un instrument de mesure?
1- La détermination des utilisations prévues du test
2- La définition de ce qu'on souhaite mesurer
3- La création des items (étape la + difficile)
4- L'évaluation des items
5- La détermination des propriétés métriques du test définitif
33
Étape 1: Détermination des utilisations prévues du test
Le point de départ: un objectif plus général:
• On n’a pas encore déterminé les dimensions!
• Qcq qu'on veut mesurer en général
Ex: estime de soi
Ensuite définir, avec plus de précision, les caractéristiques psychologiques (ou dimensions) que le test devra mesurer
La validation du contenu du test repose sur la définition de ce que l’on veut mesurer
En imaginant les dimensions précises qu’on veut mesurer = c’est là qu’on voit la pertinence de la validité de contenu (les experts vont juger la dimensionnalité)
34
Étape 2: Définition de ce qu'on souhaite mesurer
5 méthodes qui nous aident à mieux définir ce qu'on veut mesurer:
1- Définition des objectifs pédagogiques:
Ex; Préciser les performances dont les étudiants
devront être capables à un moment donné de leur
formation
2- Analyse de contenu des interviews:
Interviewer des personnes permet de recueillir un
grand nb d'infos qui seront sélectionnées + classées
3- Observation directe des cmpts:
Parfois préférable d'observer les sujets ds leur milieu de
vie/de travail
4- Méthode des incidents critiques:
On demande aux employeurs de décrire des situations
où les employés ont agi de manière efficace ou
inefficace. Ces cmpts critiques servent à construire des
items
5- Référence à un modèle théorique:
Méthode qui ne part pas de l'expérience, mais d'un
modèle de la réalité construit au cours des recherches
antérieures. Ex: depuis le début des années 80, les
dév. de la psycho cognitive ont conduit à la création de
nombreux modèles théoriques utilisables par les
constructeurs de tests.
95% des chercheurs utilisent la méthode 5
35
Pourquoi la création des items (construction d'un instrument de mesure) est l'étape la + complexe?
Pcq faut vrm essayer de représenter les cmpts qu’on veut mesurer (cest très difficile)
Le nb de questions = aussi un échantantillon (problèmes d’échantillonnage)
Trop d’attention a été accordée à la constitution des échantillons et trop peu à la création des questions
36
Que faut-il clarifier dans l'étape de la création des items? (construction d'un instrument de mesure)
1- Le format des items!
Questions ou affirmations
Style de réponse – ouverte, dichotomique, Likert, etc.
Amérique du Nord = utilise bcp le format Likert
Pays moins développés = utilise bcp questions dichotomiques (oui/non) moins minutieux
Il n’y a pas de « meilleur format »! Un format est bon s’il est adéquat au but et à la situation d’évaluation.
2- Le niveau de difficulté des items!
Dépend de l’objectif du test (la nature des informations que l’on désire recueillir): Population générale ou spécifique
3- La quantité d’items qu’il faut créer!
Dépend de plusieurs facteurs:
La durée du test;
Le niveau de fidélité désiré (plus long, plus fidèle);
Si le test final doit contenir autour de 10 items, initialement il faut construire 30, ou même plus…
37
Que signifie le concept d'économie mentale?
Je veux pas exposer les gens à répondre plusieurs fois à la mm chose
C’est pas éthique au niveau de la fidélité, je veux pas fatiguer la personne en lui demandant de répondre a bcp d’items qui mesurent la mm chose
Si les items corrèlent bcp entre eux = mesurent pratiquement la mm chose La variance de ces contenus-là est déjà bien expliquée par la somme de plusieurs autres contenus
38
Que signifie une décision/manifestation arbitraire du chercheur
C’est sa recherche il fait ce qu’il veut avec
39
Quelles sont les 2 démarches de l'étape d'évaluation des items? (construction d'un instrument de mesure)
1- Évaluation des items par des juges:
Conformité des items (clarté, pertinence, dimensionnalité, etc.)
2- Réalisation d’une mise à l’essai des items:
Faire passer tous les items à un échantillon de la population (la taille de cet échantillon dépend de l’hétérogénéité de la population visée par le test; un échantillon trop homogène risque de masquer certains items problématiques);
Les résultats de cette mise à l’essai doit être analysés d’un point de vue qualitatif et quantitatif.
40
Quand faisons nous la détermination des propriétés métriques du test définitif et quelles sont ces propriétés?
Une fois les meilleurs items sélectionnés et la version définitive du test constituée
Évaluation des indices de validité;
Évaluation des indices de fidélité;
Établissement des normes (centiles, Score Z).
41
Autres aspects à considérer lors de la construction d'un instrument de mesure
1- La rédaction d’un manuel d’utilisateur, on présente:
Les fonctions pour lesquelles le test a été crée;
Les bases théoriques du test;
Les qualifications requises pour l’appliquer et l’interpréter;
Les données métriques (pour assurer son utilisation).
2- Le constructeur doit assumer une responsabilité éthique
Les informations du manuel doivent garantir un usage correct du test, dans le respect des principes éthiques.
42
Il est parfois nécessaire d'adapter et de traduire un instrument de mesure pour 3 choses, lesquelles?
* Il est parfois nécessaire d’utiliser un instrument d’évaluation psychologique dans une langue différente de celle qu’il a été originellement créé.
* Il est parfois nécessaire d’utiliser un instrument d’évaluation psychologique dans une culture (ou même région d’une même nation) différente de celle qu’il a été originellement créé.
* Il est parfois nécessaire de tester un modèle explicatif d’un comportement psychosocial (ou d’autre), qui a déjà été prouvé dans une culture, dans une autre culture.
43
Quelles sont les 2 options des psychométriques pour traduire/adapter un instrument de mesure?
1- Élaborer plusieurs tests en considérant les différentes langues et cultures
2- Traduire un seul et même test pour qu’on puisse l’utiliser en plusieurs langues et cultures
44
Quel est l'avantage et le désavantage à élaborer/créer plusieurs tests pour évaluer des comportements ou des dimensions de la personnalité?
Avantage: On respecte les caractéristiques de la culture cible
Désavantage: Puisqu'on respecte les caractéristiques de la culture cible, on n'a pas de point de comparaison (on ne peut pas comparer 2 cultures)
45
Quel est l'avantage et le désavantage à traduire un seul et même test pour qu'on puisse l'utiliser en plusieurs langues et cultures?
Avantage: Beaucoup moins de travail au niveau méthodologique (l’échantillonnage --> toutes les caractéristiques de l’échantillon ont été déjà pensées avant)
Désavantage: Une diminution au niveau de la précision de la mesure, les normes et même d’autres qualités métrologiques (comportement encore à comprendre/expliquer)
46
Quelle est la solution aux 2 extrêmes (étant soit élaboration d'un nouveau test soit simple traduction d'un test?
L’adaptation.
L’adaptation des tests se situe entre ces deux processus, par exemple:
• Permet un plus grand respect des idiosyncrasies
de la culture cible
• Permet qu’on garde une bonne précision de la
mesure, entre autres indices métrologiques
pertinents
47
Quels sont les 3 autres avantages de l'adaptation?
Permet de s’assurer que le contenu et la structure factorielle du test soient relativement les mêmes
Permet d’utiliser la même structure (style de rédaction, la révision théorique, la méthodologie générale utilisée, etc.) proposée à la présentation de l’instrument original
Permet de démontrer l’équivalence d’épreuves administrées dans des langues et des cultures différentes.
48
Quelles sont les 2 grandes difficultés de l'adaptation?
1- Les différences linguistiques et culturelles:
• Équivalence des concepts (posséder la même
signification)
• Format du test (degré de familiarité avec certain
type d’item)
• Limite de temps (textes traduits peuvent être plus
longs)
2- Les difficultés méthodologiques:
• Le choix et la formation des traducteurs
• Le procédé de traduction (forward translation,
backward translation)
49
Qu'est-ce que le backward/forward translation?
Forward c'est quand tu pars de français à anglais
Backward c'est tu pars de l'anglais, au français et tu retraduis en anglais pour voir si ça s'équivaut aux niveaux des construits
Y faut 4 traductions backwards: 4 personnes indépendantes font traduction de anglais au français (gens parfaitement bilingues)
50
Donnes des exemples d'équivalence des tests adaptés?
* Résultats équivalents: alpha de Cronbach; validité de critère (p.ex. lecture et résultats scolaires);
* Corrélations entre les mesures obtenues aux différentes versions du test et des mesures similaires (validité convergente) ou différentes (validité discriminante);
* Validité de construit (par excellence): une analyse factorielle devrait indiquer que les versions du test comportent le même nombre de facteurs et que les items de chacune des versions se regroupent de la même façon.
51
Quelles sont les 8 étapes à suivre pour adapter un test?
1- S’assurer de la pertinence du contenu du test pour la
population visée
2- Déterminer si une traduction est souhaitable
3- Choisir les traducteurs
4- Traduire et adapter le test
5- Réviser (en comité) la version adaptée du test
6- Conduire une mise à l’essai de la version adaptée
7- Conduire une étude métrologique exhaustive de la
version adaptée (des aspects à comparer, des
aspects relatifs au dév. théorique/technique)
8- Documenter chacune des étapes de développement
de la version adaptée
52
Dans l'étape 8 de l'adaptation d'un test, qu'est-il important de faire?
Être transparent + dire exactement ce qu’on veut faire (on ne cache rien) Ex: Les gens vont répliquer au Japon et notre nom va être relié à ça
53
Quels sont les 4 indicateurs généraux de la qualité de l'adaptation?
1- Analyse d’items:
Les items de chaque version devraient être équivalents
en termes de difficulté (moyenne et TRI) et de
discrimination (variables de contrôle)
2- Fidélité:
Les résultats calculés à partir des versions adaptées devraient présenter des indices comparables de cohérence interne (par exemple: indice Alpha de Cronbach et de corrélation entre les moitiés de l’instrument comparables pour chaque version)
3- Équivalence au niveau du construit:
Les items de chaque version devraient être équivalents
en termes de saturation factorielle
4- Validité pragmatique:
Concomitante/concourante (corrélation d’une mesure
donnée avec une autre servant de critère et qui
évalue sensiblement le même aspect)
Prédictive (Lorsqu’une mesure prédit correctement un
comportement ultérieur)
54
Alors... traduction ou adaptation?
L’adaptation de tests en plusieurs langues et cultures offre une alternative à la création de test en plusieurs langues ou à la simple traduction.
C’est important de bien suivre la procédure et la méthodologie (comparaison vs évolution)
C'est important que le processus soit bien documenté et transparent.
55
Normes de pratiques - Qualification des professionnels. Quelles sont les 5 caractéristiques des examinateurs bien formés?
1- Ils choisissent les tests qui conviennent à la fois au but visé et aux personnes qui sont évaluées
2- Ils connaissent la documentation portant sur le test choisi et les derniers développements qui le concernent
3- Ils sont capable d’évaluer les qualités techniques des tests (validité/fidélité)
4- Ils sont sensibles aux conditions de passation (peuvent influencer le rendement au test)
5- Ils font de conclusions ou des recommandations seulement après avoir considéré les résultats en relation avec les caractéristiques de la personne évaluée.
56
Normes de pratiques - Qualification des professionnels. Quelles sont les 2 grandes responsabilités des éditeurs des tests?
1- La distribution :
• L’achat de tests est limité aux personnes possédant la qualification requise pour assurer la sécurité du matériel et empêcher une mauvaise utilisation de celui-ci
* Les caractéristiques techniques d’un test doivent être clairement présentées;
* Les tests ne doivent pas être offerts prématurément pour un usage générale (évidemment que le test peut être offert avant mais ds un cadre de recherche, plus précisément de la recherche pour améliorer le potentiel de mesure du test, pas les personnes)
• La passation de tests psychologiques par la poste est à proscrire, parce qu’on ne peut pas contrôler les conditions de passation et qu’on a aucune connaissance de la personne évaluée
(Par la poste = internet, courriel, etc est à proscrire MAIS faut qd même savoir dealer avec la réalité et ne pas nier que les réseaux sociaux sont là. Comment travailler avec réseaux sociaux pour minimiser les variances d’erreur? Je peux pas contrôler l’env. dans lequel la personne répond au test (variance d’erreur). Je vais croire la personne qui me dit qu’elle l’a fait ds un env. silencieux et seul)
2- Le marketing :
• Il ne faut pas utiliser de termes « trop publicitaires » qui mettent en valeur le test en cachant les renseignements essentiels à son évaluation
57
Parles des précautions à prendre concernant l'usage des tests par les professionnels (normes de pratiques)
* Un usage adéquat des tests concerne autant le constructeur du test, que l’utilisateur et le client. Si les tests sont perçus comme causant du tort aux gens, ils pourront occasionner des poursuites judiciaires. Les constructeurs de tests ne peuvent se laver les mains une fois que le test est publié et ignorer les buts du test.
* Les précautions à prendre face à la protection de la vie privée sont liées aux devoirs et aux obligations envers le client (d’où l’importance de bien spécifier le but dans lequel on fait passer un test et de préciser que l’anonymat est préservé lorsque les tests sont employés en recherche).
58
Parles de ce qui peut nuire à la valeur des tests (normes de pratique)
* La valeur des tests peut être fortement contestée lorsqu'ils conduisent à des interprétations qui sont hostiles à certains groupes, lorsqu’ils constituent la seule base de décision ou lorsque les conséquences reliées au fait d’obtenir de faibles résultats sont importantes.
* À partir de l’échantillon d’un comportement évalué par un test, on généralise le comportement qui se manifestera dans des situations autres que celle du test, d’où l’importance de respecter les directives pour la passation d’un test. Toutes les influences spécifiques à la situation du testage (pas de contrôle) entrent dans la variance d’erreur et diminuent la validité du test.
59
Quelles sont les 5 règles qu'on retrouve dans la section V du code de déontologie? (normes de pratique)
1- Le psychologue doit interpréter le matériel psychologique avec prudence;
2- Le psychologue ne peut remettre à autrui, sauf à un autre psychologue, les données brutes et non interprétées inhérentes à une consultation psychologique (exception=autre psy ou juge);
3- Le psychologue doit éviter toute possibilité de fausse interprétation ou d’emploi erroné des informations qu’il fourni à autrui.
4- Dans l’exercice de la profession, le professionnel doit tenir compte des principes scientifiques généralement reconnus en psychologie;
5- Dans tout rapport psychologique, écrit ou verbal, le psychologue doit s’en tenir à son interprétation du matériel psychologique relié à la consultation, à ses conclusions et à ses recommandations;
60
Quels sont les 6 principes qui concernent l"interprétation des tests? (normes de pratique)
1- Les tests peuvent faciliter et améliorer la prise de décisions en fournissant une information objective mais ne peuvent jamais prédire l'avenir
2- Les tests favorisent la culture au sein de laquelle ils ont été mis au point. Les différences et les désavantages d’ordre culturel peuvent influencer grandement les résultats et doivent être pris en considération lors de l’interprétation.
3- Plus le client ressemble à tous égards à l’échantillon normatif, plus les comparaisons sont valables. Moins le client ressemble à tous égards, moins les comparaisons sont valables.
4- Dans un test, lorsque le client diffère du groupe normatif sur le plan de la culture, il est inacceptable d’interpréter de telles comparaisons comme des indications de sa capacité.
5- Compte tenu du grand nombre de variables pouvant influencer négativement les résultats, il est essentiel de considérer et d’expliquer les scores comme un classement dans un intervalle et non comme des points précis.
6- Les scores aux tests ne sont pas une mesure directe du degré de réussite qu’un individu peut atteindre; Ils sont une mesure de réponse d’un individu à un ensemble de stimuli, à un moment donné et dans une situation particulière;
61
Nommes les conclusions d'une utilisation compétente des tests
• Accepter la responsabilité reliée à une utilisation
compétente des tests;
• Avoir une connaissance satisfaisante du code de
déontologie;
• Ne pas photocopier des documents protégés par les
droits d’auteur;
• Connaître les standards légaux;
• Connaître les tests et ses limites;
• Empêcher les personnes qui passent les tests de
consulter ceux-ci avant la passation;
• Être conscient de la nécessité d’avoir plusieurs sources
de données convergentes;
• Considérer les erreurs de mesure dans les résultats
d’un test;
• Comprendre les normes et leurs limites;
• Reconnaître que le contenu du test est limité;
• Reconnaître les répercussions de la validité d’un test;
• Appliquer les principes de la théorie des tests et les
principes d’interprétation des épreuves;
• Considérer l’erreur type de mesure;
• Suivre les instructions concernant l’évaluation;
• Veiller à ce que chaque sujet suive les indications pour
que les résultats au test soient le plus exacts possible
62
Quelle est la conclusion qu'on peut tirer des normes pratique/déontologie?
En vertu de la déontologie, le spécialiste est le seul responsable de ses actes. À lui de prendre les dispositions pour ce prévaloir de tous les moyens assurant un maximum de compétence dans l’exercice de ses fonctions. Ces fonctions l’amènent à savoir appliquer des principes de mesure dans le choix d’une stratégie de testage, dans la sélection et l’utilisation d’instruments de mesure, dans l’interprétation des résultats obtenus et dans la formulation de recommandations en vue de la prise de décisions.
63
Quelles sont les origines des Matrices Progressives de Raven?
J. C. Raven est un psychologue britannique;
Il a réalisé le « Raven’s progressive matrices » au départ pour une recherche sur l’origine génétique et environnementale des déficiences mentales (1930, 1936).
Différentes mises à jour et remaniements ont eu lieu depuis.
Trois versions sont actuellement disponibles au Québec:
Standard Progressive Matrices (élèves primaire)
Coloured Progressive Matrices (petits + âgés)
Advanced Progressive Matrices (secondaire et +)
64
Que sont les matrices progressives selon Raven?
C'est des formes géométriques, abstraites, cercles, carrés, triangles.
Augmentation de la difficulté : capacité à discriminer, procéder par analogie, à réaliser des permutations, à alterner des patterns, etc.
Progressive = niveau de difficulté augmente au fur et à mesure des items (faut pas sauter des items sinon on va trop se mélanger cognitivement, on va pu rien comprendre + on va manquer les autres items)
Le sujet doit réaliser l’opération plus facile, ensuite il lui sera possible de réaliser la suivante.
Il est possible, pour l’évaluateur, de voir où l’individu a bloqué (Items ou catégories).
65
Quelles sont les caractéristiques du test (matrices progressives Raven)
Test non-verbal à choix multiples (n’a pas de mots, juste des images)
Chacune des séries comporte 12 problèmes sous forme de dessins;
Chacun des problèmes comporte une partie manquante qu’il s’agit de trouver selon les options stipulées dans la séquence de dessins;
La bonne réponse se trouve parmi le choix de dessins proposés;
Dans chacune des séries, la première réponse est facile; la difficulté s’accroît au fur et à mesure.
66
Expliques comment le test de matrices progressives de Raven est développé pour des personnes normales
Test développé pour des personnes normales (QI qu’on va trouver à la fin varie de p-t 80 à 120) mais le test est sensible à donner des résultats assez précis du QI 65 jusqu’au QI 135 (mais on s’attend à que le QI varie entre 80 et 120)
67
Quelles sont les clientèles visées par les matrices progressives de Raven?
```
Enfants à compter de 6½ ans
Adolescents
Jeunes adultes, adultes
Personnes âgées
Employé(e)s
Déficients intellectuels
Traumatisés
```
68
Quels sont les 3 buts d'utiliser les matrices progressives de Raven?
1- Mesurer le facteur général « ou g » de l’intelligence tel que décrit par Spearman
2- Mesurer la capacité d’observation immédiate et la clarté de raisonnement (capacité de perception cohérente et une pensée disciplinée en situation de tension)
Le + important d’un test c’est de mettre la personne ds
un raisonnement abstrait pour mesurer sa capacité à
avoir une pensée ordonnée/disciplinée
3- Déterminer le potentiel d’apprentissage.
69
Qu'est-ce que le facteur g? (matrices progressives de Raven)
Le facteur g est la VARIANCE COMMUNE À TOUS LES CMPTS
Le facteur g est la base de tout cmpt intelligent, c’est la partie qui est générale à tout
Raven justifie sa théorie en disant que le facteur g fait partie de tous les cmpts intelligents
70
Quels sont les fondements théoriques des matrices progressives de Raven?
Spearman, psychologue britannique
1927: 1re théorie de l’organisation des traits basée sur
l’analyse statistique des scores aux tests
Théorie des deux facteurs:
1- Dans la formulation originale de la théorie :
« Toutes activités intellectuelles partage un facteur
commun appelé le facteur général ou facteur g »
2- Il y a de nombreux facteurs spécifiques ou facteur s
Une corrélation positive est alors attribuée au facteur g
Quand il teste qlq chose (un cmpt intelligent) il fallait avoir une corrélation positive au facteur g pour que ce cmpt soit intelligent
71
Quelle est l'origine du facteur g?
Le but des tests psychologiques devrait être de mesurer le facteur g pour chaque individu. (pcq le facteur g est la base de tout cmpt intelligent)
Si le facteur (g) est présent dans toutes les activités ou les habiletés, il fournit la seule base pour prédire la performance individuelle, d’une situation à une autre.
Il serait futile de mesurer les facteurs spécifiques puisque chacun d’eux, par définition, opère dans seulement une activité.
Plus tard, Spearman a admis des facteurs communs à un groupe d’activités, un « group factor », comme l’arithmétique, la mécanique, les habiletés linguistiques. (dimensions différentes)
Spearman proposa qu’un seul test hautement saturé en facteur g, remplacerait les collections d’items hétérogènes que l’on retrouvent dans d’autres tests d’intelligence et/ou d’aptitudes. (comme le WISC, Raven dit que le WISC est pas bon)
Il suggéra que ce test se baserait sur des relations abstraites (images), lesquelles seraient de meilleures mesures du facteur g.
72
Dans les propriétés psychométriques des matrices progressives de Raven, quelles sont les caractéristiques des échantillons?
Plusieurs échantillons (N=27 à N=996), de plusieurs origines (nationalités et milieux) différentes, sont présentés aux trois manuels des trois versions des Matrices Progressives de Raven.
Malheureusement, des données (échantillons) du Québec ne sont pas présentés aux manuels.
Par contre, plusieurs études interculturelles indiquent des différences négligeables dans les cas des tests non verbaux, notamment les matrices de Raven (instruments qui minimisent l’apport culturel).
73
Pourquoi utiliser des tests avec des images? (matrices progressives Raven)
Dans des tests avec des images les différences entre les cultures sont très petites (comparativement à des tests avec des mots)
74
Dans les propriétés psychométriques des matrices progressives de Raven, quelles sont les deux types de fidélité?
La fidélité « Test-retest »
Indique à quel point un instrument de mesure fournit des résultats constants d’une administration à l’autre et le degré de confiance que l’on peut accorder aux résultats) LA FIDÉLITÉ TEST-RETEST DE TOUS LES TEST DE MATRICE = Advanced Progressive Matrices : r = 0,76 à 0,92.
La fidélité « Cohérence interne »
Indique à quel point l’instrument de mesure possède des items consistants avec l’échelle total – unidimensionnelle – et le degré de confiance que l’on peut accorder aux résultats) :
Advanced Progressive Matrices : Méthode « Split-half » : r = 0,83 à 0,87.
75
Dans les propriétés psychométriques des matrices progressives de Raven, quelle est la validité utilisée?
La validité de construit:
Indique à quel point l’instrument de mesure évalue le construit qu’il est supposé d’évaluer – unidimensionnelle – et le degré de confiance que l’on peut accorder aux résultats) :
Advanced Progressive Matrices : Méthode de corrélations
Dans le tableau, on voit que le WAIS est le + élevé car cest le + similaire aux matrices
76
Durée, séquence et matériel requis pour matrices progressives Raven?
Durée : autour de 30 minutes à 1h. Mais, les Matrices Progressives de Raven sont des mesures de puissance plutôt que de vitesse, alors l’objectif n’est pas de mesurer la rapidité du répondant mais déterminer ses capacités par rapport au contenu du test. Le temps peut être noté mais y’a pas de limite.
Séquence : Dans le cas du test Advanced Progressive Matrices on peut commencer avec le set I et après le set II. Mais, c’est pas absolument nécessaire de faire l’administration du set I. Plusieurs tableau sont disponibles quand on administre seulement le set II.
Matériel requis : Guide de l’administrateur, Cahiers de test, feuilles-réponse (clé de correction), deux crayon à mine bien taillés (HB de préférence), gomme à effacer, papier brouillon, un chronomètre (si l’on veut contrôler le temps) et un carton portant l’inscription: « Testing! Ne pas déranger. »
77
Quelles sont les directives d'administration du test de matrices progressives de Raven?
- Test non-verbal à choix multiples (sans durée définie);
- Chacune des séries comporte 12 problèmes sous forme
de dessins;
- Chacun des problèmes comporte une partie manquante
qu’il s’agit de trouver selon les options stipulées dans la
séquence de dessins;
- La bonne réponse se trouve parmi le choix de dessins
proposés;
- Dans chacune des séries, la première réponse est
facile; la difficulté s’accroît au fur et à mesure;
- Administration individuel, en petit groupe ou par soi-
même;
- L’administrateur du test présente les 2 premières
questions, sans donner les réponses;
- L’administrateur intervient après 20 minutes, juste pour
présenter le temps.
78
Quelles sont les directives d'administration avant/pendant/après le test de matrices progressives de Raven?
Avant le test : lisez attentivement le Manuel d’administration. Assurez-vous des conditions générales de la salle, demandez aux répondants de libérer la table de travail (au besoin);
Pendant le test : assurez-vous qu’ils ont bien compris, vérifiez s’ils répondent bien aux questions (aux premières questions);
Après le test : les répondants ont complété le test?, le reinseignement sont exacts?, les espaces-réponses sont rempli correctement?
79
Quelles sont les directives de correction du test de matrices progressives de Raven?
1- Utiliser les clés de réponses :
La clé indique la réponse correcte;
Elle est conçu de façon à montrer chaque réponse alignée avec la réponse du candidat;
Chaque question n’a qu’une réponse exacte;
Additionner le nombre total de bonnes réponses du candidat;
Prenez votre temps pour bien corriger; des erreurs de correction peuvent invalider le test.
2- Utiliser les tableaux pertinents (voir les tableaux aux pages APM85-APM102) :
Ces tableaux indiquent les Rangs centiles, les Stanines et les Équivalents scolaires;
Noter que les ES sont des normes peu défendables (utiliser avec parcimonie).
80
Quelles sont les directives d'interprétation du test de matrices progressives de Raven?
1- La classification des scores selon le percentile:
Grade I: Intellectuellement supérieur (P95 et +, dans le même groupe d’âge);
Grade II: Définitivement au-dessus de la moyenne de la capacité intellectuelle (P75 à P94);
Grade III: Intellectuellement moyen (P25 à P74);
Grade IV: Définitivement au-dessous de la moyenne de la capacité intellectuelle (P6 à P24);
Grade V: Intellectuellement faible (P5 et -, dans le même groupe d’âge).
2- Tableau de comparaison des scores (valeurs approximatives)
3- Élaboration d’un rapport écrit:
Décrire le(s) test(s) utilisé(s) et ce qu’il(s) mesure(nt);
Présenter les résultats (centiles et d’autres)
Faire les nuances nécessaires (au besoin, présenter vos perceptions à propos du comportement du client au moment de la passation de l’épreuve, du local, des conditions générales, etc.).
81
Quels sont les avantages du test de matrices progressives de Raven?
Les avantages :
- Théorie du Facteur g (puissance mentale = aptitude à
apprendre; comportement intelligent): une théorie bien
exploré;
- Clientèle visée: adolescents et adultes;
- Échantillons bien établies (travaux de recherche et de
mise au point);
- Fidélité et Validité (corrélations avec d’autres tests) sont
bien explorées (bien démontrées);
- On peut déterminer le potentiel d’apprentissage et
interpréter la capacité d’observation immédiate et la
clarté de raisonnement d’un sujet;
- Les scores les plus élevés sont associés à un plus grand
potentiel.
82
Quels sont les inconvénients du test de matrices progressives de Raven?
Les inconvénients :
- Pas de normes pour les francophones du Canada,
mais… Y’a une erreur de mesure qui pourrait être
contrôlée mais qui ne l’est pas car on ne connaît pas la
norme
- Si on veut faire un diagnostic complet, c’est pas avec ce
test la qu’on peut le faire (inconvénient)
- Malheureusement ya pas de tableau d’interprétation ici
au quebec (test qui n’a pas de validation ici au qc, c’est
une des rares régions)
Ne mesure pas :
- Les motivations, l’estime de soi, les intérêts ou d’autres
traits personnalité;
- Les obstacles et les interactions dans la vie des
travailleurs;
- Le support (présent ou absent) que les personnes ont
dans son cheminement;
- L’évaluation émotive de sa capacité de bien réussir;
83
Qu'est-ce qu'on peut penser/conclure par rapport aux matrices progressives de Raven?
Il n’existe pas encore d’autres méthodes d’évaluation qui fournissent de meilleurs résultats.
En considérant les résultats obtenus à partir des calculs de fidélité et de validité, on peut dire qu’il s’agit d’un excellent outil pour l’évaluation du « potentiel intellectuel » d’un individu (de caractéristiques semblables à l’échantillon normatif – principalement de groupes qui sont représentés par les tableaux décrits au manuel ex: UK et US)
