examen 3 Flashcards

1
Q

qu’est-ce que la validité

A

degré avec lequel le test mesure ce qu’il est sensé mesurer

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Plusieurs instruments de mesure ne permettent pas d’observer directement le concept qu’on cherche étudier; alors, il est nécessaire de procéder au:

A

processus de validation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

la validité concerne quoi?

A

l’interprétation des résultats et le contexte de son utilisation et non l’instrument de mesure

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

le processus de validation est une façon de déterminer quoi?

A

le niveau de certitude qu’on peut avoir, en s’appuyant aux indices obtenus

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

l’évaluation de la validité est un processus __ d’accumulation de __

A

continu
preuve

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

VRAI OU FAUX
le nom d’un test peut être considérer comme une preuve de ce que le test mesure

A

FAUX

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

VRAI OU FAUX
un test n’est jamais valide à 100%?

A

vrai, c’est une question de degré selon les indices de validités vérifiés

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Quelles sont les 3 validités fondamentales selon le Standards for Educational and Psychological Testing

A

validité de contenu
validité pragmatique
validité de construit

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Qu’est-ce que la validité de contenu?

A
  • capacité d’un instrument à saisir les aspects de contenu pour lesquels il a été conçu, et juste eux
  • s’assurer que les contenus des items contribuent à évaluer les aspects fondamentaux de ce domaine, qu’ils forment un échantillon des items important
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

quel type de validité on examine lors de la construction de l’instrument de mesure

A

validité de contenu

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

la validité de contenu est généralement estimé par quelle méthode?

A

méthode juges-experts

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

quelles sont les stats habituellement utilisées pour la validité de contenu?

A
  • coefficient de validité de contenu
  • corrélation intra-classe
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

qu’est-ce que le coefficient de validité de contenu?

A

mesure la proportion des réponses des juges-experts qui sont d’accord sur certains aspects relatifs au contenu des items de l’instrument

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

qu’est-ce que la corrélation intra-classe

A

mesure l’association des d’opinions entre juges-experts ayant un certain degré formation en termes de trait quantitatif

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

qu’est-ce que la validation pragmatique?

A

Cette validation désigne la capacité d’un instrument à prédire le niveau de performance d’un groupe d’individus par rapport à des situations qu’ils rencontreront peut-être dans le futur

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

donner un exemple de validité pragmatique

A

évaluation de QI et succès professionnel

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

quelle est la procédure la plus simple pour évaluer la validité pragmatique?

A

calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents (soit deux moments présents, ou un moment présent et un futur)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

pourquoi on utilise une analyse de régression pour une validité pragmatique?

A

car un des objectifs est précisément de prédire la variance d’une variable (présente ou future) par le biais d’une (ou plusieurs) variable indépendante.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

quelles sont les deux types de validité pragmatique

A
  • validité concourante/concomitante
  • validité prédictive
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

qu’est-ce que la validité concourante/concomitante

A

on détermine le degré d’association entre les score obtenus au test et les scores obtenus à une mesure de référence

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

qu’est-ce que la validité prédictive

A

on évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

quelles sont les stats habituelles pour la validité pragmatique?

A
  • coefficient de détermination
  • corrélation multiple au carré
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

qu’est-ce que le coefficient de détermination?

A

pourcentage d’explication de la variance entre deux mesures, sans considérer l’ordre des mesures

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

qu’est-ce que la corrélation multiple au carré?

A

pourcentage d’explication de la variance entre deux (ou plusieurs) mesures, en considérant l’ordre des mesures

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

qu’est-ce que la validité de construit?

A

justesse avec laquelle l’ensemble d’items d’un instrument de mesure psychologique permet d’obtenir des résultats conformes aux concepts définis par son contexte théorique. Indique dans quelle mesure les énoncés d’un instrument sont cohérents avec la théorie

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

VRAI OU FAUX
Les entités hypothétiques, qui résultent d’une élaboration psycho-sociale et théorique: intelligence, personnalité, connaissances, compétences, dépression, motivation, intérêt sont directement accessible?

A

FAUX, pas directement accessible

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Ont peut considérer les construits comme des:

A

minis-théories car elle explique les relations entre différents concepts évalués par les items

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

quelles sont les façons robuste de calculer la validité de construit?

A
  • analyse multitrait-multiméthode
  • analyse factorielle
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
29
Q

qu’est-ce que l’analyse multitrait-multiméthode?

A

Une matrice de corrélation entre les résultats obtenus à différents traits et à différents méthodes

On s’attend à ce que la plus forte corrélation soit trouvé pour même trait-même méthode; et la plus faible corrélation soit trouvé pour traits différents-méthodes différentes

Limite: demande beaucoup de temps de la part des sujets et difficulté à trouver et faire la passation des plusieurs tests qui évaluent les mêmes traits

30
Q

qu’est-ce que l’analyse factorielle?

A

d’avoir au moins 3 variables observées qui sont corrélées entre elles sur une nouvelle variable qui retient l’essentiel de la variance commune. Cette nouvelle variable représente le facteur

31
Q

quelles sont les questions typiques de l’analyse factorielle?

A

(1) Combien de facteurs l’analyse nous propose?

(2) Quel est le pourcentage d’explication de la variance?

(3) Est-ce que tous les items sont valides ou existe-il des items nécessitant une reformulation/exclusion?

32
Q

VRAI OU FAUX
le résultat du processus de validation de construit amène à un indice statistique unique

A

FAUX
il amène à plusieurs résultats qui doivent être interprétés en lien avec les éléments théoriques sur lesquels le test est basé

33
Q

quels sont les deux types de validité de construit?

A
  • validité convergente
  • validité discriminante
34
Q

qu’est-ce que la validité convergente?

A

tester la force de l’association entre les résultats des items de l’échelle cible et les autres qui mesurent le même construit. En ce sens, les résultats de l’outil devrait corréler avec les autres outils qui évaluent le même construit.

35
Q

qu’est-ce que la validité discriminante?

A

vérifier à quel point les résultats des items de l’échelle cible s’écarte d’autres mesures de construits différents. En ce sens, l’outil ne devrait pas corréler de façon importante avec ces autres construits.

36
Q

quels sont les 4 points importants à tenir en compte par rapport à un test?

A
  • il peut être nécessaire d’élaborer un nouvel instrument d’évaluation psychologique
  • il est parfois nécessaire d’utiliser un instrument dans une autre langue que celle d’origine
  • il peut être nécessaire d’utiliser un instrument dans une culture/région différente que celle d’origine
  • il peut être nécessaire de tester un modèle explicatif d’un comportement dans une autre langue ou culture
37
Q

Pour bien procéder, les psychométriste on deux options pour rejoindre le plus de personnes possible:

A
  1. élaborer plusieurs tests différents en considérants les différentes langues et cultures
  2. traduire un seul et même tests dans différentes langues et cultures
38
Q

quel est l’avantage et le désavantage de CRÉER différents tests pour évaluer des comportements ou des dimensions de la personnalité?

A

avantage: on respect les caractéristiques typiques de la culture cible

désavantage: pas de points de comparaison

39
Q

quel est l’avantage et désavantage de TRADUIRE un même test pour l’utiliser dans plusieurs langues et cultures?

A

avantage: beaucoup moins de travail au niveau méthodologique

désavantage: diminution au niveau de la précision de la mesure et problématique au niveau de l’interprétation des normes et mêmes d’autres qualités psychométriques

40
Q

une autre méthode permettant minimiser les problèmes existe, quelle est-elle?

A

méthode d’adaptation des tests

41
Q

quels sont les avantages de la méthode d’adaptation des tests?

A
  • permet un plus grand respect des idiosyncrasies de la culture cible
  • permet qu’on garde une bonne précision de la mesure, entre autres qualités psychométriques pertinentes
  • permet de s’assurer que la structure factorielle et le contenu du test soit relativement le même
  • permet d’utiliser la même structure tel que proposer à la présentation de l’instrument original
  • permet de démontrer l’équivalence des épreuves administrées dans des langues et cultures différentes
42
Q

quels sont les difficultés de la méthode d’adaptation des tests?

A
  • les différences linguistiques et culturel
    • équivalence des concepts
    • format du test
    • limite de temps
  • difficultés méthodologiques
    • choix et formation des traducteurs
    • procéder de traduction
43
Q

donner 2 exemples d’équivalence des tests adaptés

A
  1. résultats équivalent: Alpha de Cronbach: validité de critère
  2. validité de construit: une analyse factorielle devrait indiquer que les versions du test comporte le même nombre de facteurs et que les items de chacune des versions se regroupe de la même façon
44
Q

quels sont les étapes pour adapter un test

A

1.s’assurer de la pertinence du contenu du test pour la population visée

  1. déterminer si une traduction est souhaitable
  2. choisir les traducteurs
  3. traduire (traducteur) et adapter (juges-experts) le test au contexte voulu
  4. réviser la version adapté du test
  5. conduire une mise à l’essai de la version adaptée
  6. conduire une étude psychométrique exhaustive de la version adaptée
  7. produire un manuel de la version adaptée
45
Q

VRAI OU FAUX
il est nécessaire de documenter et d’être transparent sur chaque étapes de l’adaptation d’un test

A

VRAI

46
Q

quels sont les indicateurs de qualité de l’adaptation?

A
  • analyse d’items
  • fidélité
  • équivalence au niveau des construits
  • validité pragmatique
47
Q

qu’est-ce que représente l’indicateur de qualité: analyse d’items

A

les items de chaque version devraient être équivalent en terme de difficulté et de discrimination

48
Q

qu’est-ce que représente l’indicateur de qualité: fidélité

A

Les résultats calculés à partir des versions adaptées devraient présenter des indices comparables de cohérence interne

49
Q

qu’est-ce que représente l’indicateur de qualité: équivalence au niveau des construits

A

Les items de chaque version devraient idéalement être équivalents en termes de saturation factorielle

50
Q

qu’est-ce que représente l’indicateur de qualité: validité pragmatique

A
  • Concomitante/concourante (corrélation d’une mesure donnée avec une autre mesure servant de critère et qui évalue sensiblement le même aspect);
  • Prédictive (Lorsqu’une mesure prédit correctement un comportement ultérieur).
51
Q

qu’est-ce qu’on doit retrouver dans un manuel de test?

A
  • l’objectif du test
  • sa forme finale
  • ses qualités métrologiques
  • son dimensionnement
52
Q

quelles sont les étapes de constructions d’un instrument de mesure?

A
  1. analyser les besoins
  2. identifier les comportements
  3. spécifier les principes
  4. rédiger les items
  5. expertiser la première version
  6. pré tester
  7. analyser les items
  8. dimensionner/calibrer
  9. rédiger un manuel
53
Q

que représente l’étape d’analyser les besoins?

A
  • identifier les motifs qui justifient les besoins d’évaluation
  • quels sont les objectifs de cette évaluation?
  • est-ce que d’autres mesures pourraient être utiliser pour répondre aux besoins?
54
Q

que représente l’étape d’identifier les comportement pour la construction d’un instrument de mesure?

A

On se demande quels sont les comportements observables susceptibles de représenter le construit qu’on veut mesurer ?

55
Q

que représente l’étape de spécifier les principes pour la construction d’un instrument de mesure?

A

présenter comment on va devoir mesurer ces comportements:
- nombre d’items
- caractéristiques du matériel
- Échelle Likert?

56
Q

que représente l’étape de rédiger les items pour la construction d’un instrument de mesure?

A
  • il faut un nombre plus grands d’items au début pour avoir un certain nombre d’items utiles. il faut obeserver:
  • le contenu de questions,
  • la formulation de questions,
  • la séquence de questions
  • le format des réponses souhaitées,
  • la présentation du matériel.
57
Q

comment rédiger des items pour ne pas influencer les réponses?

A
  1. Utilisez une communication simple et des mots familiers
  2. Évitez des mots ambigus
  3. Évitez des questions qui suggèrent déjà les réponses
  4. Évitez des questions avec de contenus ou de possible réactions de sentiments d’approbation ou de désapprobation émotionnelle
  5. Éviter des références à des mots ou concepts qui impliquent de l’acceptation ou du rejet
  6. Éviter des alternatives implicites
  7. Éviter des questions à deux contenus
  8. Éviter des questions longes
  9. Éviter qu’une question répond l’autre
58
Q

qu’est-ce qu’on doit particulièrement observer lors de la rédaction d’items:

A
  • Le contenu nécessite une question distincte?
  • La question est inutilement détaillée ou spécifique?
  • Plusieurs questions sont nécessaires au sujet de ce contenu ou une seule est suffisante?
  • Tous les aspects importants de ce contenu seront obtenus sur la façon dont les questions ont été établies?
  • Les gens ont les informations nécessaires pour répondre aux questions?
  • La question contient des opinions et jugements liés à ce sujet?
  • Les répondants sont prêts à donner les contenus demandés ?
  • Quelles réactions on pourrait avoir quand on va répondre à cette question?
  • Le contenu est très intime, il expose les gens, il provoque de la résistance et de fausses réponses?
  • Faut-il que la question soit plus concrète, spécifique et plus directement liés à l’expérience personnelle?
  • Le contenu de la question n’est pas biaisé ou chargé dans une certaine direction?
  • La question est bien neutre afin de ne pas influencer les autres réponses?
59
Q

que représente l’étape d’expertiser la première version pour la construction d’un instrument de mesure?

A

Soumettre à la vérification de la clarté du langage, pertinence théorique et dimensionnalité par un groupe d’expert

60
Q

que représente l’étape de pré-tester pour la construction d’un instrument de mesure?

A

Pré-tester la première version à l’aide d’un échantillon de la population ciblée, visant à peaufiner cette version et développer la version définitive.
- Cet échantillon doit être aussi suffisamment grand pour garantir une bonne qualité au pré-test.

61
Q

que représente l’étape d’analyser les items pour la construction d’un instrument de mesure?

A
  • Vérifier les résultats descriptifs et corrélationnels
  • Explorer les possibles problèmes d’acquiescence (positive ou négative) au niveau des réponses aux items
  • détecter les possibles «inconvénients» de la variabilité des items
  • vérifier la normalité des dimensions, si cela s’applique
  • chercher les possibles problèmes de colinéarité, ou d’autres (si possible, explorer le niveau de difficulté des items par la TRI).
62
Q

que représente l’étape de dimensionner/calibrer pour la construction d’un instrument de mesure?

A
  • explore les analyses de validité et de fidélité avec un nouveau échantillon (encore plus important au niveau de la quantité de personnes).
  • Créer des normes (avec l’instrument définitif).
63
Q

que représente l’étape de rédiger un manuel pour la construction d’un instrument de mesure?

A
  • La rédaction d’un manuel d’utilisateur, on présente:
  • Les objectifs pour lesquels il a été crée
    • A quoi serve-t-il ?
    • Dans quel contexte sera-t-il utilisé ?
    • Que doit-il mesurer ?
    • Est-ce une variante d’un test
      existant?
    • Quelle population est concernée ?
    • Précision de la forme
  • Les bases théoriques du test;
  • Les qualifications requises pour l’appliquer et l’interpréter;
  • Les consignes et les principes d’interprétation des résultats;
  • Les données métriques.
  • Définition de l’échantillon + passation
  • Administration, directives, limites de temps, mode de correction
  • Le constructeur doit assumer une responsabilité éthique:
  • Les informations du manuel doivent garantir un usage correct du test, dans le respect des principes éthiques.
64
Q

quels sont les caractéristiques des examinateurs bien formés?

A
  • choisissent les tests qui conviennent le mieux
  • connaissent la documentation des test
  • capable d’évaluer les qualités techniques des tests
  • sensible aux conditions de passation
  • font de conclusions ou des recommandations seulement après avoir considéré les résultats en relation avec les caractéristiques de la personne évaluée.
65
Q

quand est-ce que les professionnel peuvent contester la valeur d’un test?

A
  • lorsqu’ils conduisent à des interprétations hostiles à certains groupes;
  • lorsqu’ils constituent la seule base de décision;
  • lorsque les conséquences reliées au fait d’obtenir de faibles résultats sont trop importantes.
66
Q

quelles règles retrouvons nous dans la section V du code de déontologie des psychologues?

A
  • Le psychologue doit interpréter le matériel psychologique avec prudence;
  • Le psychologue ne peut remettre à autrui les données brutes et non interprétées inhérentes à une consultation psychologique;
  • Le psychologue doit éviter toute possibilité de fausse interprétation ou d’emploi erroné des informations qu’il fourni à autrui.
67
Q

Dans tout rapport psychologique, écrit ou verbal, le psychologue doit s’en tenir à son interprétation du matériel psychologique relié à:

A
  • la consultation,
  • à ses conclusions et
  • à ses recommandations;
68
Q

En ce qui concerne l’interprétation des tests, il faut tenir compte des principes qui suivent :

A
  • ils peuvent faciliter et améliorer la prise de décisions en fournissant une information objective

ils favorisent la culture où ils ont été mis au point. Les différences et les désavantages d’ordre culturel peuvent influencer les résultats et doivent être pris en considération lors de l’interprétation des résultats

69
Q

VRAI OU FAUX
Plus le client ressemble à tous égards à l’échantillon normatif, plus les comparaisons sont valables

A

VRAI

70
Q

VRAI OU FAUX
Lorsque le client diffère du groupe normatif sur le plan de la culture, il est possible d’interpréter de telles comparaisons comme des indications de sa capacité (rendement).

A

FAUX, C’EST INACCEPTABLE

71
Q

Compte tenu de grand nombre de variables pouvant influencer négativement les résultats d’un test, il est essentiel de considérer les scores comme un __ et non comme des points précis.

A

classement

72
Q

quels sont les conclusions à tirer sur l’utilisation compétente des tests?

A
  • Accepter la responsabilité de l’utilisation compétente des tests;
  • Avoir une connaissance satisfaisante du code de déontologie;
  • Ne pas photocopier des documents protégés;
  • Connaître les standards légaux;
  • Connaître les tests et ses limites
  • Éviter que les personnes qui passent les tests les consultent;
  • Être conscient de la nécessité d’avoir plusieurs sources d’informations convergentes;
  • Considérer les variances d’erreurs dans les résultats d’un test;
  • Comprendre les normes et leurs limites;
  • Reconnaître que le contenu du test et limité;
  • Connaître les répercussions (positive et négative) de la validité d’un test;
  • Considérer l’erreur type de mesure;
  • Appliquer les principes de la théorie des tests et les principes d’interprétation des résultats;