Examen 3 Flashcards

1
Q

Peut-on dire d’un test qu’il est valide après sa première validation?

A

Non, il faut attendre une dizaine d’années avant de dire qu’un test est valide

Même que ce n’est pas le test qui est valide, ce sont ses conditions générales et sa clientèle

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Quels sont les 3 types de validités?

A

Validité de contenu
Validité pragmatique
Validité de construit

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Qu’est-ce que la validité?

A

Degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Qu’est-ce que la validité concerne?

A

L’interprétation des résultats des items, et non l’instrument. Alors, ce n’est pas l’instrument qui est valide.

Le contexte de son utilisation (clientèle et conditions en général)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Le processus de validation est une façon de déterminer le niveau de certitude…..

A

qu’on peut avoir, en s’appuyant aux indices obtenus

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

L’évaluation de la validité est un processus _______ d’accumulation de ____ ou d’______

A

continu
preuves
évidences

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Vrai ou faux
Le nom du test est une bonne preuve de ce que le test mesure

A

Faux

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Vrai ou faux
La validité est une affaire de tout ou rien

A

Faux
C’est plutôt une question de degré selon les indices de validité vérifiés

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Que concerne la validité de face?

A

La présentation du test, sa structure

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Donnez un exemple de validité de face

A

Échelle likert en Am du Nord et échelle dichotomique en Am du Sud.

Puisqu’on est habitué aux échelles de Likert, on aurait peut-être de la difficulté à répondre à des échelles dichotomiques (on voudrait nuancer) vs si on présente des échelles likert en Am du Sud, ils auraient peut-être tendance à se ranger dans les extrêmes et ne pas nuancer

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Quels sont les deux types de validité de contenu?

A

Contenu et apparente
Bien que certains disent que les deux sont équivalents et d’autres disent que ce n’est pas la même chose

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Quels sont les deux types de validité pragmatique?

A

Critériée, prédictive

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Quels sont les deux types de validité de construit?

A

Conceptuelle et théorique

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Expliquez la validité de contenu

A

Désigne la capacité d’un instrument à mesurer (saisir) les aspects de contenu pour lesquels il a été conçu, et ceux-là seulement.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Expliquez la validité de contenu dans le cas d’une épreuve de connaissance

A

Il faut s’assurer que le contenu des items contribuent à évaluer les aspects fondamentaux de ce domaine de connaissance, qu’ils forment un échantillon des items importants.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Quand examine-t-on normalement la validité de contenu?

A

Normalement lors de la construction de l’instrument (choix des contenus des items)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Quelle méthode est normalement utilisée pour estimer la validité de contenu et en quoi consiste-t-elle?

A

Méthode des juges-experts
Des personnes qui ont une connaissance reconnue du concept à mesurer et aussi une expertise dans la construction d’instruments de mesure. Ces personnes sont invitées à se prononcer sur le contenu de chaque énoncé, soit : clarté, représentativité, exhaustivité, dimensionalité et pertinence

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Dans la méthode des juges-experts, qu’est-ce que la représentativité?

A

Déterminer si l’item représente bien la théorie concernée

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Dans la méthode des juges-experts, qu’est-ce que l’exhaustivité?

A

Est-ce que l’ensemble des items mesurent toute la théorie?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Dans la méthode des juges-experts, qu’est-ce que la dimensionalité?

A

Quels items touchent quelles dimensions?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Dans la méthode des juges-experts, qu’est-ce que la pertinence?

A

Est-ce que c’est pertinent ces contenus là à cette personne? Faut pas trop en demander aux gens, ni les gêner, sinon la variance d’erreur peut augmenter

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Dans la méthode des juges-experts, qu’est-ce que la clarté?

A

Au niveau linguistique

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Comment on calcule un % à partir d’un r de corrélatio?

A

On l’élève au carré (r2 = coefficient de détermination)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Pour quel type de données la Kappa de Cohen sert-il?

A

Données dichotomiques

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Quelles sont les statistiques habituellement utilisées pour la validité de contenu?

A

Coefficient de validité de contenu
Corrélation (Pearson) intra-classe

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Que mesure le coefficient de validité de contenu?

A

Proportion des réponses des juges-experts qui sont d’accord sur certains aspects relatifs au contenu inhérent aux items de l’instrument

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Que mesure la corrélation intra-classe?

A

Association des opinions entre juges-experts ayant un certain degré de formation en termes de trait quantitatif et qualitatif

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

Qu’est-ce que la validation pragmatique?

A

Capacité d’un instrument à prédire (aussi explicite et invariable que possible) le niveau de performance (cpt) d’un groupe d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
29
Q

Donnez un exemple de validation pragmatique

A

Évaluation du QI et succès professionnel

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
30
Q

Quelle est la procédure pour la validation pragmatique?

A

Calculer la corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents (pouvant être deux moment “présents” ou un moment présent et l’autre “futur”).
On utilise normalement l’analyse de régression pour ça.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
31
Q

Que permet la validité pragmatique?

A

Déterminer dans quelle mesure les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement (% de variance expliquée)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
32
Q

Quels sont les deux types de validité pragmatique?

A

Concomitante/concourante
Prédictive

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
33
Q

Comment se différencient les deux types de validité pragmatique?

A

Concomitante : association entre score au test et score à une mesure de référence, les deux tests étant administrés presque en même temps
Prédictive : Association entre score au test et réalité future, les deux étant séparé d’un laps de temps important

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
34
Q

Quelles sont les statistiques souvent utilisées dans la validation pragmatique?

A

Coefficient de détermination
Corrélation multiple au carré R2 (aussi beta standardisé)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
35
Q

Quelle est la différence entre le coefficient de détermination et la corrélation multiple au carré R2?

A

Les deux expriment le % d’explication de la variance entre deux mesures. CD ne se préoccupe pas de l’ordre et R2 oui

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
36
Q

Qu’est-ce que la validité de construit?

A

Justesse/certitude avec laquelle l’ensemble des items d’un instrument de mesure permet d’obtenir des résultats conformes aux concepts définis par son contexte théorique

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
37
Q

La validité de construit indique dans quelle mesure les énoncés d’un instrument sont ___________ (__________ interne/externe) avec la théorie.

A

cohérents (avec la théorie)
structure interne

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
38
Q

Quel est le surnom qu’on peut donner aux équations structurelles?

A

Destructeur de théorie

39
Q

Que sont les construits?

A

Sont aussi considérés des “mini-théories” qui expliquent les relations entre différents concepts évalués par les items
On les appelle aussi “facteurs” qui sont expliqués par l’association entre les concepts inhérents aux variables directement mesurables.

40
Q

Remet en ordre
Pseuso cause-effet
Analyse factorielle exploratoire
Analyse factorielle confirmatoire

A

Analyse factorielle exploratoire
Analyse factorielle confirmatoire
Pseuso cause-effet

41
Q

Dans les diagrammes d’analyse factorielle, que veulent dire les flèches ronde et droite?

A

Ronde : Covariance ou corrélation
Droite : B de régression

42
Q

Dans une analyse factorielle exploratoire de 2e ordre, que cherche-t-on?

A

Les items qui ont une haute saturation factorielle

43
Q

Quel autre nom peut-on donner l’analyse factorielle confirmatoire?

A

Modelage d’équation structurelle exploratoire

44
Q

Quelles sont les deux façons robustes de calculer la validité de construit?

A

Analyse multitrait-multiméthode
Analyse factorielle

45
Q

Qu’est-ce que l’analyse multitrait-multiméthode et à quoi peut-on s’attendre?

A

Une matrice de corrélation entre les résultats obtenus à différents traits et différentes méthodes.
La plus forte corrélation devrait être même trait-même méthode, et à l’inverse, la plus faible devrait être pour traits différents-méthodes différentes

46
Q

Quelle est la limite de la méthode multitrait-multiméthode?

A

Demande beaucoup de temps de la part des sujets (passation de plusieurs tests et deux moments différents) + difficulté à trouver et faire la passation des plusieurs tests qui évaluent le même trait.

47
Q

Comment sont représentés les deux temps de mesure dans la matrice de corrélation multitrait-multiméthode?

A

Temps 2 en y
Temps 1 en x

48
Q

Dans la matrice de corrélation multitrait-multiméthode, à quoi correspond la diagonale principale?

A

Fidélité test-retest

49
Q

Comment fonctionne l’analyse factorielle exploratoire?

A

Avoir au moins 3 (préférablement plus) variables observées qui sont corrélées entre elles sur une nouvelle variable (latente) qui retient l’essentiel de la variance commune. Cette nouvelle variable représente le facteur.

50
Q

Quelles sont les questions typiques que l’on peut se poser dans l’analyse factorielle exploratoire?

A

Combien de facteurs l’analyse nous propose
Quel est le pourcentage d’explication de la variance
Est-ce que tous les items sont valide ou existe-t-il des items nécessitant une reformulation/exclusion?

51
Q

Pour te familiariser avec les sorties spss, va voir le ppt gros paresseux

A
52
Q

Vrai ou faux
Un item qui a une saturation factorielle à deux facteurs est doublement valide

A

Faux
Non-valide, il faudrait l’exclure

53
Q

Vrai ou faux
La validation de construit donne un chiffre à interpréter

A

Faux
Ça en donne plusieurs qui doivent être interprétés en lien avec les éléments théoriques sur lequel le test est basé.

54
Q

Qu’est-ce qui peut aider à mesurer la validité de construit?

A

Si la théorie sur laquelle est basée le test est claire

55
Q

Quels sont les deux types de validité de construit?

A

Validité convergente
Validité discriminante

56
Q

Qu’est-ce que la validité convergente?

A

Association entre les résultats des items de l’échelle cible et les autres qui mesurent le même construit

57
Q

Qu’est-ce que la validité discriminante?

A

Vérifier à quel point les résultats des items de l’échelle cible s’écartent d’autres mesures de construits différents

58
Q

Vrai ou faux
Il est parfois nécessaire d’élaborer un nouvel instrument d’évaluation psychologique

A

Vrai

59
Q

Vrai ou faux
On utilise toujours un instrument d’évaluation psy dans sa langue d’origine

A

Faux
Il est parfois nécessaire d’utiliser un instrument d’évaluation psy dans une langue différente de celle qui a été utilisée à l’origine

60
Q

Vrai ou faux
Un instrument développé au brésil ne peut être qu’utilisé au brésil

A

Faux
Il est parfois nécessaire d’utiliser un instrument d’évaluation psy dans une culture différente de celle où le test a vu le jour (il va falloir l’adapter)

61
Q

Vrai ou faux
Il est parfois nécessaire de tester un modèle explicatif d’un cpt dans une langue et/ou culture différente de celle où il a été originellement créé

A

Vrai

62
Q

Quelles deux options se présentent au psychométristes lors de l’élaboration d’un test?

A

Élaborer plusieurs tests en considérant les différentes langues et cultures
Traduire un seul et même test pour qu’on puisse l’utiliser dans plusieurs langues et plusieurs cultures

63
Q

Quels sont les points à réfléchir lors de l’élaboration d’un instrument d’évaluation des cpts ou de la personnalité?

A

Respecte-t-on les caractéristiques typiques?
Mais on n’a pas de point de comparaison

64
Q

Quel est un avantage de traduire un seul et même test pour qu’on puisse l’utiliser dans plusieurs langues et plusieurs cultures?

A

Beaucoup moins de travail au niveau méthodologique, notamment dans la composition de l’échantillonnage

65
Q

Quel est un inconvénient de traduire un seul et même test pour qu’on puisse l’utiliser dans plusieurs langues et plusieurs cultures?

A

Une diminution au niveau de la précision de la mesure et problématique au niveau de l’interprétation des normes

66
Q

Quelle est une autre option pour qui permet de minimiser les problèmes associés à la traduction?

A

Adaptation du test

67
Q

Que permet l’adaptation des tests?

A

Un plus grand respect des idiosyncrasies de la culture
Garder une bonne précision de la mesure
S’assurer que le contenu et la structure factorielle soient relativement les mêmes
Utiliser la même structure que le test original
Démontrer l’équivalence des épreuves administrées dans des langues et cultures différentes

68
Q

Quelles sont les difficultés de l’adaptation?

A

Différences linguistique et culturelle
- Les mots doivent garder le même sens
- Format du test
- Limite de temps (sensiblement le mm nb de mots)
Difficultés méthodologiques
- Choix et formation des traducteurs
- Procédé de traduction (forward ou backward), dépendamment de la langue

69
Q

Comment devrait être la validité de construit pour un test adapté?

A

Une analyse factorielle devrait indiquer le même nombre de facteurs dans les versions du test, et aussi que les items de chacune des versions se regroupent de la même manière.

70
Q

Quelles sont les étapes a suivre pour l’adaptation d’un test?

A

S’assurer de la pertinence du contenu du test pour la population visée
Déterminer si une traduction est souhaitable (ou créer un nouvel instrument)
Choisir les traducteurs
Traduire (traducteurs) et adapter (juges-experts) le test au contexte voulu
Réviser (juge-experts) la version adaptée du test
Conduire une mise à l’essai de la version adaptée
Conduire une étude psychométrique exhaustive de la version adaptée
Produire un manuel de la version adaptée

71
Q

Quels sont les indicateurs généraux de la qualité de l’adaptation?

A

Analyse d’items
Fidélité
Équivalence au niveau du construit
Validité pragmatique (de critère)

72
Q

Comment s’applique l’analyse d’items dans l’adaptation d’un test?

A

Les items de chaque version devraient être équivalents en terme de difficulté et de discrimination

73
Q

Comment s’applique la fidélité dans l’adaptation d’un test?

A

Les résultats calculés à partir des versions adaptées devraient présenter des indices de cohérence interne comparables

74
Q

Comment s’applique l’équivalence au niveau du construit dans l’adaptation d’un test?

A

Les items de chaque version devraient être équivalents en terme de saturation factorielle

75
Q

Comment s’applique la validité pragmatique dans l’adaptation d’un test?

A

Concomitante et prédictive

76
Q

Vrai ou faux
La construction d’un test se termine lors de sa publication

A

Faux
Ce n’est pas nécessairement le cas

77
Q

Quels éléments doivent être inclus dans un manuel de test?

A

Tous les éléments qui vont permettre au praticien d’évaluer la qualité de l’outil
Objectif du test, aspects/nuances théoriques
Forme finale, qualités métrologiques
Dimensionnement

78
Q

Arranger les étapes de la construction d’un instrument de mesure
Spécifier les principes
Rédiger les items
Rédiger un manuel
Dimensionner/Calibrer
Analyser les besoins
Analyse les items
Pré tester
Identifier les cpts
Expertiser la 1ere version

A
  1. Analyser les besoins
  2. Identifier les cpts
  3. Spécifier les principes
  4. Rédiger les items
  5. Expertiser la 1ere version
  6. Pré tester
  7. Analyser les items
  8. Dimensionner/Calibrer
  9. Rédiger un manuel
79
Q

Décrire l’étape : Analyser les besoins

A

Identifier les motifs qui justifient les besoins d’évaluation
D’autres mesures pourraient-elles répondre au même besoin

80
Q

Décrire l’étape : Identifier les cpts

A

Quels sont les cpts observables qui sont susceptibles de représenter le construit

81
Q

Décrire l’étape : Spécifier les principes

A

Présenter comment on va mesurer les cpts précédemment identifiés

82
Q

Décrire l’étape : Rédiger les items

A

Il faut avoir un grand nombre d’items au départ pour avoir un certain nombre d’items utiles. Il faut observer le contenu des questions, la formulation, la séquence, le format de réponse souhaitée et la présentation du matériel

83
Q

Complète les 9 commandements de la formulation d’items
1. Utilisez une communication _________ et des mots ____________
2. Évitez des mots __________
3. Évitez des questions qui suggèrent déjà les ____________
4. Évitez des questions avec des contenus ou de possible réactions de sentiments d’_________ ou de _____________ émotionnelle
5. Évitez des __________ à des mots ou concepts qui impliquent de l’acceptation ou du ________
6. Évitez des _________ implicites
7. Évitez des questions à deux __________
8. Évitez des questions ____________
9. Évitez qu’une question __________ à l’autre

A
  1. Utilisez une communication simple et des mots familiers
  2. Évitez des mots ambigus
  3. Évitez des questions qui suggèrent déjà les réponses
  4. Évitez des questions avec des contenus ou de possible réactions de sentiments d’approbation ou de désapprobation émotionnelle
  5. Évitez des références à des mots ou concepts qui impliquent de l’acceptation ou du rejet
  6. Évitez des alternatives implicites
  7. Évitez des questions à deux contenus
  8. Évitez des questions longues
  9. Évitez qu’une question réponde à l’autre
84
Q

Décrire l’étape : Expertiser cette 1ere version

A

Soumettre à la vérification de la clarté du langage, pertinence théorique et dimensionnalité par un groupe d’expert. Attention à ne pas avoir de consanguinité formationnelle

85
Q

Décrire l’étape : Pré tester

A

Prétester la 1ere version à l’aide d’un grand échantillon de la pop ciblée, visant à peaufiner cette version et développer la version finale

86
Q

Décrire l’étape : Analyser les items

A

Résultats descriptifs et corrélationnels
Détecter les problèmes d’acquiescence
Détecter les inconvénients de la variabilité des items (est-ce que je mesure autre chose)
Vérifier la normalité des dimensions, si applicable
Chercher les possibles problèmes de colinéarité ou autres

87
Q

Décrire l’étape : Dimensionner/calibrer

A

Après le pré-test, on fait des analyses de validité et fidélité avec un nouvel échantillon
Créer des normes avec l’échantillon définitif

88
Q

Que permet le processus d’évaluation?

A

Faire une appréciation des forces, des faiblesses, des particularités et des comportements des individu

89
Q

Pourquoi l’accès aux tests psychologiques est contrôlé?

A

Pour garantir que le matériel sera utilisé par une personne qualifiée

90
Q

Caractéristiques des examinateurs bien formés
Ils ______ les tests qui conviennent à la fois au _________ visé et aux ___________ évaluées.
Ils __________ la documentation portant sur le test choisi et les derniers __________ qui le concernent
Ils sont capables d’évaluer les ________ ___________ des tests
Ils sont sensibles aux ______________ de passation
Ils font des ________ ou des ______________ seulement après avoir considéré les résultats en relation avec les ____________ de la personne évaluée

A

choisissent, but, personnes
connaissent, développements
qualités techniques
conditions
conclusions, recommandations, caractéristiques

91
Q

Quand est-ce que les professionnels doivent contester la valeur des tests?

A

Quand ils conduisent à des interprétations hostiles à certains groupes
Qd ils constituent la seule base de décision
Quand les conséquences reliées au fait d’obtenir de faibles résultats sont trop importantes

92
Q

Quelles sont les trois règles de la section V du code de déontologie des psychologues?

A

Le psy doit interpréter le matériel psychologique avec prudence
Le psy ne peut remettre à autrui les données brutes et non interprétées inhérentes à une consultation psychologique
Le psy doit éviter toute possibilité de fausse interprétation ou d’emploi erroné des infos qu’il fourni à autrui

93
Q

Les tests peuvent faciliter et _____________ la ________ de ___________ en fournissant une info objective
Les tests ________ la ___________ au sein de laquelle ils ont été mis au point.
Plus le _______ ressemble à tous égards à l’échantillon _________, plus les comparaisons sont valables
Lorsque le client ________ du groupe normatif sur le plan de la _________, il est inacceptable d’interpréter de telles comparaisons comme des indications de sa ________
Compte tenu du grand nombre de ________ pouvant influencer négativement les résultats d’un test, il est essentiel de considérer les scores comme un ______________ et non comme des points précis

A

améliorer, prise, décision
favorisent, culture
client, normatif
diffère, culture, capacité
variables, classement

94
Q

Utilisation compétente des tests
Accepter la __________ de l’utilisation compétente des tests
Avoir une _______________ satisfaisante du code de déontologie
Ne pas _______des documents protégés
Connaître les ________ légaux
Connaître le test et ses ________
Éviter que les personnes qui passent les tests les ___________
Être conscient de la nécessité d’avoir plusieurs __________ d’_____________ convergentes
Considérer les __________ d’___________ dans les résultats d’un test
Comprendre les __________ et leurs limites
Reconnaître que le __________ du test est limité
Connaître les répercussions de la ___________ d’un test
Considérer _________ de mesure
Appliquer les principes de la __________ des tests et les principes d’_____________ des résultats

A

responsabilité
connaissance
photocopier
standards
limites
consultent
sources d’informations
variances d’erreur
normes
contenu
validité
l’erreur-type
théorie, interprétation