Cours 2 - Modèle de la cible; Étape 1 : Usage anticipé Flashcards

1
Q

Qui a inventé le modèle de la cible?

A

Chiocchio, 1996

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Qu’est-ce que le modèle de la cible? Quel processus décrit-il?

A

Un processus qui décrit :
• Comment construire/modifier un instrument psychométrique.
• Comment vérifier les qualités psychométriques d’un instrument.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Quels sont les trois concepts du modèle de la cible?

A

Fidélité/fiabilité
Validité
Utilité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Qu’est-ce que la fidélité/fiabilité?

A

C’est quel niveau d’erreur de mesure l’instrument contient.
Si le score obtenu représente bien le score réel.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Qu’est-ce que la validité?

A

C’est à quel point l’instrument mesure ce qu’il est censé mesurer.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Qu’est-ce que l’utilité?

A

C’est est-ce que l’instrument sert à quelque chose.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Quel est la partie la plus importante du modèle de la cible?

A

La fidélité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Quels sont les 2 phases du modèle de la cible?

A

Préparation
Vérification

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Qu’est-ce que la phase de préparation?

A

La phase la plus importante pour bien préparer les analyses.
Il faut prendre des décisions par exemple, avoir une compréhension pointue du but (quoi faire avec l’instrument et son contexte d’utilisation –
utilité).
Il faut une définition du construit (validité) pour générer des hypothèses pour des idées liées au construit (avec d’autres critères). Il faut prendre des décisions en fonction des erreurs de mesure qui peuvent se produire.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Qu’est-ce que la phase de vérification?

A

Il faut analyser les données (statistiques) et s’assurer qu’il fonctionne comme il devrait. Peut-être des données de stabilité temporelle (fidélité).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Quels sont les 6 étapes du modèle de la cible?

A
  1. Usage anticipé
  2. Conceptualisation
  3. Élaboration
  4. Stabilité
  5. Congruence
  6. Usage recommandé
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Quels sont les 2 tâches du modèle de la cible?

A

Objectifs
Moyens

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Qu’est-ce que l’objectif?

A

Ce que l’on veut accomplir. On utilise des balises théoriques de la littérature. Objectifs spécifiques.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Qu’est-ce que les moyens?

A

Comment on fait pour atteindre les objectifs (lecture, recherche…). Mais en vérification il faut des analyses statistiques.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Parmi la fiabilité, la validité et l’utilité, quel concept fait référence au niveau d’erreur de mesure de l’instrument?

A

Fidélité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Quelle est l’étape 2 du modèle de la cible?

A

Conceptualisation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Quelle étape du modèle de la cible correspond à la phase de vérification de l’utilité de l’instrument?

A

Usage recommandé

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Quelle est l’étape 2 du modèle de la cible?

A

Conceptualisation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Lors de la phase de préparation/planification, quel étape fait référence à l’utilité?

A

L’usage anticipé

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Quels sont les objectifs de l’usage anticipé?

A
  • Buts de l’instrument
  • Population visée
  • Contexte d’utilisation
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Quels sont les moyens de l’usage anticipé?

A
  • Analyse d’instrument
  • Lectures
  • Consultation
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Qu’est-ce que le SAT et quel est son but?

A

C’est un instrument utilisé dans le système scolaire américain.
Il vise à prédire le succès scolaire d’élèves du secondaire une fois à l’université.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Lors de la phase de préparation/planification, quel étape fait référence à la validité?

A

La conceptualisation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Quels sont les objectifs de la conceptualisation?

A
  • Définir, catégoriser et organiser les composantes des phénomènes à mesurer
  • Positionnement avec d’autres concepts
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Quels sont les moyens de la conceptualisation?

A
  • Synthèse des aspects conceptuels des instruments
  • Lecture théorique
  • Consultation
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Lors de la phase de préparation/planification, quel étape fait référence à la fidélité?

A

L’élaboration

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Quels sont les objectifs de l’élaboration?

A

• Prévoir les sources d’erreur de manière à les minimiser
• Choix du format de l’instrument
• Construire les items
• Choisir la méthode de correction

28
Q

Quels sont les moyens de l’élaboration?

A
  • Lecture “psychométrique”
  • Inventaire des stratégies déjà employées
29
Q

Quel est le format du SAT?

A

Choix multiples.

30
Q

Comment sont construit les items du SAT?

A

Selon 2 catégories : SAT verbal et SAT mathématique.

31
Q

Comment est corrigé le SAT?

A

Le score est déterminé par des points accumulés pour les bonnes réponses et des points retranchés pour les mauvaises réponses (correction pour avoir deviné).

32
Q

Lors de la phase de vérification, quel étape fait référence à la fidélité?

A

La stabilité

33
Q

Quels sont les objectifs de la stabilité?

A

o Vérifier la nature et l’ampleur de l’erreur
o Établir la stabilité interne et temporelle

34
Q

Quels sont les moyens de la stabilité?

A

o Erreur-type de mesure
o Analyses d’items
o Analyses corrélationnelles
o Approche hypothético-déductive
o Accord inter-juges

35
Q

Quelle est l’erreur type de meure du SAT?

A

SAT-V : 31
SAT-M : 33

36
Q

Quel est la consistance interne du SAT?

A

SAT-V : Alpha de Cronbach de α = 0,92
SAT-M : Alpha de Cronbach de α = 0,91

37
Q

Quel est la stabilité temporelle du SAT?

A

SAT-V : corrélation test-retest r = 0,88
SAT-M : corrélation test-retest r = 0,85

38
Q

Lors de la phase de vérification, quel étape fait référence à la validité?

A

La congruence

39
Q

Quels sont les objectifs de la congruence?

A

o Vérifier les quantifications et/ou l’organisation des concepts

40
Q

Quels sont les moyens de la congruence?

A

o Analyses corrélationnelles
o Approche hypothético-déductive
o Analyses factorielles
o Équations structurelles

41
Q

À quoi fait référence la validité de contenu du SAT?

A

• Les questions posées représentent les domaines enseignés au « high-school »

42
Q

À quoi fait référence la validité prédictive du SAT?

A

• Corrélation entre le SAT-V et les notes au « college » : r = 0,54
• Corrélation entre le SAT-M et les notes au « college » : r = 0,48
• Corrélation entre les notes au « high-school » et les notes au « college » : r = 0,67

43
Q

Lors de la phase de vérification, quel étape fait référence à l’utilité?

A

L’usage recommandé

44
Q

Quels sont les objectifs de l’usage recommandé?

A

o Préciser buts, population visée, circonstances d’utilisation/de passation
o Guider l’interprétation

45
Q

Quels sont les moyens de l’usage anticipé?

A

o Article scientifique
o Normes

46
Q

En quoi le processus décisionnel est-il important lors de la création d’un instrument psychométrique?

A

Afin de détecter des problèmes et apporter des correctifs requis.

47
Q

Quel est le principe général du processus décisionnel?

A

Si un problème est détecté dans la phase de vérification, il faut retourner à l’étape correspondant à ce concept dans la phase de la préparation.

48
Q

Fiabilité réfère à…

A

Élaboration et stabilité

49
Q

Validité réfère à…

A

Conceptualisation et congruence

50
Q

Utilité réfère à…

A

L’usage anticipé et l’usage recommandé

51
Q

Quels sont les problématiques auxquelles le modèle de la cible aide à répondre?

A
  1. Mauvaise connaissance des autres instruments
  2. Utilisation d’instruments désuets
  3. Concepts mal définis
  4. Type de mesure peu approprié à la situation
  5. Techniques statistiques mal utilisées
  6. Mauvaise interprétation des indices statistiques
52
Q

Les résultats d’un instrument doivent obligatoirement être interprété en fonction de quoi?

A
  1. du construit
  2. de la population
  3. du contexte
53
Q

Qu’est-ce qu’un construit?

A

C’est le concept qu’on va mesurer avec notre instrument.

54
Q

Qu’est-ce que la population réfère à?

A

Ce sont les gens qui vont passer le test.

55
Q

Qu’est-ce que le contexte?

A

Ce sont les conditions dans lesquelles les participants vont passer le test (temps de passation, connaissances préalables).

56
Q

Quels sont les objectifs de l’usage anticipé en terme de construit, population et contexte?

A

o Déterminer ce que mesurera l’instrument et à quoi serviront les résultats qui en émaneront (1. construit et les buts fondamental et psychométrique)
o Déterminer qui seront les bénéficiaires (2. population), les utilisateurs et les administrateurs
o Déterminer le contexte d’utilisation (3. contexte)

57
Q

Qu’est-ce que le but fondamental?

A

« Qu’est-ce qu’on évalue et pourquoi? » Quel est le problème que l’instrument entend contribuer à régler? À quoi les résultats serviront-ils?

58
Q

Qu’est-ce que le but psychométrique?

A

Quelle est la valeur ajoutée de l’instrument par rapport aux autres instruments existants? Pourquoi créer/modifier cet instrument?

59
Q

Pourquoi créer un nouvel instrument?

A

Procéder à une évaluation plus courte
Changer la modalité d’évaluation
Traduire avec ou sans adaptation culturelle
Préciser le construit
Cibler plus précisément un pan de la population
Créer une version parallèle d’un test

60
Q

Qui sont les acteurs d’un test?

A

Concepteur
Admnistrateur
Bénéficiaires
Utilisateur

61
Q

Qu’est-ce qu’un concepteur?

A

La personne qui crée l’instrument.
Souvent un psychométricien.

62
Q

Qu’est-ce qu’un administrateur?

A

La personne qui procède à la mesure.

63
Q

Qu’est-ce qu’un bénéficiaire?

A

La personne qui se ait évaluer à l’aide de l’instrument.

64
Q

Qu’est-ce qu’un utilisateur?

A

La personne qui évalue les bénéficiaires à l’aide des résultats de l’instrument.

65
Q

Quel est la différence entre les acteur impliqué dans l’étude de validation et les acteurs impliqué dans l’utilisation du test?

A

Dans l’étude de validation, c’est un échantillon de convenance, tandis que dans l’utilisation du test c’est la population cible.