cours 4 : validité Flashcards

1
Q

Validité convergente vs divergente

A

Validité convergente = échelle estime de soi devrait être corrélée avec une échelle déjà validée

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

faux positifs et faux négatifs

A
  • Faux positif = test pour la covid mais seulement le rhume mais test dit que covid oui
  • Faut négatif = tu as la covid mais test le détecte pas

–> sensibilité vs spécificité
*Spécifique = détecte qqch de précis

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Validité de construit

A
  • Analyse factorielle (pour voir si validité de construit)
    —> Exploratoire (SPSS)
    —> Confirmatoire (AMOS/Mplus+)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Validités de conséquences

A

Validité de conséquences = test sauve plusieurs tentatives de suicide; conséquences pour les gens de passer ce test là

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Quelques exemples validité

A
  1. Admissions à l’Université de Drummondville
    —> Cote R
  2. Inventaire de dépression et diagnostic
    —> Inventaire de depression de Beck
  3. Dépistage des problèmes scolaires
  4. Inventaire de personnalité
  5. Test de rendement
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Définition validité
(3 précisions)

A

Est-ce qu’un test mesure ce qu’il devrait mesurer ?

Trois précisions supplémentaires
1. Un score dans un but précis
- Entrevue valide prédire la performance au travail 1 an plus tard
- MMPI validité pour différencier entre gens attaint depression et gens bipolaires
- MMPI validité pour distinguer les “prisonniers” recidivists vs non récidivistes
2. Une question de degré et non pas de tout ou rien
- Et surtout comparativement aux autres tests…
3. Validité vs exactitude des normes
- Ado détenus: 2 semaines vs 2 ans
- Pensées délinquantes et le nombre de crimes 0.5

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Adéquation test construit (3)
(test idéal)

A
  1. Mesure valide
    - Superposition du test et du construit
  2. Construit sous-representé
    - exemples
  3. Variance non pertinente
    - Exemples
    —> Règle générale: partir avec une bonne définition

*Test idéal: test qui mesure la variance propre au construit et qui ne rajoute pas variance impertinente
*Pour décrire deuil
- «je pleure souvent» peut être dépression vs «je pleure souvent mon proche»

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Quels sont les 4 types de validité?

A
  1. Contenu
  2. Critère
    - Concomitante
    —> Je corrèle mon test avec un critère qui est present (le nb de coups de poing)
    ——> Test r aggressivité coups de poing
    - Prédictive
    —> Test r prison majeur
    ——> Test agressivité puis test prison majeur
    *Plus difficile à faire mais plus de retombé
  3. Construit
  4. Validité d’apparence
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

C’est quoi la validité de contenu (3)

A
  1. Relations avec d’autres variables
    - Convergente (correlation avec un test) et discriminante/divergente (absence correlation avec un test non lié)
    - Test-critère
  2. Structure interne
  3. Conséquences
    - Incrémentale (% variance supplémentaire mon test ajoute)

*Questionnaire d’estime de soi devrait corrélé avec un autre questionnaire d’estime de soi donc convergente mais pas avec un test de narcissisme donc divergente
Si fais juste corréler test entre eux trop sur test papier crayon et donc trop détaché de la vraie vie et ainsi de la mesure d’un comportement
*Importance d’un critère comportemental avec lequel corréler
*Validité incrémentale pas vraiment présente si pas grande différence entre bulletin et test pour école privé; procédure de sélection t’apporte strictement rien donc pas validité incrémentale

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

C’est quoi la validité d’apparence?

A
  • Est-ce que le test “paraît” valide ?
  • Contraste avec des études empiriques
    MMPI(premier test à contourner validité d’apparence)
  • Divergences d’opinion à propos de la validité d’apparence
  • Parfois utile ex: contexte d’emploi
    *la moins scientifique
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

C’est quoi l’utilisation typique de la validité de contenu?
mais problème de?

A
  • Utilisation typique: Tests en éducation et tests en emploi
    —> Analyse de poste
  • Un problème d’opérationnalisation
    –> Alcoolisme = dépendant (50%) + boire consequences negatives (50%)
    *Fait avec définition des variables (genre émotionnelle/comportementale/cognitif; donc évalue chacun de ces éléments)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

C’est quoi la validité de critère?
principe de base?
généralement 2…?

A

Principe de base :
- Relation du test avec un critère externe
—> Aggressivité r comportements agressivité/arrestation/peine prison etc…

Généralement 2 catégories de prédiction
1. Concomitante
- En même temps
2. Predictive
- Plus tard (doit retrouver participants et gens ont le temps de changer entre temps)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

C’est quoi les 3 approches de validité de critère?

A
  1. Critère externe et réaliste
    - Peine de prison… tentatives de suicide… montant des ventes… notes…
  2. Contrastes entre les groups
    - Si test valide il va réussir à discriminer/distinguer vos groups
    —-> Dépression (devrait avoir distinction entre groupe dépressif et groupe qui ont gagné lotterie)
  3. Autre test
    *Il y en a qui mette validité de convergence avec validité de critères
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Validité de critère: critère externe

A

Régression (prédiction)
- Distributions bivariées Fig. 5.3, 5.4
- Formules 5-1, 5-2, 5-3
- Parfois variables dichotomiques : avoir le diagnostic (oui ou non)
- Test résultat: conclu depression ou absence
- Chi-carré

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

C’est quoi des groupes contrastés dans la validité de critère?

A

Groupes contrastés
- Exemples
—> Création d’un test évaluant l’abus d’alcool
—–> Étudiants à UdeSherbrooke vs
—–> Clients à un centre de désintoxication

Figure 5.5
—> Parfois difficile d’obtenir un contraste significatif dépendamment des groupes utilisés
—–> Clients atteints d’un Trouble anxieux généralisé
—–> Étudiants en psycho à UdeS 

*L’unité de mesure du contraste = d de cohen
Exemple:
Moyenne = 100 (écart type = 15)
70 (15)

Donc d de cohen = 2 (0,8 = large)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Groupes contrastés par rapport graphique (validité de critère)

A
  • Plus distance est grande plus test discrimine bien les groupes
  • Quand d de cohen (exemple b) est grand test discrimine bien entre les groupes; chevauchement entre les 2 groupes veut dire que petite partie des délinquants qui est moins agressif que les étudiants en psychologie

D de cohen = différence des moyennes/écart type
- Dit la différence en écart type entre les 2 groupes

17
Q

Validité de critère: corrélations avec d’autres tests

A

Dépression/inventaire depression Beck
Exemples:
- Pourquoi et quand ?
- Simple application des méthodes corrélationnelles
- Test depression r = IDB
*Pourquoi on continue: Viser des populations différentes et emmener changements; test plus court et plus accessible

18
Q

Validité de critère: Nomme 8 considérations spéciales

A
  1. Conditions affectant r
  2. Relations fidélité validité
  3. Validité du critère
  4. Contamination du critère
  5. Validité convergente et discriminante/divergente
  6. Matrice multitrait-multiméthode
  7. Combiner de l’information : Plusieurs coefficients ‘’r’’
  8. Prédiction Statistique vs. Prédiction Clinique
19
Q

Validité de critère
Considérations spéciales: C’est quoi les conditions affectant r? (3)

A
  1. Linéarité
  2. Homoscédascité ou non
    *Homoscédascité : erreur de prédiction est constante tout le long de la droite
    *Hétéroscédascticité : erreur de prédiction est pas constante à travers tous les points de la droite
  3. Homogénéité du groupe
    *Homogénéité du groupe : restriction de la variance donc affaiblie corrélation

*Toujours même coeffcient de corrélation ici

20
Q

Validité de critère
Considérations spéciales: C’est quoi qu’il faut savoir par rapport à la relation fidélité validité?

A

Très important
- Si mesure manque fidélité = deviant très problématique pour faire validité

21
Q

Validité de critère
Considérations spéciales: C’est quoi la validité du critère?

A

Jusqu’à quel point est-il bon ?
- Exemple How I Think Questionnaire et critère juridique
- Autres influences
*À l’époque: garçon faisant crime = délinquant
VS Fille faisant crime = victime

22
Q

Validité de critère
Considérations spéciales: C’est quoi la contamination du critère?

A

Exemple
- Examen de psychométrie
—> R Moyenne Générale en fin bac
—> Dépression diagnostics cliniciens
- Fonctionnement
- Prévention
*Questionnaire sur dépression: autre critère que beck, critère comportemental

23
Q

Validité de critère
Considérations spéciales: C’est quoi la validité convergente et discriminante?

A

Est-ce que votre test est corrélé avec … discriminante = golden

24
Q

Validité de critère
Considérations spéciales: C’est quoi la matrice multitrait-multiméthode?

A
  • Plus théorique que réellement utilisé
  • dépression
    *Veut créer inventaire de dépression (corrélé avec Inventaire de Dépression de Beck; pourrait aussi avec Inventaire d’Anxiété de Beck)
    *Si dépression et anxiété = multitraits
    *Donc une mesure de dépression au moins et une mesure d’anxiété
    *Mesure quantitative
    *Questionnaires objectif (IDB et IAB)
    *Pourrait avoir inventaire dépression projectif/anxiété = multiméthode
25
Q

Valeur de critère
Considérations spéciales: C’est quoi combiner de l’informations?

A

Combiner de l’information : Plusieurs coefficients ‘’r’’
- Idée de base et exemples
- Formules (5-8, 5-9)
*Premier coefficient validité si fidélité c’est 1
*2e variable vient enlever erreur de prédiction de la première

26
Q

Valeur de critère
Considérations spéciales: c’est quoi prédiction statistique vs prédiction clinique?

A
  • Cas spécial où de l’information est combinée provenant de plusieurs sources
  • Résultat habituel = supériorité statistique
    —> Voir Dawes (1994) pour une revue détaillée des études à ce sujet
    *Dawes = prédiction clinique vs prédiction statistique
    *Tous les psychotiques brossent leurs dents
    *Formule factorielle fait moins erreur que opinion
    —> Université texas
27
Q

Théorie de la décision: C’est quoi hits? faux positifs? faux négatifs?

A

’Hits’’, faux positifs, faux négatifs
- Faux positifs = Vous passez un test de dépistage du sida. Vous n’avez pas le sida mais le test affirme que oui.
- Faux négatifs= Vous passez un test de dépistage du sida. Vous avez le sida mais le test affirme que non.
- Faux positifs et faux négatifs en clinique
*Dans meilleur des cas vous avez juste des hits : vrai positif et vrai négatif

28
Q

Théorie de la décision: Tu modifie quoi pour jouer sur la sensibilité vs spécificité?

A

Modifier le point de coupure pour jouer sur la sensibilité vs spécificité
- Meilleur des mondes (100% sensibilité et 100% spécificité) vs réalité

29
Q

Théorie de la décision: C’est quoi la sensibilité vs la spécificité?

A

Sensibilité
- Identifier correctement les membres du groupe critère

Spécificité
- Degré auquel le test détermine ou non les membres du groupe constraté

30
Q

Théorie de la décision: C’est quoi le point de coupure?

A

Point coupure = je te classe alcoolique quand tu as eu 42 consommations la semaine passée (trop spécifique et pas assez sensible)
- Modifier le point de coupure pour jouer sur la sensibilité vs spécificité

31
Q

Théorie de la décision: Pourquoi maximiser sensibilité et spécificité?

A

Maximiser la sensibilité ou la spécificité
- Risque suicidaire = vaut mieux être plus sensible
- Poids du diagnostic = vaut mieux être plus spécifique (à mon avis)
*Meilleur des mondes (100% sensibilité et 100% spécificité)
—> Donc tous les alcooliques sont réellement tous alcooliques
*Mais arrive pas parce que quand plus spécifique, moins sensible
—> Bcp tendance de donner diagnostic sans ce demander c’est quoi l’impact de donner un diagnostic à un individu
*Trop haute sensibilité = 2 bières c’est sur que c’est un alcoolique

Pour examen: tentative de suicide (c’est clair que tentative de suicide c’est pire que passer fds en psychiatrie)

32
Q

Théorie de la décision: C’est quoi le lien entre sensibilité/spécificité et les stats bayésiennes?

A

Taux de base et leurs effets (faire des stats bayésiennes)
*Facteur de bays permet de tester l’hypothèse nulle
Taux de base = fréquence d’une pathologie ou d’événement à l’intérieur d’une population

33
Q

C’est quoi les 2 méthodes liées à la validité de construit?

A
  1. Structure Interne
  2. Analyse Factorielle
    *Analyse factorielle pour évaluer le questionnaire
    *Items qui mesurent affects devraient être ensembles, cognitions devraient être ensemble (donc corréler entre eux), comportement devraient être ensemble
34
Q

Donne 1 exemple de la matrice des corrélations

A

Ex: note pour français écrit et note pour compréhension du français
Compréhension du français corrélait tlm avec production du français = ça c’est un facteur

35
Q

C’est quoi l’analyse factorielle?

A
  • Chaque item va corrélé (saturer sur différentes dimensions)
  • Quand analyse factorielle fonctionne bien; vos items vont corrélé dans une certaine dimension
  • Longueur du bras très fortement corrélé avec longueur du torse
  • Saturation = chacun des coefficients de régression sur la corrélation
  • Plus coefficient de corrélation est élevé mieux s’est
  • Analyse factorielle confirmatoire =
  • Pour publier, prend absolument une confirmatoire
  • Quand confirme tu change pu (pour changer tu fais exploratoire)
36
Q

C’est quoi la méthode de base de la validité différentielle?

A
  • Est-ce qu’un test prédit également (aussi bien ou aussi mal) pour différents groupes ?
  • Une différence de moyenne ne signifie pas automatiquement un biais
    —> Quelques exemples…
    —–> Les détenus d’un pénitencier obtiennent un score moindre à l’échelle d’agressivité que les étudiants en psychologie. Le test d’agressivité n’est pas automatiquement biaisé.
    —> Biais de la pente
    —> Biais de l’ordonnée
    *Ch.6 p.170
37
Q

C’est quoi le biais de l’ordonnée à l’origine?

A
  • Quand pas biais
  • Test corrélé au critère pour groupe a et groupe b
  • test doit être valide
  • Standard relatif
    2 pentes parallèles
38
Q

C’est quoi le biais de la pente?

A
  • Priorisé membres gr a que membre gr b
  • Doit utiliser tests avec même validité prédictive pour 2 groupes
39
Q

Nomme 2 préoccupations pratiques

A

1.Généralisation de la validité

2.Analyse finale : standard relatif
- Utiliser cette source d’information (test) ou une autre source (autre test)
- Utiliser cette source d’information (test) ou rien
- Faire (au moins) mieux que pile ou face (50%)
—> Méthode de la courbe ROC (doit battre courbe ROC)