Cours 12

Question 1

Quels sont les 3 voeux d’une recherche heureuse?

Answer 1

Fidélité
Validité
Contrôle

Question 2

Qu’est-ce que la fidélité?

Answer 2

Réfère à la précision de l’instrument peu importe ce qu’il mesure
- Pensez: est-ce qu’il me trompe parfois?

On considère une technique de mesure fidèle lorsque son application entraîne toujours des résultats semblables
- Si elle mesure toujours le construit psychologique de la même façon
- exemple : Intelligence, personnalité, anxiété…

La fidélité d’une mesure dépend de l’absence
relative d’erreur de mesure

Question 3

De quoi dépend la fidélité d’une mesure?

Answer 3

La fidélité d’une mesure dépend de l’absence
relative d’erreur de mesure

Question 4

Vrai ou faux, Des mesures constantes ou fidèles peuvent ne pas être valides

Answer 4

Vrai
- Votre test d’intelligence peut donner à chaque fois le même résultat chez une même personne. Gage de fidélité, oui, mais ce n’est pas ce qui vous confirme que le test mesure l’intelligence

Question 5

Nommez 3 types de fidélité.

Answer 5

La stabilité temporelle, l’équivalence et l’homogénéité

Question 6

Qu’est-ce que la fidélité par stabilité temporelle?

Answer 6

1 - Se détermine sur la base de la constance des résultats obtenus à la suite d’applications répétées de l’instrument

2 - Habituellement, on a recours à 2 administrations de l’instrument

3 - Cette technique s’appelle fidélité test retest

Question 7

Quand est-ce que l’on utilise, test re-test?
(Recommande vs pas recommander)

Answer 7

Recommandé pour des construits qui possèdent une stabilité temporelle
- E.g., traits de personnalité, intelligence

Peu recommandé pour :
- Des tests de type situationnel qui mesurent un état passager
E.g., émotions, humeur

Des tests qui sont influencés par la mémoire
ou l’apprentissage

Question 8

Qu’est-ce que la fidélité par équivalence?

Answer 8

Consistance des résultats obtenus à la suite de l’utilisation soit de différents instruments visant la mesure de la même caractéristique (p. ex., 16PF formes A et B) ou soit d’un même instrument où l’observateur est une source possible d’erreurs

• Si plusieurs observateurs sont impliqués, l’indice d’équivalence peut être le pourcentage d’accord inter juges (coefficient Kappa)
• Si ce sont des questions de tests, l’indice d’équivalence est un coefficient de corrélation entre les réponses à des échantillons de questions des deux instruments

Question 9

Si plusieurs observateurs sont impliqués dans la fidélité par équivalence, comment est-ce que l’on calcule l’indice d’équivalence?

Answer 9

• Si plusieurs observateurs sont impliqués, l’indice d’équivalence peut être le pourcentage d’accord inter juges (coefficient Kappa)

Question 10

Comment est-ce que l’on évalue la fidélité par équivalence entre des questions de test?

Answer 10

• Si ce sont des questions de tests, l’indice d’équivalence est un coefficient de corrélation entre les réponses à des échantillons de questions des deux instruments

Question 11

Qu’est-ce que la fidélité par homogénéité ou consistance interne?

Answer 11

C’est le degré de consistance qu’offrent les réponses d’un individu aux questions variées d’un test

S’intéresse à la probabilité qu’un (des) item(s) mesure(nt) autre chose que ce qui est prévu

Différents outils statistiques mesurent l’homogénéité

Question 12

Qu’est-ce que l’alpha de Cronbach?

Answer 12

Une statistique fréquemment utilisée pour mesurer la consistance interne d’instruments de mesure
Approprié pour échelles type dichotomiques, Likert ou mesures intervalle/rapport

Question 13

Pour quel type d’échelle l’alpha de Cronbach est approprié?

Answer 13

Approprié pour échelles type dichotomiques, Likert ou mesures intervalle/rapport

Question 14

Comment est-ce que l’on interprète l’alpha de Cronbach?

Answer 14

a < 0,60 → inacceptable
a entre → 0,60 et 0,65 indésirable
a entre → 0,65 et 0,70 minimalement acceptable
a entre → 0,70 et 0,80 respectable
a entre → 0,80 et 0,90 très bien
a > 0,90 → excellent

Question 15

Qu’est ce que la formule 20 de Kuder-Richardson (K-R 20) ?

Answer 15

Une statistique anciennement utilisée pour mesurer la consistance interne d’instruments de mesure où les items sont dichotomiques (e.g., oui-non)

• Cronbach a peut faire le travail aussi, étant plus versatile
  K-R 20 = désuet

-Interprétation du coéficient (étendue 0.0 – 1.0) similaire à Cronbach

Question 16

Qu’est-ce que la méthode moitié moitié (split-half de Spearman-Brown)?

Answer 16

On divise en deux le test pour évaluer la relation entre les deux moitiés

Question 17

Qu’est-ce que Corrélation de la méthode moitié-moitié de Spearman Brown nous dit?

Answer 17

La corrélation p*xx’ nous dit ce que serait la fidélité si le test était N fois plus long que ses moitiés
N > 2: prédiction pour test plus long
N < 2: prédiction pour test plus court

Question 18

Quels sont les 4 types de validité?

Answer 18

1 - Interne
2 - Externe
3 - Écologique
4 - De construit

Question 19

Qu’est-ce que la validité interne?

Answer 19

1 - Est-ce que les données sont vraiment dues à ce qu’on prétend (expérience) ou à ce qu’on
observe (étude)?

• Alternativement, est-ce que les résultats ne dépendent pas d’autres facteurs non contrôlés?

2 - Haut degré de validité interne = empêcher que des éléments étrangers ou variables parasites ne contaminent la mise à l’épreuve de l’hypothèse
Pensez aussi biais (cours 6)

Question 20

Que permet un haut degré de validité interne?

Answer 20

Haut degré de validité interne = empêcher que des éléments étrangers ou variables parasites ne contaminent la mise à l’épreuve de l’hypothèse

Question 21

Résultat :Tel que prévu, les parents entraînés à adopter une attitude interrogative et exploratoire dans leurs comportements pendant une période de 6 mois voient s’accroître la curiosité intellectuelle de leurs enfants inscrits à la maternelle

Question de validité interne: Comment être certain que l’augmentation de la curiosité intellectuelle ne serait pas attribuable à l’évolution normale des enfants et à la nature facilitatrice de leurs activités préscolaires?

Answer 21

Réponse: groupe contrôle

Question 22

Aquatit, la validité internet d’un test?

Answer 22

La validité interne tient à :
1 - La qualité ou à la solidité du protocole expérimental utilisé
2 - L’efficacité et à la rigueur des contrôles effectués

Question 23

Nommez 7 source d’invalidité à considérer?

Answer 23

1. Expérience vécue du participant
2. La maturation
3. L’opération de mesure
4. La constance de l’instrument
5. La régression statistique
   6.La sélection des participants
   7.La perte de participants (mortalité ou attrition)

Question 24

Qu’est ce que l’expérience vécu du participant et en quoi est ce qu’il est source d’invalidité?

Answer 24

Événements qui surviennent pendant et entre les prises de mesures et qui ne dépendent pas de la manipulation expérimentale (e.g., divorce, perte d’emploi, nouvelle relation, etc.)

Question 25

Qu’est ce que la maturation et en quoi est ce qu’il est source d’invalidité?

Answer 25

Les processus individuels qui se développent en fonction du passage du temps, tels le vieillissement, la croissance, l’expérience personnelle, etc.

• Des modifications de cette nature se produisent souvent à l’intérieur de périodes de temps très brèves
• Étant donné que ce facteur joue dans toutes études, l’utilisation d’un groupe témoin provenant de la même population précisera et contrôlera les effets de la maturation

Question 26

Qu’est ce que l’opération de mesure et en quoi est ce qu’il est source d’invalidité?

Answer 26

Le seul fait de répéter un test risque d’influencer les résultats

• Les différences observées entre la première mesure et sa répétition peuvent dépendre simplement de l’opération de mesure et non du traitement expérimental (naïf vs savant)
• Un groupe témoin qui n’est pas exposé à la VI permettra de préciser cet effet de l’opération de mesure

Question 27

Qu’est ce que la constance de l’instrument et en quoi est ce qu’il est source d’invalidité?

Answer 27

Il peut se produire des changements dans la calibration d’instrument de mesure ou dans la manière dont l’expérimentateur recueille ses données

• E.g., l’emploi d’observateurs: ils peuvent se fatiguer, s’améliorer, ou empirer!
• Le changement observé entre les mesures du pré-test et du post-test peut donc dépendre de l’instrument de mesure

Question 28

Qu’est ce que la régression statistique et en quoi est ce qu’il est source d’invalidité?

Answer 28

Phénomène qui se manifeste surtout quand on choisit des groupes qui se situent aux extrémités d’une échelle de mesure

• En faisant la sélection des participants, l’expérimentateur choisit ceux-celles qui obtiennent un score très élevé ou très bas à un moment précis, ce qui ne représente pas la position habituelle de ces individus
• Lors d’évaluations subséquentes, ils auront tendance en tant que groupe à se rapprocher de la moyenne
• S’applique aux construits variables
• Les mesures stables moins susceptibles

Question 29

Qu’est ce que la sélection des participants et en quoi est ce qu’il est source d’invalidité?

Answer 29

Déformations systématiques dans la composition comparative des groupes expérimentaux et témoins

• E.g., étude sur le traitement de la peur des hauteurs. Groupe expérimental est composé de personnes qui consultent un psy. et groupe témoin qui provient de la population générale
• Le fait que les participants proviennent d’une population différente peut-être suffisant pour expliquer un changement éventuel

Question 30

Qu’est ce que la perte de participants et en quoi est ce qu’il est source d’invalidité?

Answer 30

La perte de participants (mortalité ou attrition)

Si plusieurs participants d’un même groupe abandonnent, il peut s’en suivre des effets spécifiques qui ne dépendent aucunement de la variable expérimentale

• Peut entraîner une diminution de la représentativité
• Pourquoi un groupe a plus d’abandons qu’un autre?

Question 31

Qu’est ce que la validité externe?

Answer 31

Se préoccupe de la possibilité de généraliser les résultats de l’étude au-delà de l’échantillon, des circonstances

Question 32

Quels sont les 4 facteurs importants à considérer dans la validité externe?

Answer 32

1- La réaction à la mesure
2- Les effets d’interaction d’un ou des facteurs de validité interne avec VI
3- Effets spécifiques liés au déroulement de l’expérience
4- L’interférence associée à un traitement multiple

Question 33

Qu’est-ce que la réaction à la mesure dans la validité externe?

Answer 33

1 - La prise de mesure au cours d’un pré-test peut contribuer à augmenter ou diminuer la sensibilité du participant à l’endroit de la variable étudiée

• Les individus qui savent qu’ils sont observés vont agir différemment de ceux qui ne sont pas avertis

2 - Le seul fait de demander d’observer ou d’enregistrer la fréquence ou la durée d’un
comportement entraînera une modification de ce comportement

E.g., Programme pour cesser de fumer
- Au pré-test les sujets doivent compter les cigarettes qu’ils fument = ça peut les sensibiliser au fait qu’ils fument trop

Question 34

Qu’est ce que les effets d’interaction d’un ou des facteurs de validité interne avec VI dans la validité externe?

Answer 34

Se produit alors qu’un élément de validité interne co-varie avec une variable indépendante

• E.g., mon ordinateur surchauffe(*), avec la conséquence que les temps de réactions à ma tâche sont surestimés plus la journée avance
• Or, malheureusement, une majorité de participant-e-s du groupe contrôle sont testé-e-s en après-midi, contrairement au groupe expérimental

(*) Constance de l’instrument (due à problème de fidélité)

Question 35

Quels sont les effets spécifiques liés au déroulement de l’expérience sur la validité externe?

Answer 35

Parfois, les particularités de la démarche expérimentale sont telles qu’elles incitent les sujets à donner telle réponse plutôt que telle autre
- E.g., un sondage sur l’anxiété liée à prendre l’avion dont une partie des répondants l’ont rempli après un écrasement d’avion médiatisé

• Les résultats ainsi obtenus limitent grandement la portée des conclusions ou les rendent invalide

Exemple faire un sondage sur l’appréciation des routes au Québec dans un embouteillage.

Question 36

Quels sont les effets de l’interférence associé à un traitement multiple?

Answer 36

Lorsque plusieurs traitements sont présentés simultanément, il devient difficile d’évaluer le poids relatif de chacun d’eux

-E.g., programme pour diminuer le bégaiement qui inclut la relaxation, l’imagerie, l’exposition, etc. Le traitement fonctionne, mais on ne sait pas à quoi l’attribuer

• À moins d’avoir un plan factoriel

Question 37

Qu’est-ce que la validité écologique?

Answer 37

Contexte dans lequel se déroule la recherche, y compris les tâches que les participants effectueront
- Similitude du contexte matériel et du niveau psychologique avec l’environnement réel?
- E.g., casino en labo - similitude au niveau du décor physique, mais pas au plan psychologique

• Signification que confère le sujet à la situation dans laquelle le chercheur le place ou l’étudie
• Pertinence?

Question 38

Quelles sont les 2 approches de la validité de construit?

Answer 38

Est-ce que le test mesure bien le construit
tel qu’il est défini par son cadre théorique
de base?
Deux approches
Validité convergente
Validité divergente (ou discriminante)

Question 39

Qu’est-ce que la validité de construit convergente?

Answer 39

Capacité d’une mesure de produire des résultats semblables à ceux produits par d’autres mesures qui sont reliées au construit en question

Consiste à corréler un test avec un critère approprié
- E.g., deux questionnaires d’estime de soi
- E.g., deux mesures d’anxiété (l’une par questionnaire et l’autre par entrevue ou taux de cortisol

Question 40

Qu’est-ce que la validité de construit divergente?

Answer 40

Consiste à démontrer que le test n’est pas significativement corrélé avec des critères non pertinents

E.g., l’échelle d’intelligence verbale ne corrèle pas avec l’échelle de narcissisme dans notre batterie intelligence-personnalité

Question 41

L’échelle d’intelligence verbale ne corrèle pas avec l’échelle de narcissisme dans notre batterie intelligence-personnalité

Answer 41

Validité de construit divergente.

Question 42

deux mesures d’anxiété (l’une par questionnaire et l’autre par entrevue ou taux de cortisol

Answer 42

Validité de construit convergente

Question 43

deux questionnaires d’estime de soi

Answer 43

Validité de construit convergente

Question 44

Quel est le prix de la notion de contrôle?

Answer 44

1 - Les conclusions sont impossibles à tirer en présence d’interprétations alternatives plausibles

2 - Les interprétations alternatives surviennent quand des variables externes ou parasites ou confondantes peuvent avoir influencé les résultats
- E.g., tester l’efficacité de comprimés anti-soif avalés avec un grand verre d’eau

3 - Les interprétations alternatives empêchent le progrès
- Un ensemble de procédures existent pour contrôler les variables parasites

Question 45

Vrai ou faux, Les conclusions sont impossibles à tirer en présence d’interprétations alternatives plausibles

Answer 45

Vrai (notion de controle)

Question 46

En quel circonstance les interprétations alternatives surviennent?

Answer 46

Quand des variables externes ou parasites ou confondantes peuvent avoir influencé les résultats
- E.g., tester l’efficacité de comprimés anti-soif avalés avec un grand verre d’eau

Question 47

Vrai ou faux, les interprétations alternatives empêchent le progrès

Answer 47

Vrai

Question 48

Pourquoi est ce que l’on maintien la variable parasite constante?

Answer 48

Car cela certifie qu’elle ne peut avoir causé les
différences entre les groupes
- E.g., groupe contrôle qui boit de l’eau mais
pas de comprimé anti-soif

Peut limiter la validité externe des résultats
- E.g., si on avale la pilule “à sec”?

Question 49

Qu’est-ce qui protège contre les biais d’échantillons?

Answer 49

Sélection et assignation aléatoire, échantillonnage aléatoire

Question 50

Qu’est-ce que l’assignation aléatoire assure?

Answer 50

L’assignation aléatoire «assure» que les groupes sont comparables avant toute intervention
- Les variables parasites sont distribuées également à travers les différents groupes
- - - Tout ce qui peut être randomisé devrait l’être (e.g., stimuli, ordre des tâches, expérimentateurs…)
- - - Demande un gros échantillon

Question 51

Vrai ou faux, il n’est pas préférable de randomisé toute les tâches qui peuvent l’être, seulement randomisé ordre des taches et l’assignation au groupe est suffisante

Answer 51

Faux, Tout ce qui peut être randomisé devrait l’être (e.g., stimuli, ordre des tâches, expérimentateurs…)

Question 52

Que doit-on faire si on ne peut pas éliminer les variables parasites?

Answer 52

Si on ne peut pas les enlever, on doit alors les inclure. La variable parasite devient alors une variable indépendante additionnelle.

E.g., un plan 2 (sexe) x 3 (drogue) x 3 (eau)

Question 53

Que doit on faire lorsque les contrôles expérimentaux sont inexistants ou insuffisants?

Answer 53

Scores de changement (avant-après)
Analyse de la covariance
Corrélations partielles

Question 54

Est ce qu’un contrôle total est un objectif réalisable?

Answer 54

Ce n’est pas un objectif réalisable. Toutefois, on veut quand même le plus de contrôle possible

Question 55

Nommez un des obstacles les plus importants en sciences.

Answer 55

L’incapacité à contrôler les variables parasites

Question 56

Vrai ou faux? Dès qu’un évaluateur identifie un parasite raisonnable la publication peut alors être diffusée.

Answer 56

La question est stupide mais bon, la réponse est non, Lorsqu’il y a une variable parasite, la publication devient très très difficile.