fidelité, validité, contrôle

Question 1

fidelité (3)

Answer 1

précision de l’instrument peu importe ce qu’il mesure
son application entraîne toujours des résultats semblables
absence d’erreur de mesure

Question 2

trois types de fidelité

Answer 2

• stabilité temporelle
• équivalence
• homogénéité

Question 3

stabilité temporelle

Answer 3

Se détermine sur la base de la constance des résultats obtenus à la suite d’applications répétées de l’instrument
Habituellement, on a recours à 2 administrations de l’instrument Cette technique s’appelle fidélité testretest

Question 4

quand utiliser le test-retest?

Answer 4

Recommandé pour des construits qui possèdent une stabilité temporelle
E.g., traits de personnalité, intelligence
Peu recommandé pour :
Des tests de type situationnel qui mesurent un état passager
E.g., émotions, humeur
Des tests qui sont influencés par la mémoire ou l’apprentissage

Question 5

Équivalence

Answer 5

Consistance des résultats obtenus à la suite de l’utilisation soit de différents instruments visant la mesure de la même caractéristique (p. ex., 16PF formes A et B) ou soit d’un même instrument où l’observateur est une source possible d’erreurs

Si plusieurs observateurs sont impliqués, l’indice d’équivalence peut être le pourcentage d’accord interjuges (coefficient Kappa) Si ce sont des questions de tests, l’indice d’équivalence est un coefficient de corrélation entre les réponses à des échantillons de questions des deux instruments Acét

Question 6

Homogénéité (ou consistance interne)

Answer 6

C’est le degré de consistance qu’offrent les réponses d’un individu aux questions variées d’un test
S’intéresse à la probabilité qu’un (des) item(s) mesure(nt) autre chose que ce qui est prévu
Différents outils statistiques mesurent l’homogénéité

Question 7

alpha de cronbach

Answer 7

Une statistique fréquemment utilisée pour mesurer la consistance interne d’instruments de mesure

Question 8

Interprétation de alpha de cronbach (6)

Answer 8

a < 0,60 → inacceptable
a entre → 0,60 et 0,65 indésirable
a entre → 0,65 et 0,70 minimalement acceptable
a entre → 0,70 et 0,80 respectable
a entre → 0,80 et 0,90 très bien
a > 0,90 → excellent

Question 9

formule 20 de kuder-richardson (K-R 20)

Answer 9

Une statistique anciennement utilisée pour mesurer la consistance interne d’instruments de mesure où les items sont dichotomiques (e.g., oui-non)
Cronbach a peut faire le travail aussi, étant plus versatile
K-R 20 = désuet

K-R 20 = désuet

Interprétation du coéficient (étendue 0.0 1.0) similaire à Cronbach

Question 10

Une statistique anciennement utilisée pour mesurer la consistance interne d’instruments de mesure où les items sont dichotomiques

Answer 10

Formule 20 de Kuder-Richardson (K-R 20)

Question 11

Méthode moitié-moitié (split-half de Spearman-Brown)

Answer 11

On divise en deux le test pour évaluer la relation entre les deux moitiés
La corrélation nous dit ce que serait la fidélité si le test était N fois plus long que ses moitiés
N > 2: prédiction pour test plus long N < 2: prédiction pour test plus court

Question 12

4 types de validité

Answer 12

• interne
• externe
• écologique
• de construit

Question 13

validité interne

Answer 13

Est-ce que les données sont vraiment dues à ce qu’on prétend (expérience) ou à ce qu’on observe (étude)?
Alternativement, est-ce que les résultats ne dépendent pas d’autres facteurs non contrôlés?
Haut degré de validité interne = empêcher que des éléments étrangers ou variables parasites ne contaminent la mise à l’épreuve de l’hypothèse
Pensez aussi biais (cours 6)

Question 14

la validité interne tient à (2)

Answer 14

la qualité ou à la solidité du protocole expérimental utilisé et à l’efficacité et à la rigueur des contrôles effectués

Question 15

7 sources d’invalidité à considérer

Answer 15

1. expérience vécue du participant
2. la maturation
3. l’opération de mesure
4. la constance de l’instrument
5. la régression statistique
6. la sélection des participants
7. la perte de participants

Question 16

1. Expérience vécue du participant

Answer 16

Événements qui surviennent pendant et entre les prises de mesures et qui ne dépendent pas de la manipulation expérimentale (e.g., divorce, perte d’emploi, nouvelle relation, etc.)

Question 17

2. La maturation

Answer 17

Les processus individuels qui se développent en fonction du passage du temps, tels le vieillissement, la croissance, l’expérience personnelle, etc.

Des modifications de cette nature se produisent souvent à l’intérieur de périodes de temps très brèves Étant donné que ce facteur joue dans toutes études, l’utilisation d’un groupe témoin provenant de la même population précisera et contrôlera les effets de la maturation

Question 18

3. L’opération de mesure

Answer 18

Le seul fait de répéter un test risque d’influencer les résultats

Les différences observées entre la première mesure et sa répétition peuvent dépendre simplement de l’opération de mesure et non du traitement expérimental (naïf vs savant) Un groupe témoin qui n’est pas exposé à la VI permettra de préciser cet effet de l’opération de mesure

Question 19

4. La constance de l’instrument

Answer 19

Il peut se produire des changements dans la calibration d’instrument de mesure ou dans la manière dont l’expérimentateur recueille ses données

E.g., l’emploi d’observateurs: ils peuvent se fatiguer, s’améliorer, ou empirer!

Le changement observé entre les mesures du pré-test et du post-test peut donc dépendre de l’instrument de mesure

Question 20

5. La régression statistique

Answer 20

Phénomène qui se manifeste surtout quand on choisit des groupes qui se situent aux extrémités d’une échelle de mesure

En faisant la sélection des participants, l’expérimentateur choisit ceux-celles qui obtiennent un score très élevé ou très bas à un moment précis, ce qui ne représente pas la position habituelle de ces individus

Lors d’évaluations subséquentes, ils auront tendance en tant que groupe à se rapprocher de la moyenne S’applique aux construits variables Les mesures stables moins susceptibles

Question 21

6. La sélection des participants

Answer 21

Déformations systématiques dans la composition comparative des groupes expérimentaux et témoins

E.g., étude sur le traitement de la peur des hauteurs. Groupe expérimental est composé de personnes qui consultent un psy. et groupe témoin qui provient de la population générale

Le fait que les participants proviennent d’une population différente peut-être suffisant pour expliquer un changement éventuel

Question 22

7. La perte de participants (mortalité ou attrition)

Answer 22

Si plusieurs participants d’un même groupe abandonnent, il peut s’en suivre des effets spécifiques qui ne dépendent aucunement de la variable expérimentale

Peut entraîner une diminution de la représentativité Pourquoi un groupe a plus d’abandons qu’un autre?

Question 23

Validité externe

Answer 23

Se préoccupe de la possibilité de généraliser les résultats de l’étude au-delà de l’échantillon, des circonstances

9 de vos 10 amis vous disent aimer le kale… devriez-vous investir dans le kale?

Question 24

4 facteurs importants à considérer validité externe

Answer 24

1- la réaction à la mesure
2- les effets d’interaction d’un ou des facteurs de validité interne avec VI
3- Effets spécifiques liés au déroulement de l’expérience
4- l’interférence associée à un traitement multiple

Question 25

1- la réaction à la mesure

Answer 25

La prise de mesure au cours d'un pré-test peut contribuer à augmenter ou diminuer la sensibilité du participant à l'endroit de la variable étudiée Les individus qui savent qu'ils sont observés vont agir différemment de ceux qui ne sont pas avertis Le seul fait de demander d'observer ou d'enregistrer la fréquence ou la durée d'un comportement entraînera une modification de ce comportement E.g., Programme pour cesser de fumer Au pré-test les sujets doivent compter les cigarettes qu’ils fument  ça peut les sensibiliser au fait qu’ils fument trop

Question 26

2- Les effets d'interaction d'un ou des facteurs de validité interne avec VI

Answer 26

Se produit alors qu’un élément de validité interne co-varie avec une variable indépendante E.g., mon ordinateur surchauffe(*), avec la conséquence que les temps de réactions à ma tâche sont surestimés plus la journée avance Or, malheureusement, une majorité de participant-e-s du groupe contrôle sont testé-e-s en après-midi, contrairement au groupe expérimental

Question 27

3- Effets spécifiques liés au déroulement de l'expérience

Answer 27

Parfois, les particularités de la démarche expérimentale sont telles qu'elles incitent les sujets à donner telle réponse plutôt que telle autre E.g., un sondage sur l’anxiété liée à prendre l’avion dont une partie des répondants l’ont rempli après un écrasement d’avion médiatisé Les résultats ainsi obtenus limitent grandement la portée des conclusions ou les rendent invalides

Question 28

4- L'interférence associée à un traitement multiple

Answer 28

Lorsque plusieurs traitements sont présentés simultanément, il devient difficile d'évaluer le poids relatif de chacun d'eux E.g., programme pour diminuer le bégaiement qui inclut la relaxation, l’imagerie, l’exposition, etc. Le traitement fonctionne, mais on ne sait pas à quoi l’attribuer À moins d’avoir un plan factoriel

Question 29

Validité écologique

Answer 29

Contexte dans lequel se déroule la recherche, y compris les tâches que les participants effectueront Similitude du contexte matériel et du niveau psychologique avec l’environnement réel? E.g., casino en labo - similitude au niveau du décor physique, mais pas au plan psychologique Signification que confère le sujet à la situation dans laquelle le chercheur le place ou l’étudie Pertinence?

Question 30

Validité de construit

Answer 30

Est-ce que le test mesure bien le construit tel qu’il est défini par son cadre théorique de base? Deux approches Validité convergente Validité divergente (ou discriminante)

Question 31

Validité de construit convergente

Answer 31

Capacité d’une mesure de produire des résultats semblables à ceux produits par d’autres mesures qui sont reliées au construit en question Consiste à corréler un test avec un critère approprié E.g., deux questionnaires d’estime de soi E.g., deux mesures d’anxiété (l’une par questionnaire et l’autre par entrevue ou taux de cortisol)

Question 32

Validité de construit divergente

Answer 32

Consiste à démontrer que le test n’est pas significativement corrélé avec des critères non pertinents E.g., l’échelle d’intelligence verbale ne corrèle pas avec l’échelle de narcissisme dans notre batterie intelligence-personnalité

Question 33

But du contrôle (3)

Answer 33

Les conclusions sont impossibles à tirer en présence d’interprétations alternatives plausibles Les interprétations alternatives surviennent quand des variables externes ou parasites ou confondantes peuvent avoir influencé les résultats E.g., tester l’efficacité de comprimés anti-soif avalés avec un grand verre d’eau Les interprétations alternatives empêchent le progrès Un ensemble de procédures existent pour contrôler les variables parasites

Question 34

Comment contrôler les variables parasites

Answer 34

- maintenir la variable parasite constante - sélection et assignation aléatoire - plans factoriels (les inclure) - contrôles statistiques - le + de contrôles possibles

Question 35

Maintenir la variable parasite constante

Answer 35

Certifie qu’elle ne peut avoir causé les différences entre les groupes E.g., groupe contrôle qui boit de l’eau mais pas de comprimé anti-soif Peut limiter la validité externe des résultats E.g., si on avale la pilule “à sec”?

Question 36

Sélection et assignation aléatoire

Answer 36

L’échantillonnage aléatoire protège contre les biais d’échantillons Voir cours 7 L’assignation aléatoire « assure » que les groupes sont comparables avant toute intervention Les variables parasites sont distribuées également à travers les différents groupes Tout ce qui peut être randomisé devrait l’être (e.g., stimuli, ordre des tâches, expérimentateurs…) Demande un gros échantillon

Question 37

Plans factoriels

Answer 37

Si on ne peut les éliminer…. les inclure! La variable parasite devient une VI additionnelle E.g., un plan 2 (sexe) x 3 (drogue) x 3 (eau)

Question 38

Contrôles statistiques

Answer 38

Lorsque les contrôles expérimentaux sont inexistants ou insuffisants Scores de changement (avant-après) Analyse de la covariance Corrélations partielles

Question 39

La meilleure approche pour contrôler les variables parasites?

Answer 39

Le plus de contrôles possible! Contrôle total n’est pas un objectif réalisable L’incapacité à contrôler les variables parasites est un des obstacles les plus importants en science Dès qu’un évaluateur identifie un parasite raisonnable, la publication devient TRÈS difficile