Cours 12 Flashcards
Quels sont les 3 voeux d’une recherche heureuse?
Fidélité
Validité
Contrôle
Qu’est-ce que la fidélité?
Réfère à la précision de l’instrument peu importe ce qu’il mesure
- Pensez: est-ce qu’il me trompe parfois?
On considère une technique de mesure fidèle lorsque son application entraîne toujours des résultats semblables
- Si elle mesure toujours le construit psychologique de la même façon
- exemple : Intelligence, personnalité, anxiété…
La fidélité d’une mesure dépend de l’absence
relative d’erreur de mesure
De quoi dépend la fidélité d’une mesure?
La fidélité d’une mesure dépend de l’absence
relative d’erreur de mesure
Vrai ou faux, Des mesures constantes ou fidèles peuvent ne pas être valides
Vrai
- Votre test d’intelligence peut donner à chaque fois le même résultat chez une même personne. Gage de fidélité, oui, mais ce n’est pas ce qui vous confirme que le test mesure l’intelligence
Nommez 3 types de fidélité.
La stabilité temporelle, l’équivalence et l’homogénéité
Qu’est-ce que la fidélité par stabilité temporelle?
1 - Se détermine sur la base de la constance des résultats obtenus à la suite d’applications répétées de l’instrument
2 - Habituellement, on a recours à 2 administrations de l’instrument
3 - Cette technique s’appelle fidélité test retest
Quand est-ce que l’on utilise, test re-test?
(Recommande vs pas recommander)
Recommandé pour des construits qui possèdent une stabilité temporelle
- E.g., traits de personnalité, intelligence
Peu recommandé pour :
- Des tests de type situationnel qui mesurent un état passager
E.g., émotions, humeur
Des tests qui sont influencés par la mémoire
ou l’apprentissage
Qu’est-ce que la fidélité par équivalence?
Consistance des résultats obtenus à la suite de l’utilisation soit de différents instruments visant la mesure de la même caractéristique (p. ex., 16PF formes A et B) ou soit d’un même instrument où l’observateur est une source possible d’erreurs
- Si plusieurs observateurs sont impliqués, l’indice d’équivalence peut être le pourcentage d’accord inter juges (coefficient Kappa)
- Si ce sont des questions de tests, l’indice d’équivalence est un coefficient de corrélation entre les réponses à des échantillons de questions des deux instruments
Si plusieurs observateurs sont impliqués dans la fidélité par équivalence, comment est-ce que l’on calcule l’indice d’équivalence?
- Si plusieurs observateurs sont impliqués, l’indice d’équivalence peut être le pourcentage d’accord inter juges (coefficient Kappa)
Comment est-ce que l’on évalue la fidélité par équivalence entre des questions de test?
- Si ce sont des questions de tests, l’indice d’équivalence est un coefficient de corrélation entre les réponses à des échantillons de questions des deux instruments
Qu’est-ce que la fidélité par homogénéité ou consistance interne?
C’est le degré de consistance qu’offrent les réponses d’un individu aux questions variées d’un test
S’intéresse à la probabilité qu’un (des) item(s) mesure(nt) autre chose que ce qui est prévu
Différents outils statistiques mesurent l’homogénéité
Qu’est-ce que l’alpha de Cronbach?
Une statistique fréquemment utilisée pour mesurer la consistance interne d’instruments de mesure
Approprié pour échelles type dichotomiques, Likert ou mesures intervalle/rapport
Pour quel type d’échelle l’alpha de Cronbach est approprié?
Approprié pour échelles type dichotomiques, Likert ou mesures intervalle/rapport
Comment est-ce que l’on interprète l’alpha de Cronbach?
a < 0,60 → inacceptable
a entre → 0,60 et 0,65 indésirable
a entre → 0,65 et 0,70 minimalement acceptable
a entre → 0,70 et 0,80 respectable
a entre → 0,80 et 0,90 très bien
a > 0,90 → excellent
Qu’est ce que la formule 20 de Kuder-Richardson (K-R 20) ?
Une statistique anciennement utilisée pour mesurer la consistance interne d’instruments de mesure où les items sont dichotomiques (e.g., oui-non)
- Cronbach a peut faire le travail aussi, étant plus versatile
K-R 20 = désuet
-Interprétation du coéficient (étendue 0.0 – 1.0) similaire à Cronbach
Qu’est-ce que la méthode moitié moitié (split-half de Spearman-Brown)?
On divise en deux le test pour évaluer la relation entre les deux moitiés
Qu’est-ce que Corrélation de la méthode moitié-moitié de Spearman Brown nous dit?
La corrélation p*xx’ nous dit ce que serait la fidélité si le test était N fois plus long que ses moitiés
N > 2: prédiction pour test plus long
N < 2: prédiction pour test plus court
Quels sont les 4 types de validité?
1 - Interne
2 - Externe
3 - Écologique
4 - De construit
Qu’est-ce que la validité interne?
1 - Est-ce que les données sont vraiment dues à ce qu’on prétend (expérience) ou à ce qu’on
observe (étude)?
- Alternativement, est-ce que les résultats ne dépendent pas d’autres facteurs non contrôlés?
2 - Haut degré de validité interne = empêcher que des éléments étrangers ou variables parasites ne contaminent la mise à l’épreuve de l’hypothèse
Pensez aussi biais (cours 6)
Que permet un haut degré de validité interne?
Haut degré de validité interne = empêcher que des éléments étrangers ou variables parasites ne contaminent la mise à l’épreuve de l’hypothèse
Résultat :Tel que prévu, les parents entraînés à adopter une attitude interrogative et exploratoire dans leurs comportements pendant une période de 6 mois voient s’accroître la curiosité intellectuelle de leurs enfants inscrits à la maternelle
Question de validité interne: Comment être certain que l’augmentation de la curiosité intellectuelle ne serait pas attribuable à l’évolution normale des enfants et à la nature facilitatrice de leurs activités préscolaires?
Réponse: groupe contrôle
De quoi dépend la validité interne d’un test?
La validité interne tient à :
1 - La qualité ou à la solidité du protocole expérimental utilisé
2 - L’efficacité et à la rigueur des contrôles effectués
Nommez 7 source d’invalidité à considérer?
- Expérience vécue du participant
- La maturation
- L’opération de mesure
- La constance de l’instrument
- La régression statistique
6.La sélection des participants
7.La perte de participants (mortalité ou attrition)
Qu’est ce que l’expérience vécu du participant et en quoi est ce qu’il est source d’invalidité?
Événements qui surviennent pendant et entre les prises de mesures et qui ne dépendent pas de la manipulation expérimentale (e.g., divorce, perte d’emploi, nouvelle relation, etc.)
Qu’est ce que la maturation et en quoi est ce qu’il est source d’invalidité?
Les processus individuels qui se développent en fonction du passage du temps, tels le vieillissement, la croissance, l’expérience personnelle, etc.
- Des modifications de cette nature se produisent souvent à l’intérieur de périodes de temps très brèves
- Étant donné que ce facteur joue dans toutes études, l’utilisation d’un groupe témoin provenant de la même population précisera et contrôlera les effets de la maturation
Qu’est ce que l’opération de mesure et en quoi est ce qu’il est source d’invalidité?
Le seul fait de répéter un test risque d’influencer les résultats
- Les différences observées entre la première mesure et sa répétition peuvent dépendre simplement de l’opération de mesure et non du traitement expérimental (naïf vs savant)
- Un groupe témoin qui n’est pas exposé à la VI permettra de préciser cet effet de l’opération de mesure
Qu’est ce que la constance de l’instrument et en quoi est ce qu’il est source d’invalidité?
Il peut se produire des changements dans la calibration d’instrument de mesure ou dans la manière dont l’expérimentateur recueille ses données
- E.g., l’emploi d’observateurs: ils peuvent se fatiguer, s’améliorer, ou empirer!
- Le changement observé entre les mesures du pré-test et du post-test peut donc dépendre de l’instrument de mesure
Qu’est ce que la régression statistique et en quoi est ce qu’il est source d’invalidité?
Phénomène qui se manifeste surtout quand on choisit des groupes qui se situent aux extrémités d’une échelle de mesure
- En faisant la sélection des participants, l’expérimentateur choisit ceux-celles qui obtiennent un score très élevé ou très bas à un moment précis, ce qui ne représente pas la position habituelle de ces individus
- Lors d’évaluations subséquentes, ils auront tendance en tant que groupe à se rapprocher de la moyenne
- S’applique aux construits variables
- Les mesures stables moins susceptibles
Qu’est ce que la sélection des participants et en quoi est ce qu’il est source d’invalidité?
Déformations systématiques dans la composition comparative des groupes expérimentaux et témoins
- E.g., étude sur le traitement de la peur des hauteurs. Groupe expérimental est composé de personnes qui consultent un psy. et groupe témoin qui provient de la population générale
- Le fait que les participants proviennent d’une population différente peut-être suffisant pour expliquer un changement éventuel
Qu’est ce que la perte de participants et en quoi est ce qu’il est source d’invalidité?
La perte de participants (mortalité ou attrition)
Si plusieurs participants d’un même groupe abandonnent, il peut s’en suivre des effets spécifiques qui ne dépendent aucunement de la variable expérimentale
- Peut entraîner une diminution de la représentativité
- Pourquoi un groupe a plus d’abandons qu’un autre?
Qu’est ce que la validité externe?
Se préoccupe de la possibilité de généraliser les résultats de l’étude au-delà de l’échantillon, des circonstances
Quels sont les 4 facteurs importants à considérer dans la validité externe?
1- La réaction à la mesure
2- Les effets d’interaction d’un ou des facteurs de validité interne avec VI
3- Effets spécifiques liés au déroulement de l’expérience
4- L’interférence associée à un traitement multiple
Qu’est-ce que la réaction à la mesure dans la validité externe?
1 - La prise de mesure au cours d’un pré-test peut contribuer à augmenter ou diminuer la sensibilité du participant à l’endroit de la variable étudiée
- Les individus qui savent qu’ils sont observés vont agir différemment de ceux qui ne sont pas avertis
2 - Le seul fait de demander d’observer ou d’enregistrer la fréquence ou la durée d’un
comportement entraînera une modification de ce comportement
E.g., Programme pour cesser de fumer
- Au pré-test les sujets doivent compter les cigarettes qu’ils fument = ça peut les sensibiliser au fait qu’ils fument trop
Qu’est ce que les effets d’interaction d’un ou des facteurs de validité interne avec VI dans la validité externe?
Se produit alors qu’un élément de validité interne co-varie avec une variable indépendante
- E.g., mon ordinateur surchauffe(*), avec la conséquence que les temps de réactions à ma tâche sont surestimés plus la journée avance
- Or, malheureusement, une majorité de participant-e-s du groupe contrôle sont testé-e-s en après-midi, contrairement au groupe expérimental
(*) Constance de l’instrument (due à problème de fidélité)
Quels sont les effets spécifiques liés au déroulement de l’expérience sur la validité externe?
Parfois, les particularités de la démarche expérimentale sont telles qu’elles incitent les sujets à donner telle réponse plutôt que telle autre
- E.g., un sondage sur l’anxiété liée à prendre l’avion dont une partie des répondants l’ont rempli après un écrasement d’avion médiatisé
- Les résultats ainsi obtenus limitent grandement la portée des conclusions ou les rendent invalide
Exemple faire un sondage sur l’appréciation des routes au Québec dans un embouteillage.
Quels sont les effets de l’interférence associé à un traitement multiple?
Lorsque plusieurs traitements sont présentés simultanément, il devient difficile d’évaluer le poids relatif de chacun d’eux
-E.g., programme pour diminuer le bégaiement qui inclut la relaxation, l’imagerie, l’exposition, etc. Le traitement fonctionne, mais on ne sait pas à quoi l’attribuer
- À moins d’avoir un plan factoriel
Qu’est-ce que la validité écologique?
Contexte dans lequel se déroule la recherche, y compris les tâches que les participants effectueront
- Similitude du contexte matériel et du niveau psychologique avec l’environnement réel?
- E.g., casino en labo - similitude au niveau du décor physique, mais pas au plan psychologique
- Signification que confère le sujet à la situation dans laquelle le chercheur le place ou l’étudie
- Pertinence?
Quelles sont les 2 approches de la validité de construit?
Est-ce que le test mesure bien le construit
tel qu’il est défini par son cadre théorique
de base?
Deux approches
Validité convergente
Validité divergente (ou discriminante)
Qu’est-ce que la validité de construit convergente?
Capacité d’une mesure de produire des résultats semblables à ceux produits par d’autres mesures qui sont reliées au construit en question
Consiste à corréler un test avec un critère approprié
- E.g., deux questionnaires d’estime de soi
- E.g., deux mesures d’anxiété (l’une par questionnaire et l’autre par entrevue ou taux de cortisol
Qu’est-ce que la validité de construit divergente?
Consiste à démontrer que le test n’est pas significativement corrélé avec des critères non pertinents
E.g., l’échelle d’intelligence verbale ne corrèle pas avec l’échelle de narcissisme dans notre batterie intelligence-personnalité
L’échelle d’intelligence verbale ne corrèle pas avec l’échelle de narcissisme dans notre batterie intelligence-personnalité
Validité de construit divergente.
deux mesures d’anxiété (l’une par questionnaire et l’autre par entrevue ou taux de cortisol
Validité de construit convergente
deux questionnaires d’estime de soi
Validité de construit convergente
Quel doit-on savoir sur la notion de contrôle?
1 - Les conclusions sont impossibles à tirer en présence d’interprétations alternatives plausibles
2 - Les interprétations alternatives surviennent quand des variables externes ou parasites ou confondantes peuvent avoir influencé les résultats
- E.g., tester l’efficacité de comprimés anti-soif avalés avec un grand verre d’eau
3 - Les interprétations alternatives empêchent le progrès
- Un ensemble de procédures existent pour contrôler les variables parasites
Vrai ou faux, Les conclusions sont impossibles à tirer en présence d’interprétations alternatives plausibles
Vrai (notion de controle)
En quel circonstance les interprétations alternatives surviennent?
Quand des variables externes ou parasites ou confondantes peuvent avoir influencé les résultats
- E.g., tester l’efficacité de comprimés anti-soif avalés avec un grand verre d’eau
Vrai ou faux, les interprétations alternatives empêchent le progrès
Vrai
Pourquoi est ce que l’on maintien la variable parasite constante?
Car cela certifie qu’elle ne peut avoir causé les
différences entre les groupes
- E.g., groupe contrôle qui boit de l’eau mais
pas de comprimé anti-soif
Peut limiter la validité externe des résultats
- E.g., si on avale la pilule “à sec”?
Qu’est-ce qui protège contre les biais d’échantillons?
Sélection et assignation aléatoire, échantillonnage aléatoire
Qu’est-ce que l’assignation aléatoire assure?
L’assignation aléatoire «assure» que les groupes sont comparables avant toute intervention
- Les variables parasites sont distribuées également à travers les différents groupes
- - - Tout ce qui peut être randomisé devrait l’être (e.g., stimuli, ordre des tâches, expérimentateurs…)
- - - Demande un gros échantillon
Vrai ou faux, il n’est pas préférable de randomisé toute les tâches qui peuvent l’être, seulement randomisé ordre des taches et l’assignation au groupe est suffisante
Faux, Tout ce qui peut être randomisé devrait l’être (e.g., stimuli, ordre des tâches, expérimentateurs…)
Que doit-on faire si on ne peut pas éliminer les variables parasites?
Si on ne peut pas les enlever, on doit alors les inclure. La variable parasite devient alors une variable indépendante additionnelle.
E.g., un plan 2 (sexe) x 3 (drogue) x 3 (eau)
Que doit on faire lorsque les contrôles expérimentaux sont inexistants ou insuffisants?
Scores de changement (avant-après)
Analyse de la covariance
Corrélations partielles
Est ce qu’un contrôle total est un objectif réalisable?
Ce n’est pas un objectif réalisable. Toutefois, on veut quand même le plus de contrôle possible
Nommez un des obstacles les plus importants en sciences.
L’incapacité à contrôler les variables parasites
Vrai ou faux? Dès qu’un évaluateur identifie un parasite raisonnable la publication peut alors être diffusée.
La question est stupide mais bon, la réponse est non, Lorsqu’il y a une variable parasite, la publication devient très très difficile.
