fidélité, validité et contrôle Flashcards
On considère une technique de mesure fidèle lorsque quoi
son application entraîne toujours des résultats semblables
la fidélité réfère à quoi
à la précision de l’instrument peu importe ce qu’il mesure
la fidélité d’une mesure dépend de l’absence de quoi
l’absence relative d’erreur de mesure
est ce que fidélité = validité
non
est ce que les mesures constantes ou fidèles sont toujours valide
non
quels sont les trois types de fidélité
- stabilité temporelle
- équivalence
- homogénéité
la stabilité temporelle se détermine sur la base de quoi
sur la base de la constance des résultats obtenus à la suite d’applications répétées de l’instrument
la stabilité temporelle se détermine sur la base de la constance des résultats obtenus à la suite d’applications répétées de l’instrument, à combien d’administrations d’instruments on fait habituellement recours
on a recours à 2 administrations de l’instrument
comment s’appelle la technique pour déterminer s’il y a bel et bien une stabilité temporelle
fidélité test-restest
quand utiliser le test-retest, pour quel type de construit
Recommandé pour des construits qui possèdent une stabilité temporelle
E.g., traits de personnalité, intelligence
pour quel type de test n’est t-il pas recommandé d’utiliser le test-retest
- Des tests de type situationnel qui mesurent un état passager
E.g., émotions, humeur - Des tests qui sont influencés par la mémoire ou l’apprentissage
qu’est ce que l’équivalence
La manière dont les résultats obtenus à partir de différents instruments ou par différents observateurs mesurent la même caractéristique ou la même variable
Si plusieurs observateurs sont impliqués, l’indice d’équivalence peut être quoi ( équivalence ) aussi comme s’appel ce coefficient
le pourcentage d’accord inter-juges (coefficient Kappa)
Si ce sont des questions de tests, des réponses obtenus à des échantillons de questions de 2 instruments, l’indice d’équivalence est quoi
un coefficient de corrélation entre les réponses à des échantillons de questions des deux instruments
qu’est ce que l’homogénéité, s’intéresse à quoi
C’est le degré de consistance qu’offrent les réponses d’un individu aux questions variées d’un test
- S’intéresse à la probabilité qu’un (des) item(s) mesure(nt) autre chose que ce qui est prévu
autre mot pour homogénéité
consistance interne
quels outils mesurent l’homogénéité
Différents outils statistiques mesurent l’homogénéité
- alpha de cronbach
- formule 20 de kuder-richardson
- moitié-moitié
qu’est ce que l’Alpha (α) de Cronbach
Une statistique fréquemment utilisée pour mesurer la consistance interne d’instruments de mesure
pour quelle type d’échelle l’Alpha (α) de Cronbach est-elle approprié
Approprié pour échelles type dichotomiques, Likert ou mesures intervalle/rapport
est ce que l’α plus petit que 0,6 est acceptable
inacceptable
entre quoi l’α est indésirable
entre 0,6-0,65
quand est-ce que l’α est minimalement acceptable
entre 0,65-0,7
quand est-ce que l’alpha est respectable
entre 0,7-0,8
quand est-ce que l’α est très bon
entre 0,8-0,9
quand est-ce que l’α est excellent
quand l’α est plus grand que 0,9
pour quoi était anciennement utilisé la formule 20 de kuder-richardson
Une statistique anciennement utilisée pour mesurer la consistance interne d’instruments de mesure où les items sont dichotomiques (e.g., oui-non)
qu’est ce qui est une option plus versatile que la formule 20 de Kuder-Richardson
Cronbach α
qu’est ce qui est similaire entre cronbach α et K-R 20
Interprétation du coéficient (étendue 0.0 – 1.0) similaire à Cronbach
qu’est ce que la méthode moitié-moitié (split-half de Spearman-Brown)
On divise en deux le test pour évaluer la relation entre les deux moitiés
La corrélation P*xx nous dis quoi
ce que serait la fidélité si le test était N fois plus long que ses moitiés
quand N est plus grand que 2 dans la méthode moitié-moitié, qu’est ce que ça signifie
prédiction pour test plus long
quand N est plus petit que 2 dans la méthode moitié-moitié, qu’est ce que ça signifie
prédiction pour test plus court
la validité interne permet de nous questionner sur quoi
Est-ce que les données sont vraiment dues à ce qu’on prétend (expérience) ou à ce qu’on observe (étude)?
Alternativement, est-ce que les résultats ne dépendent pas d’autres facteurs non contrôlés?
Haut degré de validité interne =
empêcher que des éléments étrangers ou variables parasites ne contaminent la mise à l’épreuve de l’hypothèse
la validité interne tient à la _______ et la _______ du protocole expérimentale utilisé et à __________ et a la ___________ des contrôles effectués
à la qualité ou à la solidité du protocole expérimental utilisé et à l’efficacité et à la rigueur des contrôles effectués
quelles sont les 7 sources d’invalidité interne à considérer
- Expérience vécue du participant
- La maturation
- L’opération de mesure
- La constance de l’instrument
- La régression statistique
- La sélection des participants
- La perte de participants (mortalité ou attrition)
sources d’invalidité à considérer
Expérience vécue du participant
qu’est ce que c’est
Événements qui surviennent pendant et entre les prises de mesures et qui ne dépendent pas de la manipulation expérimentale (e.g., divorce, perte d’emploi, nouvelle relation, etc.)
sources d’invalidité à considérer
La maturation
Qu’est ce que c’est
Les processus individuels qui se développent en fonction du passage du temps, tels le vieillissement, la croissance, l’expérience personnelle, etc.
est ce que la maturation implique des modifications se produisant souvent à l’intérieur de périodes de temps très brèves ou très longues
très brève
comment préciser et contrôler les effets de la maturation
à l’aide d’un groupe témoin
Le seul fait de répéter un test risque d’influencer les résultats
quelle source d’invalidité à considérer est-ce
l’opération de mesure
Les différences observées entre la première mesure et sa répétition peuvent dépendre simplement de quoi, par rapport à l’opération de mesure
de l’opération de mesure et non du traitement expérimental (naïf vs savant)
comment préciser l’effet de l’opération de mesure
Un groupe témoin qui n’est pas exposé à la VI
sources d’invalidité à considérer
La constance de l’instrument
qu’est ce qui peut arriver
Il peut se produire des changements dans la calibration d’instrument de mesure ou dans la manière dont l’expérimentateur recueille ses données
Le changement observé entre les mesures du pré-test et du post-test peut donc dépendre de quoi
de l’instrument de mesure
sources d’invalidité à considérer
La régression statistique
C’est quoi
Phénomène qui se manifeste surtout quand on choisit des groupes qui se situent aux extrémités d’une échelle de mesure
En faisant la sélection des participants, l’expérimentateur choisit ceux-celles qui obtiennent un score très élevé ou très bas à un moment précis, ce qui ne représente pas la position habituelle de ces individus
quelle source d’invalidité ça peut faire
la régression statistique
la régression statistique s’applique plus à quoi, quel type de construit
aux construits variables plus qu’aux mesures stables
sources d’invalidité à considérer
La sélection des participants
qu’est ce que c’est
Déformations systématiques dans la composition comparative des groupes expérimentaux et témoins
Le fait que les participants proviennent d’une population différente peut-être suffisant pour expliquer un changement éventuel
vrai ou faux
vrai
E.g., étude sur le traitement de la peur des hauteurs. Groupe expérimental est composé de personnes qui consultent un psy. et groupe témoin qui provient de la population générale
quelle source d’invalidité
La sélection des participants
sources d’invalidité à considérer
La perte de participants (mortalité ou attrition)
qu’est ce que c’est
Si plusieurs participants d’un même groupe abandonnent, il peut s’en suivre des effets spécifiques qui ne dépendent aucunement de la variable expérimentale
qu’est ce que peut entraîner la perte de participants, une diminution de quoi
Peut entraîner une diminution de la représentativité
la validité externe se préoccupe de quoi
Se préoccupe de la possibilité de généraliser les résultats de l’étude au-delà de l’échantillon, des circonstances
quels sont les 4 facteurs importants à considérer dans la validité externe
1- La réaction à la mesure
2- Les effets d’interaction d’un ou des facteurs de validité interne avec VI
3- Effets spécifiques liés au déroulement de l’expérience
4- L’interférence associée à un traitement multiple
les 4 facteurs important à considérer dans la validité externe sont en relation avec quoi
avec les biais discutés au cours 6
La prise de mesure au cours d’un pré-test peut contribuer à faire quoi, par rapport aux participants
à augmenter ou diminuer la sensibilité du participant à l’endroit de la variable étudiée
est-ce que le seul fait de demander d’observer ou d’enregistrer la fréquence ou la durée d’un comportement entraînera une modification de ce comportement
oui
quand est-ce que les effets d’interaction d’un ou des facteurs de validité interne avec VI se produit
Se produit alors qu’un élément de validité interne co-varie avec une variable indépendante
E.g., mon ordinateur surchauffe(*), avec la conséquence que les temps de réactions à ma tâche sont surestimés plus la journée avance
qu’est ce qui est important de considérer par rapport au déroulement de l’expérience, qu’est ce que la démarche expérimentale peut parfois influencer
Parfois, les particularités de la démarche expérimentale sont telles qu’elles incitent les sujets à donner telle réponse plutôt que telle autre
Parfois, les particularités de la démarche expérimentale sont telles qu’elles incitent les sujets à donner telle réponse plutôt que telle autre, quelle est la conséquence sur les résultats
Les résultats ainsi obtenus limitent grandement la portée des conclusions ou les rendent invalides
qu’est ce qui arrive par rapport à l’interférence associée à un traitement multiple ( plusieurs variables traitées en même temps)
Lorsque plusieurs traitements sont présentés simultanément, il devient difficile d’évaluer le poids relatif de chacun d’eux
E.g., programme pour diminuer le bégaiement qui inclut la relaxation, l’imagerie, l’exposition, etc. Le traitement fonctionne, mais on ne sait pas à quoi l’attribuer
qu’est ce que la validité écologique
Contexte dans lequel se déroule la recherche, y compris les tâches que les participants effectueront
quelle question permet de se demander la validité du construit
Est-ce que le test mesure bien le construit tel qu’il est défini par son cadre théorique de base?
quelles sont les deux approches de la validité de construit
- Validité convergente
- Validité divergente (ou discriminante)
qu’est ce que la validité de construit convergente
Capacité d’une mesure de produire des résultats semblables à ceux produits par d’autres mesures qui sont reliées au construit en question
tu mesures avec plusieurs instruments, censé donner le même résultat
la validité de construit convergente permet de corréler quoi
permet de corréler un test avec un critère approprié
E.g., deux questionnaires d’estime de soi
E.g., deux mesures d’anxiété (l’une par questionnaire et l’autre par entrevue ou taux de cortisol)
à quoi consiste la validité de construit divergente
Consiste à démontrer que le test n’est pas significativement corrélé avec des critères non pertinents
E.g., l’échelle d’intelligence verbale ne corrèle pas avec l’échelle de narcissisme dans notre batterie intelligence-personnalité
Les conclusions sont impossibles à tirer en présence de quoi
d’interprétations alternatives plausibles
Les interprétations alternatives surviennent quand quoi
des variables externes ou parasites ou confondantes peuvent avoir influencé les résultats
E.g., tester l’efficacité de comprimés anti-soif avalés avec un grand verre d’eau
Les interprétations alternatives empêchent quoi
le progrès
est ce qu’il existe des procédures pour contrôler les variables parasites
oui
-Maintenir la variable parasite constante
- Sélection et assignation aléatoire
- Plans factoriels, ajouter la variable parasite comme un VI
qu’est ce que maintenir la variable parasite constante permet
qu’est ce qu’elle peut limiter en contre partie
- Certifie qu’elle ne peut avoir causé les différences entre les groupes
E.g., groupe contrôle qui boit de l’eau mais pas de comprimé anti-soif - Peut limiter la validité externe des résultats
E.g., si on avale la pilule “à sec”?
L’échantillonnage aléatoire protège contre quoi
les biais d’échantillons
L’assignation aléatoire «assure» que quoi par rapport aux groupes
les groupes sont comparables avant toute intervention
L’assignation aléatoire «assure» que les groupes sont comparables avant toute intervention. Ce qui fait en sorte que les variables parasites sont distribuées comment
également à travers les différents groupes
Les variables parasites sont distribuées également à travers les différents groupes ce qui implique (1)
Tout ce qui peut être randomisé devrait l’être (e.g., stimuli, ordre des tâches, expérimentateurs…)
un processus qui consiste à attribuer de manière aléatoire des participants, des objets ou des conditions à différents groupes ou traitements dans le cadre d’une étude ou d’une expérience.
Les variables parasites sont distribuées également à travers les différents groupes
Tout ce qui peut être randomisé devrait l’être (e.g., stimuli, ordre des tâches, expérimentateurs…), ça demande quoi
Demande un gros échantillon
si on peut pas éliminer la variable parasite , qu’est ce qu’on fait
on les inclues
La variable parasite devient une VI additionnelle
on fait un contrôle statistique quand quoi
Lorsque les contrôles expérimentaux sont inexistants ou insuffisants
Contrôles statistiques
Lorsque les contrôles expérimentaux sont inexistants ou insuffisants
(3)
- Scores de changement (avant-après)
- Analyse de la covariance
- Corrélations partielles
la meilleure approche vise le plus de _________ possible
contrôle
L’incapacité à contrôler les variables _________ est un des obstacles les plus importants en science
parasites
Dès qu’un évaluateur identifie un parasite raisonnable, la publication devient comment
TRÈS difficile
