Validité des études et psychométrie Flashcards
Quel est le synonyme de validité externe?
Généralisabilité
Qu’est-ce que la validité externe?
Est-ce que les résutats d’une étude peuvent être appliqués à des personnes en dehors de l’échantillon?
Plus les conditions expérimentales sont proches de la pratique réelle, plus la validité externe de l’étude sera bonne
Quels biais peuvent interférer avec la validité externe?
- Erreur d’échantillonnage
- Validité écologique faible
VRAI OU FAUX?
En pratique, on considère un échantillon représentatif s’il possède les mêmes caractéristiques que la population pour toutes les variables importantes pour l’étude.
VRAI!
Qu’est-ce qu’une erreur d’échantillonnage?
Il existe des différences entre la population et l’échantillon pour les caractéristiques importantes pour l’étude.
Ex: mauvaise répartition des genres
Quelles stratégies pouvons-nous utiliser pour limiter l’erreur d’échantillonnage?
- Randomisation
- Utilisation d’un échantillon large
- Sélectionner des participants de plusieurs sites
- Répliquer l’étude dans de nouveaux échantillons
Que veut dire randomisé?
Chaque individu de la population a la même chance d’être sélectionné.
Qu’est-ce qu’un échantillon de convenance? Quels sont les enjeux qui y est relié? Qu’est-ce qui serait possible de faire pour contrer cela?
-Échantillon de participants facilement accessibles
ENJEUX:
-Risque majeur d’erreur d’échantillonnage
SOLUTION:
Utiliser la même méthodologie de recherche dans d’autres échantillons de la population.
Qu’est-ce que la validité écologique?
Environnement dans lequel l’étude est réalisée.
On essaie qu’il soit le plus proche possible de la pratique réelle.
Quelles sont les stratégies pour limiter les biais dans le cadre de la validité écologique?
Vérifier que les conditions de l’étude sont similaires à nos conditions de pratique.
Considérer l’endroit, la procédure d’intervention et le temps.
- Endroit: patients hospitalisés?
- Procédure: thérapeutes hyper spécialisés?
- Temps: fréquence des séances? Durée des tx?
Qu’est-ce que la validité de conclusion statistique (VCS)?
Précision de la conclusion tirée de l’analyse statistique.
Premier réflexe: regarder la valeur p
- p < 0.05 statistiquement significatif
- p> 0.05 non statistiquement significatif
Il existe plusieurs biais qui peuvent interférer avec la validité e conclusion statistique (VCS), dont le fishing. Expliquez ce que c’est.
- Les auteurs vont tester des hypothèses à posteriori
- Les auteurs n’avaient pas prévu explorer ces hypothèses
- Le calcul de la taille de l’échantillon a été fait pour l’hypothèse à priori.
- On augmente donc le risque de voir une différence qui est due au hasard (erreur de type 1 ou risque alpha)
Quelles sont les stratégies pour limiter le fishing?
- Vérifier si les résultats présentés répondent à l’hypothèse de recherche.
- Les auteurs peuvent utiliser des procédures statistiques qui prennent en compte des analyses multiples (ex: correction de Bonferroni)
- Effectuer une autre étude pour tester cette nouvelle hypothèse
Il existe plusieurs biais qui peuvent interférer avec la validité e conclusion statistique (VCS), dont la puissance statistique. Expliquez ce que c’est.
- Capacité d’une étude à détecter une différence
- Se calcule selon: 1 - Bêta
- Risque Bêta (ou erreur de type 2): risque de conclure qu’il n’y a pas de différence alors qu’en réalité elle existe.
Quels sont les 3 paramètres sur lesquels s’appuie la puissance statistique?
- Taille de l’échantillon (grand échantillon augmente la puissance(
- Taille de l’effet (grande taille d’effet augmente la puissance)
- Risque alpha (constant a = 0.05)
Quand une étude ne trouve pas de différence, que faut-il vérifier?
La puissance de l’étude
Quelles sont les stratégies pour éviter une puissance statistique faible?
- On augmente la taille de l’échantillon
- Mettre en place des stratégies pour le recrutement, pour éviter de perdre des patients pendant le suivi
- On augmente la taille d’effet que l’on souhaite détecter
- Dans une analyse exploratoire, on peut utiliser un risque alpha plus grand
Qu’est-ce que la validité interne?
- Niveau de confiance avec lequel je peux considérer les résultats de l’étude comme non biaisés (en lien avec la qualité méthodologique de l’étude)
- Se poser la question: existe-t-il une autre explication pour les résultats de cette étude? (si oui, mauvais validité interne)
Quels sont les biais pouvant interférer avec la validité interne? Nommez-en 5.
- Biais de maturation
- Biais de sélection
- Facteurs historiques
- Régression à la moyenne
- Biais d’attrition
- Effet d’Hawthorne
- Effet de test
- Outil de mesure
- Effet pygmalion
- Égalisation compensatoire de traitement
- Démoralisation compensatoire
Qu’est-ce qu’un biais de maturation et qu’est-ce qu’un biais de sélection?
Biais de maturation: Changements qui se produisent au fil du temps chez les participants en raison du développement ou de la guérison.
Biais de sélection: groupes comparés dans l’étude ne sont pas similaires sur les caractéristiques importantes
Qu’est -ce que les facteurs historiques et la régression à la moyenne comme biais à la validité interne?
Historique: évènements qui se produisent entre le pré-test et le post-test
Régression à la moyenne: les scores extrêmes changent et se rapprochent de la moyenne grâce à des tests répétés.
Quels sont les biais de chercheur dans les biais à la validité interne?
- Effet pygmalion: les chercheurs s’attendent à ce que les participants du groupe expérimental s’améliorent ou les participants s’y attendent.
- Égalisation compensatoire de traitement: le groupe témoin est motivé par les chercheurs à rivaliser avec le groupe d’intervention.
- Démoralisation compensatoire: le comportement des chercheurs décourage le groupe contrôle ou les participants sont découragés parce-qu’ils font partie du groupe contrôle.
- Effet Hawthorne: les participants s’améliorent à cause de l’attention reçue du fait de leur participation à une étude.
Qu’est-ce que l’effet test, les biais de mesure et le biais d’attrition dans les biais à la validité interne?
Effet test: un test antérieur affecte le résultat du test ultérieur
Biais de mesure: outils de mesure non valides et peu fiables, une erreur de test ou un mauvais état de l’instrument entraînent des résultats inexacts.
Biais d’attrition: les participants qui abandonnent affectent les résultats de l’étude.