Validité des études et psychométrie Flashcards

1
Q

Quel est le synonyme de validité externe?

A

Généralisabilité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Qu’est-ce que la validité externe?

A

Est-ce que les résutats d’une étude peuvent être appliqués à des personnes en dehors de l’échantillon?

Plus les conditions expérimentales sont proches de la pratique réelle, plus la validité externe de l’étude sera bonne

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Quels biais peuvent interférer avec la validité externe?

A
  • Erreur d’échantillonnage
  • Validité écologique faible
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

VRAI OU FAUX?

En pratique, on considère un échantillon représentatif s’il possède les mêmes caractéristiques que la population pour toutes les variables importantes pour l’étude.

A

VRAI!

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Qu’est-ce qu’une erreur d’échantillonnage?

A

Il existe des différences entre la population et l’échantillon pour les caractéristiques importantes pour l’étude.

Ex: mauvaise répartition des genres

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Quelles stratégies pouvons-nous utiliser pour limiter l’erreur d’échantillonnage?

A
  • Randomisation
  • Utilisation d’un échantillon large
  • Sélectionner des participants de plusieurs sites
  • Répliquer l’étude dans de nouveaux échantillons
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Que veut dire randomisé?

A

Chaque individu de la population a la même chance d’être sélectionné.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Qu’est-ce qu’un échantillon de convenance? Quels sont les enjeux qui y est relié? Qu’est-ce qui serait possible de faire pour contrer cela?

A

-Échantillon de participants facilement accessibles

ENJEUX:

-Risque majeur d’erreur d’échantillonnage

SOLUTION:

Utiliser la même méthodologie de recherche dans d’autres échantillons de la population.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Qu’est-ce que la validité écologique?

A

Environnement dans lequel l’étude est réalisée.

On essaie qu’il soit le plus proche possible de la pratique réelle.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Quelles sont les stratégies pour limiter les biais dans le cadre de la validité écologique?

A

Vérifier que les conditions de l’étude sont similaires à nos conditions de pratique.

Considérer l’endroit, la procédure d’intervention et le temps.

  • Endroit: patients hospitalisés?
  • Procédure: thérapeutes hyper spécialisés?
  • Temps: fréquence des séances? Durée des tx?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Qu’est-ce que la validité de conclusion statistique (VCS)?

A

Précision de la conclusion tirée de l’analyse statistique.

Premier réflexe: regarder la valeur p

  • p < 0.05 statistiquement significatif
  • p> 0.05 non statistiquement significatif
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Il existe plusieurs biais qui peuvent interférer avec la validité e conclusion statistique (VCS), dont le fishing. Expliquez ce que c’est.

A
  • Les auteurs vont tester des hypothèses à posteriori
  • Les auteurs n’avaient pas prévu explorer ces hypothèses
  • Le calcul de la taille de l’échantillon a été fait pour l’hypothèse à priori.
  • On augmente donc le risque de voir une différence qui est due au hasard (erreur de type 1 ou risque alpha)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Quelles sont les stratégies pour limiter le fishing?

A
  • Vérifier si les résultats présentés répondent à l’hypothèse de recherche.
  • Les auteurs peuvent utiliser des procédures statistiques qui prennent en compte des analyses multiples (ex: correction de Bonferroni)
  • Effectuer une autre étude pour tester cette nouvelle hypothèse
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Il existe plusieurs biais qui peuvent interférer avec la validité e conclusion statistique (VCS), dont la puissance statistique. Expliquez ce que c’est.

A
  • Capacité d’une étude à détecter une différence
  • Se calcule selon: 1 - Bêta
  • Risque Bêta (ou erreur de type 2): risque de conclure qu’il n’y a pas de différence alors qu’en réalité elle existe.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Quels sont les 3 paramètres sur lesquels s’appuie la puissance statistique?

A
  • Taille de l’échantillon (grand échantillon augmente la puissance(
  • Taille de l’effet (grande taille d’effet augmente la puissance)
  • Risque alpha (constant a = 0.05)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Quand une étude ne trouve pas de différence, que faut-il vérifier?

A

La puissance de l’étude

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Quelles sont les stratégies pour éviter une puissance statistique faible?

A
  • On augmente la taille de l’échantillon
  • Mettre en place des stratégies pour le recrutement, pour éviter de perdre des patients pendant le suivi
  • On augmente la taille d’effet que l’on souhaite détecter
  • Dans une analyse exploratoire, on peut utiliser un risque alpha plus grand
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Qu’est-ce que la validité interne?

A
  • Niveau de confiance avec lequel je peux considérer les résultats de l’étude comme non biaisés (en lien avec la qualité méthodologique de l’étude)
  • Se poser la question: existe-t-il une autre explication pour les résultats de cette étude? (si oui, mauvais validité interne)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Quels sont les biais pouvant interférer avec la validité interne? Nommez-en 5.

A
  • Biais de maturation
  • Biais de sélection
  • Facteurs historiques
  • Régression à la moyenne
  • Biais d’attrition
  • Effet d’Hawthorne
  • Effet de test
  • Outil de mesure
  • Effet pygmalion
  • Égalisation compensatoire de traitement
  • Démoralisation compensatoire
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Qu’est-ce qu’un biais de maturation et qu’est-ce qu’un biais de sélection?

A

Biais de maturation: Changements qui se produisent au fil du temps chez les participants en raison du développement ou de la guérison.

Biais de sélection: groupes comparés dans l’étude ne sont pas similaires sur les caractéristiques importantes

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Qu’est -ce que les facteurs historiques et la régression à la moyenne comme biais à la validité interne?

A

Historique: évènements qui se produisent entre le pré-test et le post-test

Régression à la moyenne: les scores extrêmes changent et se rapprochent de la moyenne grâce à des tests répétés.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Quels sont les biais de chercheur dans les biais à la validité interne?

A
  • Effet pygmalion: les chercheurs s’attendent à ce que les participants du groupe expérimental s’améliorent ou les participants s’y attendent.
  • Égalisation compensatoire de traitement: le groupe témoin est motivé par les chercheurs à rivaliser avec le groupe d’intervention.
  • Démoralisation compensatoire: le comportement des chercheurs décourage le groupe contrôle ou les participants sont découragés parce-qu’ils font partie du groupe contrôle.
  • Effet Hawthorne: les participants s’améliorent à cause de l’attention reçue du fait de leur participation à une étude.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Qu’est-ce que l’effet test, les biais de mesure et le biais d’attrition dans les biais à la validité interne?

A

Effet test: un test antérieur affecte le résultat du test ultérieur

Biais de mesure: outils de mesure non valides et peu fiables, une erreur de test ou un mauvais état de l’instrument entraînent des résultats inexacts.

Biais d’attrition: les participants qui abandonnent affectent les résultats de l’étude.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Quelles sont les stratégies pour limiter les biais dans le cadre de la validité interne?

A
  • Groupe contrôle: ne reçoit pas l’intervention ou en reçoit une alternative.
  • Randomisation ou apparier les participants: chaque participant à la même chance d’être choisi ou on a des groupes similaires.
  • Mise en place d’une insu (aveugle): les participants ne savent pas dans quel groupe ils sont, les personnes qui réalisent l’intervention et les statisticiens peuvent ne pas connaître les groupes aussi.
  • Utilisation de méthodes statistiques: analyse en intention de traiter permet d’inclure les données des participants qui ont abandonné et de se rapprocher des conditions réelles de pratique.
25
Q

VRAI OU FAUX?

Il est possible d’avoir la perfection en termes de validité interne et externe

A

FAUX!

En ayant une validité externe trop bonne (on contrôle trop), cela vient diminuer la validité interne et vice-versa.

26
Q

Que permet la psychométrie?

A

Vérifier:

  • Si on mesure bien la fonction
  • Si on est capable de refaire la même évaluation quelques semaines plus tard avec les mêmes conditions?
  • Est-ce que mon collègue est capable de faire cette évaluation et de l’interpréter si je suis absent?
27
Q

Que permettent les propriétés psychométriques des instruments de mesure?

A

Ce sont les caractéristiques quantifiables d’un instrument de mesure qui reflètent sa précision et sa cohérence.

  • Permet aux thérapeutes de choisir le meilleur instrument de mesure disponible pour ses patients.
  • Recouvrent la validité, fiabilité et la sensibilité au changement.
28
Q

Pourquoi utiliser un instrument de mesure?

A
  • Mesurer de façon standardisée
  • Évaluer l’évolution
  • Guider la prise de décision
  • Déterminer la normalité
  • Évaluer les phénomènes avec le degré de précision le plus élevé possible.
29
Q

Qu’est-ce qu’un construit et qu’est-ce qu’une mesure?

A

Construit: ce que l’on souhaite mesurer

Mesure: comment on mesure le construit

30
Q

Qu’est-ce que le screening/dépistage?

A

Mesures de dépistages visent à estimer la probabilité qu’une personne en bonne santé soit atteinte d’une certaine façon à l’avenir et à déterminer s’il convient de poursuivre les investigations.

ex: dépistage des maladies cardiovasculaires à partir des facteurs de risque

31
Q

Qu’est-ce qu’une mesure de diagnostic?

A

Conçues pour déterminer si une personne souffre ou non d’une certaine affection

Ex: test de Lachman pour la rupture du LCA

32
Q

Qu’est-ce qu’une mesure de pronostic?

A

Conçus pour aider à prédire si ou quand un patient va atteindre un résultat clinique déterminé.

33
Q

Qu’est-ce qu’une mesure de résultat?

A

Conçues pour suivre le niveau ou la présence d’un symptôme, d’une fonction ou d’un marqueur de maladie.

34
Q

VRAI OU FAUX?

Certaines mesures peuvent servir à plusieurs fins

A

VRAI!

Ex: l’intensité de la douleur mesurée sur une échelle numérique peut faire partie d’un test de diagnostic, informer sur le pronostic probable et être suivie dans le temps comme mesure des résultats.

35
Q

Quelles sont les 2 types de méthode de mesure?

A

Mesures rapportées par le patient: il s’agit d’évaluations fournies par le patient. Il peut remplir un questionnaire écrit ou répondre à des questions oralement.

Mesures évaluées par les observateurs: ces mesures impliquent des observations faites par le clinicien

36
Q

VRAI OU FAUX?

L’importance des objectifs significatifs passent par l’évaluation des construits significatifs pour le patient et pour vos objectifs de prise en charge.

A

VRAI!

Une étude peut conclure qu’une intervention est efficace, car elle améliore la force, mais la force elle-même peut ne pas être très importante pour un patient.

37
Q

Qu’est-ce qu’une variable continue? Qu’est-ce qu’une variable catégorique?

A

CONTINUE

  • Score qui peut prendre toutes les valeurs au sein d’un continuum
  • Les nb réflètent la valeur réelle

CATÉGORIQUE

  • Permet de classer les individus dans des groupes
  • Peuvent aussi être une valeur numérique qui reflète une catégorie plutôt qu’une quantité.
    ex: genre, race
38
Q

Qu’est-ce qu’une variable dichotomique?

A

Variable discrète à 2 catégories

ex: dx oui/non

39
Q

Qu’est-ce qu’une échelle de Likert?

A

On donne un score à chaque réponse (ex: jamais = 0, rarement = 1, parfois = 2, souvent = 3, toujours = 4).

On obtient un score continue à la fin

40
Q

Qu’est-ce qu’une mesure interprétée par mesure basée sur une norme?

A

On compare le score d’un individu à celui d’autres individus.

41
Q

Qu’est-ce qu’une mesure interprétée par mesure basée sur un critère?

A

-On compare l’individu à une valeur standard établie par des experts

42
Q

Qu’est-ce que la fiabilité?

A

À quel point une mesure est exempte d’erreur (erreur aléatoire)

Un test fiable va nous donner la même mesure quand il sera utilisé pour évaluer le même construit plusieurs fois.

43
Q

Comment est-ce possible de standardiser une procédure?

A
  • Permet d’avoir les mêmes conditions d’application de la mesure
  • Informations sur l’environnement
  • Informations sur l’utilisation d’un instrument
  • Information sur les instructions
  • Informations sur le calcul et l’interprétation du score
44
Q

En quoi la fiabilité est importante?

A

Si une mesure peu fiable de la gravité des symptômes était recueillie auprès d’un patient avant et après l’intervention, il serait alors impossible de dire si ce symptôme s’est amélioré, est resté le même ou s’est aggravé.

45
Q

Qu’est-ce que la fiabilité inter-évaluateurs et intra-évaluateurs?

A

INTER-ÉVALUATEURS

  • Plusieurs professionnels évaluent les mêmes patients
  • Les évaluations sont réalisées en même temps

INTRA-ÉVALUATEURS

-Les mêmes professionnels évaluent plusieurs fois les mêmes patients.

46
Q

Qu’est-ce que la fiabilité test-retest?

A

Stabilité de la mesure dans le temps.

On détermine la stabilité du test.

Donc on test à plusieurs reprises dans un petit intervalle de temps.

47
Q

Qu’est-ce que la cohérence interne?

A

Unité ou similarité des items d’un instrument de mesure.

Elle est pertinente quand plusieurs items mesurent le même construit.

48
Q

Qu’est-ce que la validité? En quoi elle est importante?

A

Capacité qu’a la mesure à refléter réellement le construit d’intérêt.

Il est difficile de savoir si l’on mesure correctement des construits cachés comme la qualité de vie, l’incapacité, la douleur…

49
Q

Qu’est-ce que la validité de construit?

A

S’assure que l’instrument mesure vraiment le ou les construits d’intérêt et qu’il en offre une mesure adéquate.

La méthode idéale est de comparer l’instrument à un gold standard (meilleur test disponible à un moment donné pour établir la validité d’un fait)

50
Q

Que faire s’il n’existe pas de gold standard pour notre construit?

A

Utiliser une norme de référence (reference standard) qui est un gold standard imparfait.

Il faut ensuite tester les hypothèses d’association forte entre l’instrument développé et l’instrument faisant office de norme de référence (validité convergente).

On teste l’association entre l’instrument développé et des instruments qui évaluent d’autres construits non associés (validité divergente).

On teste si l’instrument peut prédire le résultat d’un autre instrument qui mesure le même construit (validité concourante)

On teste si l’instrument peut discriminer ceux qui présentent le construit d’intérêt et ceux qui ne le présentent pas (validité discriminante).

On teste si l’instrument peut prédire un évènement futur dans une direction cohérente avec le construit (validité prédictive)

51
Q

Qu’est-ce que la valeur prédictive?

A
  • Sensibilité/spécificité (validité du test)
  • Valeur prédictive positive/VPN
  • Rapport de vaisemblance positif/négatif
52
Q

Qu’est-ce que la sensibilité et la spécificité?

A

SENSIBILITÉ

Capacité d’un test à détecter si la condition est présente

Se = VP/ (Vrai positif + faux négatif)

SPÉCIFICITÉ

Capacité d’un test à éviter de détecter la condition quand elle n’existe pas.

Sp = Vrai négatif/ (Faux positif + vrai négatif)

53
Q

Qu’est-ce que valeur prédictive positive et négative?

A

VPP

Probabilité que la condition soit présente si le test est positif

VPP = VP/ (VP+FP)

VPN

Probabilité que la condition ne soit pas présente si le test est négatif.

VPN = VN / (VN+FN)

54
Q

Qu’est-ce qu’un rapport de vraisemblance? (Likelihood ratio)

A

Estime le rapport entre la probabilité d’avoir un test positif ou négatif chez les sujets malades et celle d’avoir un test positif ou négatif chez les sujets sains.

RV+: gain diagnostique d’un test positif, un individu malade a RV+ fois de chance d’avoir un test positif qu’un individu sain.

RV-: gain diagnsotique d’un test négatif, un individu malade ayant RV- fois plus de chance d’avoir un test négatif qu’un individu sain.

55
Q

Spécifiez l’interpétation d’un rapport de vraisemblance (LR) selon la valeur obtenu.

A

LR (RV) + : plus il est gros, plus l’effet est important et décisif.

LR (RV) - : plus il est petit (<0.1) plus l’effet est important et décisif.

56
Q

Qu’est-ce que la sensibilité au changement, l’effet plancher et plafond?

A

Pour déterminer la progression d’un patient

Effet plancher: test trop difficile ou construit trop rare donc la plupart des patients ont un score très bas.

Effet plafond: test trop facile donc tous les patients auront un score très élevé.

57
Q

Qu’est-ce que le MDC?

A

MDC = Minimal detectable change

La plus petite différence détectable par l’instrument et qui permet de dire qu’il y a un changement.

58
Q

Qu’est-ce que le MCID?

A

MCID = Minimal clinically important Difference

La plus petite différence détectable par l’instrument et qui permet de dire qu’il y a un changement significatif chez le patient.

Cliniquement significatif.