5-6-7 : Analyses, mesures, intégrité de la VI et attrition

Question 1

Vrai ou faux ? Le niveau alpha représente la probabilité que l’hypothèse nulle soit vraie, compte tenu des données observées

Answer 1

Faux

Question 2

Vrai ou faux ? Le niveau alpha représente la probabilité d’observer les données obtenues dans l’expérience en
assumant que l’hypothèse nulle est vraie

Answer 2

Vrai

Question 3

Plus notre n est grand, ______ la différence a besoin d’être élevée pour être significative

Answer 3

Moins

Question 4

Qu’est-ce que la puissance statistique ?

Answer 4

Capacité à détecter une différence sign si cette différence est présente dans la population

Question 5

Quels sont les facteurs qui viennent optimiser la puissance statistique ? Concrètement, que peut-on faire pour optimiser chaque facteur ?

Answer 5

1. Augmenter le n (augmente les dl)
   → Réduire les abandons
   → Conserver toutes les données, pas juste celles complètes
   → Augmenter les temps de mesure (pcq augmente le nb d’observations, donc augmente dl)
2. Augmenter le niveau alpha
   → Poser des questions directionnelles (plutôt que bi)
   → Réduire le nb de comparaisons
3. Augmenter la taille d’effet en augmentant la différence entre les groupes
   → Utiliser des interventions plus efficaces
   → Groupes distincts
4. Augmenter la taille d’effet en diminuant la variabilité des mesures
   → Réduire l’hétérogénéité des sujets
   → Instruments avec une meilleure fidélité
   → Procédures de traitement standardisées

Question 6

Quelle est la nature du problème qui peut découler des comparaisons multiples ?

Answer 6

Plus le nb de comparaisons statistiques augmente, la probabilité d’obtenir au moins une diff sign due au hasard augmente

Question 7

Quels sont les avantages et limites des questionnaires auto-rapportés ?

Answer 7

Avantages :

• Peu coûteux
• Personne la mieux placée pour parler de ses cognitions et émotions
• Sensibles aux chgts
• Permet un large échantillonnage du domaine d’intérêt

Limites :

• Réponses influencées par le choix des mots, format, ordre items
• Biais possibles (rappel, réactivité, aversion des extrêmes, etc.)
• Effet hello-goodbye (au début, amplifie leurs difficultés et à la fin va les diminuer bcp par désirabilité + alliance)

Question 8

Qu’est-ce que l’évaluation globale externe ? Quels sont les avantages et limites de l’évaluation globale externe ?

Answer 8

Impression globale de personnes en contact avec le participant (thérapeute, parent, conjoint)

Avantages :

• Format flexible, convient à une panoplie de construits
• Mesure indépendante de celle du participant
• Évaluation sommaire (mesure globale)

Limites :

• Qu’est-ce que ça mesure ? Évaluation sommaire (générique).
• Peut changer avec le temps (chgts critères/barèmes subjectifs)
• Manque de sensibilité (échelle avec peu de points d’intensité)
• Variabilité des critères (que veut dire 7/7 pour une personne vs une autre)

Question 9

Quels sont les avantages et limites des entrevues (semi) structurées

Answer 9

Avantages:

• Permet d’avoir un dx
• Standardisation
• Permet d’exercer le jugement clinique (vs questionnaire auto-rapportée)

Limites:

• Entraînement préalable nécessaire (bonne connaissance des dx). Demande un bon jugement clinique
• Plus coûteux en termes de ressources

Question 10

Quels sont les avantages et limites de l’observation directe du comportement ?

Answer 10

Avantages :

• Mesure plus directe
• Utile pr les construits définis par des cmpts

Limites:

• Réactivité à l’observation
• Validité écologique de la situation expérimentale
• Représentativité de l’échantillonnage de temps (vs majorité du fct du client)

Question 11

Quels sont les avantages et limites des mesures d’auto-enregistrement ?

Answer 11

Avantages :

• Mesures répétées !
• Milieu naturel du participant
• Moins vulnérable au biais de rappel (par rapport aux autres questionnaires auto-rapportés)

Limites :
- Problème d’observance; on ne sait pas tjrs quand c’est rempli (rien n’empêche la personne de tout remplir la veille du rdv → risque biais de rappel)
→ Solution outils techno
- Biais similaire aux questionnaires auto-rapportés

Question 12

Quels sont les avantages et limites des mesures psychophysiologiques ?

Answer 12

Avantages:

• Mesure plus directe
• Moins susceptible aux biais
• Peut permette de vérifier l’observance thérapeutique
• Possibilité d’évaluation ambulatoire (en milieu naturel)

Limites :

• Interprétation difficile/expertise
• Équipement dispendieux (et demandant en ressources humaines pcq expertise) et sujets à plrs artefacts
• Accès limité

Question 13

Quels sont les avantages et limites de l’évaluation en ligne ?

Answer 13

Avantages:

• Standardisée
• Réduit les erreurs
• Diminue la désirabilité sociale
• Flexible
• Permet d’accéder à un large bassin de population

Limites:

• Exige compétences/accès à la technologie
• Produit plus de profils invalides
• Omet info quali
• Usage abusif potentiel (est-ce pertinent)
• Éthique/confidentialité

Question 14

Que visent les tests diagnostiques ou dépistage ?

Answer 14

Vise à classifier l’échantillon entre deux groupes

Question 15

Pourquoi les différentes mesures d’un même construit ne sont pas toujours associées ?

Answer 15

Variabilité des méthodes et formats de réponse (p.ex. physio vs auto-rapporté)
Nature multidimensionnelle du construit
Intensité des sx variables selon la modalité (mesures se ressemblent plus quand sx plus sévères que faibles)
Différences temporelles dans les chgts

Question 16

À quoi sert un test diagnostique ou de dépistage ? À quoi est-il comparé ?

Answer 16

Vise à classifier l’échantillon en 2 groupes (avec et sans le dx) à l’aide d’un score cut-off
Classification obtenue par le test comparée à la mesure étalon (gold standard) (p.ex. MoCA vs éval neuropsy)

Question 17

À quoi réfère la sensibilité et la spécificité d’un test ?

Answer 17

Sensibilité : bien détecter les cas qui ont en effet le dx( vrais positifs)
Spécifité : bien détecter les cas qui n’ont pas le dx (vrais-négatifs)

Question 18

À quoi faisons-nous référence lorsqu’on parle de la vérification de l’intégrité de la VI ?

Answer 18

Vérifier la qualité de la VI en regardant le degré de correspondance/fidélité entre l’intention du chercheur et ce qui a été fait par la chercheur/thérapeute/participant

Question 19

Quels sont les types de manipulations expérimentales ?

Answer 19

Information : est-ce que le participant a reçu, considéré ou cru l’info ?
Expérience du participant : est-ce que le participant a fait ce qui était prévu ?
*Intervention : est-ce que l’intervention a été administrée telle que prévue?

Question 20

Quels sont les objectifs de la vérification de l’intégrité de la VI ?

Answer 20

S’assurer que le participant a bien reçu la VI (intervention)
Si plus 2+ traitements : s’assurer que les conditions sont distinctes et comparer l’intégrité des traitements

Question 21

Quels sont les avantages de la vérification de l’intégrité de la VI et spécifier quelle validité augmente chaque avantage.

Answer 21

Contrôle de la qualité du protocole : validité interne

Assure la reproductibilité de l’étude : validité externe

Permet de vérifier que la VI diffère suffisamment entre les conditions : validité de construit

Diminue la variabilité intragroupe et augmente la sensibilité des tests : validité de l’évaluation des données

Question 22

Quelles sont les 4 scénarios possibles pouvant découler de la vérification de l’intégrité de la VI et des retombées sur la VD (résultats) ?

Answer 22

1. VI+ et VD+ : résultats espérés, pas de problème d’interprétation
2. VD- et VI- : traitement mal administré, hypothèse non testée adéquatement (on ne peut donc pas dire hors de tout doute que la VI est non-efficace)
3. VD- et VI+ : plus facile de dire que le traitement non-efficace pcq bien fait, mais possible manque de sensibilité dans les mesures
4. VD+ et VI- : erreur de type I. Pas représentatif de la réalité en raison de la mauvaise manipulation de la VI

Question 23

Quels sont les défis de la vérification de l’intégrité de la VI ?

Answer 23

Effet de sensibilisation ou de réactivité à la mesure, influence les résultats
Intégrité pas dichotomique
Certaines variables peuvent changer via la manipulation de la VI (p.ex. crédibilité/confiance du traitement peut changer)
Certains participants ne reçoivent pas une exposition optimale à la VI (p.ex. manque de rencontres)

Question 24

Quelles sont des stratégies que l’on peut implanter pour assurer l’intégrité de la VI avant l’étude ?

Answer 24

Rédiger un script des instructions à donner aux participants
Détailler les procédures dans un manuel (ce qui est à faire, éviter, proscrire…)
Formation des thérapeutes/évaluer et s’assurer qu’ils atteignent des critères de compétence
Traiter des patients pilote

Question 25

Quelles sont des stratégies que l’on peut implanter pour assurer l’intégrité de la VI pendant l’étude ?

Answer 25

Superviser les thérapeutes tout au long du processus (enregistrer les séances)
Se référer fréquemment au manuel
Liste de vérification après chaque session

Question 26

Quelles sont des stratégies que l’on peut implanter pour assurer l’intégrité de la VI après l’étude ?

Answer 26

Évaluer/codifier les sessions (voir si protocole a bien été suivi)
Vérifier l’observance thérapeutique (est-ce que les patients ont fait leur devoir, ont appliqué les exercices)
Utiliser l’info obtenue lors des analyses (comparer ceux qui ont eu une expo optimale au traitement vs non)

Question 27

Quelles sont des stratégies que l’on peut implanter pour assurer l’intégrité de la VI dans les études d’observation ?

Answer 27

Définir le construit explicitement
Identifier les critères pour former les groupes
Utiliser des mesures fidèles pr identifier les participants
S’assurer que les groupes se distinguent sur la VI et que cette variable ne soit pas directement reliée à ue autre variable qui pourrait expliquer les résultats
Vérifier l’équivalence des groupes sur d’autres variables (p.ex. sociodémo)

Question 28

Quels sont les impacts de l’attrition ? Spécifiez la validité touchée pour chaque impact.

Answer 28

Participants qui abandonnent peuvent différer de ceux qui restent, nombre d’attrition et caractéristiques peuvent changer entre les conditions…
Altère équivalence des groupes : validité interne

Généralisation limitée à ceux qui ont complété l’étude : validité externe

Résultats peuvent être expliqués par l’interaction
traitement x caractéristique davantage que le traitement seul : validité de construit

Diminution du n, donc de la puissance : validité de l’évaluation des données

Question 29

Quelles sont les stratégies que l’on peut mettre en place pour réduire/prévenir l’attrition ?

Answer 29

• Identifier les variables associées à l’abandon et exclure ces caractéristiques de notre échanti (+/-) ou adopter des procédures particulières pour réduire l’abandon
• Bien décrire l’étude
• Compensation $
• Faire preuve de flexibilité dans la collecte
• Éviter de perdre la trace du participant
• Personnaliser et maintenir le contact

Question 30

Comment pouvons-nous réduire les effets de l’attrition dans l’analyse des données ?

Answer 30

Rapporter les infos des personnes qui ont abandonné
Comparer les personnes qui ont abandonné à celles ayant complété
Imputer les données ou estimer les données manquantes
Inclure tous les participants, même ceux ayant abandonné (intent to treat)

Question 31

À quoi font références les analyses de sensibilité ?

Answer 31

À quel point nos résultats et interprétations seraient différents si on changeait des paramètres de l’étude ? (p.ex. VD, méthode d’analyse, données manquantes)
→ Si même quand on change des paramètres ça reste pareil, c’est plus solide comme étude/effets observés vs si ça change à la moindre petite chose