5-6-7 : Analyses, mesures, intégrité de la VI et attrition Flashcards
Vrai ou faux ? Le niveau alpha représente la probabilité que l’hypothèse nulle soit vraie, compte tenu des données observées
Faux
Vrai ou faux ? Le niveau alpha représente la probabilité d’observer les données obtenues dans l’expérience en
assumant que l’hypothèse nulle est vraie
Vrai
Plus notre n est grand, ______ la différence a besoin d’être élevée pour être significative
Moins
Qu’est-ce que la puissance statistique ?
Capacité à détecter une différence sign si cette différence est présente dans la population
Quels sont les facteurs qui viennent optimiser la puissance statistique ? Concrètement, que peut-on faire pour optimiser chaque facteur ?
- Augmenter le n (augmente les dl)
→ Réduire les abandons
→ Conserver toutes les données, pas juste celles complètes
→ Augmenter les temps de mesure (pcq augmente le nb d’observations, donc augmente dl) - Augmenter le niveau alpha
→ Poser des questions directionnelles (plutôt que bi)
→ Réduire le nb de comparaisons - Augmenter la taille d’effet en augmentant la différence entre les groupes
→ Utiliser des interventions plus efficaces
→ Groupes distincts - Augmenter la taille d’effet en diminuant la variabilité des mesures
→ Réduire l’hétérogénéité des sujets
→ Instruments avec une meilleure fidélité
→ Procédures de traitement standardisées
Quelle est la nature du problème qui peut découler des comparaisons multiples ?
Plus le nb de comparaisons statistiques augmente, la probabilité d’obtenir au moins une diff sign due au hasard augmente
Quels sont les avantages et limites des questionnaires auto-rapportés ?
Avantages :
- Peu coûteux
- Personne la mieux placée pour parler de ses cognitions et émotions
- Sensibles aux chgts
- Permet un large échantillonnage du domaine d’intérêt
Limites :
- Réponses influencées par le choix des mots, format, ordre items
- Biais possibles (rappel, réactivité, aversion des extrêmes, etc.)
- Effet hello-goodbye (au début, amplifie leurs difficultés et à la fin va les diminuer bcp par désirabilité + alliance)
Qu’est-ce que l’évaluation globale externe ? Quels sont les avantages et limites de l’évaluation globale externe ?
Impression globale de personnes en contact avec le participant (thérapeute, parent, conjoint)
Avantages :
- Format flexible, convient à une panoplie de construits
- Mesure indépendante de celle du participant
- Évaluation sommaire (mesure globale)
Limites :
- Qu’est-ce que ça mesure ? Évaluation sommaire (générique).
- Peut changer avec le temps (chgts critères/barèmes subjectifs)
- Manque de sensibilité (échelle avec peu de points d’intensité)
- Variabilité des critères (que veut dire 7/7 pour une personne vs une autre)
Quels sont les avantages et limites des entrevues (semi) structurées
Avantages:
- Permet d’avoir un dx
- Standardisation
- Permet d’exercer le jugement clinique (vs questionnaire auto-rapportée)
Limites:
- Entraînement préalable nécessaire (bonne connaissance des dx). Demande un bon jugement clinique
- Plus coûteux en termes de ressources
Quels sont les avantages et limites de l’observation directe du comportement ?
Avantages :
- Mesure plus directe
- Utile pr les construits définis par des cmpts
Limites:
- Réactivité à l’observation
- Validité écologique de la situation expérimentale
- Représentativité de l’échantillonnage de temps (vs majorité du fct du client)
Quels sont les avantages et limites des mesures d’auto-enregistrement ?
Avantages :
- Mesures répétées !
- Milieu naturel du participant
- Moins vulnérable au biais de rappel (par rapport aux autres questionnaires auto-rapportés)
Limites :
- Problème d’observance; on ne sait pas tjrs quand c’est rempli (rien n’empêche la personne de tout remplir la veille du rdv → risque biais de rappel)
→ Solution outils techno
- Biais similaire aux questionnaires auto-rapportés
Quels sont les avantages et limites des mesures psychophysiologiques ?
Avantages:
- Mesure plus directe
- Moins susceptible aux biais
- Peut permette de vérifier l’observance thérapeutique
- Possibilité d’évaluation ambulatoire (en milieu naturel)
Limites :
- Interprétation difficile/expertise
- Équipement dispendieux (et demandant en ressources humaines pcq expertise) et sujets à plrs artefacts
- Accès limité
Quels sont les avantages et limites de l’évaluation en ligne ?
Avantages:
- Standardisée
- Réduit les erreurs
- Diminue la désirabilité sociale
- Flexible
- Permet d’accéder à un large bassin de population
Limites:
- Exige compétences/accès à la technologie
- Produit plus de profils invalides
- Omet info quali
- Usage abusif potentiel (est-ce pertinent)
- Éthique/confidentialité
Que visent les tests diagnostiques ou dépistage ?
Vise à classifier l’échantillon entre deux groupes
Pourquoi les différentes mesures d’un même construit ne sont pas toujours associées ?
Variabilité des méthodes et formats de réponse (p.ex. physio vs auto-rapporté)
Nature multidimensionnelle du construit
Intensité des sx variables selon la modalité (mesures se ressemblent plus quand sx plus sévères que faibles)
Différences temporelles dans les chgts
À quoi sert un test diagnostique ou de dépistage ? À quoi est-il comparé ?
Vise à classifier l’échantillon en 2 groupes (avec et sans le dx) à l’aide d’un score cut-off
Classification obtenue par le test comparée à la mesure étalon (gold standard) (p.ex. MoCA vs éval neuropsy)
À quoi réfère la sensibilité et la spécificité d’un test ?
Sensibilité : bien détecter les cas qui ont en effet le dx( vrais positifs)
Spécifité : bien détecter les cas qui n’ont pas le dx (vrais-négatifs)
À quoi faisons-nous référence lorsqu’on parle de la vérification de l’intégrité de la VI ?
Vérifier la qualité de la VI en regardant le degré de correspondance/fidélité entre l’intention du chercheur et ce qui a été fait par la chercheur/thérapeute/participant
Quels sont les types de manipulations expérimentales ?
Information : est-ce que le participant a reçu, considéré ou cru l’info ?
Expérience du participant : est-ce que le participant a fait ce qui était prévu ?
*Intervention : est-ce que l’intervention a été administrée telle que prévue?
Quels sont les objectifs de la vérification de l’intégrité de la VI ?
S’assurer que le participant a bien reçu la VI (intervention)
Si plus 2+ traitements : s’assurer que les conditions sont distinctes et comparer l’intégrité des traitements
Quels sont les avantages de la vérification de l’intégrité de la VI et spécifier quelle validité augmente chaque avantage.
Contrôle de la qualité du protocole : validité interne
Assure la reproductibilité de l’étude : validité externe
Permet de vérifier que la VI diffère suffisamment entre les conditions : validité de construit
Diminue la variabilité intragroupe et augmente la sensibilité des tests : validité de l’évaluation des données
Quelles sont les 4 scénarios possibles pouvant découler de la vérification de l’intégrité de la VI et des retombées sur la VD (résultats) ?
- VI+ et VD+ : résultats espérés, pas de problème d’interprétation
- VD- et VI- : traitement mal administré, hypothèse non testée adéquatement (on ne peut donc pas dire hors de tout doute que la VI est non-efficace)
- VD- et VI+ : plus facile de dire que le traitement non-efficace pcq bien fait, mais possible manque de sensibilité dans les mesures
- VD+ et VI- : erreur de type I. Pas représentatif de la réalité en raison de la mauvaise manipulation de la VI
Quels sont les défis de la vérification de l’intégrité de la VI ?
Effet de sensibilisation ou de réactivité à la mesure, influence les résultats
Intégrité pas dichotomique
Certaines variables peuvent changer via la manipulation de la VI (p.ex. crédibilité/confiance du traitement peut changer)
Certains participants ne reçoivent pas une exposition optimale à la VI (p.ex. manque de rencontres)
Quelles sont des stratégies que l’on peut implanter pour assurer l’intégrité de la VI avant l’étude ?
Rédiger un script des instructions à donner aux participants
Détailler les procédures dans un manuel (ce qui est à faire, éviter, proscrire…)
Formation des thérapeutes/évaluer et s’assurer qu’ils atteignent des critères de compétence
Traiter des patients pilote
Quelles sont des stratégies que l’on peut implanter pour assurer l’intégrité de la VI pendant l’étude ?
Superviser les thérapeutes tout au long du processus (enregistrer les séances)
Se référer fréquemment au manuel
Liste de vérification après chaque session
Quelles sont des stratégies que l’on peut implanter pour assurer l’intégrité de la VI après l’étude ?
Évaluer/codifier les sessions (voir si protocole a bien été suivi)
Vérifier l’observance thérapeutique (est-ce que les patients ont fait leur devoir, ont appliqué les exercices)
Utiliser l’info obtenue lors des analyses (comparer ceux qui ont eu une expo optimale au traitement vs non)
Quelles sont des stratégies que l’on peut implanter pour assurer l’intégrité de la VI dans les études d’observation ?
Définir le construit explicitement
Identifier les critères pour former les groupes
Utiliser des mesures fidèles pr identifier les participants
S’assurer que les groupes se distinguent sur la VI et que cette variable ne soit pas directement reliée à ue autre variable qui pourrait expliquer les résultats
Vérifier l’équivalence des groupes sur d’autres variables (p.ex. sociodémo)
Quels sont les impacts de l’attrition ? Spécifiez la validité touchée pour chaque impact.
Participants qui abandonnent peuvent différer de ceux qui restent, nombre d’attrition et caractéristiques peuvent changer entre les conditions…
Altère équivalence des groupes : validité interne
Généralisation limitée à ceux qui ont complété l’étude : validité externe
Résultats peuvent être expliqués par l’interaction
traitement x caractéristique davantage que le traitement seul : validité de construit
Diminution du n, donc de la puissance : validité de l’évaluation des données
Quelles sont les stratégies que l’on peut mettre en place pour réduire/prévenir l’attrition ?
- Identifier les variables associées à l’abandon et exclure ces caractéristiques de notre échanti (+/-) ou adopter des procédures particulières pour réduire l’abandon
- Bien décrire l’étude
- Compensation $
- Faire preuve de flexibilité dans la collecte
- Éviter de perdre la trace du participant
- Personnaliser et maintenir le contact
Comment pouvons-nous réduire les effets de l’attrition dans l’analyse des données ?
Rapporter les infos des personnes qui ont abandonné
Comparer les personnes qui ont abandonné à celles ayant complété
Imputer les données ou estimer les données manquantes
Inclure tous les participants, même ceux ayant abandonné (intent to treat)
À quoi font références les analyses de sensibilité ?
À quel point nos résultats et interprétations seraient différents si on changeait des paramètres de l’étude ? (p.ex. VD, méthode d’analyse, données manquantes)
→ Si même quand on change des paramètres ça reste pareil, c’est plus solide comme étude/effets observés vs si ça change à la moindre petite chose
