5-6-7 : Analyses, mesures, intégrité de la VI et attrition Flashcards
Vrai ou faux ? Le niveau alpha représente la probabilité que l’hypothèse nulle soit vraie, compte tenu des données observées
Faux
Vrai ou faux ? Le niveau alpha représente la probabilité d’observer les données obtenues dans l’expérience en
assumant que l’hypothèse nulle est vraie
Vrai
Plus notre n est grand, ______ la différence a besoin d’être élevée pour être significative
Moins
Qu’est-ce que la puissance statistique ?
Capacité à détecter une différence sign si cette différence est présente dans la population
Quels sont les facteurs qui viennent optimiser la puissance statistique ? Concrètement, que peut-on faire pour optimiser chaque facteur ?
- Augmenter le n (augmente les dl)
→ Réduire les abandons
→ Conserver toutes les données, pas juste celles complètes
→ Augmenter les temps de mesure (pcq augmente le nb d’observations, donc augmente dl) - Augmenter le niveau alpha
→ Poser des questions directionnelles (plutôt que bi)
→ Réduire le nb de comparaisons - Augmenter la taille d’effet en augmentant la différence entre les groupes
→ Utiliser des interventions plus efficaces
→ Groupes distincts - Augmenter la taille d’effet en diminuant la variabilité des mesures
→ Réduire l’hétérogénéité des sujets
→ Instruments avec une meilleure fidélité
→ Procédures de traitement standardisées
Quelle est la nature du problème qui peut découler des comparaisons multiples ?
Plus le nb de comparaisons statistiques augmente, la probabilité d’obtenir au moins une diff sign due au hasard augmente
Quels sont les avantages et limites des questionnaires auto-rapportés ?
Avantages :
- Peu coûteux
- Personne la mieux placée pour parler de ses cognitions et émotions
- Sensibles aux chgts
- Permet un large échantillonnage du domaine d’intérêt
Limites :
- Réponses influencées par le choix des mots, format, ordre items
- Biais possibles (rappel, réactivité, aversion des extrêmes, etc.)
- Effet hello-goodbye (au début, amplifie leurs difficultés et à la fin va les diminuer bcp par désirabilité + alliance)
Qu’est-ce que l’évaluation globale externe ? Quels sont les avantages et limites de l’évaluation globale externe ?
Impression globale de personnes en contact avec le participant (thérapeute, parent, conjoint)
Avantages :
- Format flexible, convient à une panoplie de construits
- Mesure indépendante de celle du participant
- Évaluation sommaire (mesure globale)
Limites :
- Qu’est-ce que ça mesure ? Évaluation sommaire (générique).
- Peut changer avec le temps (chgts critères/barèmes subjectifs)
- Manque de sensibilité (échelle avec peu de points d’intensité)
- Variabilité des critères (que veut dire 7/7 pour une personne vs une autre)
Quels sont les avantages et limites des entrevues (semi) structurées
Avantages:
- Permet d’avoir un dx
- Standardisation
- Permet d’exercer le jugement clinique (vs questionnaire auto-rapportée)
Limites:
- Entraînement préalable nécessaire (bonne connaissance des dx). Demande un bon jugement clinique
- Plus coûteux en termes de ressources
Quels sont les avantages et limites de l’observation directe du comportement ?
Avantages :
- Mesure plus directe
- Utile pr les construits définis par des cmpts
Limites:
- Réactivité à l’observation
- Validité écologique de la situation expérimentale
- Représentativité de l’échantillonnage de temps (vs majorité du fct du client)
Quels sont les avantages et limites des mesures d’auto-enregistrement ?
Avantages :
- Mesures répétées !
- Milieu naturel du participant
- Moins vulnérable au biais de rappel (par rapport aux autres questionnaires auto-rapportés)
Limites :
- Problème d’observance; on ne sait pas tjrs quand c’est rempli (rien n’empêche la personne de tout remplir la veille du rdv → risque biais de rappel)
→ Solution outils techno
- Biais similaire aux questionnaires auto-rapportés
Quels sont les avantages et limites des mesures psychophysiologiques ?
Avantages:
- Mesure plus directe
- Moins susceptible aux biais
- Peut permette de vérifier l’observance thérapeutique
- Possibilité d’évaluation ambulatoire (en milieu naturel)
Limites :
- Interprétation difficile/expertise
- Équipement dispendieux (et demandant en ressources humaines pcq expertise) et sujets à plrs artefacts
- Accès limité
Quels sont les avantages et limites de l’évaluation en ligne ?
Avantages:
- Standardisée
- Réduit les erreurs
- Diminue la désirabilité sociale
- Flexible
- Permet d’accéder à un large bassin de population
Limites:
- Exige compétences/accès à la technologie
- Produit plus de profils invalides
- Omet info quali
- Usage abusif potentiel (est-ce pertinent)
- Éthique/confidentialité
Que visent les tests diagnostiques ou dépistage ?
Vise à classifier l’échantillon entre deux groupes
Pourquoi les différentes mesures d’un même construit ne sont pas toujours associées ?
Variabilité des méthodes et formats de réponse (p.ex. physio vs auto-rapporté)
Nature multidimensionnelle du construit
Intensité des sx variables selon la modalité (mesures se ressemblent plus quand sx plus sévères que faibles)
Différences temporelles dans les chgts
À quoi sert un test diagnostique ou de dépistage ? À quoi est-il comparé ?
Vise à classifier l’échantillon en 2 groupes (avec et sans le dx) à l’aide d’un score cut-off
Classification obtenue par le test comparée à la mesure étalon (gold standard) (p.ex. MoCA vs éval neuropsy)
À quoi réfère la sensibilité et la spécificité d’un test ?
Sensibilité : bien détecter les cas qui ont en effet le dx( vrais positifs)
Spécifité : bien détecter les cas qui n’ont pas le dx (vrais-négatifs)
À quoi faisons-nous référence lorsqu’on parle de la vérification de l’intégrité de la VI ?
Vérifier la qualité de la VI en regardant le degré de correspondance/fidélité entre l’intention du chercheur et ce qui a été fait par la chercheur/thérapeute/participant
Quels sont les types de manipulations expérimentales ?
Information : est-ce que le participant a reçu, considéré ou cru l’info ?
Expérience du participant : est-ce que le participant a fait ce qui était prévu ?
*Intervention : est-ce que l’intervention a été administrée telle que prévue?
Quels sont les objectifs de la vérification de l’intégrité de la VI ?
S’assurer que le participant a bien reçu la VI (intervention)
Si plus 2+ traitements : s’assurer que les conditions sont distinctes et comparer l’intégrité des traitements
Quels sont les avantages de la vérification de l’intégrité de la VI et spécifier quelle validité augmente chaque avantage.
Contrôle de la qualité du protocole : validité interne
Assure la reproductibilité de l’étude : validité externe
Permet de vérifier que la VI diffère suffisamment entre les conditions : validité de construit
Diminue la variabilité intragroupe et augmente la sensibilité des tests : validité de l’évaluation des données
Quelles sont les 4 scénarios possibles pouvant découler de la vérification de l’intégrité de la VI et des retombées sur la VD (résultats) ?
- VI+ et VD+ : résultats espérés, pas de problème d’interprétation
- VD- et VI- : traitement mal administré, hypothèse non testée adéquatement (on ne peut donc pas dire hors de tout doute que la VI est non-efficace)
- VD- et VI+ : plus facile de dire que le traitement non-efficace pcq bien fait, mais possible manque de sensibilité dans les mesures
- VD+ et VI- : erreur de type I. Pas représentatif de la réalité en raison de la mauvaise manipulation de la VI
Quels sont les défis de la vérification de l’intégrité de la VI ?
Effet de sensibilisation ou de réactivité à la mesure, influence les résultats
Intégrité pas dichotomique
Certaines variables peuvent changer via la manipulation de la VI (p.ex. crédibilité/confiance du traitement peut changer)
Certains participants ne reçoivent pas une exposition optimale à la VI (p.ex. manque de rencontres)
Quelles sont des stratégies que l’on peut implanter pour assurer l’intégrité de la VI avant l’étude ?
Rédiger un script des instructions à donner aux participants
Détailler les procédures dans un manuel (ce qui est à faire, éviter, proscrire…)
Formation des thérapeutes/évaluer et s’assurer qu’ils atteignent des critères de compétence
Traiter des patients pilote
