Cours 8 : REGARD CRITIQUE SUR LA MÉTA-ANALYSE Flashcards
Objectif 1 (Comprendre différents enjeux reliés à la méta-analyse, tels que les méthodes de calculs, les structures de données complexes, la méthode de comptage par votes, la puissance statistique et le biais de publication)
Pourquoi ne peut-on pas faire des analyses de sous-groupe ni de méta-régression à partir de procédures ANOVA ou RÉGRESSION dans SPSS?
- Ces logiciels ne pondèrent pas les données. SPSS ne donne pas des poids différents à chaque étude.
- Les règles d’assignation des degrés de liberté diffèrent en méta-analyse comparativement à l’analyse d’études primaires.
Objectif 1 (Comprendre différents enjeux reliés à la méta-analyse, tels que les méthodes de calculs, les structures de données complexes, la méthode de comptage par votes, la puissance statistique et le biais de publication)
De quoi est-il question par structures de données complexes?
Cela veut dire qu’une étude peut fournir plus d’une taille d’effet.
- comparaison de deux traitements
- comparaison de plusieurs groupes
- cueillette de données répétées
- résultats sur plusieurs mesures
La façon de combiner les différentes tailles d’effet d’une même étude dépendra si les sous-groupes sont indépendants ou non.
Objectif 1 (Comprendre différents enjeux reliés à la méta-analyse, tels que les méthodes de calculs, les structures de données complexes, la méthode de comptage par votes, la puissance statistique et le biais de publication)
Qu’est-ce que des sous-groupes indépendants?
Chaque sous-groupe fournit une information indépendantes des autres sous groupes
- une même personne ne peut pas fournir des données pour plus d’un groupe.
Les différents sous-groupes sont traités comme des études indépendantes.
Objectif 1 (Comprendre différents enjeux reliés à la méta-analyse, tels que les méthodes de calculs, les structures de données complexes, la méthode de comptage par votes, la puissance statistique et le biais de publication)
Quelles sont les deux options de calcul pour les sous-groupes indépendants?
- Calculer X tailles d’effets et les inclure dans la méta-analyse ( ex : 5 tailles d’effet calculées à partir de 100 personnes chacune)
- Combiner les groupes et calculer 1 taille d’effet pour inclusion dans la méta-analyse (ex : 1 taille d’effet calculée avec 5 tailles d’effet à partir de 500 personnes)
Le choix dépend de la question de recherche et des analyses prévues.
Objectif 1 (Comprendre différents enjeux reliés à la méta-analyse, tels que les méthodes de calculs, les structures de données complexes, la méthode de comptage par votes, la puissance statistique et le biais de publication)
Qu’est-ce que les résultats ou évaluations multiples?
Situation différente des sous-groupes indépendants puisque les données sont dépendantes (une personne fournit plusieurs données).
Ex : effet du tx sur les mesures subjectives et objectives du sommeil.
La dépendance ou la corrélation entre les données doit être prise en considération dans les analyses. On doit ainsi entrer un indice de corrélation dans les analyses.
Objectif 1 (Comprendre différents enjeux reliés à la méta-analyse, tels que les méthodes de calculs, les structures de données complexes, la méthode de comptage par votes, la puissance statistique et le biais de publication)
Quelles sont les deux options possibles dans les résultats ou évaluations multiples?
- Combiner les effets intra-étude
- ex : quel est l’impact du traitement sur le sommeil (peu importe comment il est mesuré?)? - Comparer les effets intra-étude
- ex : lorsqu’on évalue un traitement, quelle est la différence entre les mesures subjectives et objectives du sommeil?
Objectif 1 (Comprendre différents enjeux reliés à la méta-analyse, tels que les méthodes de calculs, les structures de données complexes, la méthode de comptage par votes, la puissance statistique et le biais de publication)
En quoi consiste la combinaison des effets intra-étude?
On combine les différents effets.
On calcule la variance de la taille d’effet combinée en la corrigeant à l’aide d’un facteur d’inflation de la variance (ce facteur dépendant de la taille de la corrélation)
- Dans cette formule, plus la corrélation est élevée, plus la variance est élevée (donc plus la corrélation est élevée, moins le poids attribué à l’étude sera grand)
Objectif 1 (Comprendre différents enjeux reliés à la méta-analyse, tels que les méthodes de calculs, les structures de données complexes, la méthode de comptage par votes, la puissance statistique et le biais de publication)
En quoi consiste la comparaison des effets intra-étude?
On calcule la différence entre les deux effets.
On calcule la variance de cette différence en la corrigeant à l’aide d’un facteur ( ce facteur est dépendant de la taille de la corrélation)
- Dans cette formule, plus la corrélation est élevée, moins la variance est élevée (donc plus la corrélation est élevée, plus le poids attribué à l’étude sera grand)
Objectif 1 (Comprendre différents enjeux reliés à la méta-analyse, tels que les méthodes de calculs, les structures de données complexes, la méthode de comptage par votes, la puissance statistique et le biais de publication)
En quoi consiste la méthode de comptage par votes?
Cela consiste à compter le nombre d’études avec un résultat significatif et le nombre d’études avec un résultat non-significatif, et comparer les deux.
Formel : documenter les valeurs P
Informel : revue narrative
Méthode toujours invalide.
Objectif 1 (Comprendre différents enjeux reliés à la méta-analyse, tels que les méthodes de calculs, les structures de données complexes, la méthode de comptage par votes, la puissance statistique et le biais de publication)
Quelles sont les deux prémisses sur lesquelles se fient la méthode de comptage par votes? C’est deux prémisses sont-elles correctes? Pourquoi?
- Un résultat significatif est une preuve qu’un effet existe.
- Un résultat n-sign est une preuve qu’un effet n’existe pas.
Non, elles ne sont pas correctes puisque ce n’est pas à cause que je n’ai pas trouvé un effet que l’effet n’existe pas. On ne peut pas prouver que l’effet n’existe pas.
Objectif 1 (Comprendre différents enjeux reliés à la méta-analyse, tels que les méthodes de calculs, les structures de données complexes, la méthode de comptage par votes, la puissance statistique et le biais de publication)
Quelles sont les deux façons de conclure qu’un effet est significativement différent de 0?
- L’intervalle de confiance à 95% n’inclut pas la valeur 0
2. Test Z : ou une valeur au-delà de +/- 1.96 est associée à une valeur p plus petit que 0,05
Objectif 1 (Comprendre différents enjeux reliés à la méta-analyse, tels que les méthodes de calculs, les structures de données complexes, la méthode de comptage par votes, la puissance statistique et le biais de publication)
Le test de signification statistique dépend de …(3)?
- La taille de l’effet
- La précision de l’estimé
- Critère de signification
Si mon z est un ratio de moyenne sur erreur standard = test de signification stats va dépendre de la taille de l’effet. Plus l’erreur standard est petit plus de chance que l’effet soit statistiquement significatif.
Objectif 1 (Comprendre différents enjeux reliés à la méta-analyse, tels que les méthodes de calculs, les structures de données complexes, la méthode de comptage par votes, la puissance statistique et le biais de publication)
Pourquoi la puissance pour déterminer qu’un effet combiné est différent de 0 est généralement bonne?
Parce que même si une étude a peu de sujets, la cumulation des sujets de toutes les études rendra la méta-analyse puissante.
2 études mises ensemble ont toujours plus de chance de trouver des effets plutôt que 2 études indépendantes.
Objectif 1 (Comprendre différents enjeux reliés à la méta-analyse, tels que les méthodes de calculs, les structures de données complexes, la méthode de comptage par votes, la puissance statistique et le biais de publication)
La puissance n’est pas nécessairement bonne pour… (3)?
- L’hétérogénéité
- Analyse de sous-groupes
- Méta-régression
N.B : l’absence de signification statistique ne devrait jamais être interprété comme la preuve qu’un effet est absent. Nos analyses de sous-groupe et de méta-régression manque systématiquement de puissance à cause de la rareté de grands échantillons d’étude.
Objectif (2) Connaître et répondre aux principales critiques de la méta-analyse.
Quelles sont les 7 principales critiques de la méta-analyse et comment y répondre?
- Elle est réductrice : un chiffre ne peut résumer les résultats d’une étude : comparativement à la revue narrative : on dit que la méta-analyse est réductrice, on ne peut pas résumer toutes ces études à un seul chiffre, une seule taille d’effet. Résultats valides ne rendent pas compte de toute la complexité de l’humain.
- Le biais de publication est toujours présent : mais c’est vrai pour n’importe quoi : chapitre de livre, avis d’un expert, conseil des superviseurs de stage, ce qui n’est pas publié, on n’y a pas accès. La méta-analyse ne balaie pas sous le tapis, on essaye de voir l’impact sur la méta-analyse de ce biais.
- On y mélange les pommes et des oranges : combiné à l’aide de chiffres, des données qui ne font pas de sens ensemble. Soit la métho a été mal mise en place et les décisions du chercheur sont mauvaises. Dépendamment de la question qu’on a, on peut mesurer des variables différentes, effet de traitement sur la dépression en général : énormément de choses qu’on va regarder.
- La qualité des résultats est fonction de la qualité des données : Oui, on peut pas faire des miracles avec des données d’étude qui proviennent de méta-analyse faible, mais on peut aller une marche au-dessus et regarder sur qu’est-ce qui fait varier les tailles d’effets.
- Des études importantes peuvent être ignorées : vous avez pas mi la super étude qui porte sur bla bla bla, oui mais moi ça rentre pas dans mes critères de sélection.
- Elle peut donner des résultats contradictoires à ceux d’une étude randomisée : ?
- Elle peut ne pas être faite adéquatement : cest pas parce qu’on fait mal quelque chose que la technique en soi est mauvaise.
