Cours 10 - Reproductibilité

Question 1

Quels sont les 4 types de reproductibilité d’une étude?

Answer 1

Étude reproductible
Étude réplicable
Étude robuste
Étude généralisable

Question 2

Qu’est-ce qu’une étude reproductible?

Answer 2

Étude où en prenant les mêmes données, on arrive aux mêmes résultats.

Question 3

Qu’est-ce qu’une étude réplicable?

Answer 3

Étude où en utilisant de nouvelles données, on arrive aux mêmes résultats.

Question 4

Qu’est-ce qu’une étude robuste?

Answer 4

Étude où, en utilisant un autre test statistique sur les mêmes données, on arrive aux mêmes conclusions.

Question 5

Qu’est-ce qu’une étude généralisable?

Answer 5

Étude où, en utilisant de nouvelles données et un autre test statistique, on arrive aux mêmes conclusions.

Question 6

Un article publié est-il nécessairement généralisable?

Answer 6

NON. Mais représente le but ultime d’un article.

***De nos jours, articles sont souvent une preuve de concept.

Question 7

Un article publié est-il nécessairement généralisable?

Answer 7

NON. Mais représente le but ultime d’un article.

***De nos jours, articles sont souvent une preuve de concept.

Question 8

Y’a-t-il présentement une crise de reproductibilité dans la communauté scientifique?

Answer 8

NON. Pas de consensus…

Question 9

Quelles sont les étapes de la méthode scientifique?

Answer 9

1- Hypothèse
2- Conceptualisation et prédictions de l’étude
3- Cueillette de données
4- Analyses des données
5- Comparaison des hypothèses et des résultats
6- Publications des résultats
(cercle vicieux où le processus recommence sans cesse)

Question 10

Pourquoi utilise-t-on la méthode scientifique?

Answer 10

Pour limiter les faux positifs.

Question 11

Quels sont les 3 façons de détourner la méthode scientifique?

Answer 11

1- HARKing
2- P-hacking
3- Publication sélective

Question 12

Qu’est-ce que le HARKing?

Answer 12

Définir les hypothèses après que les résultats soient connus.

D’où peut émerger une volonté d’interpréter les résultats à tout prix.

Question 13

Dans quelle mesure la HARKing peut être acceptable?

Answer 13

Si les hypothèses sont présentées comme étant exploratoires.

Question 14

Qu’est-ce que la p-hacking

Answer 14

Modifier la manipulation des données pour que l’étude soit concluante.

Question 15

Quelles sont les formes possibles de p-hacking?

Answer 15

• Exclusion arbitraire de données aberrantes
• Sélection d’un sous-groupe qui montre l’effet attendu
• Changement des paramètres de prétraitement

Question 16

Qu’est-ce que la publication sélective?

Answer 16

Représente le fait de publier seulement lorsque les résultats sont positifs.

Question 17

Présenter le problème associé à la publication sélective.

Answer 17

La publication sélective vient déformer les connaissances accumulées par la communauté scientifiques qui représente l’origine des hypothèses des futures études.

Question 18

D’où vient le problème de reproductibilité en neuroimagerie?

Answer 18

Le domaine de la neuroimagerie est très sujet au manque de reproductibilité dû à différents facteurs tous associés à la complexité des chaînes de traitement en neuroimagrie.

Question 19

Que représente le degré de liberté en recherche?

Answer 19

Représente le nombre de paramètres déterminés par le chercheur.
Par exemple:
- différentes façons d’analyser les données
- cartes obtenues variables pour une même hypothèse
- interprétations différentes pour une même carte

***Reflète le manque de standardisation dans le domaine.

Question 20

Quel lien peut-on établir entre le degré de liberté d’une étude et le p-hacking?

Answer 20

Plus le degré de liberté est élevé en recherche (plus de paramètres) plus il y a risque de p-hacking.
En effet, dans ce cas, il est plus possible de choisir la meilleure technique pour avoir de meilleurs résultats.

Question 21

Qu’est-ce que la taille d’effet?

Answer 21

Représente la différence qui existe entre 2 résultats (publications).
Permet de dire si on est en présence de + ou - de différence.

***À différencier de la significativité (= présence ou non de différence)

Question 22

Quels sont les facteurs principaux associé au manque de reproductibilité en neuroimagerie?

Answer 22

• degré de liberté
• taille d’effet
• méthodes incomplètes

Question 23

Qu’est-ce qu’une méthode incomplète et qu’implique-t-elle au niveau de la reproductibilité en recherche en neuroimagerie?

Answer 23

Représente l’omission de détails dans la section “méthode” de l’article.

Implique l’impossibilité de retracer le processus publié et donc rend l’étude non reproductible.

Question 24

Quelles sont les solutions possibles au manque de reproductibilité en neuroimagerie?

Answer 24

• Étude pré-enregistrée
• Apprendre à coder
• Partage des données
• Partage d’environnement
• Puissance statistique et meilleur pratique

Question 25

Que sont les études pré-enregistrées?

Answer 25

Étude où l’on soumet la publication avec les hypothèses et les plans d’analyse avant la collecte des données.
Permet de faire la critique de la conception et de modifier le protocole au besoin.

***Permet d’éliminer le HARKing

Question 26

Pourquoi est-il important d’apprendre à coder pour permettre la reproductibilité?

Answer 26

Permet d’automatiser les analyses et les rendre plus reproductible.

Question 27

Pourquoi le partage de données permet la reproductibilité?

Answer 27

Permet la réplication de l’étude par d’autres lab ou d’essayer d’autres méthodes sur celles-ci.

***Complexe de nos jours pour des raisons éthiques.

Question 28

Que permet la puissance statistique et les meilleures pratiques en lien avec la reproductibilité?

Answer 28

Permet de réduire la fréquence des faux négatifs (signal non détecté).