cours 11 Flashcards

1
Q

qu’est-ce que la crise de reproductibilité ?

A

90% des chercheurs affirment qu’ils pensent qu’il y a une crise de reproductibilité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

est-ce que tous les chercheurs croient que la crise de reproductibilité est une crise significative ?

A
  • 52% croient qu’elle est significative
  • 38% croient qu’elle est modérée
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

qu’est-ce que la reproductibilité ?

A

capacité de refaire une analyse et d’arriver aux mêmes conclusions que si on avait accès aux données derrière le papier scientifique

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

quels sont les pourcentages de reproductibilité dans la crise de reproductibilité ?

A
  • 70 % échouent reproduire l’expérience d’un autre
  • 50% échouent reproduire leur propre expérience
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

qu’est-ce que la réplicabilité ?

A

recruter de nouveaux sujet et faire exactement ce qui avait été fait avec les mêmes outils et analyses pour savoir si on retrouve les mêmes résultats

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

quelles seraient les 3 causes les plus répandues expliquant la crise de reproductibilité ?

A
  1. publication sélective
  2. pression de publier
  3. puissance statistique limitée
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

qu’est-ce que la méthode scientifique de Karl Popper ?

A

méthode qui permettrait d’éviter les problèmes de reproductibilité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

quelle est l’étape 1 de la méthode scientifique de Karl Popper ?

A

consultation des publications antérieures qui représentent les connaissances accumulées par les chercheurs avant nous

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

quelle est l’étape 2 de la méthode scientifique de Karl Popper ?

A

prendre connaissance de ce qui a été découvert et formuler une hypothèse en lien avec ce qu’on sait sur des choses qu’on ne connait pas encore

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

quelle est l’étape 3 de la méthode scientifique de Karl Popper ?

A

chercheur construit un devis de recherche et prédit les résultats qu’il pense obtenir

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

de quoi est constitué le devis de recherche ?

A
  • nombre de participants
  • nombre de groupes
  • tests statistiques utilisés
  • protocole
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

quelle est l’étape 4 de la méthode scientifique de Karl Popper ?

A

une fois le devis élaboré, on va recueillir les données

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

quelle est l’étape 5 de la méthode scientifique de Karl Popper ?

A

analyse les données en suivant le protocole établi dans le devis de recherche

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

quelle est l’étape 6 de la méthode scientifique de Karl Popper ?

A

interpréter les résultats et les comparer avec nos prédictions pour invalider ou valider notre hypothèse

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

quelle est l’étape 7 de la méthode scientifique de Karl Popper ?

A

résultats de la recherche sont publiés pour permettre à la communauté de continuer de formuler des nouvelles hypothèses

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

le fait d’avoir des statistiques rigoureuses permet de limiter quoi ?

A

la quantité de faux positif DONC permet faire découvertes scientifiques sans trop d’erreurs

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

qu’est-ce que la méthode scientifique hacked ?

A

pratiques douteuses qui viennent s’infilter dans la méthode de Karl Popper et qui peuvent compromettre l’intégrité et la rigueur des conclusions scientifiques

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

quels sont les 3 pratiques douteuses qui existent dans la méthode scientifique hacked ?

A
  1. biais de publication entre l’étape 1 et 2
  2. p-hackin à l’étape 5
  3. HARKing entre l’étape 2 et 6
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

qu’est-ce que la pratique douteuse de biais de publication ?

A

publication sélective est un problème où on va publier les résultats juste s’ils confirment notre hypothèse

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

quelle est la conséquence avec le biais de publication ?

A

déforme la collection de connaissance en rapportant un résultat qui semble robuste alors qu’il n’est pas répliqué ce qui influence ce qui sera réutilisé pour former de nouvelles hypothèses

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

qu’est-ce que la pratique douteuse du p-hacking ?

A

à l’étape 5, puisque les résultats ne correspondent pas à nos attentes, on se demande si nous avons fait une erreur dans la prise de donnée et utiliser de l’exclusion arbitraire, sélection de sous-groupe monte bon résultat, changement de paramètres de pré-traitement

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

quelle est la conséquence avec le p-hacking ?

A

on risque de réviser la manière d’analyse de données jusqu’à ce qu’on obtienne des résultats qui deviennent significatifs

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

qu’est-ce que la pratique douteuse du HARKing ?

A

changer notre hypothèse à la suite des tests sur les données recueillies pour qu’elle correspond aux résultats significatifs de notre échantillon

24
Q

quelle est la conséquence du HARKing ?

A

changer le protocole ou l’hypothèse dans la volonté d’interpréter les données receuillies à tout prix

25
Q

est-ce que le HARKing est toujours problématique ?

A

non, pas besoin de l’être si on présente la nouvelle hypothèse comme étant de nature EXPLORATOIRE guidée par nos données et non comme formulée À PRIORI de façon rigoureuse

26
Q

quel est le lien entre reproductibilité et neuroimagerie ?

A

neuroimagerie est lié à une grande complexité de chaine de traitement ce qui représente un domaine très propice au p-hacking et aux autres facteurs qui contribue au manque de reproductibilié

27
Q

quels sont les trois facteurs d’erreur qui sont liés à la complexité des chaînes de traitement en neuroimagerie et qui augmentent la chance de p-hacking ?

A
  1. degré de liberté
  2. taille des effets
  3. méthodes incomplètes
28
Q

quel est le lien entre neuroimagerie et p-hacking ?

A

en neuroimagerie, il existe un très grand degré de liberté, ce qui représente un risque de p-hacking

29
Q

qu’est-ce qu’un degré de liberté ?

A

nombre de paramètres que le chercheur peut manipuler

30
Q

comment est-ce que le grand degré de liberté peut être utilisé pour p-hacking en neuroimagerie ?

A

faire varier de façon importante les conclusions d’une étude JUSTE en modifiant les choix analytiques que le fait sur les degrés de liberté

31
Q

la capacité de p-hacking sur le degré de liberté reflète quel problème en neuroimagerie ?

A

manque de standardisation dans le domaine pour choisir les bons paramètres d’analyse des données et éviter d’avoir des cartes statistiques différentes pour les mêmes mesures

32
Q

quel est le rôle des logiciels d’analyse dans le facteur erreur du degré de liberté ?

A

le choix du logiciel, la version utilisée ou un changement de système d’opération peut causer des différences substantielles dans nos analyses

33
Q

qu’est-ce que le facteur erreur de taille d’effet ?

A

il est possible de confondre les effets significatifs et les effets importants, DONC on doit considérer la taille d’effet

34
Q

qu’est-ce que la taille d’effet ?

A

différence qui existe entre les deux populations étudiées

35
Q

quelle est la mesure de taille d’effet utilisée pour éviter son facteur d’erreur en neuroimagerie ?

A

d de cohen

36
Q

comment interpréter le d de cohen dans le facteur d’erreur de la taille d’effet ?

A
  • d=0,1-0,2: courant pour des différences en clinique=donne naissance à un chevauchement important des distributions des 2 groupes
  • d=2: décrit un effet de groupe TRÈS important, où score de presque tous les membres d’un groupe est inférieur au score de tous les membres de l’autre groupe
37
Q

qu’est-ce que le facteur d’erreur de la méthode incomplète ?

A

due à un manque de détails dans les méthodes complexes utilisées, il est souvent difficile voir impossible de les comprendre JUSTE en se basant sur le texte de l’article

38
Q

quelles sont les 5 solutions les plus populaires pour régler les causes à risque de créer la crise de reproductibilité ?

A
  1. études pré-enregistrées
  2. code
  3. partage de données
  4. partage environnement
  5. puissance statistique / meilleure pratique
39
Q

qu’est-ce que la solution des études pré-enregistrées ?

A

on va soumettre la publication avec les hypothèses et les plans d’analyse AVANT de recueillir les données

40
Q

qu’est-ce que la solution des études pré-enregistrées va permettre de faire?

A

le reviewer critique la conception de l’étude donc ajustement sont faites AVANT la prise de donnée et permet que l’article soit accepté peu importe les résultats

41
Q

dans quel circonstance est-il possible de transmettre de nouvelles hypothèses une fois l’expérience entamée ?

A

on doit la présentée comme étant EXPLORATOIRE et non CONFIRMATOIRE

42
Q

quel est le problème sauvé par la solution des études pré-enregistrées ?

A

éliminer le HARKing : si les résultats ne sont pas conforme à l’hypothèse, on va pouvoir choisir de publier ou pas, mais pas l’option de changer l’hypothèse ou protocole

43
Q

qu’est-ce que la solution du code ?

A

apprendre à coder pour automatiser les analyses et les rendre publique par la suite

44
Q

quel est le problème sauvé par la solution du code?

A

éliminer facteur d’erreur de méthodes incomplètes: permet de rendre plus facile la reproduction des résultats pour quiconque sans avoir à se fier juste par la section méthodologie qui n’est pas toujours claire

45
Q

qu’est-ce que la plateforme Github ?

A

plateforme qui permet de partager des éléments de code et ses modifications faites avec le temps

46
Q

qu’est-ce que la plateforme Zenodo ?

A

plateforme qui permet d’archiver une version du code en donnant un identifiant unique pour le code, permet de publier un article sur le code s’il est de haute qualité et reproductible

47
Q

qu’est-ce que la solution de partage de données ?

A

méthode de plus en plus populaire où on va partager l’ensemble des données obtenues quelles confirment ou pas l’hypothèse

48
Q

quel est le problème sauvé par la solution de partage de données ?

A

d’autres laboratoire: permet de répliquer l’analyse ou essayer d’autres méthodes
même laboratoire: permet archiver et organiser les données pour des futurs projets

49
Q

qu’est-ce que la plateforme neurovault ?

A

plateforme qui partage les cartes statistiques pour pouvoir les utiliser comme moyen de comparaison lorsqu’on veut répliquer l’expérience

50
Q

qu’est-ce que la solution par le partage d’environnement ?

A

langage universel gratuit comme python va permet de décrire l’ensemble de dépendances au moyen d’un simple fichier

51
Q

qu’est-ce que l’environnement Neurodebian ?

A

version de Linux qui a plusieurs outils de neuroimagerie prêt à l’installation pour l’usage rapide

52
Q

qu’est-ce que des containers ?

A

famille de solution qui permettent de partager un ensemble de librairies et de systèmes d’exploitation

53
Q

quel est le container en neuroscience cognitive ?

A

Neurodicker

54
Q

qu’est-ce que l’outil Mybinder ?

A

permet d’importer un container avec toutes les dépendances d’un projet et réexécuter ce code dans internet sans avoir à installer quoi que ce soit d’autre

55
Q

qu’est-ce que la solution de meilleure pratique ?

A

COBIDAS est un guide des meilleures pratiques pour différentes méthodes de recherche en neuroscience cognitive qui permet de sélectionner la méthode reproductible ET robuste pouvant être répliquée avec différentes méthodes

56
Q

qu’est-ce que la solution de puissance statistique ?

A

nous informe sur la fréquence de faux négatif, donc doit être élevé pour que nos résultats de l’expérience soient reproductibles