Module 1 : Introduction, réseau linéaire, fonctions d'activation

Question 1

Nommer une fonction d’activation qui a participé à la renaissance des réseaux profonds.

Answer 1

ReLu

Question 2

C’est quoi le problème du vanishing gradient?

Answer 2

Un problème qui arrive lors de la descente du gradient. Les dérivées partielles utilisées pour calculer le gradient à mesure qu’on entre dans le réseau. Puisque les gradients contrôlent à quel point le réseau apprend pendant le training, si les gradients sont très petits ou nuls, alors il y a peu ou pas d’apprentissage qui se passe, ce qui mène à de mauvaises performances prédictives.

Question 3

Nommer les 3 causes de la renaissance des réseaux profonds.

Answer 3

• Nouvelles fonctions d’activations
• Grands jeux de données
• Puissance de calcul via GPU

Question 4

C’est quoi un tenseur?

Answer 4

C’est la structure de données utilisée par les systèmes d’apprentissage automatique. C’est un conteneur de données numériques, plus précisément une matrice à plus de deux dimensions.

Question 5

Vrai ou faux? Plus un réseau est profond, plus il est efficace.

Answer 5

Vrai. Deeper is better.

Question 6

A-t-on toujours besoin de beaucoup de données?

Answer 6

Non, il est possible de passer par des réseaux pré-entraînés.

Question 7

Nommer certaines des lacunes théoriques en DL.

Answer 7

• Vide théorique autour des performances des réseaux profonds
• Difficile de les certifier
  En gros: on comprends pas trop comment ça marche, mais ça marche. On peur obtenir des performances incontournables en vision numérique, langage naturel, etc.

Question 8

Nommer certains exemples d’applications du DL.

Answer 8

• Reconnaissance de caractères
• Reconnaissance d’images
• Détection d’objets
• Description d’images
• Génération d’images
• Reconnaissance et génération de voix
• Traduction automatique
• Transfert de style
• Apprentissage visuomoteur
• Générations d’images à partir de texte
• Génération de vues
  pis 45 milliards d’autres affaires mais un moment donné ça va faire les exemples

Question 9

C’est quoi qu’il y a dans le jeu de données MNIST?

Answer 9

Plein d’images de chiffres écrits à la main

Question 10

C’est quoi un classifieur linéaire?

Answer 10

Un classifieur linéaire prend des décisions de classification basées sur la valeur de la combinaison linéaire des caractéristiques des objets (feature values)
J’explique ça pas mal merdiquement donc si vous avez une meilleure explication changez-la pls

Question 11

C’est quoi une fonction d’activation?

Answer 11

Une fonction d’activation est une fonction mathématique utilisé sur un signal. Elle va permettre (ou non!) le passage d’information si le seuil de stimulation est atteint. Concrètement, elle décide si on active ou non une réponse du neurone.

Question 12

Nommer les rôles d’une fonction d’activation

Answer 12

• Apporte une non-linéarité dans le réseau
• Située à l’interne, ou en sortie

Question 13

On utilise la fonction d’activation sigmoïde si on désire une sortie entre quoi et quoi?

Answer 13

Si on désire une sortie entre 0 et 1 (prédiction binaire)

Question 14

Décrire la fonction d’activation tanh.

Answer 14

Elle sert à obtenir une sortie entre -1 et 1.
Elle donne une sortie centrée à 0 (préférable au 0.5 de la sigmoïde)

Question 15

Pourquoi le ReLU permet de réduire le vanishing gradient?

Answer 15

Réduit le vanishing gradient, car pente = 1 dans la partie active

Question 16

Expliquer c’est quoi Leaky ReLU.

Answer 16

• Gradient = 0 signifie impossibilité d’entraîner
• Pente très légère dans la partie négative : leaky ReLU
• Si un paramètre a (entraînable) par neurone/couche, on obtient la PReLU
• Donne des distributions de sorties plus centrées à 0 que ReLU

jkonpran po. c koi une distribution de sortie et pk on veut que ça soit centré sur 0?

Question 17

Expliquer c’est quoi softmax

Answer 17

• Fonction d’activation utilisée en sortie, prédiction multiclasse
• Manière d’indiquer au réseau de chercher l’appartenance EXCLUSIVE à une seule classe i
• Version continue, douce de max([…])

Question 18

Pour quoi on utilise softmax?

Answer 18

• Sortie du réseau pour prédiction multiclasse
• M.canisme d’Attention douce (images, transformers)

Question 19

Est-ce qu’on peut avoir plus qu’un softmax en sortie?

Answer 19

Oui.

Question 20

c’est quoi le but d’un réseau feedforward (MLP)?

Answer 20

D’approximer une fonction f*.

Question 21

Pourquoi on appelle ça un réseau de neurones à propagation avant (feedforward)?

Answer 21

Ces modèles sont appelés feedforward parce que l’information circule à travers la fonction évaluée à partir de x, à travers les calculs intermédiaires utilisés pour définir la fonction f, et enfin vers la sortie y.

Il n’y a pas de connexions de rétroaction dans lesquelles les sorties du modèle sont réinjectées dans lui-même.

En d’autres mots, la sortie d’une cellule ne peut pas influencer son entrée. L’information se déplace dans une seule direction, vers l’avant, sans cycles ou boucles.

Question 22

Comment on appelle les réseaux pour lesquels la sortie d’une cellule peut influencer son entrée?

Answer 22

Des réseaux de neurones récurrents.

Question 23

Comment définit-on la profondeur d’un modèle à propagation avant?

Answer 23

Par la longueur de la chaîne de fonctions qui forment le réseau.

Si on a trois fonctions f(1), f(2) et f(3), elles peuvent être connectées en chaîne pour former f(x) = f⁽³⁾(f⁽²⁾(f⁽¹⁾(x))), donc un réseau de 3 couches.

Question 24

Pourquoi les réseaux neuronaux à propagation avant sont-ils appelés réseaux?

Answer 24

Il s’agit d’un réseau puisqu’ils sont généralement représentés en composant ensemble de nombreuses fonctions différentes.

Ces fonctions forment un graphe acyclique (qui ne comporte pas de cycles ni de boucles) qui décrit comment les fonctions sont composées ensembles.

Question 25

Comment appelle-t-on la dernière couche d’un réseau de neurones?

Answer 25

La couche de sortie.

Question 26

Prenons l’exemple d’un classifieur; y = f*(x), qui fait correspondre une entrée x à une catégorie y.

Les données d’entraînement spécifient ce que quelle couche doit faire pour chaque point x? Quelle doit être la valeur obtenue?

Answer 26

Les données d’entraînement spécifient directement ce que la couche de sortie doit faire pour chaque point x. La couche de sortie doit produire des valeurs qui sont proches de y.

Question 27

Le comportement de quelle couche est directement influencé par les données d’entraînement?

Answer 27

La couche de sortie.

Question 28

Comment appelle-t-on les couches dont le comportement n’est pas directement spécifié par les données d’entraînement?

Answer 28

Les couches cachées.

Les données d’entraînement montrent seulement la sortie désirée pour la couche de sortie; l’algorithme d’apprentissage doit décider comment utiliser les autres couches pour produire la sortie appropriée. Puisque les données d’entraînement ne montrent pas la sortie désirée pour chacune de ces autres couches, elles sont appelées couches cachées.

Question 29

Pour quoi sont utilisées les fonctions d’activation?

Answer 29

Elles sont utilisées pour calculer les valeurs des couches cachées.

Question 30

Que fait la fonction train?

Answer 30

Elle entraîne le réseau

Question 31

Que fait la fonction validate?

Answer 31

Elle estime la performance de notre modèle au fur et à mesure de l’optimisation

Question 32

Que fait la fonction test?

Answer 32

Elle estime la performance de notre modèle sur des données jamais observées.

Question 33

Que se passe-t-il pour chaque epoch?

Answer 33

La fonction train passe au travers de toutes les données du jeu de données dans un ordre aléatoire et met à jour les poids du réseau selon la perte calculée.

Question 34

(PyTorch) Généralement, chaque élément d’un dataset va être un tuple (x, y). à quoi correspondent les termes x et y?

Answer 34

Le terme x correspond à notre exemple.

Le terme y correspond à notre étiquette (ou label, target) sous forme d’index (par exemple, on pourrait avoir 0 pour chien et 1 pour chat si on cherchait à différencier des images de chats et de chien).

Donc pour MNIST, x sera les pixels de l’image et y sera le chiffre à classifier.

Question 35

Quels sont les 3 hyperparamètres que la fonction doit recevoir pour entraîner le réseau?

Answer 35

1. Le nombre d’epochs
2. La taille de la batch
3. Le taux d’apprentissage

Question 36

Le nombre d’epochs indique quoi?

Answer 36

Le nombre d’epochs indique combien de fois toutes les images du jeu de données seront observées.

Question 37

La taille de la batch indique quoi?

Answer 37

La taille de la batch indique combien d’images (ou de whatever quel format de données) seront traitées à la fois.

Question 38

Le taux d’apprentissage détermine quoi?

Answer 38

Le taux d’apprentissage détermine la vitesse à laquelle chaque poids du réseau sera modifié.

Question 39

Que se passe-t-il si le nombre d’epochs est trop petit?

Answer 39

Ça équivaut à arrêter l’entraînement de manière prématurée. Donc, si on arrête l’entraînement après seulement 2 epochs par exemple, on voit clairement que notre modèle n’a pas été entraîné à son plein potentiel.

On parle ici de sous-apprentissage.

Question 40

Que se passe-t-il si le nombre d’epochs est trop grand?

Answer 40

Ça donne du surapprentissage.
En surapprentissage, le réseau de neurones est capable de mémoriser les exemples d’entraînement.

Dans la courbe de la fonction de perte, on peut voir que la perte en entraînement est très basse alors qu’en validation, elle descend au début de l’entraînement et monte sans cesse par la suite. Similairement, de manière plus subtile, l’exactitude en validation monte en premier et décroit tranquillement par la suite.

Question 41

Sur quoi est-ce que la taille de la batch semble avoir le plus d’impact?

Answer 41

Niveau mémoire GPU, la taille de la batch a une grande importance. Pour une batch très petite, peu de mémoire sera utilisée et pour une batch très grande, une grande quantité sera nécessaire.

Au niveau de l’utilisation des coeurs du GPUs, plus la taille de la batch est grand, plus grande l’utilisation des coeurs sera. Une plus grande batch peut donc mener à une utilisation plus efficace des ressources de calcul qui sont limités.

Par contre, il faut aussi prendre en compte que la taille de la batch a un impact sur les performances.

Question 42

Est-ce que la taille de la batch impacte les performances?

Answer 42

Oui.
Si l’on va dans les extrêmes, les performances sont dégradées d’une manière ou d’une autre. Dépendamment du réseau et de son initialisation, ceci peut prendre la forme d’un apprentissage qui ne s’effectue simplement pas, un apprentissage plus lent ou bien à un grand surapprentissage.

Ceci est du au fait que les réseaux de neurones ne sont pas des modèles dits convexes et donc ont besoin d’un certain niveau de stochaïsticité (c’est-à-dire de l’aléatoire) pour être capable de les entraîner.

La taille de la batch est donc un hyperparamètre important pour avoir un apprentissage effectif.

Question 43

Que peut-on conclure sur la taille de batch optimale?

Answer 43

La taille de batch optimale est un compromis entre l’utilisation optimale des ressources du GPUs et sur les performances obtenues.

On peut donc tenter d’augmenter la taille de la batch tout en obtenant des performances optimales.

Question 44

Que se passe-t-il si le taux d’apprentissage est trop grand?

Answer 44

D’une manière similaire aux impacts de la taille de la batch, si le taux d’apprentissage au trop grand, les performances sont dégradées d’une manière ou d’une autre.

Dépendamment du réseau et de son initialisation, ceci peut prendre la forme d’un apprentissage qui ne s’effectue simplement pas ou d’un apprentissage très instable.

Le taux d’apprentissage est donc aussi un hyperparamètre important pour avoir un apprentissage effectif.

Question 45

Que se passe-t-il si le taux d’apprentissage est trop petit?

Answer 45

Si le taux d’apprentissage est trop petit, l’apprentissage se fera d’une manière très lente et parfois il ne se fera pas étant donné la stochaïsticité de l’entraînement.

Question 46

Est-ce que la ReLU est parfois négative?

Answer 46

Jamais

Question 47

La ReLU a-t-elle une limite supérieure?

Answer 47

Non, la ReLU n’a pas de limite supérieure.

Question 48

La ReLU est-elle souvent utilisée en sortie de réseau?

Answer 48

Non. La ReLU est rarement utilisée en sortie de réseau.

Question 49

Quelle est la plus populaire fonction d’activation comme non-linéarité?

Answer 49

ReLU

Question 50

La ReLU se calcule-t-elle rapidement?

Answer 50

Oui.

Question 51

La ReLU permet-elle d’accélérer l’entraînement des réseaux?

Answer 51

Oui.

Question 52

Que veut-on dire par le fait que la ReLU résulte en des activations parcimonieuses?

Answer 52

Certains neurones sont à 0. Parfois des neurones vont mourir, particulièrement si le elarning rate est trop grand.