Manuel chapitre 6 (Modules 1 et 2)

Question 1

Qu’est-ce que le fait que le ReLU soit presque linéaire permet de préserver?

Answer 1

Les ReLU permettent de conserver…
- de nombreuses propriétés qui rendent les modèles linéaires faciles à optimiser avec des méthodes basées sur le gradient
- plusieurs propriétés qui permettentaux modèles linéaires de bien se généraliser

Question 2

Est-ce que la convergence est garantie lors de l’application de la descente de gradient stochastique aux fonctions de perte non convexes?

Answer 2

Non.

Question 3

Est-ce que la descente de gradient stochastique aux fonctions de perte non convexes est sensible aux valeurs des paramètres initiaux?

Answer 3

Oui.

Question 4

Pour des feedforward neural networks, à quoi faut-il initialiser les poids?

Answer 4

à de petites valeurs aléatoires.

Question 5

Pour des feedforward neural networks, à quoi faut-il initialiser les biais?

Answer 5

à zéro ou à de petites valeurs positives.

Question 6

L’algorithme d’entraînement est presque toujours basé sur quoi?

Answer 6

L’algorithme d’entraînement est presque toujours basé sur l’utilisation du gradient pour descendre la fonction de coût d’une manière ou d’une autre.

Question 7

Quel est l’avantage de dériver la fonction de coût à partir du maximum de vraisemblance?

Answer 7

Cela élimine le fardeau de concevoir des fonctions de coût pour chaque modèle.

Question 8

Pourquoi le gradient de la fonction de coût doit être suffisamment grand et prévisible? En quoi les fonctions qui saturent (deviennent plates) s’opposent à cela?

Answer 8

Le gradient de la fonction de coût doit être suffisamment prévisible pour servir de bon guide à l’algorithme d’apprentissage. Les fonctions qui deviennent plates sapent cet objectif puisqu’elles font en sorte que le gradient devient très petit

Question 9

Quelle est une propriété inhabituelle du coût de l’entropie croisée utilisé pour effectuer l’estimation du maximum de vraisemblance?

Answer 9

Il n’a généralement pas de valeur maximale lorsqu’il est appliqué aux modèles couramment utilisés dans la pratique.

Question 10

Pourquoi la fonction de coût de l’entropie croisée est plus populaire que l’erreur quadratique moyenne ou l’erreur absolue moyenne?

Answer 10

Puisque certaines unités de sortie qui saturent produisent des gradients très faibles lorsqu’elles sont combinées à ces fonctions de coût (erreur quadratique moyenne et erreur absolue moyenne)

Question 11

Quel est le rôle de la couche de sortie?

Answer 11

Le rôle de la couche de sortie est de fournir une transformation supplémentaire à partir des caractéristiques (features) pour compléter la tâche que le réseau doit accomplir.

Question 12

Quand utiliser une softmax?

Answer 12

Quand on veut représenter une distribution de probabilité sur une variable discrète avec n valeurs possibles.

Question 13

Quand utiliser une sigmoïde?

Answer 13

Quand on veut prédire la valeur d’une variable binaire y. Les problèmes de classification avec deux classes peuvent être présentés sous cette forme.

Question 14

La somme des sorties de softmax est toujorus égale à quoi? Ça résulte en quoi?

Answer 14

La somme des sorties de softmax est toujours égale à 1. Ainsi, une augmentation de la valeur d’une unité correspond nécessairement à une diminution de la valeur des autres.

Question 15

Pourquoi les unités linéaires rectifiées sont-elles faciles à optimiser?

Answer 15

Puisqu’elles sont similaires aux unités linéaires.

Question 16

Quelle est la seule différence entre une unité linéaire et une unité linéaire rectifiée?

Answer 16

L’unité linéaire rectifiée produit zéro sur la moitié de son domaine (negatifs)

Question 17

En quoi le fait que l’unité linéaire rectifiée produise zéro sur la moitié de son domaine affecte les dérivées/le gradient?

Answer 17

Ainsi, les dérivées à travers une unité linéaire redressée restent grandes chaque fois que l’unité est active. Les gradients sont donc non seulement grands mais aussi cohérents.

Question 18

Avec une ReLU, la dérivée seconde de l’opération de redressement est 0 presque partout, et la dérivée de l’opération de redressement est 1 partout où l’unité est active. C’est quoi l’avantage?

Answer 18

Cela fait en sorte que la direction du gradient est beaucoup plus utile pour l’apprentissage qu’elle ne le serait avec des fonctions d’activation qui introduisent des effets de second ordre.

Question 19

Pourquoi l’utilisation des sigmoïdes en tant qu’unités cachées dans les réseaux à action directe est désormais déconseillée?

Answer 19

Contrairement aux unités linéaires par morceaux, les unités sigmoïdales saturent dans la majeure partie de leur domaine:
- elles saturent à une valeur élevée lorsque z est très positif,
- saturent à une valeur faible lorsque z est très négatif,
- ne sont fortement sensibles à leur entrée que lorsque z est proche de 0.

La saturation généralisée des unités sigmoïdales peut rendre l’apprentissage basé sur le gradient très difficile.

Question 20

Quand est-ce que l’utilisation des sigmoïdes comme unités de sortie est compatible avec l’tilisation de l’apprentissage basé sur le gradient?

Answer 20

Lorsqu’une fonction de coût appropriée peut annuler la saturation de la sigmoïde dans la couche de sortie.

Question 21

Qu’est-ce qui donne généralement des meilleurs résultats lorsqu’une fonction d’activation sigmoïde doit être utilisée?

Answer 21

La fonction d’activation tangente hyperbolique (tanh) donne généralement de meilleurs résultats que la sigmoïde logistique.

Question 22

Pourquoi la fonction d’activation tanh donne généralement de meilleurs résultats que la sigmoïde logistique?

Answer 22

Elle ressemble davantage à la fonction d’identité.

Question 23

Pourquoi l’entrainement d’un réseau neuronal profond avec tanh ressemble à la formation d’un modèle linéaire tant que les activations du réseau peuvent être maintenues petites?

Answer 23

Parce que tanh est similaire à la fonction d’identité près de zéro.

Question 24

À quoi réfère le mot architecture?

Answer 24

Le mot architecture fait référence à la structure globale du réseau : combien d’unités il doit comporter et comment ces unités doivent être connectées entre elles.

Question 25

La plupart des réseaux neuronaux sont organisés en groupes d’unités appelés ____.

Answer 25

La plupart des réseaux neuronaux sont organisés en groupes d’unités appelés COUCHES.

Question 26

La plupart des architectures de réseaux neuronaux disposent ces couches dans quel genre de structure? Expliquer.

Answer 26

La plupart des architectures de réseaux neuronaux disposent ces couches dans une STRUCTURE EN CHAÎNE, chaque couche étant une fonction de la couche qui la précède.

Question 27

Quelles sont les principales considérations architecturales dans les structures en chaîne?

Answer 27

• choisir la profondeur du réseau
• choisir la largeur de chaque couche

Question 28

Nommer des avantages des réseaux plus profonds

Answer 28

Souvent capables d’utiliser beaucoup moins d’unités par couche et beaucoup moins de paramètres, ainsi que de généraliser fréquemment à l’ensemble de test.