Neural Networks

Question 1

Nelle NN a cosa serve l’activation function?

Answer 1

• Viene usato nelle unità nascoste
• È una funzione non lineare
• RELU

Question 2

funzioni di attivazione panoramica / disegno

Funzioni di attivazione? problemi e/o svantaggi tra le varie

Answer 2

• Rectified Linear Activation (ReLU)
• Logistic (Sigmoid)
• Hyperbolic Tangent (Tanh)

Question 3

funzioni di attivazione, perchè ora si usa relu?

Answer 3

• Meno suscettibile alla scomparsa del gradiente

* Anche se soffre il problema delle unità morte (Leaky RELU lo risolve)

Question 4

feed forward nn

Answer 4

• La funzione f è una composizione di funzioni multiple
• Il problema non è convesso
• Convergenza non garantita
• Bisogna scegliere: 
    ○ Cost function (L2)
    ○ Form of output( Lineari, Softmax)
    ○ Activation functions
    ○ Architecture (number of layers etc, pochi risultati teorici)
    ○ Optimizer (Gradient Descent)

Question 5

La saturazione nelle learning function?

Answer 5

• La saturazione rende l’apprendimento del gradiente difficile (Sigmoid, Tanh)