Advanced deep learning practices (-> 259)

Question 1

Multimodal inputs

Answer 1

They merge data coming from different input sources, processing each type of data using different kinds of neural layers

Question 2

Inception networks

Answer 2

Networks which have a nonlinear network topology, as a graph

Question 3

Residual connections

Answer 3

It reinjects previous representations into the downstream flow of data by adding a past output tensor to a later output tensor

Question 4

Advantages of residual connections

Answer 4

Preventing the information loss along the data-processing flow

Question 5

Esempio di functional API vs Sequential

Answer 5

Sequential:

seq_model = Sequential()
seq_model.add(layers.Dense(….))
seq_model.add(layers.Dense(….))

Functional API:

x = layers.Dense(....)
x = layers.Dense(....)(x)
out = .....(x)

Question 6

Funzioni che posso usare per mettere insieme layer nel caso di input multipli

Answer 6

Concatenate

Add

Question 7

Come faccio il training di un modello con due input?

Answer 7

Usando model.fit([in_1, in_2], out, altre_opzioni)

Question 8

Cosa mi devo ricordare quando ho tanti output?

Answer 8

Posso specificare tante loss functions, distinte per ogni output
Questo significa avere tanti compile e tanti fit quanti sono gli output

Question 9

Quale classe di grafi posso costruire usando le functional API?

Answer 9

Directed Acyclic Graphs

Question 10

Cosa è vietato nei grafi di una rete?

Answer 10

I cicli

Question 11

Descrivi una Inception Network (pg 243)

Answer 11

Tanti input, tanti output
Posso apprendere separatamente feature spaziali e a livello di canale.
Formata da inception modules

Question 12

Configurazione base Inception

Answer 12

Da tre a quattro branch

Inizio con una conv 1x1, poi conv 3x3, poi concateno feature risultanti

Question 13

Disegna Inception module

Answer 13

vedi pag 243

Question 14

A cosa serve una convoluzione 1x1?

Answer 14

Per ridurre la dimensionalità nelle Inception

Question 15

Cosa fa Xception? Quali sono i vantaggi rispetto ad Inception?

Answer 15

Gestisce ogni canale separatamente

Mostra migliore accuratezza e performance di Inception

Question 16

Quali problemi punta a risolvere una residual connection?

Answer 16

Vanishing gradients e representational bottleneck

Question 17

Cosa si intende con bottleneck

Answer 17

Si tratta di un layer con meno neuroni che metto alla fine della rete (per esempio) per diminuire il numero di canali, che altrimenti con le convoluzioni aumenterebbe troppo

In a Sequential model, each successive representation layer is built on top of the
previous one, which means it only has access to information contained in the activation
of the previous layer. If one layer is too small (for example, it has features that
are too low-dimensional), then the model will be constrained by how much information
can be crammed into the activations of this layer.

Question 18

Come funziona una residual connection?

Answer 18

Somma un tensore precedente con il tensore corrente, formango così un DAG

Question 19

Siamese (shared) LSTM

Answer 19

Pesi della rete appresi dall’input e dal suo simmetrico

Question 20

Cosa si intende con callback

Answer 20

Oggetto passato al modello nella chiamata a fit chiamato in vari punti durante il training

Question 21

Cosa può fare callback

Answer 21

• Model checkpointing: salva pesi correnti durante il training
• Early stopping: interrompe il training sulla base di validation loss
• Dynamic adjustments: corregge alcuni parametri del modello
• Logging

Question 22

Struttura con cui scrivo callback (fare esempi)

Answer 22

on_epoch_begin
on_epoch_end

on_batch_begin
on_batch_end

…train …

Question 23

Experimental approach in good models development

Answer 23

Provesso iterativo, o ciclo, in cui inizio con un’idea, faccio un esperimento, provo a validare o invalidare la mia idea, raccolgo le informazioni!

Question 24

A cosa serve TensorBoard?

Answer 24

Monitorare tutto ciò che accade durante il training VISUALMENTE