Advanced deep learning practices (-> 259) Flashcards

1
Q

Multimodal inputs

A

They merge data coming from different input sources, processing each type of data using different kinds of neural layers

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Inception networks

A

Networks which have a nonlinear network topology, as a graph

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Residual connections

A

It reinjects previous representations into the downstream flow of data by adding a past output tensor to a later output tensor

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Advantages of residual connections

A

Preventing the information loss along the data-processing flow

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Esempio di functional API vs Sequential

A

Sequential:

seq_model = Sequential()
seq_model.add(layers.Dense(….))
seq_model.add(layers.Dense(….))

Functional API:

x = layers.Dense(....)
x = layers.Dense(....)(x)
out = .....(x)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Funzioni che posso usare per mettere insieme layer nel caso di input multipli

A

Concatenate

Add

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Come faccio il training di un modello con due input?

A

Usando model.fit([in_1, in_2], out, altre_opzioni)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Cosa mi devo ricordare quando ho tanti output?

A

Posso specificare tante loss functions, distinte per ogni output
Questo significa avere tanti compile e tanti fit quanti sono gli output

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Quale classe di grafi posso costruire usando le functional API?

A

Directed Acyclic Graphs

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Cosa è vietato nei grafi di una rete?

A

I cicli

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Descrivi una Inception Network (pg 243)

A

Tanti input, tanti output
Posso apprendere separatamente feature spaziali e a livello di canale.
Formata da inception modules

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Configurazione base Inception

A

Da tre a quattro branch

Inizio con una conv 1x1, poi conv 3x3, poi concateno feature risultanti

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Disegna Inception module

A

vedi pag 243

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

A cosa serve una convoluzione 1x1?

A

Per ridurre la dimensionalità nelle Inception

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Cosa fa Xception? Quali sono i vantaggi rispetto ad Inception?

A

Gestisce ogni canale separatamente

Mostra migliore accuratezza e performance di Inception

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Quali problemi punta a risolvere una residual connection?

A

Vanishing gradients e representational bottleneck

17
Q

Cosa si intende con bottleneck

A

Si tratta di un layer con meno neuroni che metto alla fine della rete (per esempio) per diminuire il numero di canali, che altrimenti con le convoluzioni aumenterebbe troppo

In a Sequential model, each successive representation layer is built on top of the
previous one, which means it only has access to information contained in the activation
of the previous layer. If one layer is too small (for example, it has features that
are too low-dimensional), then the model will be constrained by how much information
can be crammed into the activations of this layer.

18
Q

Come funziona una residual connection?

A

Somma un tensore precedente con il tensore corrente, formango così un DAG

19
Q

Siamese (shared) LSTM

A

Pesi della rete appresi dall’input e dal suo simmetrico

20
Q

Cosa si intende con callback

A

Oggetto passato al modello nella chiamata a fit chiamato in vari punti durante il training

21
Q

Cosa può fare callback

A
  • Model checkpointing: salva pesi correnti durante il training
  • Early stopping: interrompe il training sulla base di validation loss
  • Dynamic adjustments: corregge alcuni parametri del modello
  • Logging
22
Q

Struttura con cui scrivo callback (fare esempi)

A

on_epoch_begin
on_epoch_end

on_batch_begin
on_batch_end

…train …

23
Q

Experimental approach in good models development

A

Provesso iterativo, o ciclo, in cui inizio con un’idea, faccio un esperimento, provo a validare o invalidare la mia idea, raccolgo le informazioni!

24
Q

A cosa serve TensorBoard?

A

Monitorare tutto ciò che accade durante il training VISUALMENTE