Advanced deep learning practices (-> 259) Flashcards
Multimodal inputs
They merge data coming from different input sources, processing each type of data using different kinds of neural layers
Inception networks
Networks which have a nonlinear network topology, as a graph
Residual connections
It reinjects previous representations into the downstream flow of data by adding a past output tensor to a later output tensor
Advantages of residual connections
Preventing the information loss along the data-processing flow
Esempio di functional API vs Sequential
Sequential:
seq_model = Sequential()
seq_model.add(layers.Dense(….))
seq_model.add(layers.Dense(….))
Functional API:
x = layers.Dense(....) x = layers.Dense(....)(x) out = .....(x)
Funzioni che posso usare per mettere insieme layer nel caso di input multipli
Concatenate
Add
Come faccio il training di un modello con due input?
Usando model.fit([in_1, in_2], out, altre_opzioni)
Cosa mi devo ricordare quando ho tanti output?
Posso specificare tante loss functions, distinte per ogni output
Questo significa avere tanti compile e tanti fit quanti sono gli output
Quale classe di grafi posso costruire usando le functional API?
Directed Acyclic Graphs
Cosa è vietato nei grafi di una rete?
I cicli
Descrivi una Inception Network (pg 243)
Tanti input, tanti output
Posso apprendere separatamente feature spaziali e a livello di canale.
Formata da inception modules
Configurazione base Inception
Da tre a quattro branch
Inizio con una conv 1x1, poi conv 3x3, poi concateno feature risultanti
Disegna Inception module
vedi pag 243
A cosa serve una convoluzione 1x1?
Per ridurre la dimensionalità nelle Inception
Cosa fa Xception? Quali sono i vantaggi rispetto ad Inception?
Gestisce ogni canale separatamente
Mostra migliore accuratezza e performance di Inception