Generative models Flashcards
1
Q
Differenza tra Auto Encoder e Variational Auto Encoder
A
- Variational Auto Encoder può essere definito come un autoencoder il cui addestramento è regolarizzato per evitare l’overfitting e garantire che lo spazio latente abbia buone proprietà che consentano il processo generativo
- I VAE sono autoencoder che codificano gli input come distribuzioni anziché punti e la cui “organizzazione” dello spazio latente è regolarizzata vincolando le distribuzioni restituite dall’encoder per essere vicine a una gaussiana standard
- La loss function che viene minimizzata durante l’apprendimento del VAE è composta da un “reconstruction term”, che tende a rendere la codifica-decodifica il più performante possibile, e un “regularisation term”
- Nelle fasi iniziali il regolarizzatore è troppo forte e tende ad annientare la capacità del modello
- Il generatore tende a produrre dati sfocati
2
Q
Mi disegna una GAN? “la loss della gan non la chiederei mai a nessuno” - Ricci 10:30 16/07/21
A
- una rete generativa che prende un input casuale ω con densità p_ω e restituisce un output x̂ = G(ω) che dovrebbe seguire (dopo l’addestramento) la distribuzione di probabilità mirata
- una rete discriminativa D(.) che accetta un input x che può essere “vero” (x, la cui densità è indicata con p_data) o “generata” (x̂, la cui densità p_g è la densità indotta dalla densità p_ω andando attraverso G) e che restituisce 1 se pensa sia vero o 0 se falso
- I parametri potrebbero oscillare e non convergere mai
- Il generatore potrebbe imparare a generare pochi esempi perfettamente
- Se il discriminatore ha molto successo lascia il generatore con poco gradiente da cui imparare (scomparsa del gradiente)
3
Q
Mi disegna un autoencoder?
A
risposta
4
Q
Ul, density estimation e come ottenerla (VAE e GAN)
A
risposta
5
Q
vae disegnalo e spiegalo
A
risposta
