Regularization Flashcards
1
Q
Regolarizzazione e overfitting
A
- La regolarizzazione serve a tenere i parametri più regolari
- Evita l’overfitting
- Generalmente non vogliamo grandi pesi, piccoli cambiamenti nella feature risulta in grandi cambiamenti nella predizione
- Vorremmo avere certi pesi a 0, delle feature non importanti
2
Q
Differenza tra L1 e L2, a cosa serve regolarizzare?
A
- L1 è il più popolare perché tende ad avere soluzioni più sparse(molti pesi a 0). Non è differenziabile. Form diamante
- L2 popolare per alcune loss function. Può essere risolta direttamente senza il GD Forma Cerchio
- Lp meno popolare perché non riduce i pesi abbastanza
3
Q
p-norm
A
- Valori piccoli di p (p<2) incoraggiano vettori sparsi(penalizzano valori bassi)
- Valori grandi scoraggiano di più grandi pesi
