Domande orale

Question 1

Cosa è LBE?

Answer 1

LBE per linear model viene utilizzata quando il problema non è linearmente separabile, è una funzione che viene applicata al input “X” e lo trasforma per poter riuscire, nel caso della regressione, a rendere il modello più flessibile e quindi di fittare al meglio i punti, mentre nel caso della classificazione, si cerca di aumentare la dimensionalità dell’input cercando di trovare un hyperplane di dimensione k-1 (dove K rappresenta la nuova dimensione dell’input e dei pesi) che separi i punti associati alle due classi.

contro: rischiamo di aumentare la complessità del modello e quindi di overfittare

Question 2

Tikhonov regularization

Answer 2

Aggiunta alla Loss di valori che penalizzano un’eccessiva crescita dei pesi.
formula = λ ||w||^2
λ troppo grande porta a data error che cresce a dismisura, underfitting
λ troppo piccolo porta ad overfitting, stessa cosa di non averlo.

Question 3

write the loss for a linear model in form of ridge regression (with Tikhonov regularization)

Answer 3

cerca su notability

Question 4

scrivere algoritmo 1-NN

Answer 4

Store the training data <xp, yp> p=1…l
Given an input x, with size n
Find the nearest training example xi
Find the i which has the d(x,xi) minore #es euclidean distance
Output yi.

Question 5

Come si comporta 1-nn dal punto di vista di errori ecc

Answer 5

TR error = 0, parliamo di algoritmo troppo flessibile che porta ad overfitting, con i noise points.
VD-Dim infinita.

Question 6

formula della funz. di attivazione logistica

Answer 6

f(x) = 1/(1+e^(-alfa x))

Question 7

Perchè non si usano perceptron in una rete neurale?

Answer 7

Perchè essendo una threshold non si può differenziare, si usano solo per tasks di classificazione

Question 8

Perceptron Convergence theorem

Answer 8

Un perceptron converge in un numero finito di passi, per problemi linearmente separabili… Dim…

Question 9

quali tipi di problema risolve il perceptron

Answer 9

Il perceptron è un modello di classificazione binaria che può risolvere problemi di separazione lineare tra due classi. È in grado di apprendere un iperpiano di separazione lineare tra i dati di input, che può essere utilizzato per classificare nuovi dati in una delle due classi.

Question 10

backpropagation e scrivere \DeltaW per un generico peso rz su l pattern

Answer 10

notability

Question 11

Approximation teorema

Answer 11

Una single hidden layer network con una funzione di attivazione logistica, può approssimare ogni funzione continua, a patto di avere abbastanza unità nell’hidden layer.

Question 12

Cascade correlation + covarianza

Answer 12

Cascade correlation creo rete minimale, traino.
Itero aggiugendo unit, cercando di
massimiazzare covarianza, con formula su Notability, se non aumenta piu di threshold, stop.
since the maximization of the correlation is obtained using
a gradient ascent technique on a surface with several maxima, a pool of hidden units is trained and the best one selected. This helps avoiding local maxima.

Question 13

Write the formula of the LBE for a Neural Network

Answer 13

(the phi are learned)
y = wt phi(x) + bias

Question 14

what are the most important factors ruling the flexibility of NN ?

Answer 14

Activation function, lbe, #units, #layers, lr e regolarizzazione

Question 15

come si può giustificare il funzionamento delle rand-nn?

Answer 15

cover theorem:
Un pattern di classificazione complesso, avrà piu probabilità di essere linearmente separabile in higher dimension che in lower dimension, supposto che lo spazio non sia densamente popolato.

Question 16

dal punto di vista della funzione di attivazione come cambia la complessità

Answer 16

boh

Question 17

da cosa dipende la VC dimension nelle reti neurali?

Answer 17

In generale, la VC-dimension aumenta all’aumentare della complessità dello spazio delle ipotesi e diminuisce all’aumentare del numero di esempi di apprendimento 1. In altre parole, una rete neurale con una maggiore complessità (ad esempio, un maggior numero di neuroni o strati) avrà una VC-dimension maggiore

Question 18

Dropout

Answer 18

Ogni volta che alleno minibatch utilizzo un subsample della rete originale

Question 19

Perché usare l’apprendimento profondo se un solo livello è sufficiente?

Answer 19

Poichè con piu livelli posso avere rete che utilizza meno units

Question 20

Che problemi hai con reti deep?

Answer 20

Gradient vanishing, devo utilizzare funzioni attivazione specifiche.

Question 21

cosa sono le reti deep e vantaggi/svantaggi

Answer 21

Posso utilizzare meno units, piu layers, problema con gradient vanishing, explainability…

Question 22

descrivere SOM e scrivere la formula della fase competitiva

Answer 22

Self organizing Maps algoritmh impara una mappa dai vettori per mapparli in uno spazio discreto (single output).

Input vecotr viene comparato con tutte le unit weights utilizzando Distanza euclida.

i * (x) = arg min(i) || x - wi ||_2

Question 23

scrivere formula fase cooperativa

Answer 23

Notabilty

Question 24

confronto tra SOM e K-means

Answer 24

K-Means facile da implementare, efficiente.
Funziona bene per clusters compatti.

Question 25

explain why SOMs are better than K-Means

Answer 25

Abbiamo bisogno di fornire K (numero di cluster a priori).
Troviamo local minima, suboptimal solutions.
Non possiamo avere proprieta di visualizzazione.

Question 26

def VC-dimension and VC-bound

Answer 26

vc dim rappresenta la complessità dello spazio delle ipotesi
VC-Bound R <R emp + eps(Vc dim, 1/l, 1/delta)

Question 27

SRM e per cosa si usa

Answer 27

Structural risk minimization=
trade off tra bound R < Remp(training) + epsilon(1/l, VC, 1/delta).
l numero di esempi
holds with 1 - delta probability.

Guido i modelli on SRM, non per stimare errore.

Question 28

VC(H) di iperpiani lineari con input con dim K

Answer 28

VC(H)=K+1

Dove:
K è la dimensione degli input.
Questa formula mostra che la VC dimensione degli iperpiani lineari con input di dimensione K è pari a
K+1. Questo perché gli iperpiani lineari possono separare punti in uno spazio K-dimensionale utilizzando
K coefficienti per le variabili di input e un termine bias aggiuntivo.

Question 29

forma primale hard/soft margin (con e senza kernel)

Answer 29

note

Question 30

teorema di Vapnik e controllo complessità in SVM

Answer 30

Il teorema di Vapnik è un risultato fondamentale nell’apprendimento statistico che fornisce una stima superiore del rischio di generalizzazione di un classificatore binario 1. In particolare, il teorema di Vapnik afferma che il rischio di generalizzazione di un classificatore binario dipende dalla VC-dimension dello spazio delle ipotesi e dal numero di esempi di apprendimento disponibili 12.

Per quanto riguarda il controllo della complessità in SVM, una delle tecniche più comuni è la regolarizzazione 3. La regolarizzazione è un metodo per prevenire l’overfitting, ovvero la tendenza di un modello ad adattarsi troppo ai dati di addestramento, perdendo la capacità di generalizzare a nuovi dati 3. In SVM, la regolarizzazione viene solitamente implementata attraverso il parametro di regolarizzazione C 3. Un valore elevato di C corrisponde a una minore regolarizzazione, mentre un valore basso di C corrisponde a una maggiore regolarizzazione 3

Question 31

kernel di SVM, scrivere il kernel RBF e commentare l’iperparametro sigma2

Answer 31

Radial basis function net, vedi su notability. L’iperparametro
σ controlla quanto rapidamente diminuisce l’influenza dei punti dati più distanti. Più è piccolo
, maggiore sarà la distanza tra i punti dati per cui il kernel restituirà un valore significativo. Al contrario, se è grande, anche i punti dati più distanti avranno un’importante influenza sul kernel.

Question 32

what are the most important factors ruling the flexibility of SVM

Answer 32

Choice of Kernel
Regularization Parameter (C): The regularization parameter (C) controls the trade-off between maximizing the margin and minimizing the classification error.

Question 33

confronto tra SVM e NN

Answer 33

Struttura:

SVM: Le SVM sono basate su un’idea geometrica di trovare un iperpiano che separi ottimamente le classi nel caso di classificazione binaria. In spazi di dimensioni superiori, questo si traduce nell’identificare l’iperpiano di massimo margine.
NN: Le reti neurali sono composte da un insieme di nodi, o neuroni, organizzati in strati (strato di input, strati nascosti e strato di output), dove ogni neurone è collegato ai neuroni nei layer successivi attraverso pesi.
Addestramento:

SVM: L’addestramento delle SVM coinvolge l’ottimizzazione di un problema di programmazione quadratica vincolata (QP), che cerca di massimizzare il margine tra le classi.
NN: Le reti neurali vengono addestrate tramite algoritmi di ottimizzazione come la discesa del gradiente, dove viene minimizzata una funzione di perdita (loss function) tramite aggiornamenti iterativi dei pesi.
Capacità di generalizzazione:

SVM: Le SVM tendono ad avere una buona capacità di generalizzazione, specialmente quando il numero di feature è molto maggiore del numero di campioni e quando è presente un margine di separazione chiaro.
NN: Le reti neurali possono essere estremamente flessibili e adattive, in grado di catturare complessi modelli non lineari, ma possono essere soggette a overfitting, specialmente in presenza di grandi quantità di dati e complessità del modello.
Interpretabilità:

SVM: Le SVM offrono una maggiore interpretabilità rispetto alle reti neurali, specialmente con il kernel lineare, in quanto l’iperpiano di separazione è facilmente interpretabile.
NN: Le reti neurali, soprattutto quelle profonde, possono essere molto complesse e difficili da interpretare a causa del gran numero di parametri e del loro comportamento non lineare.
Applicazioni:

SVM: Le SVM sono spesso utilizzate per problemi di classificazione binaria, rilevamento di outlier, regressione e classificazione multiclasse.
NN: Le reti neurali sono utilizzate in una vasta gamma di applicazioni, tra cui classificazione, regressione, riconoscimento di pattern, elaborazione del linguaggio naturale, visione artificiale e molto altro.

Question 34

cosa succede alla complessità all’aumentare dell’iperparametro C nel soft margin

Answer 34

In una SVM a margine morbido, l’iperparametro C controlla la complessità del modello e la quantità di errori di classificazione che vengono tollerati durante il processo di addestramento 1. In particolare, un valore elevato di C corrisponde a una minore tolleranza degli errori di classificazione, il che può portare a un modello più complesso e a una maggiore capacità di adattamento ai dati di addestramento

Question 35

formula dell’ipotesi dell’SVM hard/soft margin (classificazione e regressione). formula h(x) SVR, commenta epsilon insensitive loss

Answer 35

h(x) = wt phi(x)
dove la loss function ha un epsilon di margine, che permette di avere flessibilità quando calcoliamo loss

Question 36

definizione di support vector con e senza hard margin e nella regressione (3 def)

Answer 36

di * (wtxi + b) = 1
di * (wtxi + b) = 1 - eps i
di * (wtxi + b) = 1 (dove i weights cambiano).

Question 37

scrivere la h(x) di hard/soft margin

Answer 37

boh

Question 38

decomposizione bias-variance

Answer 38

Bias: quantifica la discrepanza tra la funzione reale e h(x)
(media sui dati): se H è troppo piccolo è alto -

Varianza: quantifica la variabilità della risposta del modello h
diverse realizzazioni dei dati di addestramento: a causa dell’alta flessibilità

Question 39

è vero che le slack variable servono a rendere il margine più piccolo?

Answer 39

ni, il loro scopo è accettare un errore nel margin\

Question 40

scrivere la formula della variance, spiegarla

Answer 40

Var[Z] = E[(Z - Z’)^2] = E[Z^2] - Z’^2
Var[Z] = 1/N sum N ( Z - mean(Z) ) ^2

Question 41

quali sono i metodi di ensemble visti in classe e spiegarli

Answer 41

Bagging creo piu classificatori e li unisco con ensemble
Boosting vado a concentrarmi su errore, andando a pesare quelli che sono dati andati in errore per classificatori successivi

Question 42

perchè gli ensemble migliorano l’expected error

Answer 42

poiche mettendo insieme vari classificatori devono andare tutti in errore

Question 43

Varianza utile quando?

Answer 43

ensemble, Ciò è dovuto al fatto che i metodi di ensemble combinano le previsioni di più modelli, riducendo così la varianza complessiva del modello.

Question 44

Ridurre Varianza?

Answer 44

k-fold, esemble o regolarizzazione

Question 45

where the regularization appears during the course

Answer 45

introdotto quando abbiamo aggiunto LBE per evitare overfitting

Question 46

what is the linear basis expansion (phi) and where it appears

Answer 46

Permette di aumentare espressivita funzione, appare nei linear model, nn

Question 47

decision tree: da cosa dipende la VC dimension

Answer 47

(profondità dell’albero)

Question 48

random forest: perché è più affidabile di un decision tree

Answer 48

(perché è un ensemble, riduce la varianza)