K-NN

Question 1

Training K-NN e inferenza

Answer 1

• Non c’è una fase di training, semplicemente i dati vengono salvati nella memoria
• Durante la predizione, il modello confronta il nuovo esempio con le istanze dei dati di training

Question 2

K-NN è un modello parametrico?

Answer 2

• No, non c’è assunzione della distribuzione

* Non ci sono parametri da imparare

Question 3

Qual è il bottleneck a livello computazionale in K-NN

Answer 3

• Per ogni esempio bisogna calcolare la distanza tra tutti i punti dei dati di training
• Complessità O(m x n)

Question 4

K-NN, funzione di kernel?

Answer 4

• Assegnare dei pesi ai punti

* Il peso diminuisce maggiore è la distanza

Question 5

K-NN, problema nella distanza, come si sceglie k?

Answer 5

• Il valore k determina il numero di punti training che verranno considerati
• Se è troppo basso diventa sensibile agli outliers(rumore) e troppo specifico(overfit)
• Se è troppo alto generalizza troppo (underfitting)
• Di solito 3, 4 , 5 (dispari per evitare ties)