Apprendimento Supervisionato

Question 1

Cosa fa l’apprendimento supervisionato? Perchè si chiama supervisionato?

2 tipologie di problemi che risolve

Alcuni algoritmi di apprendimento supervisionato

Answer 1

Prende in input dati etichettati e costruisce un modello con cui si cerca di fare previsioni.
Supervisionato perchè nel campione di input il segnale di output che si vuole predire è già noto.

Risoluzione problemi di:
- classificazione: associa ad un dato pattern una certa classe (es spam/no spam)
-regressione: si associa ad un dato pattern un valore numerico reale (es previsione vendite)

ALGO:
- regressione
- regressione logistica
- reti neurali
- Support vector machine
- Decision Tree
- Naive Bayes
- Random Forest

Question 2

Regressione Lineare:
- obiettivo
- quale relazione stimo?
- quale è la loss function?
- un possibile ottimizzatore

Answer 2

• cerco una relazione tra variabili indipendenti X (es caratteristiche appartamento) e variabili dipendenti Y (es stima valore casa)
• relazione Y = WX + b
• loss function: MSE= 1/n * sommatoria yvera-y predetta
• discesa del gradiente

Question 3

Regressione Logistica:
- obiettivo

Answer 3

dati degli input, stimare la classe di appartenenza del dato.

Question 4

Support vector Machine:
- obiettivo del modello
- cerco quello che massimizza il …
- cosa sono i support vectors
- kernel trick

Answer 4

-Trovare l’iperpiano che separa il più possibile i punti di una classe da quelli di un’altra classe
- Cerco l’iperpiano con il margine maggiore tra le due classi.
- SV: osservazioni che identificano la posizione dell’iperpiano di separazione.
- Kernel Trick: applico una trasformazione (funzione kernel) per ottenere classi più facilmente separabili.

Question 5

Decision Tree:
- tipologia di apprendimento, a cosa serve
- idea

Answer 5

• apprendimento supervisionato volto a problemi di regressione o classificazione.
• uso le features del dataset per creare delle domande si/no volte a splittare fin quando non isolo tutte le osservazioni di ciascuna classe

Question 6

Decision Tree:
- entropia cosa misura, come si calcola, che valori assume e quando
- come scelgo la feature migliore su cui fare lo split. (+esempio)

Answer 6

Misura il disordine in un sistema.
Entropia= - sommatoria p(classe) * log2(p(classe)).
Oscilla tra 0 (se tutti stessa classe) e 1 (disordine massimo).

-> Cerco la feature che genera il maggior guadagno informativo: la maggior riduzione dell’entropia.

es. calcolo entropia tennis si/no.
calcolo entropia vento forte.
calcolo entropia vendo debole.

Guadagno Informativo=
EntrTennis - ggForteV/ggTot * entrForteV - ggDeboleV/ggTot * entrDeboleV

Question 7

Ensemble Learning

Answer 7

Diversi alberi decisionali, alla fine si fa una media o maggioranza dei risultati.

Question 8

Random Forest:
- 3 iperparametri
- come funziona e come arriva alla risposta

Answer 8

1) dimensione dei nodi.
2) numero degli alberi.
3) numero di features che vengono campionate.

Più strutture ad albero decisionali che operano ciascuna in sottoinsieme diverso:
x regressione faccio la media; x classificazione faccio maggioranza.