Linear Regression Flashcards
Cos’e’ la Linear Regression?
la regressione lineare semplice è un modello che assume una relazione lineare tra i valori di input (x) e un unico valore di output (y). La x è la variabile indipendente (le ore di studio), mentre la y è la variabile dipendente (i voti) e può essere calcolata come combinazione lineare dei valori di input
Voto = 5 + ore di studio * 0,25
Linear Regression Semplice e Multipla
la regressione lineare viene definita semplice se è presente solamente una sola variabile di input (x), al contrario se il numero di variabili è maggiore la regressione lineare è definita multipla.
Cos’e’ la correlazione(r)?
spiega la relazione tra due variabili. Valori nel range da -1 a +1.
Due variabili con correlazione positiva sono direttamente correlate.
Se la correlazione è negativa, sono inversamente correlate.
Se la correlazione assume valore pari a zero le due variabili si dicono non correlate
Cos’e il coefficiente di determinazione(R^2)?
una misura statistica di quanto i dati sono vicini alla linea di regressione. È dato dal quadrato della correlazione.
Cos’e’ la varianza(σ^2)?
una misura dello spread nei dati, ossia la variabilità di un insieme di dati.
Cos’e’ la deviazione standard(σ)?
altro modo per misurare lo spread nei dati (in quanto esso rappresenta la radice quadrata della varianza).
Cos’e’ il residuo?
è una stima osservabile dell’errore statistico. Il residuo è dato dalla sottrazione tra il valore effettivo e il valore previsto.
Equazione della Linear Regression semplice
y = mx + q
Con
y = variabile dipendente x = variabile indipendente q = termine costante definito intercetta m = coefficiente di relazione tra y e x
Come valutare quanto bene si adatta un modello?
Trovando il valore che di θ che minimizza la Root Mean Squared Error (RMSE)
Anche se è più semplice minimizzare l’errore al quadrato medio (MSE) rispetto al RMSE, e porta allo stesso risultato (perché il valore che minimizza una funzione minimizza anche la sua radice quadrata).
Cos’e’ una funzione di costo?
è una funzione a valore reale c (y_predicted, y_actual) che misura la quantità di una penalità che subiresti se la tua previsione fosse sbagliata (o giusta).
Gradient Descent
è un optimization algorithm (algoritmo di ottimizzazione) capace d’individuare il valore minimo di una cost function, consentendoti di sviluppare un modello dalle accurate previsioni.
Gradiente
Il gradiente indica la direzione di salita,
dobbiamo ottenere un gradiente negativo,
perché dobbiamo scendere per raggiungere il punto di minimo.
Quindi aggiorneremo (update) i weights nella direzione negativa del gradiente (negative gradient direction) per minimizzare la perdita (to minimize the loss).
Learning Rate
Il learning rate è un hyperparameter che influenza il cambiamento dei weights in funzione del gradiente.
gestisce lo step di cambiamento dei parametri a ogni iterazione, indicato con la lettera greca α :
Per α troppo piccolo, il tempo di convergenza (convergence) è grande, quindi la determinazione del punto di minimo impiega parecchie risorse computazionali.
Per α grande, potrebbe fallire la convergenza, superando il minimo, o arrivando persino a divergere mancando la determinazione della soluzione.
funzione convessa (convex function)
La Mean Squared Error, una cost function spesso impiegata nel modello di Linear Regression,
Ha un minimo globale, senza alcun minimo locale
La random initialization non compromette la convergenza
È una funzione continua, questo implica che la sua derivata sia una funzione Lipshitziana.
