Logistic Regression Flashcards
Logistic Regression, wat & waarvoor?
In tegenstelling tot Perceptron geeft LR een waarde tussen 0 en 1 terug. LR hoort bij Classificatie van SL.
Logistic Regression algoritme
Idem Perceptron
scores: zelfde berekening als bij perceptron
predicties: sigmoïdefunctie ipv stapfunctie
erros: log loss ipv perceptron error
Error functies LR
absolute loss: |y−yp|
square loss: (y−yp)2
log loss of binary cross-entropy: −yln(yp)−(1−y)ln(1−yp)
Probleem bij absolute en square loss:
fout is maximaal gelijk aan 1 & te klein!
Logistic Regression Trick
Correct geclassificeerd: rechte beetje weg van punt bewegen
Foutief geclassificeerd: rechte beetje naar punt toe bewegen
In beide gevallen vergroot de kans op correcte classificatie!