06 SVM

Question 1

Lineare Support Vektor Methode

Answer 1

Problem:
Klassifikation, Trenne die beiden Mengen

Lösung:
Finde die beste Trenn-Gerade

Intuition: Größe des Randes (margin) Generalisierung

Question 2

Entscheidungsfuntkon eines Hyperebenen Klassifikators

Answer 2

h_(w,b)(z) = sign(wz + b)

Abstand des nächsten Punktes: 1/|w|
Abstand zw. den 2 Klassen: 2/|w|

Question 3

Minimierung: Lagrange-Methode

Answer 3

Äquivalentes Problem (primäres Optimierungsproblem)

finde den eindeutigen Sattelpunkt der Funktion
L_p = L(w,b,alpha) = 1/2 |w|<2 - sum(alpha_i (y_i (w*x+b)-1))

alpha > 0

Question 4

Support Vektoren

Answer 4

Support-Vektoren sind alle Vektoren x_i mit alpha_i > 0

Question 5

Klassifikation auf k Klassen

Answer 5

Einer gegen Alle

• k SVM’s (für jede Klasse eine)
• Abstimmungsverfahren

Einer gegen Einen

• k(k-1)/2 SVM’s
• Abstimmungsverfahren

Mehrfachzugehörigkeit (multiple)

• k SVMs (für jede Klasse eine)
• Abstimmungsverfahren

k-class SVM von Watkins

• ein gemeinsames Optimierungsverfahren
• kein Abstimmungsverfahren

Question 6

Dichte-Träger Schätzung

Answer 6

Gesucht: Eine Funktion f, die für eine “kleine” Region, welche die meisten Lernbeispiele enthält, den Wert > 0 und sonst den Wert 0 oder < 0 annimmt.

Question 7

Kernel Perceptron

Answer 7

Klassifikation: Trennung an Hyperebene mit Normalenvektor w in einem transformierten Raum
h(z) = sign(w*phi(z))

Lineare Trennung im transformierten Raum führt zu komplexer Trennung im Ursprungsraum

Question 8

Pro und Kontra SVM

Answer 8

Pro:
+ optimale Hyperebene –> gute lernergebnisse
+ finden der optimalen VC-Dimension –> korrektes lernen
+ verarbeitung hochdimensionaler Daten –> schnelle Auswertung
+ Anwendugsspezifische Kernels mit Datenverarbeitung
+ Entscheidung wird anhand der RAndregionen gefällt
+ Viele Anwendungen: klasifikation, regression, pca
+ probabilistische sicht - wichtig für semi-überwachtes lernen
+ vs-beschreibung - gut geeignet für aktives lernen

kontra:
- vorverarbeiung extern (kein deep learning)
- finden des optimalen kernels - “aktuelle” forschung
- parametrisierung des kernels - “aktuelle” forschung
- speicher und rechenaufwand (speizell für das trainieren)
- anzahl der sv abhängig von problem und parameter - aber erweiterte ansätze möglich