Vorlesung 5

Question 1

Sind Regularisierer unempfindlich gegenüber Merkmals-Skalierung?

Answer 1

Nein, in der Regel sind sie empfindlich demgegenüber

Question 2

Was folgt aus der Empfindlichkeit gegenüber Feature Scaling von Regularisierern?

Answer 2

Es ratsam, immer die Features zu skalieren, um auf der sicheren Seite zu sein.

Question 3

Wenn man Trainingsdaten normalisiert, oder regularisiert, was muss man dann für die Testdaten beachten?

Answer 3

Dieselbe Skalierungsmethode und Skalierungsparameter auch auf die Testdaten anwenden

Question 4

Wie normalisiert man seine Daten?

Answer 4

Question 5

Beschreib Klassifikation, insbesondere Eingaberaum und Ausgaberaum

Answer 5

Question 6

Beschreib die Idee von KNNs

Answer 6

Question 7

Wie funktioniert KNN?

Answer 7

• Sei ein gelabelter Trainingsdatensatz (x^(i), y^(i))_i und ein neuer Datenpunkt x gegeben. KNN klassifiziert den neuen Punkt, indem es die k nächsten Nachbarn aus dem Trainingsdatensatz findet.
• Das Klassenlabel des neuen Punktes x wird durch die Mehrheitsabstimmung seiner k nächsten Nachbarn x^(i) bestimmt.
• Die Mehrheitsabstimmung für das Label kann ungewichtet oder gewichtet erfolgen.

Question 8

Was ist die Manhattan-Distanz?

Answer 8

entspricht der l1-Norm

Question 9

Wozu kann ein kleiner Wert von k bei KNN führen?

Answer 9

Overfitting

Question 10

Wozu kann ein großer Wert von k bei KNN führen?

Answer 10

Underfitting

Question 11

Wie kann ein guter Wert für k gefunden werden?

Answer 11

Mittels Kreuzvalidierung

Question 12

Nenn Vorteile von KNN

Answer 12

• Einfach und leicht zu verstehen
• Keine Trainingsphase erforderlich
• Erlaubt komplexe Entscheidungsgrenzen
• Anwendbar auf Probleme mit vielen Labels

Question 13

Nenn Einschränkungen von KNN

Answer 13

• Rechenaufwendig für große Datensätze
• Empfindlich gegenüber unwichtigen Merkmalen und Rauschen in den Daten

Question 14

Wie kann man KNN als Regression verwenden?

Answer 14

Question 15

Wie kann die Leistung bei Rauschen in den Daten und unwichtigen Merkmalen bei KNN weiter verbessert werden?

Answer 15

durch Dimensionsreduktion (wie Large-Margin-Nearest-Neighbor-Methoden)

Question 16

Nenn den Satz von Bayes

Answer 16

Question 17

Wie funktioniert Naive Bayes?

Answer 17

Question 18

Wie wird der Satz von Bayes bei Naive Bayes manipuliert?

Answer 18

Question 19

Was ist das Laplacian Smoothing?

Answer 19

Question 20

Was ist der Vorteil von Naive Bayes?

Answer 20

Es müssen nur sehr wenige Parameter geschätzt werden. Damit ist es ein sehr gutes Verfahren, wenn es viele Features und wenig Datenpunkte gibt.

Question 21

Nehmen Sie an, dass Sie einen Datensatz mit n Datenpunkten haben, die jeweils d Features haben. Wie hoch ist die Laufzeit des kNN-Algorithmus für die Klassifizierung eines Punktes?

Answer 21

O(n*k*d)

Question 22

Nenn Methoden zur Verringerung der Laufzeit von kNN

Answer 22

1. Methoden der Datenreduktion
2. Methoden der Datenspeicherung und -suche
3. Methoden der Dimensionsreduktion

Question 23

Wie berechnet man die euklidische Distanz zwischen zwei Punkten?

Answer 23

Question 24

Wie berechnet man die Manhattan Distanz zwischen zwei Punkten?

Answer 24

Question 25

Wie funktioniert die Min-Max-Skalierung?

Answer 25

Dabei werden die Daten auf das Intervall [0, 1] abgebildet.