Vorlesung 2 Flashcards
Beschreib kurz die Polynomiale Regression
Beschreib mathematisch die lineare Methode der kleinsten Fehlerquadrate für die Polynomiale Regression
Was erhalten wir dann bei der Polynomialen Regression?
Wie kann man den Abbildungstrick, den wir bei der Polynomialen Regression verwendet haben für beliebige Basisfunktionen verwenden?
Was ist Underfitting?
Was ist Overfitting?
Beschreib den Zusammenhang von Vorhersagefehler und Modellkomplexität für Trainings- und Testdaten
In was werden Trainingsdaten aufgeteilt, um Overfitting zu erkennen?
In Trainings- und Validierungsdaten
Was tun, wenn man wenige Daten hat, aber Validierungsdaten braucht?
Kreuzvalidierung
Wie funktioniert die Kreuzvalidierung?
Wie geht man allgemein vor bei der Regression?
unmathematisch
- beste Modellkomplexität finden: Kreuzvalidierung und Beste Modellkomplexität mit minimalem Validierungsfehler auswählen
- Mit dieser Modellkomplexität das Training auf allen Trainingsdaten (Trainings- und Validierungsdaten) durchführen, um die besten Parameter w* zu erhalten
Was ist Regularisierung/Regularisierte Risikominimierung?
Eine Beschränkung der Modellparameter w zur Reduzierung der Modellkomplexität, zur Reduzierung des Overfittings
Was sind Regularisierungspfade?
Was ist die Empirische Risikominimierung (ERM)?
Was ist die Regularisierte Risikominimierung (RRM)?
Was ist der bias-variance tradeoff?
- Modelle mit hoher Varianz können Trainingsdaten beliebig gut erfassen, neigen jedoch zum Overfitting (hohe Modellkomplexität)
- Modelle mit hoher Verzerrung (Bias) haben eine geringe Modellkomplexität, können sich jedoch an die Daten nicht genau anpassen (Underfitting)
