Optimizer

Question 1

Was ist ein Optimierer?

Unterschied zu anderen Optimierern?

Beispiel

Answer 1

Ein Algorithmus, der den total loss/ empir.risk minimiert. Also der das Netzwerk trainiert. Definieren die Maschinen, also tragen manchmal zum Generalisieren bei.

Parametrische Funktion, Datenset, Fehlerfunktion –> findet Parameter Teta, sodass der durchschnittliche Fehler im Datenset minimiert ist.

der Optimierer beschränkt auch den Lösungsraum und trägt dadurch auch zur Generalisierung bei.

Unterschied zu anderen Optimierern –> Differenzierbare Funktionen! wir können die Ableitung berechnen (für das Beispiel können wir das lokale Minimum dadurch finden)
2. Ableitung würde seeeehr lange dauern zu berechnen (mit vielen Parametern)–> man könnte das Ergebnis annähern für höhere Dimensionen.

Loss Landscape

Question 2

Schritte, wie Optimierer in neuronalen Netzwerken angewendet werden, um das Netzwerk zu trainieren.

Answer 2

1. eine differenzierbare Fehler-Funktion definieren, die uns sagt, wie gut die aktuelle Lösung ist. |Vorhersage - Label| und Vorhersage ist die parametrische Funktion fTeta(x)
2. mit einem zufälligen Vektor (meistens zwischen -1,0,1 –> kommt auf die Aktivierungsfunktion drauf an) für Teta (Parameter) starten
3. einen Optimierer wählen, um einen Paramtervektor Teta mit einem kleinen Fehler zu finden —> wiederholend
   die Entscheidung von einem Parameter verbessern