Optimierungen

Question 1

Wie sollten Gewichte initialisiert werden?

Answer 1

Gewichte sollten “zufällig” initialisiert werden mit einer starken Streuung

Question 2

Um welchen Wert sollte die Streuung sein?

Answer 2

Bestenfalls Streuung um den Nullpunkt

• Besser für den Trainingsverlauf
• Kleine Gewichtswerte um 0

Question 3

Datengetriebener Entwurf (Lernverfahren)

Answer 3

Modell lernt Zusammenhang zwischen Eingangs- & Ausgangsdaten
Mehrfaches Iterieren notwendig
Kein garantierter Weg zur besten Lösung
Vergleich mit anderen Methoden: hoher Rechenaufwand, aber oft notwendig

Question 4

Unterschied Backpropagation zu Datengetriebener Entwurf

Answer 4

Fehlerrückführung zur Gewichtsoptimierung
Gradientenabstieg zur Fehlerreduktion
Gefahr: lokale Minima, Konvergenzproblem
Hoher Rechenaufwand, besonders bei großen Netzen

Question 5

Was ist der Flache Plateaus?

Answer 5

Geringer Fehlergradient → Gewichtsaktualisierungen sind minimal
Lernprozess verzögert sich oder stagniert
Besonders problematisch bei Gradientenabstieg, da keine klare Richtung zur Fehlerreduktion vorgegeben ist

Question 6

Folgen einer nicht angepassten Schrittweite?

Answer 6

gute Minima können übersprungen werden
Ergebnis wird sup-optimal

-> Das Verfahren konvergiert
gegen ein lokales Minimum

Question 7

Was ist Oszillation?

Answer 7

Oszillation
* Schrittweite, ungünstige Auswahl
* „Hin und her springen“
* Korrekturterm hat dauerhaft
den gleichen Betrag
* oszillierendes Vorzeichen

Question 8

Was ist Indirekte Oszillation?

Answer 8

Ähnlich wie beim direkten Oszillieren
springt das Verfahren über mehrere
Schritte wieder zum Ausgangspunkt
zurück

Question 9

Was geschieht bei einem Sattelpunkt?

Answer 9

Partielle Ableitungen sind am
Sattelpunkt null
* Das Verfahren stagniert, obwohl
kein Minimum der Fehlerfunktion
erreicht ist

Question 10

Was sind Lösungsansätze für Optimierungsprobleme? (Schrittweite, Oszillation, Sattelpunkt, etc..)

Answer 10

Lösungsansätze:
* Variation der Gewichte
* Variation der Datenauswahl (Startpunkt des Verfahrens)
* Variation der Netzstruktur (Komplexität)
* Veränderung der Lernparameter, Gewichtungsfaktor

Question 11

Was hat das erhöhen der Lernrate für Auswirkungen?

Answer 11

Erhöhen der Lernrate (Korrektursprünge erhöhen)
* Plateaus werden schneller durchlaufen
* Lokale Minima werden gegebenenfalls übersprungen
* Gegebenenfalls schnellere Konvergenz

Question 12

Was hat das reduzieren der Lernrate für Auswirkungen?

Answer 12

Reduktion der Lernrate (Korrektursprünge reduzieren)
* Gegebenenfalls wird das globale Minimum gefunden
* Gegebenenfalls wird Oszillation vermieden

Question 13

Was ist das Adaline Lernen?

Answer 13

Verändern der Lernrate über der Zeit (vgl. Adaline Lernen)
* „grob-fein“ Lernen

Question 14

Vorgehen Backpropagation mit variabler Schrittlänge

Answer 14

Die Schrittlänge (Lernrate σ) wird während des Trainings dynamisch angepasst, um die Konvergenz zu verbessern.

Mehrfaches Wiederholen der Gewichtsaktualisierung, bis die Fehlerkurve steigt (Anzeichen für zu große Schritte).

Anpassung der Lernrate je nach Anzahl der Iterationen:

Viele Iterationen (langsames Lernen) → Erhöhung von σ, um schneller zu konvergieren.
Wenige Iterationen (instabiles Lernen) → Verringerung von σ, um Überspringen guter Minima zu vermeiden.

Question 15

Was ist Batch mode Backpropagation?

Answer 15

Batch mode Backpropagation (Off-Line)
* Betrachtung aller Trainingsbeispiele
* Berechnung des Korrekturterms
in Abhängigkeit aller Beispiele