Backpropagation

Question 1

Teile der Backpropagation

Answer 1

Forward Pass
- Präsentieren der Teststimuli
- Berechnung des Resultats

Bestimmung des Fehlers
- Differenz zwischen Soll und Ist
- Quadratischer Fehler
- ist der Fehler nicht akzeptabel

-> Backward Pass
- Rückführung der Erkenntnisse in umgekehrte Richtung
- Gradientenabstieg

Question 2

Welche Methode gibt es, um sich einem Minimum sukzessive anzunähern und wie ist die mathematische Formel dafür?

Answer 2

Gradienten Abstieg
x(t) = x(t-1) - σ grad(f(x(t-1)))

Question 3

Welches Ziel möchte man mit Backpropagation erreichen?

Answer 3

Ein neuronales Netzwerk so zu verändern, dass der Ausgang möglichst den erwarteten Ausgangswerten entspricht. Das bedeutet den Fehler in dem Netzwerk zu minimieren

Question 4

Wie lässt sich der Fehler in einem Netzwerk berechnen?

Answer 4

Summe aller (Ausgänge Outputlayer - Erwartete Ausgänge)²

Question 5

Was ist die Grundformel für die Berechnung der Gradienten

Question 5

Wie lässt dich der Gradient eines Netzwerkes grundlegend berechnen?

Answer 5

Indem die Funktion für den Fehler in einem Netzwerk nach den Weights und Biases abgeleitet wird. Dadurch entsteht eine Matrix mit Gradienten, welche das Netzwerk, nach abziehen von den jeweiligen Weights und Biases, in Richtung eines Fehlerminimums bewegt