Recurrent Neural Networks Flashcards
Was sind Recurrent Networks?
Für welche Szenarien sind Recurrent Networks optimal?
Wenn vergangene Variablen gebraucht/behalten werden müssen.
Vor allem bei Problemen mit einem zeitlichen Faktor.
Beschreib ein Simple Recurrent Network
Was ist ein Kontext Layer?
kopiert Output eines hidden layers von t-1 und gibt ihn als Input in das Netzwerk
Welche Alternative gibt es zu SRN, wenn man ein feedforward Netzwerk benutzen möchte?
Time Delay Neural Network
Was sind Vorteile von Time Delay Neural Network?
- Feedforward architecture
▪ easy parallelization
▪ efficient learning - No memory fading over
the length of the context
Was sind Nachteile von Time Delay Neural Network?
Drawbacks of TDNNs:
- Length of context is fixed
- For large contexts:
▪ large input dimensionality
▪ many weights/parameters
Was ist ein Echo State Network?
- Variation von SRN
- verschiedene Historien eines SRN führen zu verschiede Aktivierungen, wenn recurrent/input weights zufällig sind
- also kann man auch nur die output weights trainieren
Was ist die echo state property?
the largest
eigenvalue of W^rec must not be much larger than 1
Was ist der Vorteil an ESN?
Das Optimierungsproblem kann durch Algebera gelöst werden, ohne iteratives trainieren
Was ist der Nachteil an SRN?
Durch ihre einfache Struktur können die SRNs nicht hierarchisch angeordnet werden, es entwickelt sich also keine komplexere Struktur, da nur auf einer Ebene gelernt wird (Output Layer). Sie sind gut für basic classifier
Was sind Extreme Learning Machines?
Was ist der Vorteil von Extreme Learning Machines?
Schnelles Training
Was ist der Nachteil von Extreme Learning Machines
Difficult / data-dependent setting of parameters, e.g. scaling
of weights and their sparseness
Was ist ein Hopfield Network
- idea of Associative Memory
Wie wird bei Hopfield Networks gelernt?
Gewichtsaktualisierung: Die Verbindungen (synaptische Gewichte) zwischen den Neuronen werden gemäß der Hebb’schen Regel aktualisiert.
w_ij = 1/n * Summe (über p Patterns) von x_i^p * x_j^p
Hopfield Networks
How many patterns can be stored in memory?
Hopfield Network
Was ist die Energy of the Network’s Activations?
Was ist die Idee dahinter, die Hebb Rule zu erweitern, sodass 2N Patterns gemerkt werden können?
Was sind Limitationen von Hopfield Networks?
- erlauben nur wenige Patterns
- erlauben nur statische Patterns, keine dynamischen
Erkläre Conway’s Game of Life
Which of the statements about Recurrent Neural Networks (RNNs) are true?
1. Considering an unlimited number of timesteps, a simple recurrent network can be translated into a feed-forward MLP.
2. In an echo-state network (ESN), only the weights between the hidden and the output layer are trained, thus the error function can be differentiated to a linear system.
3. Simple recurrent networks retain absolute knowledge of each previous input in the sequence.
4. RNNs can be used for sequence classification, but not for sequence prediction.
2
Complete the following statement: The predictive performance of decision trees can be improved using…?
1. Random Trees
2. Bagging
3. Boosting
alle drei
Which of the following ensemble learning techniques is more likely to yield better predictive performance than the other?
1. Bagging better than Boosting
2. Boosting better than Bagging
3. Both always show the same performance
2
