Neuronenmodell Flashcards
Wie sieht der Abstrakte Ansatz der Modellierung künstlicher Neuronen aus?
Was ist die Komposition?
Wie sieht die McCulloch-Pitts Zelle aus?
Was ist ein einfaches Perzeptron?
Was beschreibt das XOR Dilemma
- Was: Schwierigkeit von neuronalen Netzwerken, die XOR-Funktion zu erlernen.
- Problem: Einfache lineare Modelle haben Schwierigkeiten mit der nichtlinearen Natur von XOR.
- Neuronale Netzwerke haben Probleme, XOR korrekt abzubilden, insbesondere bei einfachen Modellen mit einer Schicht.
Aufbau eines Neurons
Zellkörper (Perikaryon): Enthält den Zellkern, die meisten Stoffwechselprozesse
Axon (Neurit) : leitet elektrische Signale an andere Zellen weiter
Dendriten: Signale empfangen
Was sind Aktionspotentiale?
Elektrische Impulse, die entlang des Axons laufen, wenn das Neuron aktiviert wird. Wird auch Spikes genannt
Was sind Synapsen?
Verbindungsstellen, an denen Signale von einem Neuron auf ein anderes übertragen werden.
Was berechnet die Transferfunktion?
Berechnet den Zustand des Axons aus dem Zustand des Zellkörpers und einem Vektor von Dendritenzuständen
Was sagt die Anzahl der Spikes aus
Anzahl der Spikes ist das Maß für “Wichtigkeit” der Information
Informationsfluss wird bestimmt
durch
- Spikeanzahl
- Fortpflanzungsgeschwindigkeit
Energieverbrauch: Faktor zwischen künstlichen und biologischen Systemen
Faktor 10 hoch 10 sind biologische Systeme effizienter
Ziel der Modellierung künstlicher neuronaler Netze
- Verständnis über biologische systeme
- Entwurf adägquater biologienaher Modelle
- Übertragung auf technische Systeme
Wenn mehrere Eingänge auf einen Ausgang abgebildet…
integriert der Ausgang y entsprechen der Vorschrift f die Eingänge x
y = fx) = summe x_i
Möglichkeit durch McCulloch-Pitts Zelle
beliebige boolesche Funktionen realisiert werden
Kolmogorov Theorem
Die Fähigkeit von Feedforward-Netzwerken, jede beliebige Boolesche Funktion zu approximieren, theoretische Grundlage für McCulloch-Pitts Zelle
Grundlagen des Kolmogorow-Theorems
Universalität: Mathematische Basis für die Universalität von neuronalen Netzwerken. Zeigt, dass NNs theoretische alles modellieren können
Netzwerkdesign:
Eingabeschicht (Input Layer)
Eine versteckte Schicht (Hidden Layer)
Ausgabeschicht (Output Layer)
Optimierung und Training: Das Theorem sagt nichts über die Leichtigketi/Schwierigkeit des Trainingsprozesses aus.
Ablauf: Vorwärtsgerichtete Netze (Feed-Forward-Networks)
Signal wir zu Beginn durhc das Netzwerk geführt, in jedem Neuron verarbeitet, bis es an die letzte Schicht gelangt.
Nichtlineare Aktivierungsfunktionen sind notwendig, damit das Modell nichtlineare Beziehungen erlernen und modellieren kann
Das Signal wird dann mittels Backpropagation rückwärts durch das Modell geführt, um Gewichte entsprechend des berechneten Fehlers am Output anzupassen
Eigenschaften McCulloch-Pitts Zelle
Feste Verdrahtung: Verbindung zwischen den Neuronen sind festgelegt und ändern sich nicht durch das lernen
Binäre Ausgabe: Ausgabe erfolgt durch Schwellenwertfunktion 0 oder 1
Unterschied Perzeptron und McCulloch-Pitts Zelle
- Erweiterung des McC. Zelle mit dem Unterschied der Gewichtung der Eingaben x
McC Zelle feuert nur wenn summe w_i * x_i >= Schwellenwert ist, andernfalls null, das perception hat kontinuierliche Werte
Kann nur lineare Trennung
Aktivierungsfunktion: Sprungfunktion
Springt bei x=0 von 0 auf 1
Aktivierungsfunktion: Lineare Funktion
geht linear von 0 auf 1. In einem Intervall von -5 bis +5
Aktivierungsfunktion: Sigmoid Funktion
von 0 auf 1 im Intervall -5 bis 5
nicht linear
Aktivierungsfunktion: Tanh Funktion
von -1 bis 1 im Intervall -5 bis 5
deutlich steiler als Sigmoid funktion
