Vorlesung 4 Flashcards
Neuronale Netze und Künstliche Intelligenz
Wie werden Informationen in einem Neuron weitergegeben?
Informationen werden innerhalb der Nervenzellen als elektrische Signale (wie auf einer Einbahnstraße) von den Dendriten zu der Axonterminale geleitet
Wie gleichen sich biologische und künstlichen Neuronen?
Information gelangt zu den Dendtriten (dem Input) und wird an das Axon (dem Output) weitergeleitet. Die Synaspen sind in dem Fall die “Weights”.
Wie sind neuronale Netze aufgebaut?
Die Informationen werden vom Input weiter zu den Synapsenverknüpfungen geleitet (Interne Verschaltung). Hier sind alle Punkte miteinander Verbunden. Anschließend werden die Informationen an den Output weitergeleitet
Wie viele Input Neuronen hat das Gehirn? Wie viele davon sind für das Auge da? Wie viele für die Ohren? Wie hoch ist der Input in MByte/s?
- Rund 2,5*10^6 Input Neuronen
- davon ca. 1*10^6 Neuronen für das Auge
- und n*10^3 Neuronen für die Ohren
- Bei rund 300 Impulsen pro Sekunde ergibt dies 100 MByte/s an Input
Wie viele Neuronen sind in der Großhirnrinde? Wie viele Verknüpfungen hat ein Neuron? Welche Anzahl von internen Verknüpfungen resultieren daraus?
- Anzahl der Neuronen in der Großhirnrinde 10^10
- Verküpfungen pro Neuron ca. 10.000
- Daraus relsultiert eine Anzahl von 10^14 internen Verknüpfungen (0,1 Billiarden)
Wie viele Output Neuronen sind im Gehirn? Wie groß ist der Datenstrom?
- Rund 1,5*10^6 Output Neuronen für Effektorgane (Muskeln und Drüsen)
- Output: rund 50 MByte/s
Wie ist das mathematische Modell eine Neurons aufgebaut?
Activation function:
Das Ergebnis der “propagation function” werden genutzt, um die Aktivierung der Neuronen durch die “Activation function” zu berechnen. Dafür können verschiedene Funktionen genutzt werden.
Propagation function:
Im ersten Schritt werden alle Input-Werte, die durch Neuronen erzeigt wurden, durch die “propagation function” kombinert.
Kombination meint hier eine gewichtete Summe.
Was ist die Trainingsphase?
Die Entwicklung eines neuronalen Netzes erfordert, dass dem Netz das gewünschte Verhalten beigebracht wird. Dies wird als Trainingsphase bezeichnet. Dazu werden Beispieldatensätze mit bekannten Eingangs- und Ausgangskonstellationen verwendet.
Was ist die Arbeitsphase?
Nachdem das Lernen abgeschlossen ist, kann das neuronale Netz in die Arbeitsphase eintreten.
Als Ergebnis des Trainings liefert das neuronale Netz ähnliche Ergebnisse für Eingabewerte, die denen der Trainigssätze entsprechen.
Was sind Black Box Charakteristiken?
Es ist nicht möglich, Wissen aus den neuronalen Netzen zu extrahieren. Neuronale Netze haben ein typisches “Black Box”-Verhalten.
Es gibt keine Erklärungsmöglichkeit die den Menschen hilft, die Verarbeitungsmethode zu verstehen.
Was sind RNN?
RNN: Rekurrente Neuronale Netze
- Rekurrente neuronale Netze verfügen über eine Besonderheit, die rekurrenten Zellen.
- Diese Zellen erhalten ihren eigenen Output mit einer zeitlichen Verzögerung wiederum als Input durch eine Rückkopplung
- Dies kann auf dem selben Layer geschehen oder sich sogar auf vorangegangene Layer auswirken
- Durch die rekurrenten Zellen entsteht so eine Art von Gedächtnis
Was ist LSTM?
LSTM: Long Short-Term Memory
- Neuronale Netze mit langem Kurzzeitgedächtnis
- Diese LSTM-Zellen verfügen intern über drei sogenannte Gates:
- Input Gate: “Eingangstor”
- Forget Gate: “Merk- und Vergesstor”
- Output Gate: “Ausgangstor”
- Dadurch können Fehlerrückverfolgungen beim Trainieren besser vorgenommen werden (der Fehlergradient kann positiv verbessert werden)
- In dem Input gate wird festgelegt, wie ein neuer Input einbezogen werden soll und mit welchem gewicht, Das Forget Gate bestimmt, ob ein Wert weiter verwendet werden soll oder “vergessen” wird, um das Ergebnis zu verbessern. Im Output Gate wird berechnet, mit welcher Gewichtung der Output in das nächste Layer übergeben wird
2017 wurde von Google erstmals eine neue Technik vorgestellt, die heute als Transformer bekannt ist. Was wird darin bechrieben?
Darin wird beschrieben, wie man durch den Aufmerksamkeits-Mechnismus erhebliche Fortschritte gegenüber den RNN und LMST Modelle erziele kann
Aus welchen Teilen besteht ein Transformers?
- Encoder
- Decoder
Was ist der Unterschied zwischen RNN & und LSTM und Transformern?
Anders als bei RNN und LSTM Modellen können beim Transfromern durch den Aufmerksamkeits-Mechanismus die Bezüge/Abhängigkeiten von nahezu unbegrenzt langen Texten verarbeitet werden.
Die Texte müssen auch nicht mehr sequentiell bearbeitet werden, sondern können parallel in Graphik-Karten verarbeitet werden
Wie weit unterscheiden sich ChatGPT 3.5 und 4 voneinander?
Die Leistungen von ChatGPT 4 bei standardisierten Aufgaben und Tests haben sich dramatisch gegenüber der Version 3.5 verbessert.
Nur in Aufgaben wie Englischer Literatur und speziellen Programmieraufgaben sind die Leistungen noch sehr eingeschränkt.
Stellenweise sind die Testergebnisse in die Kategorie der besten 15 % einzustufen.
Wie groß ist die Gefahr durch KIs?
50 % der KI-Researcher glauben, dass es eine 10 %ige oder höhere Chance gibt, dass die Menschheit wegen ihrer mangelnden Fähigkeit KI zu kontrollieren ausstirbt.
