Deep Learning Flashcards
Instrumente/Tools
Artificial Intelligence
-Regelbasierte Algorithmen
Machine Learning
- Decision Tree
- Clustering
- Inductive Logic Programming
- Reinforcement Learning
- Bayesian Networks
- Neural Networks
Deep Learning
-Deep Neural Networks
Supervised vs. Unsupervised Learning
Supervised Learning:
- Lernen mit gelabelten Daten
- Beispiele: Regression, Random Forrest, Support Vector Machines
Unsupervised Learning:
- Lernen mit ungelabelten Daten
- Beispiele: Clustering, Vereinigung
Terminologie - Deep Learning
Deep Learning ist eigentlich nur ein Begriff zur Beschreibung bestimmter Arten von neuronalen Netzen und verwandten Algorithmen, die oft sehr rohe Eingabedaten verwenden. Sie verarbeiten diese Daten durch viele Layer nichtlinearer Transformationen der Eingabedaten, um eine Zielausgabe zu berechnen
Künstliche Intelligenz wird in drei Kategorien eingeteilt:
ANI: Artificial Narrow Intelligence –> AI, die nur in einem Bereich spezifiert ist und eine Aufgabe auf der Ebene menschlicher Intelligenz oder der Intelligenz auf übermenschlicher Ebene ausführt
AGI: Artificial General Intelligence –> AI, die eine Intelligenz auf menschlicher Ebene im Allgemeinen hat z.B. der Fähigkeit zu denken, zu planen, und das Lösen von Problemen –> AI die sich selbst verbessern und ihre Intelligenz mit der Zeit steigern kann
ASI: Artificial Superintelligence –> Superintelligence bedeutet ein Intellekt, der in praktisch jedem Bereich, einschließlich wissenschaftlicher Kreativität, allgemeiner Weisheit und sozialer Fähigkeiten, intelligenter ist als der Mensch
Des Perceptron
- Basis für moderene neuronale Netze, ist in den 1950er Jahren entwickelt worden
- Ein Perceptron ist ein einfacher linearer Binärklassifizierer, der Input und Gewichtung zur Klassifizierung des Outputs verwendet
Mehrschichtige Preceptrons
- Mehrfache Schichten von Preceptrons bilden ein Netzwerk
- Arbeitet als vorwärtsgekoppeltes neuronales Netzwerk
- Besonderheit bei mehrschichtigen Perceptrons (MLPs): jede Schicht ist vollständig mit der nächsten verbunden
- kann auch nicht-lineare Funktionen lernen
Training von Neural Networks
-Ziel ist es, die Gewichte der einzelnen Inputs so zu justieren, dass der Fehler des Outputs vs. des tatsächlichen Wertes in der Trainingsgruppe möglichst gering ausfällt –> Vorhersagen sollten so gut wie möglich sein
-Dies wird erreicht, indem das Modell über mehrere Iterationen hinweg und immer wieder Trainiert wird
Problem: Wie viele Iterationen sind notwendig, um das Modell zu trainieren, um es bestmöglich zu adjustieren?
Backpropagation
- Backpropagation-Algorithmus ist der Prozess, durch den neuronale Netze arbeiten/lernen –> Supervised Learning Algorithmus, typischerweise in mehrschichtigen Feed-Forward-Neuronalen Netzen –> Auf dem Weg zu den optimalen Gewichten werden die Berechnungen durchgeführt und der Fehler (Differenz zwischen berechnetem und gelabeltem Wert) berechnet und auf Grundlage des Fehlers in der nächsten Iteration korrigiert –> Verwendet Prinzip des Gradient Descent
- Algorithmus beginnt mit zufällig zugewiesenen Gewichten für die Inputs
- Bezieht seinen Namen von der Rück-“Propagierung” des Fehlers auf die vorherige Schicht und der Anpassung der Gewichte
- Endet, wenn der Fehler unter einem vorgegebenen Schwellenwert liegt
Gradient Descent
- verwendet die Cost Function (einfache Kostenfunktion: Sum of squared error) –> Fehler: Differenz zwischen berechnetem Wert und gelabeltem Wert im Trainingsdatensatz
- Für einen Punkt auf der Kostenfunktion, der durch alle Gewichte (mehrere Dimensionen) bestimmt wird, wird die Ableitung der Kostenfunktion an diesem Punkt berechnet, um zu bestimmen, in welche Richtung die Gewichte angepasst werden müssen, bis das Minimum der Kostenfunktion gefunden ist (Ableitung = 0)
Recurrent Neural Networks
- Recurrent Neural Networks können viele Formen annehmen (z.B. ein MLP), aber gemeinsam ist ihnen, dass innerhalb des Netzes mindestens eine Rückkopplungsschleifenverbindung besteht
- Rückkopplungsschleife kann von einem Layer zurück zum/zu den vorhergehenden Layern bestehen, also zwischen den Layern
- Feed forward neural networks: Informationen fließen nur in eine Richtung und haben keinen Zyklus oder Schleife
Convolutional Neural Networks
-CNN lernen indem sie Bilder aufnehmen, wobei eine Convolution berechnet wird, indem ein Kasten über das Bild geschoben wird.
