12 Sum Product Net Flashcards
Arten von grafisch-probabilistischen Modellen
Bayesches Netz
* bedingte Abhängigkeiten
Markov Netz
* Korrelationen
Sum-Product Netz
* Berechnungsgraph
Definition SPN
SPNs sind gerichtete azyklische Graphen (DAG) mit
- univariaten Wahrscheinlichkeitsverteilungen als Blätter
- Summen und Produkten als interne Knoten
- gewichtete Kanten
Eigenschaften und Validität von SPN
Der Bereich (Scope) sc(n) eines Knoten n in S ist definiert als die Menge von Variablen, die in den Teil-SPN enthalten sind, die an Knoten n verwurzelt sind
SPN ist vollständig, wenn die Kinder von Summenknoten die gleichen Scopes haben
SPN ist konsistent, wenn die Kinder von Produktknoten disjunkte Scopes haben
Ein SPN wird valide genannt, wenn es eine Verteilung repräsentiert (dh sich damit Wahrscheinlichkeiten berechnen lassen)
Parameterlernen bei SPNs
Gegeben:
- Menge D von Instanzen (Belegung der Variablen)
- SPN mit einer validen (generischen) Architektur
Gesucht:
* Parameter / Gewichte
Möglicher Lernansatz
- Iterative Anpassung der SPN-Gewichte mit Gradientenabstieg oder EM
- Prunen / Abscheiden von Kanten mit kleinen Gewichten
Herausforderungen
- Unterschiedliche Ansätze (zB generativ / diskriminativ)
- Berechnung des Gradienten
- Effiziente Umsetzung des Gradientenabstiegs
- Vanishing Gradient Problem –> Hard - Gradient
generatives Lernproblem
gegeben:
SPN mit Scope X, Menge D von Instanzen der Variablen X
gesucht:
Gewichte, so dass P(x) maximiert wird
diskriminatives Lernen
Gegeben:
SPN mit Scope XUY, Menge D von Instanzen der Variablen X mit Labeln Y
Gesucht:
Gewichte, sodass P(y|x) maximiert wird.
Ansatz Parameterlernen von SPNs
Initialisierung: valides SPN mit initialisierten Parametern
Backpropagation basierter Ansätze (optimiert durch s.g. harte Gradienten)
Unterschiedliche Optimierungsfunktion und damit Gradientenberechnung
Anwendung von Sum Product Nets
Datenvervollständigung
Aktionserkennung
Semantisch Karten
