Bayesian Statistics Flashcards
Wovon geht der Frequentistische Ansatz aus?
- Die Parameter θ sind unbekannt aber fest
- θ ist keine zufallsvariable und hat keine zufallsverteilung
- Die Wahrscheinlichkeit wird als Häufigkeit interpretiert
- Der Schätzer wird mit mehr Daten genauer
Wovon geht der Bayes Ansatz aus?
- Die Daten D sind fest und die Parameter θ zufällig
- Da θ eine Zufallsvariable ist, hat sie eine Zufallsverteilung
- Wahrscheinlichkeit wird als belief interpretiert
- Wir müssen eine prior Verteilung festlegen, welche durch mehr Daten aktualisiert wird
- Die posterior Verteilung wird mit mehr Daten genauer
Was ist das Ziel der MLE (Maximum Likelihood Estimation)?
- Das Ziel der Maximum-Likelihood-Estimation besteht darin, die Parameter θ zu finden, die die Likelihood-Funktion maximieren.
- Mit anderen Worten, wir suchen die Parameter, die die Wahrscheinlichkeit der beobachteten Daten am höchsten machen.
Wie wird die MLE mathematitisch optimiert?
- Die MLE wird oft als mathematisches Optimierungsproblem formuliert, bei dem die Likelihood-Funktion maximiert wird.
- Das Problem kann häufig vereinfacht werden, indem man die logarithmische Likelihood-Funktion maximiert, da dies mathematisch einfacher ist und dieselben Parameterwerte ergibt.
Wie werden beim MLE die Parameter geschätzt?
- Die Schätzung der Parameter erfolgt durch Maximierung der Likelihood-Funktion oder log-Likelihood-Funktion.
- Dazu wird in der Regel ein Optimierungsalgorithmus verwendet, der die Werte der Parameter so anpasst, dass die Likelihood maximiert wird.
Was ist die prior Schätzung in der Bayesian Statistic?
- Für den Schätzvorgang müssen wir initial eine Verteilung schätzen (Vorwissen)
- Diese Verteilung ist meist sehr breit und ungenau
- Während der Annäherung an die Daten wird die posterior Verteilung schmaler und genauer
Was gibt die Posterior Predictive Distribution an?
Diese Verteilung sagt uns, wie wahrscheinlich es ist, neue oder zukünftige Daten zu sehen, basierend auf den beobachteten Daten und unserem Wissen über die Parameter.
Was gibt die Posterior Verteilung an?
Dies ist die Wahrscheinlichkeit, wie wahrscheinlich bestimmte Parameterwerte sind, nachdem wir die beobachteten Daten gesehen haben.
Welche Eigenschaften sollte ein estimator im Frequentistischen Ansatz haben?
- Er sollte konsistent sein -> Wenn die Anzahl an Daten gegen unenedlich Läuft, läuft unsere Schätzung für θ gegen den wahren Wert
- Unbiased -> Der Erwartungswert des geschätzen Parameters θ ist gleich der wahre Parameter θ
Wie funktioniert die Maximum a Posterior Estimate (MAP)?
- Zuerst erstellen wir eine Prior Verteilung
- Mit Bayes Theorem “verbessern” wir unsere Verteilung
- Wir suchen den Wert der Parameter, bei dem die Wahrscheinlichkeit der Parameter basierend auf den beobachteten Daten am höchsten ist
Welchem Wert nähert sich der Parameter bei der MAP Schätzung an?
- Je mehr Daten wir haben desto schmaler wird unsere Verteilung
- Dadurch wird die Varianz kleiner
- Es wird sich immer weiter dem wahren Erwartungswert angenähert
Was ist der Full Bayesian approach?
- Prior-Wahrscheinlichkeit: Der Full Bayesian Approach beginnt mit der Auswahl einer Prior-Verteilung für die Parameter des Modells
- Likelihood: Als nächstes wird die Likelihood-Funktion verwendet, um die Wahrscheinlichkeit der beobachteten Daten gegeben den Parametern zu berechnen. Die Likelihood gibt an, wie gut das Modell zu den Daten passt.
- Posterior-Verteilung: Der Full Bayesian Approach berechnet die Posterior-Verteilung der Parameter
- Inferenz: Anstatt nur einen Punkt-Schätzwert für die Parameter zu berechnen, untersucht der Full Bayesian Approach die gesamte Posterior-Verteilung, um Schätzungen und Inferenz über die Parameter zu machen
- Vorhersage und Entscheidungsfindung: Der Ansatz nutzt die Posterior-Verteilung, um Vorhersagen über zukünftige oder unbekannte Daten zu machen (Posterior Predictive Distribution) und um Entscheidungen zu treffen, die die Unsicherheit in den Parametern berücksichtigen.
Was ist die Bayes’sche Regel und wie wird sie angewendet?
Die Bayes’sche Regel verbindet Prior-, Likelihood- und Posterior-Wahrscheinlichkeiten, um neue Informationen zu integrieren und die Wahrscheinlichkeitseinschätzung zu aktualisieren.
Wie beeinflusst die Wahl der Prior-Verteilung die bayesianische Inferenz?
Die Wahl der Prior-Verteilung beeinflusst die Anfangseinschätzung der Parameter und kann das Ergebnis der Posterior-Analyse erheblich verändern.
Was ist der Unterschied zwischen informativen und nicht-informativen Priors?
Informative Priors basieren auf bestehendem Wissen oder starken Annahmen, während nicht-informative Priors minimal voreingenommen sind und wenig Vorwissen einbringen.
