Lecture 5 Flashcards
bayesian inference =
the outcome of a learning process that is governed by relative predictive success
bayesian learning cycle
prior knowledge - prediction - data - prediction error - knowledge update - prior knowledge…
wat is theta altijd
hypothesis, something that is unknown and we wish to learn about
wat is bayes rule
p(O|data) = P(O) x P(data|O)/P(Data)
posterior beliefs about parameters = prior beliefs about parameters x predictive updating factor
uit welke 2 componenten bestaat bayes rule
support en predictive success
formule support =
p(O|data) / P(O)
formule predictive succes =
p(data|O) / p(data)
wat vergelijk je bij support
wat je dacht over theta voordat je de data zag, en wat je nu weet over theta nadat je de data zag.
if the data increased the plausitibility of a value of theta: the data provided support for that value. en zo niet dan minder support
wat zie je bij predicitive success
what is the probability of the observed data? how surprising are the observed data vs how surprising are the observed data given a value of theta?
wat zegt bayes rule
dat support hetzelfde is als predictive succes
wat is surprise in statistics
a bad thing, you want the data to be predictable
dus less surprising data =
predictive success, wat betekent dat er support is
wat is het verschil tussen support en predicitive success
support = what happens to our beliefs
predictive success = how surprising is our data, how well was our prediction?
wat is een ezelsbruggetje
surprise lost is credibility gained.
wat is de dotted line
prior distribution on theta
vaak een rechte lijn omdat het makkelijk is, dus alle values are equally likely
wat is de niet dotted line
posterior distribution
wat zie je als je prior en posterior vergelijkt bijvoorbeeld
dat de waardes onder …. (waar dotted en niet dotted elkaar kruizen) less likely zijn geworden, en waardes die tussen die kruizing liggen zijn meer likely
the area under the curve…
needs to be one: dus als een area minder likely is, moet een andere wel meer likely zijn
in a continuous distribution, theta can take on any value from …
0 to 1
what is the probability in a continuous distribution
not the height, but the area under the curve
wat zegt de height
heeft niet echt een interpretatie. maar je kan wel kijken hoe plausibel het a priori was, en dan hoe het a posterior was. de ratio tussen deze twee -> how much more likely is a value in the posterior? dat is de increase in our belief
hoe reken je die ratio uit
de bovenste gedeeld door de onderste
posterior / prior
p(data) betekenis
probability of the data
if you assume the uniform prior distribution (if any proportion is equally likely a priori) -> then you predict that the number of successes is also uniform. dus alle outcomes are equally likely a priori, if you assume that all values of theta are equally likely a priori. your predictions are very broad
if you assume the specific theta (such as 0,50)….
you get much more specific predictions, peaked around bv 0.5.