Bayes I Flashcards
statistical model =
general statistical model + statement about the parameter value that describes a certain phenomenon
we can reflect a models’ statement via a …
probability distribution. based on what these models claim about theta, certain outcomes are more or less likely.
models can also state a range of values
binominal distribution!
waar is de beta distribution op gebaseerd
a = successes
b = failures
what if a and b equal 1?
distribution is uniform
what if the a and b are the same
mooie normaal verdeling -> values closer to 0,5 are more plausible.
what if a is smaller than b
piek ligt links -> values below 0,5 are more plausible
what if a is larger than b
piek ligt rechts -> values above 0,5 are more plausible
dus waar ligt de piek van de binominal grafiek
aan de kant met het LAAGSTE getal
wat is P(O)
prior knowledge, things we think BEFORE seeing the data
wat is P(O|data)
posterior beliefs, after seeing the data
wat is de predictive updating factor
how well did each value of theta predict the data, compared to all other values of theta?
bayesian learning cycle
prior knowledge -> prediction -> data -> prediction error -> knowledge update -> prior knowledge…
wanneer is deduction
bij prediction en data
wanneer is induction
bij prediction error and knowledge update
predictive updating factor bestaat uit 2 delen
likelihood given a certain value of theta
marginal likelihood, across all values of theta
dus likelihood vertelt ons….
This tells us something about
how well a specific value of θ
predicted the data (i.e., it is the
quality of the prediction for this
specific value)
dus marginal likelihood vertelt ons…
This tells us something how well
θ predicted the data, averaged
over all possible values of θ (i.e., it
is the average quality of the
prediction of the model)
dus de predictive updating factor vertelt ons…
Taken together, this ratio tells us how well each
value of θ predicted the data, relative to all other
values!
je maakt een soort grafiek van alle values en hoe goed ze de data predicten.
the likelihood is NOT
a probability distribution!!!!!!! -> suface area =/= 1
marginal likelihood
how well did the model on average predict the data -> average quality of the prediction model.
the probability of generating the observed sample from a prior.
how well we can explain the data using all parameters?
which values of theta predicted better than average?
likelihood
the likelihood of the data, given a certain value of theta
wanneer krijg je een BF > 1 (goede predictie)
likelihood > marginal likelihood.
dan zijn er values van theta die de data beter predicten dan average.
wanneer krijg je een BF < 1 (slechte predictie)
marginal likelihood > likelihood
dan is het average van de data dus een betere predictie dan jouw model.
dus heel korte beschrijving marginal en likelihood
marginal likelihood: soort van average over alle data (soort van net als y-, vergelijkingspunt)
likelihood: the likelihood of the data, given a certain value of theta. dus dit is eigenlijk een soort van of deze value van thta de data beter kan voorspellen dan de average van het model
posterior knowledge =
prior beliefs * predictive updating factor
wat gebeurt er tijdens de predictive updating factor
values of theta that predict the data petter than average receive a boost (increase in plausability), values of theta that predict the data worse than average receive a penalty (decrease in plausability)
what is the posterior distribution
a probability distribution!
verschil likelihood en probability distribution
y assen zijn hetzelfde
x assen (horizontaal)
likelihood: fixes succcesses, variates theta
probability: fixes theta, variates successes (bijvoorbeeld aantal keer heads)
wat vertelt de PUF ons
the ratio tells us how well each value of theta predicted the data, relative to all other values
likelihood in relatie tot marginal likelihood
als de likelihood hoger is dan de marginal likelihood, heeft deze waarde van theta de data beter dan gemiddeld heeft voorspelt!
wat is de PUF als de likelihood groter is dan marginal likelihood
> 1
wat is de PUF als de marginal likelihood groter is dan de likelihood
<1 -> geen goede predictie van die value van theta.
wat gebeurt er bij een very strong prior (hoge a en hoge b waardes)
A very strong prior that assigned more mass to certain values. The prior
conviction is so strong that the data cannot overthrow this conviction: the posterior is still situated at the prior stated values.
This highlights an important feature of learning: strong beliefs need a lot of data to be convinced otherwise! This also makes Sarah and Paul very poor learners: they are so convinced of their value that there is no updatin
wat als de prior distribution een beta distribution is
dan is de posterior distribution dit ook!
met:
a = a + #successes (in our case, #tails)
b = b + #failures (in our case, #heads)
= continuous distribution
wat kan je met de posterior distribution doen
een estimation maken!
take the point estimate, mean or median
you can also make a central credible interval
hoe maak je een central credible interval
To obtain the x% central credible interval, we take
x% of the most central posterior mass, and see
which 2 points are the thresholds
dus bijvoorbeeld 95% central credible interval -> kijken welke 95% in het midden ligt, en hiervan benoem je dan de grens.
hoe interpreteer je deze central credible interval
under this model, there is a x% probability that the true proportion is between … and ….
predictive quality (wat bedoelen ze hiermee)
how well does each possible value of the parameter predict the observed data, compared to the other values
