Bayes II Flashcards
op welk level is de Bayesian Estimation (met theta)
op level van de parameter
uninformative model
reflects the idea that all values of the proportion are equally likely
Bayesian statistics gaat over means/proportions
proportions
wat laat r skewed distribution zien
dat values onder 0,5 meer plausibel zijn
wat laat l skewed distribution zien
dat values boven 0,5 meer plausibel zijn
marginal likelihood
average quality of the prediction model, over all values
likelihood
quality of the prediction for this specific value
en via marginal likelihood en likelihood kijken naar
hoe elke value het voorspelt, tov het hele model. values die het goed doen krijgen een boost, values die het niet goed doen krijgen geen boost
L > M ezelsbruggetje
L komt eerder in alfabet dan M, dus L>M
in wat voor grafiek kan je de marginal likelihood aflezen
likelihood - y as
number of successes - x as
hoe doe je een model comparison (= Bayes Factor)
marginal likelihood model 1 / marginal likelihood model 2
-> the data are … more likely under model 1 than under model 2
wat is de Bayes Factor
marginal likelihood 1/marginal likelihood 2!
op welk level is de bayesian hypothesis testing (met H1)
op hypothese niveau
wat is de Bayesian Estimation (formule)
P(0|data) = P(0) * (P(data 0)/P(data))
GOED kennen!!!
wat is de formule voor bayesian hypothesis testing
p(H1|data) p(H1) p(data|H1)
—————- = ———- x ——————
p(H0|data) p(H0) p(data|H0)
prior odds = (formule)
p(H1)/p(H0)
wat laat de prior odds zien
hoe plausibel een hypothese is, vergeleken met een andere hypothese. before seeing the data!
bv. wat is de prior odds als je denkt dat de Ha 5 times more likely is? en wat als de H0 5 times more likely is?
1e optie: prior odds = 5
2e optie: prior odds = 0,20
predictive updating factor interpretation
how well did the alternative hypothesis predict the data, compared to how well the null hypothesis predicted the data?
= zelfde als Bayes Factor
wat voor level ga je tijdens hypothesis generation
theory to prediction -> deduction
when is the prior distribution truncated
if the hypothesis is one sided.
then all the values that H1 does not predict anything for, are equal to 0
Predictive updating factor in hypothesis testing vergeleken met equation
marginal likelihood / likelihood
dit is dus andersom dan bij de bayesian equation!!!!
predictive updating factor formule
p(data|H1) / p(data|H0)
uitleg formule PUF
average likelihood over all values predicted by H1 / average likelihood across all values predicted by H0
Savage-Dickey density ratio
prior density / posterior density
interpretation of Savage-Dickey ratio
prior > posterior: evidence for H1
posterior > prior: evidence for H0
dus het posterior moet LAGER zijn
dus welke density moet lager zijn voor evidence voor H1
posterior moet lager liggen dan prior
PUF hypothesis is ook wel
BF10
als ze beiden een zelfde stap nemen vanaf een ander punt…
is de BF nog steeds hetzelfde
interpretatie BF10 = 20
the data are 20 times more likely under H1 than under H0
interpretatie BF10 = 1
data are equally likely under H1 as under H0
BF 1-3
anecdotal
BF 3-10
moderate
BF 10-30
strong
BF 30-100
very strong
> 100
extreme
dus wat zijn de classificatie namen
anecdotal - moderate - strong - very strong - extreme
hoe posterior distribution opstellen
a=a+aantal successes in observed data
b=b + aantal failures in observed data
dus stel je begint met a=1, b=1 en je observed 4 successes en 2 fails
a=5, b=3
naar welke theta value kijk je voor savage dickey
0,5 -> vergelijk prior vs posterior
wat gebeurt er als je two sided gaat testen
als je two sided gaat testen: spread out your bets.
aangezien de marginal likelihood weighted is, over het gemiddelde van alle values, word de likelihood van theta dan dus vergeleken met meer values
dus daarom krijg je less winnings voor de values die het model beter hadden voorspeld dan gemiddeld
-> marginal likelihood wordt lager dan bij one sided!
dus wat is lager bij two sided vergeleken met one sided
marginal likelihood
hoe zie je in de grafiek of het one sided of two sided is
one sided: truncated, grafiek begint opeens omhoog
two sided: rechte lijn, alle values hebben dezelfde density
parsimony
when both models predicted the data equally well, but one (the one sided model) was more specific, and therefore receives more winnings = higher marginal likelihood
wat is de interpretatie van een hoge BF10
betekent niet gelijk dat de H1 juist is, maar dat het in ieder geval beter is dan de H0! is dus echt allemaal heel relatief
In the Bayesian framework we keep updating our beliefs
It does not matter if we update it all at once, or one data
point at a time (“Today’s posterior is tomorrow’s prior” )
oke
sequential analysis
plot how the BF evolves as we accumulate knowledge
Bayesian Hypothesis testing is another form of updating beliefs: we
compare the predictions made by 2 different hypotheses (or,
models) to update our beliefs about which hypothesis is better
oke
The Bayes factor is central: it is the predictive updating factor of our
beliefs about hypotheses.
It is the ratio of each hypothesis’ “predictive quality”, measured by
their marginal likelihoods: the average likelihood of all values of the
parameter predicted by each respective hypothesis.
oke
The Bayes factor is a relative metric! Both hypothesis can predict
very poorly: the Bayes factor tells you which did the least poorly
The Bayes factor can be monitored as evidence accumulates
We can investigate the effects of the prior distribution
oke
