Lecture 18: Bayesian ANOVA

Question 1

hoe ziet de prior knowledge er uit bij bayesian

Answer 1

in de vorm van een probability distribution that characterizes our prior knowledge, tussen 0 and 1.

Question 2

wat gebruik je voor een proportion als prior distribution

Answer 2

een beta distribution

Question 3

wat is het lastige aan een prior distribution

Answer 3

heel subjective

Question 4

BF =1 betekent

Answer 4

dat beiden modellen even goed kunnen predicten.

Question 5

BF>1 betekent

Answer 5

more and more evidence for one of the models

Question 6

BF kan nooit…

Answer 6

negatief zijn (want het is een ratio)

Question 7

dus grootste verschil in doelen van frequentist en bayesian statistics (gaat over conditioning)

Answer 7

• frequentist: the probability of the data or more extreme, given the null hypothesis
• bayesian: the probability of different parameters given the data

Question 8

statistical models van theta: wat is het doel?

Answer 8

we are trying to inference for the population value: what do we think are likely values for the parameter values?

Question 9

hoe heet het als een prior distribution heel scherp is gericht op een value (= sarahs model in voorbeeld)

Answer 9

een spike prior

Question 10

wat doen we vervolgens met deze prior distribution

Answer 10

we look at: what are likely values if this model were true? how likely are the data, given the model is true?

Question 11

waar lijkt een distribution bij theta = 0.5 op?

Answer 11

op een sampling distribution if the null would be true. (=frequentist testing)

Question 12

wat is het verschil tussen freq en bayesian wat betreft de probability waar je naar kijkt

Answer 12

freq= the probability of the data, or more extreme
bayes= the probability of the data specifically

Question 13

wat is de formule van bayesian model=

Answer 13

n! / k!(n-k)! * theta(1-theta)^n-k

Question 14

dus als je een spiked prior kiest, vul je dit getal in als theta. maar wat als je een hele range aan values kiest voor de theta?

Answer 14

dan moet je kijken naar elke postulated value van theta tussen … en … (dus alle values die de prior distribution verwacht) en dan vervolgens kijken naar de likelihood van deze date voor elke mogelijke value. dan kijken naar het gemiddelde van al deze likelihoods, weighted by the density at each point.

=marginalizing -> marginal likelihood (=average likelihood)

Question 15

hoe kan het dat, als Betty bijv zegt dat theta <0.5, je in de marginal likelihood graph nog steeds values onder 0.5 ziet staan?

Answer 15

omdat theta = parameter, dus het gemiddelde van de populatie. in de marginal likelihood zie je alle mogelijke waardes. hoewel de probability van heads bijvoorbeeld 0.6 is, heb je nog steeds een kans om 3/10 keer heads te gooien in de gehele populatie.

Question 16

statistical model =

Answer 16

A statistical model is a combination of a general statistical model (e.g., the binomial model) and a statement about a parameter value that describe a certain phenomenon. A statistical model can also be seen as a hypothesis: a specific statement about the value of the model parameters.

Question 17

wanneer heb je een binominal model

Answer 17

als je een series of chance based events hebt, met een uitkomst met 2 mogelijkheden

Question 18

wat is het uiteindelijke doel van een statistisch model, wat doen we hiermee?

Answer 18

We can use the accuracy of these predictions of the model to gauge the quality/plausibility of a model, relative to another model.

Question 19

wat is k in de formule

Answer 19

k = data die je hebt gevonden (bv 8 keer heads gooien)

Question 20

wat is n in de formule

Answer 20

n = de hoeveelheid data die je in totaal hebt verzamelt (bv 10 keer gooien)

Question 21

difference in freq vs bayesian wat betreft de samples

Answer 21

freq = large samples usually needed
bayesian = not necessarily need large samples

Question 22

difference in freq vs bayesian wat betreft de nature of the parameters in the model

Answer 22

freq = unknown nature, but fixed
bayesian = unknown and therefore random

Question 23

difference in freq vs bayesian wat betreft de population parameter

Answer 23

freq = one true value
bayesian = a distribution of values, reflecting uncertainty

Question 24

difference in freq vs bayesian wat betreft: uncertainty is defined by

Answer 24

freq: the sampling distribution based on the idea of infinite repeated sampling
bayesian: a probability distribution for the population parameter

Question 25

difference in freq vs bayesian wat betreft de estimated intervals

Answer 25

freq: confidence interval
bayesian: credibility interval

Question 26

confidence interval interpretatie

Answer 26

over an infinity of samples taken from the population, 95% of these contain the true population value

Question 27

credibility interval interpretatie

Answer 27

a 95% probability dat de population value is within the limits of the interval

Question 28

bayes factor =

Answer 28

how well did model 1 predict the data / how well did model 2 predict the data

= dus de likelihood van de gevonden data. (bv likelihood van 8 keer heads gooien)

Question 29

wat is de interpretatie van BF10= 4

Answer 29

this means that the observed data are about 4 times more likely under model 1 than under model 0.

Question 30

wat is de interpretatie van BF01=0.25

Answer 30

de data zijn 0.25 keer meer likely onder model 1, dan onder model 0.

Question 31

hoe ga je van BF01 naar BF10

Answer 31

1 / Bayesfactor

Question 32

wat als de modellen de data even goed voorspellen

Answer 32

BF=1

Generally, we want the Bayes factor to be as far away from 1 as possible, since this indicates more and more evidence in favor of one model over another.

Question 33

strong evidence for H0=

Answer 33

BF10 = 1/30 tot 1/10

Question 34

moderate evidence for H0 =

Answer 34

BF10= 1/10 tot 1/3

Question 35

weak evidence voor H0 en H1

Answer 35

BF10= 1/3 tot BF10 = 3

Question 36

moderate evidence for H1=

Answer 36

BF10 = 3 tot 10

Question 37

strong evidence for H1=

Answer 37

BF10= 10 tot 30

Question 38

maar wat is belangrijk bij de interpretatie van evidence voor H1 en H0

Answer 38

niet absolute regels, geen all or nothing conclusions.

Question 39

hoe heet een model die elke waarde van theta even plausibel vind

Answer 39

uninformed model

Question 40

hoe maak je dan vervolgens vergelijkingen tussen twee modellen, gebaseerd op deze grafieken?

Answer 40

de ratio nemen van de gele staven, dus de marginal likelihood voor de gevonden data, van beiden modellen.

marginal likelihood model 1/marginal likelihood model 2

Question 41

concept of parsimony in bayesian statistics =

Answer 41

means that more specific models are being rewarded more (when predicting well) than their non-specific competitor

Question 42

wat is de meest gebruikte vergelijking van 2 modellen

Answer 42

een uninformed model vs een nulmodel (met theta = 0.5).

Question 43

transivity in bayesian statistics=

Answer 43

Since we know how much more likely the data are under Betty’s model than under Alex’ model (about 2 times), and how much more likely the data are under Alex’ model than under Sarah’s model (about 2 times), we also now know that Betty’s model is about
2x2=4 times more likely than Sarah’s model!

Question 44

The Bayes factor is a relative metric, comparing 2 models at a time
The subscript of the Bayes factor indicates which model is compared to which
More specific predictions, when accurate, are rewarded (parsimony)

Answer 44

oke

Question 45

Instead of comparing models, however, we can also …

Answer 45

look at one model, and use it to estimate the value of theta. We will see that each of the models presented above will yield different estimates, because they had different a priori (i.e., before seeing the data) beliefs about plausible values of theta

Question 46

Because we are working with a continuous range of values for theta, the difference between saying theta<0.5 and t theta <= theta is infinitely small and the two versions may be used interchangeably

Answer 46

oke

Question 47

wat is de formule voor de posterior

Answer 47

p(θ|data) = (p(data|θ) * p(θ)) / p(data)

Question 48

wat is p(data|θ)

Answer 48

likelihood

Question 49

wat is p(θ)

Answer 49

prior

Question 50

wat is p(θ|data)

Answer 50

posterior

Question 51

wat is p(data)

Answer 51

average prediction acrosss all θ’s

Question 52

wat is een andere manier om de formule te schrijven van bayesian

Answer 52

p(θ|data)= p(θ) * p(data|θ) / p(data)

Question 53

wat is de predictive updating factor

Answer 53

p(data|θ) / p(data)

Question 54

wat laat de predictive updating factor zien

Answer 54

it shows how each possible value of theta predicted the observed data, relative to all other possible values of theta.

Question 55

Belief is a funny word and we tend to associate the word with things that have seemingly little to do with science or statistics. However, we have beliefs about anything in the world – they might be quite weak, but we still have some starting point for reasoning about some phenomenon. For instance, I know very little about the number of penguins in the world, but I do know there are more than 0, probably more than 1000
, and fewer than 1.000.000.000 of them

Answer 55

oke

Question 56

hoe bereken je p(data|θ)

Answer 56

ook in de n & k formule zetten, en dan dat voor elke mogelijke waarde van θ.

bv beginnen met theta = 0,5; dat invullen.

Question 57

wat is de likelihood NIET???

Answer 57

likelihood =/= probability distribution!!!
surface area =/= 1, en dus geen probabilistic statements maken over de parameter

Question 58

de marginal likelihood is een …. value

Answer 58

singular value, dus gewoon een nummer!!

Question 59

marginal likelihood =

Answer 59

average of all the likelihoods, where the likelihood of each theta value is weighted by the prior belief placed on that value by the model

Question 60

wat vergelijk je dus bij de bayes factor, qua formule?

Answer 60

p(data|θ) van mdoel 1 vs model 2

Question 61

dus likelihood, welke formule?

Answer 61

p(data|θ)

Question 62

wat is de predictive updating factor in termen

Answer 62

likelihood / marginal likelihood

Question 63

hoe vergelijk je twee modellen onder het bayesian framework

Answer 63

compare the marginal likelihoods of each of the models: how likely are the data under model 1, and how likely are the data under model 2?

Question 64

wat is dan de bayes factor

Answer 64

the data are …. more likely under model 1 as under model 2

Question 65

hoe zie je marginal likelihood visually

Answer 65

dat is de grafiek met het gele staafje, dat is marginal likelihood! gaat echt over model comparison

Question 66

predictive updating factor=

Answer 66

likelihood of the observed data, for each value of theta. dus je stopt een theta in die formule, en dan krijg je de likelihood. dat doe je voor alle mogelijke waarden van theta, en daaruit komt dan een grafiek: de likelihood = predictive updating factor

Question 67

wat staat er op de grafiek van predictive updating factor

Answer 67

x as = θ
y as = P(data|θ).

Question 68

wat zie je bij een statistical model op de grafiek

Answer 68

x as = θ
y as = density

Question 69

wat zie je op de grafiek van likelihood

Answer 69

x as = dependent variable
y as = likelihood

Question 70

op welk level is bayesian inference:

P(θ|data)

Answer 70

op het level van de parameter

Question 71

wat is het verschil in likelihood en marginal likelihood in terms van een formule

Answer 71

likelihood is een function, gaat over alle mogelijke waarden van theta die dan een eigen likelihood krijgen.

marginal likelihood is het gemiddelde van de likelihood, dit is maar één getal!! -> how well did the values in the model predict the data on average?

Question 72

predictive updating factor interpretatie

Answer 72

how well did each value in the model predict the data, compared to the average of the other models in the data?

Question 73

als je twee modellen vergelijkt met elkaar, waar staat de bayes factor dan gelijk aan

Answer 73

aan de predictive updating factor:

p(H1|data) / p(H0|data)

Question 74

op welk level is bayesian hypothesis testing:

p(H1|dat)/p(H0|data)

Answer 74

op het level van de hypothese

Question 75

wat is het verschil tussen een prior distribution en prior odds

Answer 75

prior distribution is op θ level, en dus parameter. -> distribution

prior odds is op H1 en H0 level, en gaat dus over hypothesen. -> single value

Question 76

dus twee soorten prior

Answer 76

prior distribution: p(θ)

prior odds: p(H1)/p(H0)

Question 77

bayes factor formule

Answer 77

p(data|H1) / p(data|H0)

Question 78

bayesian t test: wat meten we?

Answer 78

de difference between groups: cohen’s d / delta. δ

= a standardized difference between groups

Question 79

wat voor distribution for bayesian t test

Answer 79

cauchy distribution

Question 80

wat zijn karaktereigenschappen van de cauchy distribution

Answer 80

• df = 1
• t-distribution

Question 81

why would a uniform distribution not work for bayesian t test

Answer 81

omdat delta een infinite domain heeft

Question 82

bayesian anova = extension of the t test

Answer 82

oke

Question 83

wat is P(M) in bayesian statistics

Answer 83

prior model: how likely do we deem each of the models before seeing the data?

standaard: 0.5

Question 84

wat is P(M|data)

Answer 84

posterior model probabilities, updated prior using the PUF/BF

dus dit geeft al een indicatie van welk model meer evidence heeft.

Question 85

BF10

Answer 85

compares all of the models to another model (default: all models are compared to the best model)

dus kijken naar: wat was het beste model bij P(M|data) -> de hoogste = beste model, daar wordt de rest mee vergeleken.

Question 86

waarom kan je dus een 1 zien staan bij de BF10

Answer 86

omdat het model met het beste model wordt vergeleken: als dit het model zelf is, zal de BF altijd gelijk zijn aan 1 (want hij wordt vergeleken met zichzelf)

Question 87

wat is BFm

Answer 87

dit vergelijkt een model met al de andere modellen -> marginal likelihood of one model compared to marginal likelihood of the other models

(als er maar twee modellen zijn is dit dus het verschil tussen deze twee modellen).

Question 88

wat kan je zien bij effects bij bayesian anova

Answer 88

kijken naar het verschil tussen predictor variables.

Question 89

wat is BF incl bij effects

Answer 89

laat zien hoeveel meer likely de data is onder de H1 dan onder de H0. compares groups of models to groups of models

Question 90

model averaged posterior distribution =

Answer 90

how much does the model deviate from the grant mean?

Question 91

kunnen we bij bayesian ook post hoc tests doen

Answer 91

ja, pairwise comparisons. basically bayesian pairwise t tests.

Question 92

waar kijk je dus naar bij bayesian anova tabel

Answer 92

naar BFm: how well does the model do, compared to all other models

of

BF10: compares the model to the best model

of

BFincl; laat zien hoe veel beter dit model het doet vergeleken met modellen die niet de predictor hebben

komt vaak op hetzelfde uit, omdat we vaak maar 2 modellen hebben.

Question 93

you can quantify evidence for inclusion of the null or for the H1. but you cannot quantify evidence for exclusion

Answer 93

oke

Question 94

de aanwezigheid van een interactie effect laat zien….

Answer 94

dat je eigenlijk niet alleen meer over main effects kan praten.

(daarom heeft ANCOVA ook een assumption dat er geen interactie is tussen predictor en covariate).

Question 95

hoe kan je bayesian visualiseren

Answer 95

descriptive plots: horizontal axis = dependent, separate lines = groups/independent

Question 96

wat betekent een kruizing in de lijnen van descriptive plot

Answer 96

INTERACTION EFFECT!!!!