Lecture 21: Multiple regression

Question 1

wat zijn de assumpties van het lineaire model

Answer 1

For simple regression:
- Sensitivity
- Homoscedasticity
- Linearity

Additionally, for multiple regression:
- Multicollinearity

Question 2

wat voor soort variabelen bij multiple regression

Answer 2

Multiple linear regression is used to model the relationship between a continuous response variable and continuous or categorical explanatory variables.
maar… meestal continuous dependent en independent

Question 3

wat is de assumptie van linearity

Answer 3

er moet een lineaire relatie zijn tussen de independent en dependent variable

Question 4

wat voor formule bij multiple regression

Answer 4

y = B0 + B1x1 + B2X2 …. + ei

Question 5

In linear regression, the relationships are modeled using…

Answer 5

linear predictor functions whose unknown model parameters (B’s) are estimated from the data.

Question 6

To adhere to the multicollinearity assumption…

Answer 6

there must not be a too high linear relation between the predictor variables.

dus de predictor variables mogen niet te lineair gerelateerd zijn aan elkaar

Question 7

hoe check je voor multicollinearity

Answer 7

• Correlations
• Matrix scatterplot
• Collinearity diagnostics:
  VIF: max < 10, mean < 1
  Tolerance: > 0.2 -> good

Question 8

wat is er met B0

Answer 8

we always have a B0, even when we do not have any predictor variables.

Question 9

dus verschil van assumptie lineairity en multicollinearity

Answer 9

linearity = wel een linear relationship between independent and dependent

multicollinearity = geen lineaire relatie tussen predictor variables

Question 10

hoe meet je de assumptie van linearity

Answer 10

• correlations
• matrix scatterplots with predictors and outcome variable

Question 11

regression coefficients tell us…

Answer 11

what the model predicts, and allows us to make estimations

Question 12

b0 is our prediction if…

Answer 12

all our predictor variables were zero. dus ook wel null model!!!
estimates the grand mean of the dependent variable

Question 13

wat is het lastige aan 2 predictors

Answer 13

predicten in 2 dimensions -> geen scatterplots meer gebruiken….

Question 14

the further away the beta is from 0…

Answer 14

the stronger the association between the different predictors and outcome.

Question 15

hoe kan een kleine beta alsnog een groot verschil geven

Answer 15

doordat de beta coefficients nog steeds affected worden door de standard deviations. dit betekent dat er bv een hele lage stdev is, maar dat een lage b nog steeds significantly different zijn dan 0

Question 16

partial correlation =

Answer 16

correlation between x and y whilst controlling for z

Question 17

welke dingen worden wel affected door standard deviation, en welke niet

Answer 17

• correlation niet affected (want delen door stdev)
• covariance and beta 1 zijn affected

Question 18

nog een keer in woorden: wat is r, en wat is r^2?

Answer 18

r = correlation between predicted and observed
r^2 = proportion of explained variance

Question 19

r^2 is the proportion of ….

Answer 19

explained/total

(1-r^2 is the unexplained/total)

Question 20

dus hoe bereken je explained variance in r

Answer 20

cor(x, predicted x)

Question 21

hoe doe je een multiple regression in jasp

Answer 21

alle variabelen er in bij correlation
pairwise correlation aanklikken
onder plots: scatterplots

Question 22

wat zie je bij een categorical predictor in de scatterplots

Answer 22

allemaal horizontale lijnen

Question 23

wat is het verschil tussen een correlatie en regressieanalyse

Answer 23

bij correlatie kijk je naar alle variabelen; bij regressie specificeer je echt wat de dependent variable is en wat de independent variables zijn.

Question 24

waar kan je de beta coefficients zien bij linear regression

Answer 24

onder coefficients -> unstandardized

Question 25

wat betekent unstandardized

Answer 25

betekent dat het op dezelfde schaal is als de dependent variable

Question 26

wanneer kijk je naar standardized

Answer 26

als je hypothesis testing wil doen

Question 27

wat is de intercept van de null model

Answer 27

de mean van de dependent variable

Question 28

waar kijk je nog meer naar bij een multiple regression

Answer 28

naar r^2
en adjusted r^2: die corrigeert voor het aantal variabelen dat je hebt toegevoegd.

Question 29

wat is het voordeel van adjusted r^2

Answer 29

deze punished complex models!
= parsimony

dus adjusted r^2 houdt zich meer aan de parsimony

Question 30

wat zie je bij ANOVA in de multiple regression table

Answer 30

how much better did this model predict, when compared to the null model?

Question 31

wat kan je na het bekijken van die ANOVA doen?

Answer 31

als er een significant verschil zat, kan je kijken aan welke van de variabelen dit verschil toegeschreven kan worden, want dat weten we nu niet (meerdere dingen toegevoegd!)

dus dan voeg je, onder model, een van de twee variabelen toe aan het null model. dan zie je of de andere variabele predictive accuracy toevoegd aan het model. daarna ook kijken naar R squared change, dit kan je aanvinken onder statistics.

Question 32

waar staat de R^2 change bij H0 voor

Answer 32

die vergelijkt het nieuwe null model met het originele null model

Question 33

wat laten VIF en tolerance zien

Answer 33

hoeveel multicollinearity er is

Question 34

waar kan je vif en tolerance krijgen

Answer 34

onder statistics

Question 35

outliers can have a very large effect!

Answer 35

oke

Question 36

hoe zie je outliers

Answer 36

onder residuals bij statistics: casewise diagnostics (hier krijg je case number: dan nog in de dataset kijken waar die is!)

of boxplot maken

Question 37

normality assumption

Answer 37

Q-Q plot, onder plot

Question 38

hoe kan je testen voor homoscedasticity

Answer 38

plot residuals vs predicted

Question 39

wat zie je bij marginal effect plots, wat helpt hier

Answer 39

dat je meerdere dimensies soort van kan zien, omdat de andere variables averaged out zijn. dus helpt semi met dat dimensions probleem