Lecture 21: Multiple regression Flashcards
wat zijn de assumpties van het lineaire model
For simple regression:
- Sensitivity
- Homoscedasticity
- Linearity
Additionally, for multiple regression:
- Multicollinearity
wat voor soort variabelen bij multiple regression
Multiple linear regression is used to model the relationship between a continuous response variable and continuous or categorical explanatory variables.
maar… meestal continuous dependent en independent
wat is de assumptie van linearity
er moet een lineaire relatie zijn tussen de independent en dependent variable
wat voor formule bij multiple regression
y = B0 + B1x1 + B2X2 …. + ei
In linear regression, the relationships are modeled using…
linear predictor functions whose unknown model parameters (B’s) are estimated from the data.
To adhere to the multicollinearity assumption…
there must not be a too high linear relation between the predictor variables.
dus de predictor variables mogen niet te lineair gerelateerd zijn aan elkaar
hoe check je voor multicollinearity
- Correlations
- Matrix scatterplot
- Collinearity diagnostics:
VIF: max < 10, mean < 1
Tolerance: > 0.2 -> good
wat is er met B0
we always have a B0, even when we do not have any predictor variables.
dus verschil van assumptie lineairity en multicollinearity
linearity = wel een linear relationship between independent and dependent
multicollinearity = geen lineaire relatie tussen predictor variables
hoe meet je de assumptie van linearity
- correlations
- matrix scatterplots with predictors and outcome variable
regression coefficients tell us…
what the model predicts, and allows us to make estimations
b0 is our prediction if…
all our predictor variables were zero. dus ook wel null model!!!
estimates the grand mean of the dependent variable
wat is het lastige aan 2 predictors
predicten in 2 dimensions -> geen scatterplots meer gebruiken….
the further away the beta is from 0…
the stronger the association between the different predictors and outcome.
hoe kan een kleine beta alsnog een groot verschil geven
doordat de beta coefficients nog steeds affected worden door de standard deviations. dit betekent dat er bv een hele lage stdev is, maar dat een lage b nog steeds significantly different zijn dan 0
partial correlation =
correlation between x and y whilst controlling for z
welke dingen worden wel affected door standard deviation, en welke niet
- correlation niet affected (want delen door stdev)
- covariance and beta 1 zijn affected
nog een keer in woorden: wat is r, en wat is r^2?
r = correlation between predicted and observed
r^2 = proportion of explained variance
r^2 is the proportion of ….
explained/total
(1-r^2 is the unexplained/total)
dus hoe bereken je explained variance in r
cor(x, predicted x)
hoe doe je een multiple regression in jasp
alle variabelen er in bij correlation
pairwise correlation aanklikken
onder plots: scatterplots
wat zie je bij een categorical predictor in de scatterplots
allemaal horizontale lijnen
wat is het verschil tussen een correlatie en regressieanalyse
bij correlatie kijk je naar alle variabelen; bij regressie specificeer je echt wat de dependent variable is en wat de independent variables zijn.
waar kan je de beta coefficients zien bij linear regression
onder coefficients -> unstandardized
wat betekent unstandardized
betekent dat het op dezelfde schaal is als de dependent variable
wanneer kijk je naar standardized
als je hypothesis testing wil doen
wat is de intercept van de null model
de mean van de dependent variable
waar kijk je nog meer naar bij een multiple regression
naar r^2
en adjusted r^2: die corrigeert voor het aantal variabelen dat je hebt toegevoegd.
wat is het voordeel van adjusted r^2
deze punished complex models!
= parsimony
dus adjusted r^2 houdt zich meer aan de parsimony
wat zie je bij ANOVA in de multiple regression table
how much better did this model predict, when compared to the null model?
wat kan je na het bekijken van die ANOVA doen?
als er een significant verschil zat, kan je kijken aan welke van de variabelen dit verschil toegeschreven kan worden, want dat weten we nu niet (meerdere dingen toegevoegd!)
dus dan voeg je, onder model, een van de twee variabelen toe aan het null model. dan zie je of de andere variabele predictive accuracy toevoegd aan het model. daarna ook kijken naar R squared change, dit kan je aanvinken onder statistics.
waar staat de R^2 change bij H0 voor
die vergelijkt het nieuwe null model met het originele null model
wat laten VIF en tolerance zien
hoeveel multicollinearity er is
waar kan je vif en tolerance krijgen
onder statistics
outliers can have a very large effect!
oke
hoe zie je outliers
onder residuals bij statistics: casewise diagnostics (hier krijg je case number: dan nog in de dataset kijken waar die is!)
of boxplot maken
normality assumption
Q-Q plot, onder plot
hoe kan je testen voor homoscedasticity
plot residuals vs predicted
wat zie je bij marginal effect plots, wat helpt hier
dat je meerdere dimensies soort van kan zien, omdat de andere variables averaged out zijn. dus helpt semi met dat dimensions probleem
