L8 Inferens og regression

Question 1

Hvornår bruger vi F-test

Answer 1

Ved test af nulhypotese med flere hældningskoefficienter (typisk dummyvariable eller kategoriske variable).

Eks. test af alle fem uddannelseskategorier effekt på afhængig variabel.

Eks. tjek om randomisering i balancetabel

Question 2

Hvad betyder en standardfejl for hældningskoefficienten beta1?

Answer 2

Typisk afvigelse fra den sande parameter (altså hældningen i populationen).

Question 3

Hvad påvirker standardfejlen for beta1?

Answer 3

Variationen omkring regressionslinjen (SSR/(n-k))^2 eller RMSE^2 og variationen i x.

Residualvariationen/var(x) = var(beta1)
RMSE/kvadratrod(var(x) = SE(beta1)

Dermed indirekte stikprøvestørrelsen, som giver både mindre RMSE og SE beta1.

Question 4

Hvornår biler SE(beta1) hhv. større og mindre?

Answer 4

Alt andet lige:
Større n –> mindre SE
Større var(x) –> mindre SE
Større residualer –> større SE (mindre præcist estimat)

Så når RMSE er stor, bliver SE(beta1) også relativt stor.

Question 5

Hvad har størrelsen af SE(Beta1) betydning for type ll fejl?

Answer 5

Når SE(beta1) er lille:

• typisk ved stort n, så har vi masser af power
• Stikprøvemålsfordelingen klapper om den sande parameterværdi
• vi begår FÅ type ll fejl (vi forkaster nærmest alle forkerte nulhypoteser)

Question 6

Hvad er ulempen ved robuste standardfejl?

Answer 6

De robuste standardfejl er dog typisk lidt større, derfor er det værd at undersøge om antagelsen om homoskedasticitet holder.

Question 7

Hvad er sammenhængen mellem SE og multikollinearitet?

Answer 7

For MLR vil variansen var(x) afhænge af kontrolvariable. Hvis kontrolvariablene “renser” meget variation, vil var(x) blive mindre og SE større

Kaldes for niveauet af multikollinearitet.

Derfor giver det mening at se på hvor stærk korrelationen mellem x og z er

OBS: medmindre graden af korrelation mellem Z og Y er større!

Question 8

Hvad indebærer en statistisk hypotesetest i en regressionsanalyse?

Answer 8

Tester nulhypotesen ved t-test: sammenhængen er 0

Den forkastes/undlades at forkastes på baggrund af. p-værdien, der viser, hvor sandsynligt det er at få hældningskoefficienten givet at H0 er sand.

Question 9

Hvad udtrykker p-værdien for hældningskoefficienten?

Answer 9

Sandsynligheden for at trække/observere en stikprøve (eller noget mere ekstremt), givet at nulhypotesen er sand.

Question 10

Hvad er forskellen på homo- og hetereoskedasticitet?

Answer 10

Dette spørgsmål relaterer sig til fordelingen af residualer langs regressionlinjen.

Er variansen ensartet: homoskedasticitet

Er der et mønster (trompet eks.): heteroskedasticitet.

Særligt problematisk ift. inferens. SE(beta1-hat) bliver biased.

Question 11

Hvad vil det sige, at en observation er indflydelsesrig?

Answer 11

Leverage * residual = indflydelsesrig outlier

Sjældnere et problem i store stikprøver - vær særlig opmærksom på høj leverage (afstand fra gennemsnittet) i små stikprøver

Question 12

Hvilke egenskaber gælder for Beta1-hat?

Answer 12

Den er unbiased/middelret under følgende antagelser:
- MLR antagelser

E(beta1-hat)=beta1

Question 13

Hvilke typer bias er der i regression?

Answer 13

Stikprøvebias (sampling bias): en skæv stikprøve, tager vi højde for via. inferentiel stat

Selektionsbias: forskningsdesign!

Question 14

Har beta1-hat en stikprøvemålsfordeling?

Answer 14

Ja, hvis i.i.d og n>50 (OBS!).

Hvor den sande parameter er gennemsnit og SE er SE(beta1-hat)

Question 15

Hvad angiver et konfidensinterval for beta1-hat?

Answer 15

Et mål for usikkerheden i stikprøven. Med 95% konfidens indeholder intervallet den sande parameter.

Indeholder den 0, er hældningskoefficienten insignifikant.

Question 16

Hvad er robuste standardfejl?

Answer 16

De justerede standardfjel, som tager højde for heteroskedasticitet (OBS: giver et lidt mere upræcist estimat, men er ofte god at bruge i store stikprøver)

Question 17

Hvad fortælle signifikanstest for dummyvariable?

Answer 17

Om kategorien er signifikant forskellig fra referencekategorien.

Brug f-test, hvis du ønsker at teste om hele variablen er signifikant.

Question 18

Hvad betyder restriktioner ift. f-test?

Answer 18

Hvor mange parametre, som skal være forskellig fra 0:

3 restriktioner: B1=B2=B3=0

Question 19

Hvordan laver man en f-test+

Answer 19

STATA reg-output fikser det for alle koefficienter.

Ellers brug post-estimationskommadoer:

testparm var
test var1 var2 var3
test var==værdi

Question 20

Hvad er forskellen mellem estimation af SE(ystreg) og SE(beta1)?

Answer 20

SE(ystreg): SD/kvadratrod(n)

SE(Beta1): s/kvadratrod(nXvar(x))

Hvor SD er standardafvigelsen i stikprøven og s er kvadratroden af de kvadrede residualer (divideret med n-k); altså variansen omkring regressionslinjen.

Forskellen er altså, at var(x) skal medregnes: altså forholdet mellem to varianser!!