Udvidet regression pointer

Question 1

Hvordan diagnosticeres ikke-linearitet?

Answer 1

1. inspicer (fx ACPR) + teori
2. transformer hvis log
3. estimer
4. inspicer (fx ACPR)
5. rapporter (gerne med graf)

Question 2

På hvilke tre måder kan en logaritmisk transformation benyttes til at imødekomme ikke-linearitet?

Answer 2

Ikke-lineære sammenhænge mellem X og Y kan transformeres til linearitet.
* lineær-log, hvis gulv/loft. her logges X. Tolkning af hældning er B/100 stigning pr. 1% stigning i X.
* log-lineær, hvis stigende effekt. her logges y. tolkning af hældning er B*100 i % stigning i Y når X stiger med 1 enhed.
* log-log. Her logges begge. procentvis ændring i Y når X ændres med 1%.

Husk altid teori og graf

Question 3

Hvad er polynomisk regression og hvordan kan den imødekomme ikke-linearitet?

Answer 3

Her kan sammenhængen være kurve-lineær fx konkave eller konveks.
reg y c.x##c.x i stata tilfølger X^2 led.
B1 er hældningen ved 0
2B2 ædringen i hældningen når x stiger med 1
også muligt med flere knæk (polynomier af højere grad).

Question 4

Hvad er forskellen på en logaritmisk transformation og polynomisk regression?

Answer 4

Flere muligheder hvis non-linearitet. Tjek altid teori og graf evt modellens fit.

Question 5

Hvorfor kan mediationsanalyse være svært at gøre ordentligt?

Answer 5

Man kan ønske at bruge post-treatment variable til at forstå mekanismen hvorigennem X påvirker Y.
Udfordring: det introducerer selekionsbias, hvis M er korreleret med fejlleddet.
Dont do this!!

Question 6

Margins kommandoen

Answer 6

hvis dydx så beregnes marginal effekter.
hvis kun at (x1 x2 x3) så regnes forudsagte værdier af Y for hhv x1 x2 og x3.

Question 7

Hvordan bliver konstantens tolkning, når der er blevet logaritmetransformeret?

Answer 7

Hvis X er logaritmetransformeret, så vil tolkningen af konstanten være, at det er gennemsnittet i Y, når log(x)=0. Dvs. når x=1. Derfor er konstanten gennemsnittet i Y når X=1.

Havde Y været logaritmetransformeret, ville konstanten kunne tolkes som gennemsnittet i log(Y) når X=0.

Question 8

Hvad betyder det, når der er interaktion mellem to variabler?

Answer 8

når effekten af en uafhængig variabel afhænger af værdien på en anden uafhængig variabel.
Tilføjes blot et interaktionsled til den multiple regression. Interaktionsleddet består af krydsproduktet mellem X og Z.
Det er afgørende at Z påvirker sammenhængen mellem X og Y og IKKE Y.

Question 9

Hvordan fortolkes regressionskoefficienterne når: β1X + β2Z + β3XZ?

Answer 9

β0: E(Y) når X=0 og Z=0 (kontrol variable er også 0)
β1: hvor meget stiger Y når X+1 og Z=0
β2: hvor meget stiger Y når Z+1og X=0. Forskel i E(Y) mellem Z og Z+1 når X=0.
β3: forskel i sammenhæng mellem X og Y når Z stiger med én

Kontrolvariable ændrer ”kun” på i hvilken grad vi kan udtale os kausalt på baggrund af resultaterne og at koefficienter skal tolkes som ”…. Når vi holder *kontrolvariabel* konstant”.

Question 10

Hvad viser et marginaleffekt plot og hvordan er det forskelligt fra et plot der viser forudsagt Y?

Answer 10

Et marginaleffekt plot viser effekten af X1 på Y ved en række Z værdier.
Dette adskiller sig fra et plot der viser forudsagte Y. Her er Z holdt konstant på fx tre Z-værdier (typisk lav, middel, høj).

Laves med margins og marginsplot

Question 11

Hvilken yderligere linearitetsantagelse gør vi os, når den interagerende variabel er kontinuer?

Answer 11

Samme antagelser som ved lineær regression
- ingen selektionsbias
- linearitet (i grundleddene)
- fravær af outliers
- uafhængige observationer
ingen perfekt mulitkollinearitet

Dertil:
- nu opmærksom på både X og Z særligt i forbindelse med selektionsbias.
- lineær interaktionseffekt (brug interflex med wald-test)
- common support

Question 12

Hvordan kan man undersøge om en interaktiv sammenhæng med en kontinuert variabel er lineær?

Answer 12

1) Tjek først om sammenhængen ml. Y og X samt Y og Z er lineær (med fx Lowess). Hvis ikke er det måske nødvendigt at transformere enten Y, X eller Z
2) Brug interflex kommandoen til at tjekke om effekten af X ændres lineært henover Z.
Det Interflex gør er at estimere interaktionen separat indenfor hver gruppe og spytter den estimerede marginale effekt ud for medianen i den pågældende gruppe. På den måde løsner den op for linearitetsantagelsen da effekten af X på Y nu kan variere mellem grupperne.
giver visuelt tjek og signifikanttest om linearitetsantagelsen holder.

Question 13

Hvorfor er der større risiko for ekstrapolation ved interaktionssammenhænge - og hvad er ekstrapolation?

Answer 13

Ekstrapolation betyder, at man konkluderer for meget ud fra for små stikprøver/for få respondenter.

Der er større risiko for ekstrapolation ved interaktion, fordi man jo tester effekten på Y når en af de andre variable stiger med en OG den anden holdes konstant (og der er måske ikke så mange observationer, hvor det sker…).

Question 14

Hvad kendetegner grupperet data?

Answer 14

Grupperet data er når data er indlejret i grupper. Konkrete grupper: fx elever i skole, borgere i lande. Abstrakte grupper: fx det samme individ målt flere gange (paneldata eller eksperiment med gentagne treatments).

Fedt: vi kan udnytte det til at afdæmpe selektionsbias (fixed effects)

MEN: skaber afhængighed (i.i.d. nope) så nogen gange behov for klyngerobuste standard fejl.

Question 15

Hvad er paneldata?

Answer 15

data fra flere enheder (i) hvor hver enhed er observeret på to eller flere tidspunkter (t). Fx cigaret forbrug og priser over tid. Data siges derfor at være grupperet i tid og rum.

Hjælper os med kombination med fixed effects meget med at bedrive kausal inferens.
Det giver dog også nogle udfordringer mht. statistisk inferens, som vi lige skal imødekomme med klyngejusterede standardfejl.

Question 16

Hvad er hierarkisk data?

Answer 16

data inddelt i niveauer.
Konkrete eksempler: Elever (Niveau 1) på skoler (Niveau 2), Borgere (Niveau 1) i lande (Niveau 2).

Hjælper os i nogen grad ved kombination med fixed effects med at bedrive kausal inferens. Det giver dog også nogle udfordringer mht. statistisk inferens, som nogle gange skal imødekommes med klyngejusterede standardfejl.

Question 17

Hvad betyder det, at observationer er afhængige?

Answer 17

hvis det at vi kender en observation gør os i bedre stand til at gætte en anden observation. Dette er ofte tilfældet for grupperet data.

Brud på i.i.d. antagelsen.

løsning: Klyngerobuste SE. cluster(gruppevar)

Question 18

Hvorfor kan afhængighed mellem observationer påvirke standardfejlen?

Answer 18

SE er afgørende for vores statistiske inferens (estimatets præcision).
Når vores observationer er afhængige bidrager de hver især med mindre ny information end hvis de var uafhængige, hvilket giver for små SE -> fejlestimere usikkerheden på vores estimater!!!

Question 19

Hvordan laver og fortolker man en fixed effects analyse?

Answer 19

fixed effects tilhøjer gruppe specifik konstant så der kontrolleres for tidsINvariante forskelle.
MEd two-way fixed effects tilføjes også konstant for tidsvariante faktorer.
Tolkningen er nu hældningen inden fo hver enhed (fx land).

Obs: hierarkiskdata her kan vi ikke inkludere fixed effect på individniveau, da hvert individ ikke er målt flere gange.

STATA: dummyreg eller xtset gruppevar + xtreg y e, fe

Question 20

Hvilke teknikker tages der typisk i anvendelse i forbindelse med kausal inferens?

Answer 20

Typisk vil man enten anvende:
- kontrollerede eksperimenter
- Regression med kontrolvariable
- Panelanalyse/ DiD

Question 21

Hvordan kan Difference-in-Differences bruges til kausal inferens?

Answer 21

DiD måler forskellen i forskellen – forskellen mellem to forskellige gruppers udvikling.

En fordel ved dette er at tidsinvariante forhold holdes konstant (som i før/efter) samtidig med at muligvis alt tidsvariant også holdes konstant (som i tværsnit). Det sidste kræver dog at parallelle trends antagelsen holder.

Question 22

Hvilke data kræves ifbm. Difference-in-Differences?

Answer 22

Før og efter for flere enheder = paneldata
- gerne min 30 som treates og 30 som ikke gør.
- meningsfuldt gns. af Y
- dikotom treatment
I STATA: lang format og treatment samt tids dummy.

Med repeated cross-seciton kan man danne paneldata på et øvre niveau (et aggredred niveau) selvom man ikke har observeret individerne to gange. Man kan også bare analyserer individniveaudata med DD. Her er en ekstra antagelse om fravær af sampling bias.

Question 23

Hvad implicerer antagelsen om parallelle trends, og hvordan kan den efterprøves? hvad hvis den er brudt?

Answer 23

antagelse om ens udvikling i potentielle udfald for treatede og ikke-treatede.
Kan IKKE testes.
Kan sandsynliggøres:
- pre-treatment trends ens?
- treatment as-if random tildelt?
- sensitiv overfor gode kontrolvariable? (bør den ikke være).
Generelt noget man kan overveje teoretisk!!

Hvis brudt?!
- tilpas kontrolgruppe så as if random
- inddrag kontrolvariable

Question 24

Hvad er et naturligt eksperiment?

Answer 24

et eksperiment, hvor treatment er “som-om/as-if” tilfældigt tildelt. Her er treatment tildelt naturligt og ikke bevidst af fx en forsker.

Eksempler på naturlige eksperimenter er fx bank-eksperimentet fra pensum.

Question 25

Antagelser i DD-analyse

Answer 25

1. parallelle trends
2. ingen linearitetsantagelse pga fokus på udvikling.
3. hvis heteroskedasticitet brug robuste SE (klyngerobuste pga. panaldata og afhængighed)
4. hvis repeated tværsnit + antagelse om fravær af samplingbias.

Question 26

hvordan laves DD i STATA?

Answer 26

lineær regression med interaktion (ml. treatment og tid)
- interaktionsled = forskel i udvikling mellem kontrol og treatment.
- Cons = gns. Y for kontrol i reference tid.
- X-koefficienten(TG) = forskel mellem kontrol og treatment i reference tid.
- tid-koefficient = forskel mellem gns i kontrol på reference tid og anden tid (=udvikling i kontrol).

Hvis kontrol så disse holdt konstant (og ved 0 for cons).

Question 27

Hvad er den lineære sandsynlighedsmodel (LSM)? hvordan tolkes koefficienten? fordel/ulempe?

Answer 27

Lineær regression men på en dikotom Y.
Model for det lineær forhold mellem X og sandsynligheden for Y = 1.
Tolkningen af β_1 er, at når X stiger med 1, så stiger sandsynligheden for Y=1 med β1 x 100 i procentpoint.
fordel: nem at tolke.
ulempe: kan forudsige uplausible ssh uden for 0-1.

Question 28

Antagelser i LSM

Answer 28

1) linearitet mellem X og Y med mindre X er kategorisk. Denne er ofte brudt.
2) fravær af outliers
3) der vil være heteroskedasticitet brug derfor robuste SE.
4) i.i.d.
5) fravær af selektion.

Question 29

Hvorfor kan en LSM generere forudsagte sandsynligheder der ligger over 1 eller under 0?

Answer 29

Der er tale om en loft- eller gulveffekt som bryder linearitetsantagelsen. Dette er ikke noget nyt som særligt knytter sig til LSM. Også i forbindelse med lineær regression kan dette forekomme.
Den “rigtige” kurve som beskrive populationen vil nok være s-formet. Løsning: logistisk reg eller probit.

Question 30

Hvad er en logistisk regressionsmodel?

Answer 30

Et redskab til at modellerer Pr(Y=1) givet X, ligesom LSM men Logit fikser de udfordringer LSM støder på med uplausible forudsagte sandsynligheder og brud på linearitetsantagelsen.

Bygger på maksimum likelihood og ikke OLS.
Finder de koefficienter, som passer bedst med et givent datasæt.
Log(likelihood): Jo tættere på 0, jo bedre model (som RMSE)

Her arbjedes med logartimen til oddsene for Y=1 (log-odds) - svær tolkning :(
Vi omdanner til oddsratio (0- uendelig). Koefficient: “oddsratio ganges med B når X+1”.

Fokuserer på gennemsnitlig marginaleffekt: “ssh for Y=1 ændre sig gennemsnitligt med ME når X+1
Eller forudsagt sandsynlighed.

Question 31

Logit antagelser

Answer 31

1) linearitet mellem X og log-odds brug bivariat graf.
2) i.i.d.
3) fravær af multikolinearitet
4) fravær af outliers
5) fravær af selektionsbias

*homoskedasticitet IKKE en antaglese derfor bruges ikke robuste SE.

Question 32

Logit i STATA

Answer 32

logit y x
or: oddsratio
margins dydx
margins at
margins plot

Question 33

Hvordan ser sammenhængen ud, når Y er en logistisk funktion af X?

Answer 33

Den er s-formet. Dermed løses problemet med LSM da loft- og gulv-effekten medregnes.

Denne model passer altså bedre på vores data.

Question 34

Hvordan kan man fortolke parametrene i den logistiske regressionsmodel? herunder pseudo R^2

Answer 34

umiddelbart: “logaritmen til oddsene ændre sig med B når X+1.

oddsratio: fra 0 til uendelig, hvor koefficienter under 1 er negative. 2 betyder at det er dobbelt så sandsynligt at få Y=1 som Y=0
“Oddsratio for Y = 1 ganges med koefficienten hver gang X stiger med 1”.

Udregne den gennemsnitlig marginaleffekt med margins dydx-komandoen. Her undersøger vi hvor meget sandsynligheden for Y = 1 gennemsnitligt stiger med, når X stiger med 1.

Udregne forudsagte sandsynligheder for Y = 1 for forskellige niveauer af X med margins.

Pseudo R2: angiver hvor meget mindre log(likelihood) bliver af at inkludere vores uafhængige variabel (eller variable hvis flere) i modellen. Log(likelihood): Jo tættere på 0, jo bedre model (som RMSE).
chi-i-anden test, der svarer til hele regressionens F-test i OLS.

Question 35

Hvordan beregnes, visualiseres og fortolkes effekten af X i en logistisk regressionsmodel?

Answer 35

En graf af de forudsagte sandsynligheder for Y = 1 på tværs af X med et marginsplot, hvor konfidensintervaller, IQR m.m. kan tilføjes.

Ingen graf for kategorisk X, udregn her forudsagte sandsynligheder og lav marginsplot.

Man kan også lave interaktion med logit, men det er meget kompliceret.

Question 36

hvordan kan vi sammenligne, om LSM og Logit giver nogenlunde samme resultater?

Answer 36

De substantielle tolkninger fra Logit kan sammenlignes med LSM.

Gennemsnitlig marginaleffekt vs lineær hældningskoefficient.

Forudsagte sandsynligheder i marginsplot med logit vs med LSM. Begge modeller estimerer Pr(Y=1), så der kan vi bare sammenligne to marginsplot grafisk.

Question 37

Hvornår skal jeg altid lave LSM fremfor logit

Answer 37

Hvis kun kategoriske uafhængige variable (som i eksperimenter) så brug LSM, da begge modeller blot udregner andele af Y = 1 for hver kategori af X.