F3 - designs til effektevalueringer Flashcards
Hvad er forskelle og ligheder mellem RDD og et felteksperiment?
Forskel: I felteksperimentet har forskeren kontrol over tildeling af treatment. I RDD udnytter man den empiriske situation ift. tildeling af treatment (kræver dybdegående kendskab til casen)
Lighed: Naturlige omgivelser. As-if random ift. kontrol- og treatmentgruppe.
Hvad er propensity score matching?
”Socioøkonomiske tvillinger”. Der dannes en kontrolgruppe, der ligner treatmentgruppen (flugter med potentiel outcomes tankegang).
Individer/observationer matches, hvis de har lignende sandsynlighed for at få treatment (propensity). PSM udregnes på baggrund af flere baggrundsvariable, som tilsammen udgør en sandsynlighed for at få treatment.
Én score, frem for flere kontrolvariable.
Ikke post-hoc identifikation af variable.
Husk at undersøg, om matching er lykkedes.
Hvad er udfordringerne ved matching?
Vi kan ikke matche på uobserverbare variable (fortsat selektionsbias).
Det kræver store datamængder, da ikke alle individer inkluderes i den videre analyse.
Kræver common support. Altså overlap mellem kontrol og treatmentgruppen ift. deres PSM.
Hvad er et RDD-design?
Et kvasi-eksperiment, hvor der ikke er kontrol over tildelingen af treatment, men hvor en tærskelvariabel og en tærskelværdi afgør hvem, som tilhører kontrol- og treatmentgruppen.
Deterministisk: Præcis viden om tærskelværdi
Fuzzy: Usikkerhed omkring hvem, som tilhører kontrol og treatment.
Hvad er styrker og svagheder ved RDD?
Styrke: Høj intern validitet. Hvis der ikke er selektion omkring tærskelværdien, er treatment ‘as-if random’.
Svaghed: Lille generaliseringspotentiale (kun omkring tærskelværdien). Kræver desuden store datamængder, pga. afgrænsning af kontrol- og treatmentgruppe. Kræver stort empirisk kendskab til casen.
Udfordring: Hvor skal tærskelvariablen moduleres? Hvordan stort skal ‘vinduet’ for deltagelse være på tærskelvariablen?
Hvor store kan kontrol- og treatmentgruppen være ved et RDD?
Det er et trade-off mellem statistisk power og overholdelse af antagelse ‘as-if random’.
Hvilke antagelser er der ved et RDD?
Overordnet set: Placering af observationer omkring tærskelværdien skal være ‘as-if random’.
Fravær af selvselektion og intentioner om at sortere enheder bestemt fra tærskelværdiens side.
Tegn på sorting-mekanisme: Hvis observationerne klumper sig lige før eller efter tærskelværdien.
Hvad er et DiD-design?
Ved et DiD-design udnytter man data med en tidsdimension. Man bruger kontrolgruppens udvikling som et kontrafaktisk bud på treatmentgruppens udvikling.
Hvad er styrker og svagheder ved DiD?
Styrker: Høj intern validitet. Alt tidsinvariant holdes konstant pr. design. Sandsynligvis holdes alt tidsvariant ligeledes konstant.
Svaghed: Man kan kun sandsynliggøre parallelle trends - ikke endeligt be- eller afkræfte. Kræver data over flere tidsperiode (også gerne pre-treatment). Kræver fravær af eksogene chock, som påvirker grupperne forskelligt og fravær af forurening.
Udfordringer: Findes der en valid kontrolgruppe? Generaliseringspotentialet. Eksogene chock.
Hvilken antagelse ligger bag DiD og hvordan kan det undersøges?
Antagelsen om parallelle trends. Treatmentgruppen antages at have udviklet sig som kontrolgruppen ved fravær af treatment.
Ikke ens potentielle outcomes, men samme udvikling i potentielle outcomes.
Undersøges med pre-treatmentdata. Derudover kan man inkludere gode kontrolvariable - resultaterne skal ikke ændre sig på baggrund heraf.
Hvilke forskellige metoder er der til matching?
Overordnet set afstandsmatching eller propensity-score-matching.
Derudover vægtning eller udvælges af kontrolmatches (k-afstands-matching, en-til-en elller radius).
Hvilke antagelser er der bag matching?
- Efter matching er tildeling af treatment uafhængigt af potentielle outcomes
- Der er common support - altså et passende antal matches.
- Balance efter matching på alle momenter.
Hvad er styrker og svagheder ved PSM-matching?
Styrker: En samlet score, som konstrueres på forhånd frem for ad-hoc bagefter.
Svagheder: Kræver mange observationer ift. common support. Baggrundsvariable skal være godt målt. Det er ikke muligt at matche på uobserverbare variable.
Hvad er styrker og svagheder ved før/efter-design?
Styrke: Kontrol for alt tidsinvariant. Godt, hvis outcome-variabel er stabil.
Svagheder: Sensitivt for tidseffekter, naturlig udvikling, eksogene chock - generelt fravær af ‘alt andet lige’ i perioden.
Hvad er styrker og svagheder ved tværsnitsdata?
Styrker: Få, men dog mulighed for kontrolvariable. Husk Rubin ift. hvordan observationelt data kan komme i nærheden af kausale effekter.
Svagheder: Ingen kontrol over tildeling = selektion ind i treatment. Ingen kontrol for uobserverbare variable.
