Policy-evaluering Flashcards
Alle forelæsninger og holdtimer
Hvilke policy-typologier kommer fra Vedung, 1998?
Regulering (regler og direktiver)
Økonomisk (materielle ressourcer, ændring i værdier)
Information (viden, normer og framing)
Hvordan vurderes Vedungs tre typologier fra mindst til mest begrænsende?
Information er mindst begrænsende, økonomisk er middel og regulering er mest begrænsende
Hvad fortæller Vedungs typologier noget om?
Forholdet mellem “governor og governee” - altså relationen mellem den der udstikker policy og dem, der skal efterleve den.
Hvad er en evalueringsstandard?
Ifølge Nielsen og Jakobsen (2021) er det en målestok for, hvornår en policy er succesfuld. Dvs. den måde vi evaluerer dens succes.
Hvilke typer af evalueringsstandarder er der, ifølge Nielsen og Jakobsen (2021)?
Målopfyldelse.
Policy-effekter.
Samfundsøkonomiske konsekvenser.
Implementering.
Hvilke typer af policy-effekter er der, ifølge Nielsen og Jakobsen (2021)?
Adfærdseffekter.
Fordelingseffekter.
Effekt på holdning og viden.
Effekt på samfund og natur.
Hvad er fidelitet?
Fidelitet omhandler overensstemmelsen mellem implementeringen og hensigten med policy. Er der implementeret efter hensigten?
Hvad er pointen fra Angrist og Pischke, 2015?
Overordnet om tilfældig tildeling af treatment - random assignment. Kontrolgruppe og indsatsgruppe skal ligne hinanden post-treatment - random assignment sørger for, at effekt kan tilskrives treatment (store tals lov).
Hvilken case benytter Angrist og Pischke sig af?
ACA - Affordable Care Act fra USA. De argumenterer for, at man IKKE kan sammenligne folk med og uden sundhedsforsikring for at finde effekterne af forsikring, men at man skal sammenligne inden for samme gruppe (uden forsikring, hvor den så er treatment).
Hvad er potentielle outcomes?
Outcome for et individ under treatment eller ikke-treatment. Skal være uafhængig af treatment - om nogen er blevet treated skal ikke afhænge af deres potentielle outcome.
Hvilke tekster berør potentielle outcomes?
Rubin, 2008.
Gerber og Green, 2011.
Hansen og Tummers, 2020.
Hvad står SUTVA for, og hvad er det?
Stable Unit Treatment Value Assumption = antagelse om ingen forurening. Treatments effekt skal være stabil og uafhængig af hinanden.
Hvad er random assignment?
Tilfældig tildeling af treatment. Skal være statistisk uafhængig af potentielle outcomes.
Hvad handler Gerber og Green teksten om?
Om kausal inferens og eksperimenter, ATE, random sample, antagelser om potentielle outcomes (excludability og non-interference).
Hvad er random sample, ifølge Gerber og Green?
Random sample er at alle har samme sandsynlighed for at blive udvalgt til treatmentgruppe
Hvad er ATE?
Average Treatment Effect. Den fulde effekt af treatment.
Hvad er excludability?
At den variation man har i treatment kun skyldes treatment, ikke andre ting.
Hvad er non-intereference?
Relateret til SUTVA. At potentielle outcomes kun bestemmes af enhedens egen treatment eller kontrol, ikke af andre enheders treatment eller kontrol.
Hvad handler Hansen og Tummers (2020) om?
Review af 42 felteksperimenter i offentlig forvaltning (public administration).
Hvordan defineres “fieldness” af Hansen og Tummers?
Realistisk intervention, deltagere møder treatment i den virkelige verden, konteksten er naturlig, outcome-målet afspejler det ønskede outcome.
Hvordan inddeles felteksperimenter?
Laboratorie, “artifactual”, framed og naturlig.
Inddelingen foregår på baggrund af vurdering af population, miljøet og “bevidsthed”.
Hvad kendetegner et laboratorie og artefactual felteksperiment?
I begge er miljøet kunstigt, treatment er åbenlys. De adskiller sig på population, hvor lab har studerende og artifactual har population.
Hvad kendetegner framed felteksperiment og naturligt felteksperiment?
Begge har naturligt miljø, populationen er den sande population. Forskel er, at i framed er treatment åbenlys og i det naturlige er den skjult.
Hvilke mulige problemer nævner Hansen og Tummers ift. felteksperimenter?
Omkostninger, praktik, etik, intern validitet og ekstern validitet.
Hvilke problemer kan der være med intern validitet i felteksperimentet?
Excludability, non-interference og attrition.
Hvilke problemer kan der være med ekstern validitet i felteksperimentet?
Non-compliance og randomiseringsbias.
Hvad er mulige løsninger på non-compliance?
ITT- intent to treat. Måler effekten på alle man har givet treatment. Kaldes også programeffekt.
CACE - complier average causal effect. Måler effekt på alle enheder, som reelt har modtaget treatment. Ikke generaliserbar, fordi lokal (LATE)
Hvad er attrition?
Manglende data på outcome-mål. Et problem hvis det er systematisk, fx hvis enheder med attrition varierer systematisk fra enheder uden.
Hvad er randomiseringsbias?
Et bias i dem der deltager i studier ift. den hele population.
Hvad handler Angrist (2006) om?
Handler om IV-tilgang (instrument variable) som løsning på non-compliance (i artiklen kaldes det treatment migration og treatment dilution).
Hvilke antagelser bygger IV-tilgang på?
Independence (uafhængighed) - IV skal være uafhængig af Y eller andre tredjevariable, som påvirker X og Y.
Relevans - skal have en substantiel effekt på X.
Excludability - skal ikke påvirke Y gennem andre måder end X.
Hvad er IV-tilgang?
Fra Angrist 2006. Det er en måde at imødekomme non-compliance og udeladt variabel bias i tildelingen af treatment, for at mindske fejlled/residualer og dermed komme nærmere den sande effekt. Praktisk gøres det med 2SLS.
Hvad er endogenitet?
At der er nogle uobserverede karakteristika som korrelerer med vores outcome-variabel Y. Endogenitet er det, udover X, som skaber variation på Y.
Hvad er 2SLS?
En måde at benytte IV-tilgang, ifølge Angrist 2006. Først bruges instrument til at forklare variation i hvem der får indsatsen X, og i andet stadie anvendes forudsagte værdier fra første stadie som uafhængig variabel til at forklare outcome variabel Y.
Hvad handler Lakens (2023) om?
Om stikprøvestørrelser og argumenter for, hvorfor man som forsker har valgt en given stikprøve. Han giver mulige forklaringer, fx power, manglende ressourcer og lign. Forskere skal fortælle hvorfor de gør som de gør.
Hvad er pointen i teksten fra Jones, Molitor og Reif (2019)?
At RCT skaber andre (og bedre) resultater end observationsstudier. Testet med work-wellness-programmer, hvor tidligere observationelle studier fandt effekt, men deres RCT finder ikke rigtig effekt grundet selv-selektion.
Hvad er RDD og hvilken tekst omtaler dette?
Regressionsdiskontinuitetsdesign fra Olsen, 2014. RDD er et design hvor man udnytter, at der er ‘noget’ der har inddelt en population i kontrolgruppe og forsøgsgruppe.
Hvilke begreber er vigtige i RDD?
Tærskelvariabel - den variabel, som populationen er inddelt i - den man måler på.
Tærskelværdi - det givne punkt på tærskelværdien, som opdeler i kontrolgruppe og forsøgsgruppe.
Hvilke antagelser er vigtige i RDD?
As-if-random - at det skal være tilfældigt om enheder er på den ene eller den anden side af tærsklen. Undgå selektion.
Kontinuitetsantagelse - at udfaldsvariablen havde fulgt en kontinuerlig/glat udvikling omkring tærskel i fravær af intervention.
Arbitrær tærskelværdi - skal være tilfældig og helst ukendt.
Hvornår kan man bruge RDD?
I observationelle tilfælde, hvor der forekommer et naturligt eksperiment. Kræver at antagelser om as-if-random og kontinuitet er opfyldt.
Hvad handler Stuart (2010) om?
Handler om matching, typer af matching, antagelser ved matching og matching-metoder.
Hvad er matching?
Ved observationelt, hvor man har en indsats på en gruppe, og gerne vil finde effekten på dem, men ikke har oplagt kontrolgruppe. Så man matcher en kontrolgruppe på en række baggrundsvariable.
Hvilke antagelser knytter sig til matching-metoden?
Ignorability - conditional independence assumption. Baggrundsvariable skal ikke være skyld i, at dem der er i kontrolgruppe ikke har fået treatment ‘i den virkelige verden’. Baggrundsvariable skal ikke forklare, hvorfor nogen har fået treatment mens andre ikke har.
Common support - at man har et passende antal kontrolobservationer.
Balance - mellem de to grupper.
Hvilke typer matching findes der?
Eksaktmatching - et 1:1 match på alle treatede enheder.
Afstandsmatching - afstand mellem kontrol og forsøg er ok, forsøge at minimere afstand.
Propensity score matching - matche på sandsynlighed for at modtage treatment.
Hvilke matching-metoder findes der?
Ifølge Stuart (2010) findes der flere metoder, men de mest gængse er:
Én-til-én
Radius
K-nærmeste-nabo
Hvilke tekster har vi, som omtaler propensity score matching?
Stuart, 2010
Peikes et al., 2008
Rambøll rapporten om hjemløse
Hvad siger Peikes et al. om propensity score matching?
At selv under ideelle forudsætninger kan PSM producere fejlagtige resultater, hvilket har implikationer for policy.
PSM kan være et fint alternativ, men er tidskrævende, skal gøres korrekt og kræver validering.
Hvad er syntetisk kontrol?
Ifølge Abadie et a. (2010) er det en måde at skabe en sammenlignelig kontrol-enhed i tilfælde, hvor der mangler en kontrol. Særligt god når vi har at gøre med få enheder (fx land, kommune, stater - uden ‘tvillinger’).
Hvilken case benytter Abadie et al.?
Tester effekten af tobaks-regulering i Californien ved syntetisk kontrol - laver et ‘falsk’ Californien ud fra vægtning af andre stater. Estimation af potentielle outcomes for den falske enhed, for at kunne sige noget om effekten på den ægte enhed.
Hvad er vigtigt ved syntetisk kontrol?
Grundig viden om case - både af treatment og alle potentielle donor-cases.
Donor-cases skal ligne indsats-case inden indsats (på indsats).
Udelukke idiosynkratisk chok på donor-cases.
Visualisering er vigtig.