F1 - designs til effektevalueringer Flashcards
Hvordan opnår vi kausalitet og hvorfor er det vigtigt?
Kausalitet er svært = politik er svært. Det tætteste vi kommer er det godt felteksperiment men høj grad ‘fieldness’.
Hvad er ikke-intenderede effekter?
Evalueringsstandard: Policy-effekter.
Afledte effekter af policy, som ikke er en del af formålet med policy.
F.eks. i tolærerordningen fra Andersen et al. (2018), hvor forbedret arbejdsmiljø kan være en ikke-intenderet effekt.
Hvad er perverse effekter?
Evalueringsstandard: Policy-effekter.
Afledte effekter af policy, som er direkte modstridende med formålet med policy.
F.eks. Blauenfeldt (2006) peger på sociale slagsider af starthjælpen. Rosholm & Vejlin (2010) peger på højere exit-rate fra ydelsen. Jørgensen & Pedersen (2016) peger på øget etnisk segregering.
Hvad er en evalueringsstandard?
En evalueringsstandard angiver den målestok, der bruges til at vurdere i hvilket omfang en policy er en succes jf. Nielsen & Jakobsen (2021)
Hvilke fire typer af evalueringsstandarder er der jf. Nielsen & Jakobsen (2021)
Målopfyldelse: Bestemt af policyens målsætning (flere timer).
Policy-effekter: Omfatter de effekter policy sigter at opnå (øget læring). F.eks. alle andre.
Samfundsøkonomi: Fokus på samfundsøkonomiske konsekvenser af policy (pris vs. læringsudbytte). F.eks. hjemløsestrategien eller alkoholforbrug
Implementering (fidelitet): I hvilken grad en policy er gennemført i overensstemmelse med hensigten (adherence og kompentence). F.eks. implementeringsgreb fra STAR (2015)
Hvilke fire typer af policy-effekter er der jf. Nielsen & Jakobsen (2021)
(1) Fordelingseffekter herunder rettigheder og ressourcer. Både tabere og vindere ved policy. F.eks. starthjælpen.
(2) Adfærd i overensstemmelse med regulering, incitament og information. Mange eksempler. Starthjælpen, alkoholforbrug, nudging og sundhedsprogrammer i USA
(3) Holdninger, viden og ’verdenssyn’. Borgernes holdninger. F.eks. politikeres brug af evidens.
(4) Samfund og natur. Naturlige og sociale omgivelser ikke målgrupper. Klimadebat og miljø. F.eks. pesticidplanen.
Hvordan kan man ifølge Rubin (2008) nærme sig kausale estimater med observationelt data?
De skal approximeres til eksperimentelle studier. Der tre trin:
- Hvad er det ‘hypotetiske eksperiment’. Hvad har været årsagen til indeling i kontrol- og treatmentgruppe?
- På baggrund heraf: Hvilket confounders er centrale? De skal være målt godt, og så handler det om at opnå balance (PSM).
- Meget statistisk power! Reducerer risikoen for type ll fejl. Minimere risikoen for ikke at forkaste en usand nulhypotese.
Forklar hvad potentielle outcomes er.
Potentielle outcomes handler om et individs mulige udfald. Det er en kausalitetsforståelse.
Vi kan aldrig observere begge potentielle outcome (ved kontrol og treatment), men på gruppeniveau kan vi observere en gennemsnitlig kausaleffekt ATE ved brug af randomisering af treatment i eksperimenter.
Hvem kan bestemme evalueringsstandarden?
Top-down: Politiske beslutningstagere (indskrevet i policy)
Bottom-up: De involverede aktører (markarbejder, borger mv.).
Evaluator: Konsulenter eller forsker
Hvad er fordele og ulemper ved hhv. top-down, bottom-up og evaluatorbestemte evalueringsstandarder?
Top-down: Fordel ift. den parlamentariske styringskæde. Ulempe ift. fokus på målopfyldelse i stedet for problemløsning.
Bottom-up: Fordel ift. fokus på problemløsning. Ulempe ift. den parlamentariske styringskæde og egeninteresser
Evaluator: Fordel ift. uafhængighed og fokus på problemstilling. Ulempe ift. den parlamentariske styringskæde.
Hvad er det smukke ved randomisering?
Tilfældig tildeling af treatment løser problemet med selektionsbias. Hvis grupperne er store nok, vil der være balance på alle variable inkl. potentielle outcomes.
Hvilke policy-instrumenter er der ifølge Vedung (1998)?
Indhold, som fortælle målgruppen hvilken adfærd, som er ønskværdig og graden af autoritativ kraft, som regeringen vil bruge, for at opnå compliance.
Regulering: Tvang, regler og direktiver. Afgrænsninger lavet af staten og forholdet mellem stat og borger er en autoritativ relation. Det handler om at styre borgernes adfærd.
Økonomisk: At tage eller give materielle ressourcer. Det skaber incitamenter. Det involverer ikke tvang.
Information: Viden, overtalelse, rådgivning, normer og framing. Kan både være normativ og objektiv. En catch-all kategori for kommunikation.
