Empiriske cases Flashcards
Beskriv casen ‘Elevinddragelse’ med udgangspunkt i Jakobsen et al. (2016)
Policy: Uddannelse af lærer for at opnå større elevinddragelse. Det skulle gerne give faglighed, trivsel og større samfundsengagement.
Policy-instrument: Information
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign:
- Framed felteksperiment (to indsatsgrupper).
- Tildeling af treatment på klyngeniveau.
- Både sammenligning til parallelklasse og ‘ren’ gruppe. Godt eksperiment.
Resultater:
- Mere elevinddragelse (fidelitet)
- Ingen resultater i faglige test, trivsel eller samfundsengagement.
Forbehold:
- Kort tidshorisont
- Svag treatment i gruppe 1 (kursus)
- Policyfejl?
Beskriv casen ‘Kommunalreformen’ med udgangspunkt i Blom-Hansen et al. (2014)
Policy: Er der stordriftsfordele ved at slå kommunerne sammen (demokratiske og økonomiske argumenter).
Policy-instrument: Regulering
Evalueringsstandard: Samfundsøkonomiske konsekvenser
Forskningsdesign:
- DiD (parallelle trends)
- Eksogent chock og derfor kvasi-eksperiment (det ikke er tilfældigt hvilke kommuner som sammenlægges)
- Administrative omkostninger pr. indbygger
Resultater:
- Sammenlægninger fører til færre administrative omkostninger, men først efter et par år
Forbehold:
- Måling af den afhængige variabel
- Antagelser
Beskriv casen ‘Lokalpolitikere brug af evidens’ med udgangspunkt i Lee (2022)
Policy: Undersøger om politikere opdaterer deres position alt efter evidens og ekspertviden over tre policy-områder: Needle exchange, GMO-ban og rent-control.
- Directional-hypotese (motivated reasoning)
- Accuracy-hypotese (viden=holdning)
Policy-instrument: Information
Evalueringsstandard: Policy-effekter (holdninger)
Forskningsdesign: Surveyeksperiment
Resultater:
- “Positive” fund
- Både republikanere og demokrater forsøger at opnå mere præcise holdninger (hypotese 2).
- De forlader dog ikke deres holdning
Forbehold:
- Ekstern validitet ift. kunstige omgivelser i survey, entydig ekspertholdning, stikprøvens repræsentativitet og typen af policy
- Hvad med politikere på landsplan
- Lofteffekter
Beskriv casen ‘Lokalpolitikere brug af evidens’ med udgangspunkt i Bækgaard et al. (2019)
Policy: Er lokalpolitikere i Danmark biased af deres holdninger? To policy-områder: Skole-performance, vedligehold af veje og genoptræning.
- Politikere er motivated reasoners (directional)
- Der et ‘tipping point’ ift. hvor meget evidens, man præsenteres for
Policy-instrument: Information
Evalueringsstandard: Policy-effekter (holdninger)
Forskningsdesign: Surveyeksperiment
Resultater:
- “Pessimistiske fund”
- Evidens for motivated reasoning. Især ved gentagende information
Forbehold:
- Ekstern validtiet ift. kunstige omgivelser i survey. Normalt præsenteres politikere for store rapporter
- Ekstra opmærksomhed på holdning til offentlig serviceproduktion (priming)
Beskriv casen ‘Lokalpolitikere brug af evidens’ med udgangspunkt i Hjort et al. (2021)
Policy (belief): Borgmestre fra lokale enheder i Brasilien. Efterspørgsel og reaktion på evidens
Policy-instrument: Information
Evalueringsstandard: Policy-effekter (adfærd + holdninger)
Forskningsdesign (belief): Survey-eksperiment
Resultater (belief):
- Borgmestre er villige til at betale for evidens
- De opdaterer deres holdninger
- De vil have større stikprøver og er ligeglad med om evidens bygger på rige eller fattige lande
Forbehold (belief):
- Ekstern validitet ift. kunstige omgivelser i survey
- Randomiseringsbias ift. hvem, som besvarer spørgeskemaet
- Demandeffekter
Policy (policy): Borgmestre fra lokale enheder i Brasilien. Effekten af evidens ift. policy-implementering.
Policy-instrument: Information
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign (policy): Framed felteksperiment
Resultater (policy):
- Evidens om policy øger sandsynligheden for at det bliver gennemført med 10 pct. point
vi oplever, at information af borgmestre om forskning i en enkel og effektiv politik, skatteydernes rykkerskrivelser, øger sandsynligheden for, at politikken bliver gennemført med 10 procentpoint.
Forbehold (policy):
- Policy er billig
- Kendskab til policy fremfor effekt af evidens
- Noncompliance (kun 40% deltog i mødet)
- Randomiseringsbias ift. hvem, som deltager i konferencen.
Beskriv casen ‘Sundhedsprogrammer i Illinois’ med udgangspunkt i Jones et al. (2019)
Policy: Sundhedsprogrammer med årlig sundhedsscreening, risikovurdering og ugentlig aktiviteter. Omfattende program. Hvordan afviger eksperimentet fra observationsstudiers fund?
Policy-instrument: Økonomiske (belønning for gennemførsel) og information (om sundhed)
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Felteksperiment over to år på individniveau. Både survey- og registerdata som afhængig (undgå common-source bias). Mediciniske udgifter, produktivitet og sundhed.
Resultater:
- Ingen signifikante effekter på 40 ud af 42 variable
- Dog flere sundhedsscreenings og opfattelse af sundhed som prioritet fra arbejdspladsen
Forbehold:
- Randomiseringsbias (folk var sunde i forvejen)
- Skævt frafald (continuation by choice)
- Forurening (deler information med kollegaer)
- Etik ift. at arbejdspladsen ved meget om sundhed
- Begrænset generaliseringspotentiale
Beskriv casen ‘Tolærer-ordningen’ med udgangspunkt i Andersen et al., 2018
Policy: Uddannet lærer (10,5 time) eller ressourceperson (14,5 time). Arbejde med fagligt indhold > praktiske opgaver. 6. klassetrin.
Policy-instrument: Regulering eller kapacitet (?)
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Framed felteksperiment. Noget af det bedste i Danmark. 35 skoler i kontrol og treatmentgrupperne. Stratificeret randomisering på klyngeniveau. Performancemål som afhængig variabel.
Resultater:
- Positive fund ift. læsning men ikke matematik
- Størst effekt af ressourcepersoner i klasser med adfærdsmæssige udfordringer
- Heterogene effekter ift. socioøkonomisk baggrund. Tvungen treatment frem for tilvalg
- Fravær af blivende effekter
(få) Forbehold:
- Randomiseringsbias (kommuner tilmelder sig)
- Generaliseringspotentiale
- Udfordringer med opskalering
- Excludability ift. interesseorganisationer og hawthorne
Beskriv casen ‘Starthjælp’ med udgangspunkt i Jørgensen & Pedersen (2016)
Policy: Ydelser til flygtninge. Påvirkede ændringer i satsen i 2002 bosætningseffekter (hænger sammen med indkomst, uddannelse og erhvervsfrekvens).
Policy-instrument: Økonomiske incitamenter (husk antagelser)
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Deterministisk RDD mellem kontanthjælp og starthjælp (40% reduktion i ydelsen). 6 måneder før/efter
Resultater:
- Ingen kortsigtede signifikante effekter
- Langsigtet øget etnisk segregering
Forbehold:
- Inden for et sogn kan områder både være ghetto og ikke
- Signifikans forsvinder ved (ukendte) kontrolvariable
- Funktionelle form med mange polynomier
- Begrænset generaliseringspotentiale omkring tærsklen
- Systematik ift. vind, vejr og krige
Beskriv casen ‘Starthjælp’ med udgangspunkt i Rosholm & Vejlin (2010)
Policy: Ydelser til flygtninge. Påvirkede ændringer i satsen i 2002 beskæftigelse? Forudsætning: Ledige job og produktion til mindsteløn i Danmark.
Policy-instrument: Økonomiske incitamenter (husk antagelser)
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Naturligt kvasi-eksperiment (RDD)
Resultater:
- Positiv effekt på beskæftigelse efter 2 år
- Positiv effekt på exitraten (folk falder ud af ydelsen)
- Heterogene effekter ift. social slagside (dem med de bedste udsigter på arbejdsmarkedet er mest responsive over for det økonomiske incitament og omvendt)
Forbehold:
- Integrationsprogram slutter efter 3 år. Måske flygtninge først har lært sproget efter 2 år
Beskriv casen ‘Starthjælp’ med udgangspunkt i Blauenfeldt et al. (2006)
Policy: Ydelser til flygtninge. Afledte effekter af starthjælpen ift. økonomiske- og levevilkår (mekanismer og konsekvenser).
Policy-instrument: Økonomiske incitamenter (husk antagelser)
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Kvalitativ. Enkeltsager, sagsbehandlere, personlige interviews og DREAM-databasen.
Resultater:
- Rådighedsbeløb under ‘rimeligt og almindeligt forbrug’
- Forskellige overlevelsesstrategier
- 80% modtager enkeltydelser
- Flygtninge har afsavn af materiel og social karakter (især børn)
- Mange har helbredsproblemer
Beskriv case ‘Nudging’ med udgangspunkt i Mertens et al. (2021)
Policy: Nudging spiller på system 1 og system 2 fra psykologien. Kun i 5% af tilfældene bruger man rationelle mekanismer (system 2) og ellers bruger man tommelfingerregler mv.
Policy-instrument: Nudge
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Metaanalyse på baggrund af forskellige typer af eksperimenter. Observeret adfærd.
Resultater:
- Medium effekt af nudges overall d=0,43
- Stor heterogenitet på tværs af policy-område (fødevare og miljø er bedst) og type af nudge (fysisk miljø stor effekt)
Forbehold:
- Publikationsbias (Bakdash & Marusich, 2022 - venstre trunkering)
- Studier, som driver sammenhængen er trukket tilbage fra Wansink inden for fødevare.
- De lever ikke helt op til krav for for valid metaanalyse (Quintana, 2015)
- Snæver søgestring, som favoriserer positive effekter af nudges
Beskriv case ‘Nudging’ med udgangspunkt i Dellavigna & Linos (2022)
Policy: Effekten er langt mindre, når man opskalerer interventioner. Sammenligning af resultater fra to store nudging-enheder (BIT-NA og OES), som udfører projekter i USA på hhv. lokalt og føderalt niveau. De laver en meta-analyse af RCTs fra disse og sammenligner med to udgivne meta-analyser lavet over akademiske RCTs inden for nudging-området.
Policy-instrument: Nudge
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Metaanalyse på baggrund af forskellige typer af eksperimenter
Resultater:
- Akademisk effekt: 8,7 pct. point
- Nudge-enheder: 1,4 pct. point
- Heterogenitet på tværs af policy-områder og type af nudge
Forskel
- Publikationsbias
- Statistisk power
- Typen af interventioner
Beskriv casen ‘Hjemløsestrategien’ med udgangspunkt i Rambøll (2013)
Policy: Evidensbaserede bostøttemetoder som en del af hjemløsestrategien. ICM=individual case management (intensiv og længerevarende støtte)
Forskningsdesign: Matching af treatment og kontrolgruppe i forskellige tidsperioder (PSM med registerdata). First-year-benefits.
Resultater:
- I stand til at fastholde borgeren i egen bolig
- Menneskelige gevinster
- Negativt regnskab efter først år på ca. 35.000 kr.
- Break even i andet år, hvis gevinster opretholdes
- Forskel på udgifterne fordelt mellem stat og kommune
Forbehold:
- Eksogent chock i form af finanskrisen
- Udfordringer med værdisætning (ingen stress-test)
- Common support ift. matching
Beskriv casen ‘Alkoholforbrug’ med udgangspunkt i Lesner et al. (2020) aka. VIVE
Policy: Storforbrug blandt unge på universiteter (mere end 5 genstande pr. gang). Kognitive og sundhedsmæssige konsekvenser på kort og langt sigt. Bias ift. kortsigtede gevinster og langsigtede omkostninger.
Policy-instrument: Information (nudge)
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Felteksperiment. Intervention på individniveau (pre-commitment, reminders og sociale normer). SMS og survey. Forløb over tre uger. Tre outcomemål: Antal drikkedage, binge-drikkedage og gennemsnitlige genstande pr. drikkedag.
Resultater (3 uger effekter):
- Drikker færre gange om måneden, men drikker meget, når man så er i gang (storforbrug). 16-17%
- Det koster mellem 103-219 kr. af reducere alkoholforbrug med et event.
- Det koster mellem 17-110 kr. af reducere forbruget med en genstand
Forbehold:
- Forurening
- Randomiseringsbias ift. fire krav (motivation for at deltage)
- Demandeffekter og SDB (selvrapportering)
- Sammenhængen er drevet af unge mænd
- Frafald i treatmentgruppen
Beskriv casen ‘Voucher til sportsklubber’ med udgangspunkt i Marcus et al. (2022)
Policy: For at nudge folkeskolebørn til en langsigtet vane med at motionere, uddelte den tyske delstat Sachsen i 2009 sportsklubmedlemskabskuponer blandt alle 33.000 tredjeklasser.
Policy-instrument: Økonomisk incitament og måske information/kapacitet
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: DiD. Kontrolgruppen består af børn fra to nabostater. Pretreatment ift. parallelle trends består af børn fra andre årgange. Data=registerbaseret spørgeskema til formålet og sundhedsdata fra skoler. Undersøger randomiseringsbias ved registerdata.
Resultater:
- Folk har modtaget, brugt og snakket om voucher (3 variable)
- Ingen signifikante effekter på medlemsskab, fysisk aktivitet og overvægt (3 variable)
- Tyder på policyfejl
Forbehold:
- Aktørantagelser ift. om det handler om økonomi
- Årgangseffekter ift. pretreatmentsammenligning
- Compliance ift. voucher (primært rabat til eksisterende brugere)
- Fidelitet
- Opskalering ift. Oakland (dog ikke et problem): Ekstraudgifter til udstyr og forældrenes tidsforbrug