Empiriske cases Flashcards
Beskriv casen ‘Elevinddragelse’ med udgangspunkt i Jakobsen et al. (2016)
Policy: Uddannelse af lærer for at opnå større elevinddragelse. Det skulle gerne give faglighed, trivsel og større samfundsengagement.
Policy-instrument: Information
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign:
- Framed felteksperiment (to indsatsgrupper).
- Tildeling af treatment på klyngeniveau.
- Både sammenligning til parallelklasse og ‘ren’ gruppe. Godt eksperiment.
Resultater:
- Mere elevinddragelse (fidelitet)
- Ingen resultater i faglige test, trivsel eller samfundsengagement.
Forbehold:
- Kort tidshorisont
- Svag treatment i gruppe 1 (kursus)
- Policyfejl?
Beskriv casen ‘Kommunalreformen’ med udgangspunkt i Blom-Hansen et al. (2014)
Policy: Er der stordriftsfordele ved at slå kommunerne sammen (demokratiske og økonomiske argumenter).
Policy-instrument: Regulering
Evalueringsstandard: Samfundsøkonomiske konsekvenser
Forskningsdesign:
- DiD (parallelle trends)
- Eksogent chock og derfor kvasi-eksperiment (det ikke er tilfældigt hvilke kommuner som sammenlægges)
- Administrative omkostninger pr. indbygger
Resultater:
- Sammenlægninger fører til færre administrative omkostninger, men først efter et par år
Forbehold:
- Måling af den afhængige variabel
- Antagelser
Beskriv casen ‘Lokalpolitikere brug af evidens’ med udgangspunkt i Lee (2022)
Policy: Undersøger om politikere opdaterer deres position alt efter evidens og ekspertviden over tre policy-områder: Needle exchange, GMO-ban og rent-control.
- Directional-hypotese (motivated reasoning)
- Accuracy-hypotese (viden=holdning)
Policy-instrument: Information
Evalueringsstandard: Policy-effekter (holdninger)
Forskningsdesign: Surveyeksperiment
Resultater:
- “Positive” fund
- Både republikanere og demokrater forsøger at opnå mere præcise holdninger (hypotese 2).
- De forlader dog ikke deres holdning
Forbehold:
- Ekstern validitet ift. kunstige omgivelser i survey, entydig ekspertholdning, stikprøvens repræsentativitet og typen af policy
- Hvad med politikere på landsplan
- Lofteffekter
Beskriv casen ‘Lokalpolitikere brug af evidens’ med udgangspunkt i Bækgaard et al. (2019)
Policy: Er lokalpolitikere i Danmark biased af deres holdninger? To policy-områder: Skole-performance, vedligehold af veje og genoptræning.
- Politikere er motivated reasoners (directional)
- Der et ‘tipping point’ ift. hvor meget evidens, man præsenteres for
Policy-instrument: Information
Evalueringsstandard: Policy-effekter (holdninger)
Forskningsdesign: Surveyeksperiment
Resultater:
- “Pessimistiske fund”
- Evidens for motivated reasoning. Især ved gentagende information
Forbehold:
- Ekstern validtiet ift. kunstige omgivelser i survey. Normalt præsenteres politikere for store rapporter
- Ekstra opmærksomhed på holdning til offentlig serviceproduktion (priming)
Beskriv casen ‘Lokalpolitikere brug af evidens’ med udgangspunkt i Hjort et al. (2021)
Policy (belief): Borgmestre fra lokale enheder i Brasilien. Efterspørgsel og reaktion på evidens
Policy-instrument: Information
Evalueringsstandard: Policy-effekter (adfærd + holdninger)
Forskningsdesign (belief): Survey-eksperiment
Resultater (belief):
- Borgmestre er villige til at betale for evidens
- De opdaterer deres holdninger
- De vil have større stikprøver og er ligeglad med om evidens bygger på rige eller fattige lande
Forbehold (belief):
- Ekstern validitet ift. kunstige omgivelser i survey
- Randomiseringsbias ift. hvem, som besvarer spørgeskemaet
- Demandeffekter
Policy (policy): Borgmestre fra lokale enheder i Brasilien. Effekten af evidens ift. policy-implementering.
Policy-instrument: Information
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign (policy): Framed felteksperiment
Resultater (policy):
- Evidens om policy øger sandsynligheden for at det bliver gennemført med 10 pct. point
vi oplever, at information af borgmestre om forskning i en enkel og effektiv politik, skatteydernes rykkerskrivelser, øger sandsynligheden for, at politikken bliver gennemført med 10 procentpoint.
Forbehold (policy):
- Policy er billig
- Kendskab til policy fremfor effekt af evidens
- Noncompliance (kun 40% deltog i mødet)
- Randomiseringsbias ift. hvem, som deltager i konferencen.
Beskriv casen ‘Sundhedsprogrammer i Illinois’ med udgangspunkt i Jones et al. (2019)
Policy: Sundhedsprogrammer med årlig sundhedsscreening, risikovurdering og ugentlig aktiviteter. Omfattende program. Hvordan afviger eksperimentet fra observationsstudiers fund?
Policy-instrument: Økonomiske (belønning for gennemførsel) og information (om sundhed)
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Felteksperiment over to år på individniveau. Både survey- og registerdata som afhængig (undgå common-source bias). Mediciniske udgifter, produktivitet og sundhed.
Resultater:
- Ingen signifikante effekter på 40 ud af 42 variable
- Dog flere sundhedsscreenings og opfattelse af sundhed som prioritet fra arbejdspladsen
Forbehold:
- Randomiseringsbias (folk var sunde i forvejen)
- Skævt frafald (continuation by choice)
- Forurening (deler information med kollegaer)
- Etik ift. at arbejdspladsen ved meget om sundhed
- Begrænset generaliseringspotentiale
Beskriv casen ‘Tolærer-ordningen’ med udgangspunkt i Andersen et al., 2018
Policy: Uddannet lærer (10,5 time) eller ressourceperson (14,5 time). Arbejde med fagligt indhold > praktiske opgaver. 6. klassetrin.
Policy-instrument: Regulering eller kapacitet (?)
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Framed felteksperiment. Noget af det bedste i Danmark. 35 skoler i kontrol og treatmentgrupperne. Stratificeret randomisering på klyngeniveau. Performancemål som afhængig variabel.
Resultater:
- Positive fund ift. læsning men ikke matematik
- Størst effekt af ressourcepersoner i klasser med adfærdsmæssige udfordringer
- Heterogene effekter ift. socioøkonomisk baggrund. Tvungen treatment frem for tilvalg
- Fravær af blivende effekter
(få) Forbehold:
- Randomiseringsbias (kommuner tilmelder sig)
- Generaliseringspotentiale
- Udfordringer med opskalering
- Excludability ift. interesseorganisationer og hawthorne
Beskriv casen ‘Starthjælp’ med udgangspunkt i Jørgensen & Pedersen (2016)
Policy: Ydelser til flygtninge. Påvirkede ændringer i satsen i 2002 bosætningseffekter (hænger sammen med indkomst, uddannelse og erhvervsfrekvens).
Policy-instrument: Økonomiske incitamenter (husk antagelser)
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Deterministisk RDD mellem kontanthjælp og starthjælp (40% reduktion i ydelsen). 6 måneder før/efter
Resultater:
- Ingen kortsigtede signifikante effekter
- Langsigtet øget etnisk segregering
Forbehold:
- Inden for et sogn kan områder både være ghetto og ikke
- Signifikans forsvinder ved (ukendte) kontrolvariable
- Funktionelle form med mange polynomier
- Begrænset generaliseringspotentiale omkring tærsklen
- Systematik ift. vind, vejr og krige
Beskriv casen ‘Starthjælp’ med udgangspunkt i Rosholm & Vejlin (2010)
Policy: Ydelser til flygtninge. Påvirkede ændringer i satsen i 2002 beskæftigelse? Forudsætning: Ledige job og produktion til mindsteløn i Danmark.
Policy-instrument: Økonomiske incitamenter (husk antagelser)
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Naturligt kvasi-eksperiment (RDD)
Resultater:
- Positiv effekt på beskæftigelse efter 2 år
- Positiv effekt på exitraten (folk falder ud af ydelsen)
- Heterogene effekter ift. social slagside (dem med de bedste udsigter på arbejdsmarkedet er mest responsive over for det økonomiske incitament og omvendt)
Forbehold:
- Integrationsprogram slutter efter 3 år. Måske flygtninge først har lært sproget efter 2 år
Beskriv casen ‘Starthjælp’ med udgangspunkt i Blauenfeldt et al. (2006)
Policy: Ydelser til flygtninge. Afledte effekter af starthjælpen ift. økonomiske- og levevilkår (mekanismer og konsekvenser).
Policy-instrument: Økonomiske incitamenter (husk antagelser)
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Kvalitativ. Enkeltsager, sagsbehandlere, personlige interviews og DREAM-databasen.
Resultater:
- Rådighedsbeløb under ‘rimeligt og almindeligt forbrug’
- Forskellige overlevelsesstrategier
- 80% modtager enkeltydelser
- Flygtninge har afsavn af materiel og social karakter (især børn)
- Mange har helbredsproblemer
Beskriv case ‘Nudging’ med udgangspunkt i Mertens et al. (2021)
Policy: Nudging spiller på system 1 og system 2 fra psykologien. Kun i 5% af tilfældene bruger man rationelle mekanismer (system 2) og ellers bruger man tommelfingerregler mv.
Policy-instrument: Nudge
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Metaanalyse på baggrund af forskellige typer af eksperimenter. Observeret adfærd.
Resultater:
- Medium effekt af nudges overall d=0,43
- Stor heterogenitet på tværs af policy-område (fødevare og miljø er bedst) og type af nudge (fysisk miljø stor effekt)
Forbehold:
- Publikationsbias (Bakdash & Marusich, 2022 - venstre trunkering)
- Studier, som driver sammenhængen er trukket tilbage fra Wansink inden for fødevare.
- De lever ikke helt op til krav for for valid metaanalyse (Quintana, 2015)
- Snæver søgestring, som favoriserer positive effekter af nudges
Beskriv case ‘Nudging’ med udgangspunkt i Dellavigna & Linos (2022)
Policy: Effekten er langt mindre, når man opskalerer interventioner. Sammenligning af resultater fra to store nudging-enheder (BIT-NA og OES), som udfører projekter i USA på hhv. lokalt og føderalt niveau. De laver en meta-analyse af RCTs fra disse og sammenligner med to udgivne meta-analyser lavet over akademiske RCTs inden for nudging-området.
Policy-instrument: Nudge
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Metaanalyse på baggrund af forskellige typer af eksperimenter
Resultater:
- Akademisk effekt: 8,7 pct. point
- Nudge-enheder: 1,4 pct. point
- Heterogenitet på tværs af policy-områder og type af nudge
Forskel
- Publikationsbias
- Statistisk power
- Typen af interventioner
Beskriv casen ‘Hjemløsestrategien’ med udgangspunkt i Rambøll (2013)
Policy: Evidensbaserede bostøttemetoder som en del af hjemløsestrategien. ICM=individual case management (intensiv og længerevarende støtte)
Forskningsdesign: Matching af treatment og kontrolgruppe i forskellige tidsperioder (PSM med registerdata). First-year-benefits.
Resultater:
- I stand til at fastholde borgeren i egen bolig
- Menneskelige gevinster
- Negativt regnskab efter først år på ca. 35.000 kr.
- Break even i andet år, hvis gevinster opretholdes
- Forskel på udgifterne fordelt mellem stat og kommune
Forbehold:
- Eksogent chock i form af finanskrisen
- Udfordringer med værdisætning (ingen stress-test)
- Common support ift. matching
Beskriv casen ‘Alkoholforbrug’ med udgangspunkt i Lesner et al. (2020) aka. VIVE
Policy: Storforbrug blandt unge på universiteter (mere end 5 genstande pr. gang). Kognitive og sundhedsmæssige konsekvenser på kort og langt sigt. Bias ift. kortsigtede gevinster og langsigtede omkostninger.
Policy-instrument: Information (nudge)
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: Felteksperiment. Intervention på individniveau (pre-commitment, reminders og sociale normer). SMS og survey. Forløb over tre uger. Tre outcomemål: Antal drikkedage, binge-drikkedage og gennemsnitlige genstande pr. drikkedag.
Resultater (3 uger effekter):
- Drikker færre gange om måneden, men drikker meget, når man så er i gang (storforbrug). 16-17%
- Det koster mellem 103-219 kr. af reducere alkoholforbrug med et event.
- Det koster mellem 17-110 kr. af reducere forbruget med en genstand
Forbehold:
- Forurening
- Randomiseringsbias ift. fire krav (motivation for at deltage)
- Demandeffekter og SDB (selvrapportering)
- Sammenhængen er drevet af unge mænd
- Frafald i treatmentgruppen
Beskriv casen ‘Voucher til sportsklubber’ med udgangspunkt i Marcus et al. (2022)
Policy: For at nudge folkeskolebørn til en langsigtet vane med at motionere, uddelte den tyske delstat Sachsen i 2009 sportsklubmedlemskabskuponer blandt alle 33.000 tredjeklasser.
Policy-instrument: Økonomisk incitament og måske information/kapacitet
Evalueringsstandard: Policy-effekter (adfærd)
Forskningsdesign: DiD. Kontrolgruppen består af børn fra to nabostater. Pretreatment ift. parallelle trends består af børn fra andre årgange. Data=registerbaseret spørgeskema til formålet og sundhedsdata fra skoler. Undersøger randomiseringsbias ved registerdata.
Resultater:
- Folk har modtaget, brugt og snakket om voucher (3 variable)
- Ingen signifikante effekter på medlemsskab, fysisk aktivitet og overvægt (3 variable)
- Tyder på policyfejl
Forbehold:
- Aktørantagelser ift. om det handler om økonomi
- Årgangseffekter ift. pretreatmentsammenligning
- Compliance ift. voucher (primært rabat til eksisterende brugere)
- Fidelitet
- Opskalering ift. Oakland (dog ikke et problem): Ekstraudgifter til udstyr og forældrenes tidsforbrug
Beskriv casen ‘Pesticidafgift’ med udgangspunkt i Rambøll (2008)
Policy: Midtvejsevaluering af pesticidplanen (kommer i flere omgange). Målsætning om nedsætte behandlingshyppigheden til 1,7 i 2009.
Policy-instrument: Information (rådgivning - kortsigtet) og økonomisk incitament (afgift - langsigtet)
Evalueringsstandard: Policy-effekter (målsætning ift. 1,7 og adfærd ift. landmænd og natur/miljø)
Forskningsdesign: Før/efter
Resultater:
- Behandlingshyppigheden er steget i perioden
- Lav efterspørgsel på rådgivning
- Markant forøgelse af afgift, hvis effekt
Forbehold:
- Design ift. om alt andet er lige i perioden (vind, vejr mv.)
- Implementeringsfejl ift. antagelser om landmænd (Pedersen et al., 2012).
- Policyfejl ift. rådgivning
- Behandlingshyppighed er et dårligt mål
Beskriv casen ‘Implementeringsgreb fra STAR’ med udgangspunkt i STAR (2015) og Rambøll (2015)
Policy: Implementeringsgreb fra styrelsen for arbejdsmarked og rekruttering. Kommuner og a-kasser har ansvaret
Policy-instrument: Blandet fra regulering, økonomiske incitamenter, information, læring og kapacitet
Evalueringsstandard: Fidelitet
Forskningsdesign: Kvalitativ evaluering af kommunernes erfaring
Resultater:
- Kompetenceudvikling
- Implementeringsteam
- Tjeklister til inspiration
- Netværk
- Monitorering
- Puljer
Hvilke cases bruger felteksperimenter?
Naturlig:
Not really.
Framed:
Andersen et al. (2018): Tolærerordningen
Jakobsen et al. (2016): Elevinddragelse
Jones et al. (2019): Sundhedsprogrammer
Lesner et al. (2020): Alkoholforbrug
Nisa et al. (2019): Metaanalyse af miljøbevidst adfærd
Mertens et al. (2021): Nudging på eksperimenter
Dellavigna & Linos (2022): Nudginig i USA
Survey:
Hjort et al. (2021): Brasilianske lokalpolitikere
Bækgaard et al. (2019): Danske lokalpolitikere (MR)
Lee (2022): Needle-exchange, GMO-ban og rent-control
Hvilke cases handler om børn og unge?
Marcus et al. (2022): Idrætskuponer i Tyskland
Andersen et al. (2018): Tolærerordningen
Jakobsen et al. (2016): Elevinddragelse i folkeskolen
Hvilke cases er nulfund?
Jones et al. (2019): Sundhedsprogrammer i USA
Jakobsen et al. (2016): Elevinddragelse
Marcus et al. (2022): Idrætskuponer i Tyskland
Hvilke studier måler langtidseffekter?
Andersen et al. (2018): Tolærerordningen
Marcus et al. (2022): Idrætskuponer
Hvilke cases handler om sundhed?
Jones et al. (2019): Sundhedsprogrammer i USA
Marcus et al. (2022): Idrætskuponer i Tyskland
Lesner et al. (2020): Alkoholforbrug på universitet
Mertens et al. (2021): Nudges på sundhedsområdet
Hvilke case benytter et før/efter design?
Rambøll (2008) om pesticidplanen. De følger blot udviklingen over en årrække. Ulempe: Usikkerhed om mange variable i perioden herunder vind og vejr ift. om alt andet er lige.
Giv et eksempel på en case, som indeholder vidensinteresser.
Casen om starthjælp. Hvilken viden som produceres herom har politisk betydning. F.eks. Blauenfeldt et al. (2006) vs. Rosholm & Vejlin (2010).
Ikke ligegyldigt, hvilken evalueringsstandard, som vi måler ud fra ift. politiske interesser!
Hvad er forskellene og lighederne mellem de studier, som undersøger politikernes brug af evidens?
Ligheder: Hvad sker der, når politikere præsenteres for evidens (RQ) og har samme målgruppe.
Forskelle:
Design. Lee (2022) og Bækgaard et al. (2019) bruger surveyeksperimenter, mens Hjort et al. (2021) blandt andet er et framed felteksperiment.
Policy-område. Hjort et al. (2021) er en ‘most-likely-case’ da evidens er i forlængelse af borgmestrenes interesse. Bækgaard et al. (2019) er en ‘least-likely-case’, da det også er imod politikernes overbevisninger.
Hvilke cases bruger evalueringsstandarderne målsætninger, samfundsøkonomiske konsekvenser og implementering?
Målsætning: Pesticidplanen (BH=1,7)
Samfundsøkonomiske konsekvenser: Alkoholkultur (pris pr. genstand), hjemløsestrategien (-34.500 kr. første år) og kommunalreformen (stordriftsfordele).
Implementering: Elevinddragelse.
Hvilke cases bruger underkategorierne fordelingseffekter, holdninger og natur/miljø?
Det er alle under evalueringsstandarden policy-effekter.
Fordelingseffekter: Starthjælpen
Holdninger: Politikernes brug af evidens
Natur/miljø: Pesticidplanen og øget genbrug af affald (bilag 1)
Hvilke cases har information som policy-instrument
Jakobsen et al. (2016): Elevinddragelse (kursus til lærer). En form for kapacitet.
Jones et al. (2019: Sundhedsprogrammer i USA.
Hvilke cases bruger DiD-design
Marcus et al. (2022): Idrætskuponer i Tyskland)
Blom-Hansen et al. (2014): Kommunalreformen
Hvilke cases bruger regulering som policy-instrument
Blom-Hansen et al. (2014): Kommunalreformen
Andersen et al. (2018): Tolærerordning.
Hvilken case bruger RDD som forskningsdesign?
Jørgensen & Pedersen (2016): Bosætningseffekter og starthjælpen.
Hvilke cases bruger økonomiske policy-instrumenter?
Starthjælpen (alle tre tekster)
Rambøll (2008): Pesticidplanen med en afgift.
Hvilken case bruger matching?
Rambøll (2013): Evaluerings af hjemløsestrategien.
