Empiriske cases Flashcards

1
Q

Beskriv casen ‘Elevinddragelse’ med udgangspunkt i Jakobsen et al. (2016)

A

Policy: Uddannelse af lærer for at opnå større elevinddragelse. Det skulle gerne give faglighed, trivsel og større samfundsengagement.

Policy-instrument: Information
Evalueringsstandard: Policy-effekter (adfærd)

Forskningsdesign:
- Framed felteksperiment (to indsatsgrupper).
- Tildeling af treatment på klyngeniveau.
- Både sammenligning til parallelklasse og ‘ren’ gruppe. Godt eksperiment.

Resultater:
- Mere elevinddragelse (fidelitet)
- Ingen resultater i faglige test, trivsel eller samfundsengagement.

Forbehold:
- Kort tidshorisont
- Svag treatment i gruppe 1 (kursus)
- Policyfejl?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Beskriv casen ‘Kommunalreformen’ med udgangspunkt i Blom-Hansen et al. (2014)

A

Policy: Er der stordriftsfordele ved at slå kommunerne sammen (demokratiske og økonomiske argumenter).

Policy-instrument: Regulering
Evalueringsstandard: Samfundsøkonomiske konsekvenser

Forskningsdesign:
- DiD (parallelle trends)
- Eksogent chock og derfor kvasi-eksperiment (det ikke er tilfældigt hvilke kommuner som sammenlægges)
- Administrative omkostninger pr. indbygger

Resultater:
- Sammenlægninger fører til færre administrative omkostninger, men først efter et par år

Forbehold:
- Måling af den afhængige variabel
- Antagelser

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Beskriv casen ‘Lokalpolitikere brug af evidens’ med udgangspunkt i Lee (2022)

A

Policy: Undersøger om politikere opdaterer deres position alt efter evidens og ekspertviden over tre policy-områder: Needle exchange, GMO-ban og rent-control.

  1. Directional-hypotese (motivated reasoning)
  2. Accuracy-hypotese (viden=holdning)

Policy-instrument: Information
Evalueringsstandard: Policy-effekter (holdninger)

Forskningsdesign: Surveyeksperiment

Resultater:
- “Positive” fund
- Både republikanere og demokrater forsøger at opnå mere præcise holdninger (hypotese 2).
- De forlader dog ikke deres holdning

Forbehold:
- Ekstern validitet ift. kunstige omgivelser i survey, entydig ekspertholdning, stikprøvens repræsentativitet og typen af policy
- Hvad med politikere på landsplan
- Lofteffekter

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Beskriv casen ‘Lokalpolitikere brug af evidens’ med udgangspunkt i Bækgaard et al. (2019)

A

Policy: Er lokalpolitikere i Danmark biased af deres holdninger? To policy-områder: Skole-performance, vedligehold af veje og genoptræning.

  1. Politikere er motivated reasoners (directional)
  2. Der et ‘tipping point’ ift. hvor meget evidens, man præsenteres for

Policy-instrument: Information
Evalueringsstandard: Policy-effekter (holdninger)

Forskningsdesign: Surveyeksperiment

Resultater:
- “Pessimistiske fund”
- Evidens for motivated reasoning. Især ved gentagende information

Forbehold:
- Ekstern validtiet ift. kunstige omgivelser i survey. Normalt præsenteres politikere for store rapporter
- Ekstra opmærksomhed på holdning til offentlig serviceproduktion (priming)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Beskriv casen ‘Lokalpolitikere brug af evidens’ med udgangspunkt i Hjort et al. (2021)

A

Policy (belief): Borgmestre fra lokale enheder i Brasilien. Efterspørgsel og reaktion på evidens

Policy-instrument: Information
Evalueringsstandard: Policy-effekter (adfærd + holdninger)

Forskningsdesign (belief): Survey-eksperiment

Resultater (belief):
- Borgmestre er villige til at betale for evidens
- De opdaterer deres holdninger
- De vil have større stikprøver og er ligeglad med om evidens bygger på rige eller fattige lande

Forbehold (belief):
- Ekstern validitet ift. kunstige omgivelser i survey
- Randomiseringsbias ift. hvem, som besvarer spørgeskemaet
- Demandeffekter

Policy (policy): Borgmestre fra lokale enheder i Brasilien. Effekten af evidens ift. policy-implementering.

Policy-instrument: Information
Evalueringsstandard: Policy-effekter (adfærd)

Forskningsdesign (policy): Framed felteksperiment

Resultater (policy):
- Evidens om policy øger sandsynligheden for at det bliver gennemført med 10 pct. point
vi oplever, at information af borgmestre om forskning i en enkel og effektiv politik, skatteydernes rykkerskrivelser, øger sandsynligheden for, at politikken bliver gennemført med 10 procentpoint.

Forbehold (policy):
- Policy er billig
- Kendskab til policy fremfor effekt af evidens
- Noncompliance (kun 40% deltog i mødet)
- Randomiseringsbias ift. hvem, som deltager i konferencen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Beskriv casen ‘Sundhedsprogrammer i Illinois’ med udgangspunkt i Jones et al. (2019)

A

Policy: Sundhedsprogrammer med årlig sundhedsscreening, risikovurdering og ugentlig aktiviteter. Omfattende program. Hvordan afviger eksperimentet fra observationsstudiers fund?

Policy-instrument: Økonomiske (belønning for gennemførsel) og information (om sundhed)
Evalueringsstandard: Policy-effekter (adfærd)

Forskningsdesign: Felteksperiment over to år på individniveau. Både survey- og registerdata som afhængig (undgå common-source bias). Mediciniske udgifter, produktivitet og sundhed.

Resultater:
- Ingen signifikante effekter på 40 ud af 42 variable
- Dog flere sundhedsscreenings og opfattelse af sundhed som prioritet fra arbejdspladsen

Forbehold:
- Randomiseringsbias (folk var sunde i forvejen)
- Skævt frafald (continuation by choice)
- Forurening (deler information med kollegaer)
- Etik ift. at arbejdspladsen ved meget om sundhed
- Begrænset generaliseringspotentiale

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Beskriv casen ‘Tolærer-ordningen’ med udgangspunkt i Andersen et al., 2018

A

Policy: Uddannet lærer (10,5 time) eller ressourceperson (14,5 time). Arbejde med fagligt indhold > praktiske opgaver. 6. klassetrin.

Policy-instrument: Regulering eller kapacitet (?)
Evalueringsstandard: Policy-effekter (adfærd)

Forskningsdesign: Framed felteksperiment. Noget af det bedste i Danmark. 35 skoler i kontrol og treatmentgrupperne. Stratificeret randomisering på klyngeniveau. Performancemål som afhængig variabel.

Resultater:
- Positive fund ift. læsning men ikke matematik
- Størst effekt af ressourcepersoner i klasser med adfærdsmæssige udfordringer
- Heterogene effekter ift. socioøkonomisk baggrund. Tvungen treatment frem for tilvalg
- Fravær af blivende effekter

(få) Forbehold:
- Randomiseringsbias (kommuner tilmelder sig)
- Generaliseringspotentiale
- Udfordringer med opskalering
- Excludability ift. interesseorganisationer og hawthorne

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Beskriv casen ‘Starthjælp’ med udgangspunkt i Jørgensen & Pedersen (2016)

A

Policy: Ydelser til flygtninge. Påvirkede ændringer i satsen i 2002 bosætningseffekter (hænger sammen med indkomst, uddannelse og erhvervsfrekvens).

Policy-instrument: Økonomiske incitamenter (husk antagelser)
Evalueringsstandard: Policy-effekter (adfærd)

Forskningsdesign: Deterministisk RDD mellem kontanthjælp og starthjælp (40% reduktion i ydelsen). 6 måneder før/efter

Resultater:
- Ingen kortsigtede signifikante effekter
- Langsigtet øget etnisk segregering

Forbehold:
- Inden for et sogn kan områder både være ghetto og ikke
- Signifikans forsvinder ved (ukendte) kontrolvariable
- Funktionelle form med mange polynomier
- Begrænset generaliseringspotentiale omkring tærsklen
- Systematik ift. vind, vejr og krige

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Beskriv casen ‘Starthjælp’ med udgangspunkt i Rosholm & Vejlin (2010)

A

Policy: Ydelser til flygtninge. Påvirkede ændringer i satsen i 2002 beskæftigelse? Forudsætning: Ledige job og produktion til mindsteløn i Danmark.

Policy-instrument: Økonomiske incitamenter (husk antagelser)
Evalueringsstandard: Policy-effekter (adfærd)

Forskningsdesign: Naturligt kvasi-eksperiment (RDD)

Resultater:
- Positiv effekt på beskæftigelse efter 2 år
- Positiv effekt på exitraten (folk falder ud af ydelsen)
- Heterogene effekter ift. social slagside (dem med de bedste udsigter på arbejdsmarkedet er mest responsive over for det økonomiske incitament og omvendt)

Forbehold:
- Integrationsprogram slutter efter 3 år. Måske flygtninge først har lært sproget efter 2 år

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Beskriv casen ‘Starthjælp’ med udgangspunkt i Blauenfeldt et al. (2006)

A

Policy: Ydelser til flygtninge. Afledte effekter af starthjælpen ift. økonomiske- og levevilkår (mekanismer og konsekvenser).

Policy-instrument: Økonomiske incitamenter (husk antagelser)
Evalueringsstandard: Policy-effekter (adfærd)

Forskningsdesign: Kvalitativ. Enkeltsager, sagsbehandlere, personlige interviews og DREAM-databasen.

Resultater:
- Rådighedsbeløb under ‘rimeligt og almindeligt forbrug’
- Forskellige overlevelsesstrategier
- 80% modtager enkeltydelser
- Flygtninge har afsavn af materiel og social karakter (især børn)
- Mange har helbredsproblemer

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Beskriv case ‘Nudging’ med udgangspunkt i Mertens et al. (2021)

A

Policy: Nudging spiller på system 1 og system 2 fra psykologien. Kun i 5% af tilfældene bruger man rationelle mekanismer (system 2) og ellers bruger man tommelfingerregler mv.

Policy-instrument: Nudge
Evalueringsstandard: Policy-effekter (adfærd)

Forskningsdesign: Metaanalyse på baggrund af forskellige typer af eksperimenter. Observeret adfærd.

Resultater:
- Medium effekt af nudges overall d=0,43
- Stor heterogenitet på tværs af policy-område (fødevare og miljø er bedst) og type af nudge (fysisk miljø stor effekt)

Forbehold:
- Publikationsbias (Bakdash & Marusich, 2022 - venstre trunkering)
- Studier, som driver sammenhængen er trukket tilbage fra Wansink inden for fødevare.
- De lever ikke helt op til krav for for valid metaanalyse (Quintana, 2015)
- Snæver søgestring, som favoriserer positive effekter af nudges

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Beskriv case ‘Nudging’ med udgangspunkt i Dellavigna & Linos (2022)

A

Policy: Effekten er langt mindre, når man opskalerer interventioner. Sammenligning af resultater fra to store nudging-enheder (BIT-NA og OES), som udfører projekter i USA på hhv. lokalt og føderalt niveau. De laver en meta-analyse af RCTs fra disse og sammenligner med to udgivne meta-analyser lavet over akademiske RCTs inden for nudging-området.

Policy-instrument: Nudge
Evalueringsstandard: Policy-effekter (adfærd)

Forskningsdesign: Metaanalyse på baggrund af forskellige typer af eksperimenter

Resultater:
- Akademisk effekt: 8,7 pct. point
- Nudge-enheder: 1,4 pct. point
- Heterogenitet på tværs af policy-områder og type af nudge

Forskel
- Publikationsbias
- Statistisk power
- Typen af interventioner

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Beskriv casen ‘Hjemløsestrategien’ med udgangspunkt i Rambøll (2013)

A

Policy: Evidensbaserede bostøttemetoder som en del af hjemløsestrategien. ICM=individual case management (intensiv og længerevarende støtte)

Forskningsdesign: Matching af treatment og kontrolgruppe i forskellige tidsperioder (PSM med registerdata). First-year-benefits.

Resultater:
- I stand til at fastholde borgeren i egen bolig
- Menneskelige gevinster
- Negativt regnskab efter først år på ca. 35.000 kr.
- Break even i andet år, hvis gevinster opretholdes
- Forskel på udgifterne fordelt mellem stat og kommune

Forbehold:
- Eksogent chock i form af finanskrisen
- Udfordringer med værdisætning (ingen stress-test)
- Common support ift. matching

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Beskriv casen ‘Alkoholforbrug’ med udgangspunkt i Lesner et al. (2020) aka. VIVE

A

Policy: Storforbrug blandt unge på universiteter (mere end 5 genstande pr. gang). Kognitive og sundhedsmæssige konsekvenser på kort og langt sigt. Bias ift. kortsigtede gevinster og langsigtede omkostninger.

Policy-instrument: Information (nudge)
Evalueringsstandard: Policy-effekter (adfærd)

Forskningsdesign: Felteksperiment. Intervention på individniveau (pre-commitment, reminders og sociale normer). SMS og survey. Forløb over tre uger. Tre outcomemål: Antal drikkedage, binge-drikkedage og gennemsnitlige genstande pr. drikkedag.

Resultater (3 uger effekter):
- Drikker færre gange om måneden, men drikker meget, når man så er i gang (storforbrug). 16-17%
- Det koster mellem 103-219 kr. af reducere alkoholforbrug med et event.
- Det koster mellem 17-110 kr. af reducere forbruget med en genstand

Forbehold:
- Forurening
- Randomiseringsbias ift. fire krav (motivation for at deltage)
- Demandeffekter og SDB (selvrapportering)
- Sammenhængen er drevet af unge mænd
- Frafald i treatmentgruppen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Beskriv casen ‘Voucher til sportsklubber’ med udgangspunkt i Marcus et al. (2022)

A

Policy: For at nudge folkeskolebørn til en langsigtet vane med at motionere, uddelte den tyske delstat Sachsen i 2009 sportsklubmedlemskabskuponer blandt alle 33.000 tredjeklasser.

Policy-instrument: Økonomisk incitament og måske information/kapacitet
Evalueringsstandard: Policy-effekter (adfærd)

Forskningsdesign: DiD. Kontrolgruppen består af børn fra to nabostater. Pretreatment ift. parallelle trends består af børn fra andre årgange. Data=registerbaseret spørgeskema til formålet og sundhedsdata fra skoler. Undersøger randomiseringsbias ved registerdata.

Resultater:
- Folk har modtaget, brugt og snakket om voucher (3 variable)
- Ingen signifikante effekter på medlemsskab, fysisk aktivitet og overvægt (3 variable)
- Tyder på policyfejl

Forbehold:
- Aktørantagelser ift. om det handler om økonomi
- Årgangseffekter ift. pretreatmentsammenligning
- Compliance ift. voucher (primært rabat til eksisterende brugere)
- Fidelitet
- Opskalering ift. Oakland (dog ikke et problem): Ekstraudgifter til udstyr og forældrenes tidsforbrug

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Beskriv casen ‘Pesticidafgift’ med udgangspunkt i Rambøll (2008)

A

Policy: Midtvejsevaluering af pesticidplanen (kommer i flere omgange). Målsætning om nedsætte behandlingshyppigheden til 1,7 i 2009.

Policy-instrument: Information (rådgivning - kortsigtet) og økonomisk incitament (afgift - langsigtet)
Evalueringsstandard: Policy-effekter (målsætning ift. 1,7 og adfærd ift. landmænd og natur/miljø)

Forskningsdesign: Før/efter

Resultater:
- Behandlingshyppigheden er steget i perioden
- Lav efterspørgsel på rådgivning
- Markant forøgelse af afgift, hvis effekt

Forbehold:
- Design ift. om alt andet er lige i perioden (vind, vejr mv.)
- Implementeringsfejl ift. antagelser om landmænd (Pedersen et al., 2012).
- Policyfejl ift. rådgivning
- Behandlingshyppighed er et dårligt mål

17
Q

Beskriv casen ‘Implementeringsgreb fra STAR’ med udgangspunkt i STAR (2015) og Rambøll (2015)

A

Policy: Implementeringsgreb fra styrelsen for arbejdsmarked og rekruttering. Kommuner og a-kasser har ansvaret

Policy-instrument: Blandet fra regulering, økonomiske incitamenter, information, læring og kapacitet
Evalueringsstandard: Fidelitet

Forskningsdesign: Kvalitativ evaluering af kommunernes erfaring

Resultater:
- Kompetenceudvikling
- Implementeringsteam
- Tjeklister til inspiration
- Netværk
- Monitorering
- Puljer

18
Q

Hvilke cases bruger felteksperimenter?

A

Naturlig:
Not really.

Framed:
Andersen et al. (2018): Tolærerordningen
Jakobsen et al. (2016): Elevinddragelse
Jones et al. (2019): Sundhedsprogrammer
Lesner et al. (2020): Alkoholforbrug

Nisa et al. (2019): Metaanalyse af miljøbevidst adfærd
Mertens et al. (2021): Nudging på eksperimenter
Dellavigna & Linos (2022): Nudginig i USA

Survey:
Hjort et al. (2021): Brasilianske lokalpolitikere
Bækgaard et al. (2019): Danske lokalpolitikere (MR)
Lee (2022): Needle-exchange, GMO-ban og rent-control

19
Q

Hvilke cases handler om børn og unge?

A

Marcus et al. (2022): Idrætskuponer i Tyskland
Andersen et al. (2018): Tolærerordningen
Jakobsen et al. (2016): Elevinddragelse i folkeskolen

20
Q

Hvilke cases er nulfund?

A

Jones et al. (2019): Sundhedsprogrammer i USA
Jakobsen et al. (2016): Elevinddragelse
Marcus et al. (2022): Idrætskuponer i Tyskland

21
Q

Hvilke studier måler langtidseffekter?

A

Andersen et al. (2018): Tolærerordningen
Marcus et al. (2022): Idrætskuponer

22
Q

Hvilke cases handler om sundhed?

A

Jones et al. (2019): Sundhedsprogrammer i USA
Marcus et al. (2022): Idrætskuponer i Tyskland
Lesner et al. (2020): Alkoholforbrug på universitet
Mertens et al. (2021): Nudges på sundhedsområdet

23
Q

Hvilke case benytter et før/efter design?

A

Rambøll (2008) om pesticidplanen. De følger blot udviklingen over en årrække. Ulempe: Usikkerhed om mange variable i perioden herunder vind og vejr ift. om alt andet er lige.

24
Q

Giv et eksempel på en case, som indeholder vidensinteresser.

A

Casen om starthjælp. Hvilken viden som produceres herom har politisk betydning. F.eks. Blauenfeldt et al. (2006) vs. Rosholm & Vejlin (2010).

Ikke ligegyldigt, hvilken evalueringsstandard, som vi måler ud fra ift. politiske interesser!

25
Q

Hvad er forskellene og lighederne mellem de studier, som undersøger politikernes brug af evidens?

A

Ligheder: Hvad sker der, når politikere præsenteres for evidens (RQ) og har samme målgruppe.

Forskelle:
Design. Lee (2022) og Bækgaard et al. (2019) bruger surveyeksperimenter, mens Hjort et al. (2021) blandt andet er et framed felteksperiment.

Policy-område. Hjort et al. (2021) er en ‘most-likely-case’ da evidens er i forlængelse af borgmestrenes interesse. Bækgaard et al. (2019) er en ‘least-likely-case’, da det også er imod politikernes overbevisninger.

26
Q

Hvilke cases bruger evalueringsstandarderne målsætninger, samfundsøkonomiske konsekvenser og implementering?

A

Målsætning: Pesticidplanen (BH=1,7)

Samfundsøkonomiske konsekvenser: Alkoholkultur (pris pr. genstand), hjemløsestrategien (-34.500 kr. første år) og kommunalreformen (stordriftsfordele).

Implementering: Elevinddragelse.

27
Q

Hvilke cases bruger underkategorierne fordelingseffekter, holdninger og natur/miljø?

A

Det er alle under evalueringsstandarden policy-effekter.

Fordelingseffekter: Starthjælpen

Holdninger: Politikernes brug af evidens

Natur/miljø: Pesticidplanen og øget genbrug af affald (bilag 1)

28
Q

Hvilke cases har information som policy-instrument

A

Jakobsen et al. (2016): Elevinddragelse (kursus til lærer). En form for kapacitet.

Jones et al. (2019: Sundhedsprogrammer i USA.

29
Q

Hvilke cases bruger DiD-design

A

Marcus et al. (2022): Idrætskuponer i Tyskland)
Blom-Hansen et al. (2014): Kommunalreformen

30
Q

Hvilke cases bruger regulering som policy-instrument

A

Blom-Hansen et al. (2014): Kommunalreformen

Andersen et al. (2018): Tolærerordning.

31
Q

Hvilken case bruger RDD som forskningsdesign?

A

Jørgensen & Pedersen (2016): Bosætningseffekter og starthjælpen.

32
Q

Hvilke cases bruger økonomiske policy-instrumenter?

A

Starthjælpen (alle tre tekster)

Rambøll (2008): Pesticidplanen med en afgift.

33
Q

Hvilken case bruger matching?

A

Rambøll (2013): Evaluerings af hjemløsestrategien.