Begreber/designs

Question 1

Hvad betyder fidelitet?

Answer 1

Fidelitet handler om hvorvidt en intervention/policy bliver udført som forventet/beskrevet i programbeskrivelsen og hvorvidt den succesfuldt kan overføres til praksis?

Question 2

Hvad er forskellen mellem teorifejl og implementeringsfejl?

Answer 2

Teorifejl: Det er en fejl i teorien/antagelserne bag policy, der gør, at policy ikke fungerer.

Implementeringsfejl: Det er fejl i implementeringen af policy, der gør, at policy ikke fungerer.

Det er vigtigt at skelne mellem de to ting, fordi hvis det er en implementeringsfejl, så skal man ikke skrotte hele policy men snarere få implementeringen til at fungere, og omvendt hvis det er en teorifejl, så er det jo selve policy der skal laves om og ikke bare implementeringen.

Question 3

Hvilke to underdimensioner er der af fidelitet (jf. Breitenstein et al. (2010))?

Answer 3

Hvorvidt interventionen/policy udføres kompetent (competence)
- Hvor god/talentfuld er implementeringen? Det kan handle om kommunikation, tekniske evner og skills hos de der implementerer.

Hvorvidt interventionen/policy udføres i overensstemmelse med protokollen (adherence)
- Handler om i hvor høj grad dem der skal implementere har fulgt protokollen/opskriften. Har man haft tiden/viljen til at implementere alle dele af et program?

Question 4

Hvad er policy-instrumenter?

Answer 4

Instrumenter man bruger til at få policy til at virke efter hensigtet.

Citat fra Vedung (1998): “Policy Instruments Are The Set Of Techniques By Which Governmental Authorities Wield Their Power In Attempting To Ensure Support And Effect Or Prevent Social Change”.

Question 5

Hvilke typer policy-instrumenter indgår i Vedungs typologi?

Answer 5

Vedungs typologi har tre hovedtyper (inddelt efter, hvor meget tvang (constraint) der pålægges målgruppen og dermed hvor begrænsende de er:

Regulering (stick)

• Skal påvirke folk gennem regler og direktiver.
• Eksempel: regler (evt med sanktioner)

Økonomi (carrot) - s. 32

• Enten at give eller fratage ressourcer
• Eksempler: Allokering af penge til målgruppe, allokering af penge til offentlige organisationer, incitamentssystemer

Information (sermon) - s. 33

• Forsøger at påvirker folk gennem overførsel af viden, gode argumenter og overtalelse.
• Eksempler: Give målgruppen viden, overtalelse, rådgivning

Question 6

Hvad er forskellen mellem misevaluering og misbrug af evaluering?

Answer 6

Misevaluering: teknisk dårligt udført evaluering

Misbrug af evaluering: Evalueringen er god nok, men man bruger den uærligt, fordrejer dens resultater eller lignende. Kan både forekomme hos de der laver evalueringen eller hos eksterne aktører.

Question 7

Hvilke typer af evalueringsstandarder kigger vi på i faget?

Answer 7

Noten fokuserer på 4 overordnede typer af evalueringsstandarder

1. Målopfyldelse: Hvor godt lever policy op til dens officielle målsætninger?
2. Policy-effekter: Hvilke generelle effekter er der af policy? Her kan man altså også kigge ud over målopfyldelsen.
3. Samfundsøkonomiske konsekvenser: Hvilke økonomiske konsekvenser har policy?
4. Implementering: Hvor høj fidelitet er der? Er policy implementeret som forestillet?

Question 8

Hvilke typer policy-effekter beskæftiger vi os med i faget?

Answer 8

Fordelingseffekter: At nogle for mere/mindre af en policy

Adfærdseffekter: Målgruppen ændrer adfærd

Påvirkning af holdninger, viden og verdenssyn: Målgruppen får andre holdninger/bliver klogere

Effekt på samfund og natur: Fx at grundvandet er blevet renere.

Question 9

Hvorfor er eksperimenter gode til at estimere kausalitet?

Answer 9

Hvis tildeling ind i kontrol- og treatmentgruppe er totalt random og der er tilstrækkeligt med enheder, så kan man sikre sig at de to grupper ikke kommer til at afvige systematisk på andre faktorer end tildelingen af treatment → jf. Law of Large Numbers (LLN). Så er kausal-effekten af treatment lige til at observere → det er bare forskellen mellem de to gruppers outcomes.

Question 10

Hvad er en instrument variabel?

Answer 10

Instrumentvariabler forsøger at løse udfordringer forbundet til endogenitet. Vi vil gerne have, at variationen på den uafhængige variabel (X) er fuldstændigt eksogent givet: og det kan instrumentvariablen hjælpe med: den forsøger at isolere den del af vores X, der er eksogent givet (lodtrækningen) og kun undersøge effekten af den del.

Det vil sige, at resultater af en IV-estimation kun gælder for den gruppe af enheder, der opfører sig i overenesstemmelse med lodtrækningen (LATE-effekt)

Question 11

Hvad betyder kontaminering/forurening mellem grupper?

Answer 11

Forurening mellem grupper (i fx et felteksperiment) kan opstå hvis 1) kontrolgruppen får adgang til treatment eller 2) hvis treatmentgruppen skaber et generelt bedre miljø/nabolag, hvilket også påvirker kontrolgruppen (displacement).

Question 12

Hvad hjælper det at klyngerandomisere?

Answer 12

Man klyngerandomiserer for at undgå forurening/kontaminering mellem indsatsgrupper.

I stedet for at randomisere på individniveau (fx elever), så randomiserer man på nogle lidt større klynger (fx klasser, skoler, veje).

Man vil helst ikke gøre det for meget, da de begrænser enhederne/N i ens undersøgelse - men nogle gange er det nødvendigt.

Question 13

Hvad hjælper stratifikation?

Answer 13

Stratificering bruges til at sikre, at undersøgelsens estimater er så efficiente som muligt, hvis der er få enheder i lodtrækningen, og man ikke kan være sikker på at store tals lov slår igennem og gør grupperne fuldstændig ens.

Man placerer først grupperne/enhederne i strata efter værdierne på forskellige vigtige variable, og så trækker man efterfølgende lod om placering i treatment- og kontrolgruppe inden for hver strata.

Question 14

Hvad vil det sige at lave et crossover design?

Answer 14

Et crossover design kan komme på tale, hvis man synes det er etisk uforsvarligt kun at tildele nogle enheder treatment. Så kan man lave et design, hvor grupperne modtager treatment på forskellige tidspunkter.

Ulempe: så kan man ikke længere måle langtidseffekter af treatment, da alle har fået treatment på et tidspunkt.

Question 15

Hvilke empiriske eksempler har vi på RDD-designs i vores pensum?

Answer 15

Hollandske skoler: forsøg hvor man gav en indsats til skoler, som havde en vis andel “disadvantage minority students” - hvis man har over tærsklen på 70%, så fik man indsatsen.

Evaluering af starthjælpen: forsøg i dansk sammenhæng, hvor man sammenligner bosætning og tilknytning til arbejdsmarkedet for flygtninge, der fik asyl i DK lige før/efter indførelsen af starthjælpen.

Question 16

Hvilke empiriske eksempler har vi på felteksperimenter i pensum?

Answer 16

Perry Preschool eksperimentet i Michigan hvor nogle børn for en særlig før-skole indsats.

Elevinddragelsesforsøg i DK: lodtrækningsforsøg hvor skoler selv melder sig og tilfældigt uddeles i treatment og kontrolgruppe.

Forsøg med tolærerordning i DK: lodtrækningsforsøg hvor skoler selv melder sig. Treatmentgrupperne får en ekstra to-lærer, der er enten 1) læreruddannet eller 2) anden ressourceperson.

Question 17

Hvad er det vigtigste?

Answer 17

At Christian har det godt :i<3

Question 18

Hvilke typer policy-instrumenter indgår i Schneider & Ingrams typologi?

Answer 18

• Autoritets-instrumenter (tilladelse til eller tvang fra handling)
• Incitaments-instrumenter (afregninger, positive eller negative, økonomisk)
• Kapacitets-instrumenter (giver information, træning, uddannelse og ressourcer så handling udføres)
• Symbolske eller tilskyndende instrumenter (forsøger med kommunikation at overtale/frame/italesætte ting på bestemt måde så handling udføres)
• Lærings-instrumenter (lader forvaltning og målgruppe finde løsning)

Question 19

Hvad er aktørantagelserne bag Schneider & Ingrams forskellige policy-instrumenter?

Answer 19

• Autoritets-instrumenter (antager at målgruppen vil følge love og reguleringer)
• Incitaments-instrumenter (antager målgruppen er nyttemaksimerende)
• Kapacitets-instrumenter (antager at incitament ikke mangel, men mangel på information kan være hæmsko for bestemt adfærd)
• Symbolske eller tilskyndende instrumenter (antager at aktører er motiverede indefra og handler ud fra værdier og beliefs)
• Lærings-instrumenter (antager at forvaltning og målgruppe kan lære om adfærd og vælge tools der er effektive)

Question 20

Er “nudging” et policy-instrument?

Answer 20

Ja det kan man godt kalde det, men det er svært lige at placere i Schneider & Ingrams typologi. Det er nærmere en nyere og sjette variant af instrumenter, men SCH&ING er en gammel tekst og nudging er et nyere instrument.

Question 21

Forklar eksperimenter ud fra idéen om potentielle outcomes og hvorfor det er smart

Answer 21

En god kontrolgruppe viser de treatedes skæbne i en kontrafaktisk verden, hvor de ikke blev treated. Dette kan dog ikke lade sig gøre i praksis → så derfor bliver vores mål altid at komme så tæt på som muligt, ved at sammenligne grupper, der ligner hinanden så meget som muligt.

Vi vil have treatment- og kontrolgrupper, der i gennemsnit ligner hinanden → ellers giver det ikke mening at sammenligne dem, fordi så har de ikke ens (eller tilnærmelsesvis ens) potentielle outcomes, og så kan vi ikke identificere en kausal effekt af den policy vi kigger på.

Question 22

Hvordan opstår endogenitetsproblemer?

Answer 22

• Hvis der er tredjevariabler, der påvirker både x og y
• Simultanitet (tovejskausalitet)

Vi vil gerne have, at inddelingen i treatment- og kontrolgruppen er eksogent givet (sker via randomisering, her elimineres selektionsbias).

Question 23

Hvad er et RDD-design?

Answer 23

RDD er en særlig klasse af naturlige eksperimenter. RDD udnytter empiriske situationer, hvor vi kan observere en variabel (tærskelvariabel), der ved en given værdi (tærskelværdi) opdeler observationerne i en kontrol og forsøgsgruppe. Altså et bestemt punkt på en given variabel, der slår en intervention til/fra, uden vi har noget at gøre med det (vi observerer blot virkeligheden).

Fx om man fik asyl i DK før/efter d. 1 juli, hvor starthjælpen trådte i kraft.

Question 24

Hvad er den mest centrale antagelse i et RDD-design?

Answer 24

RDD udnytter at fordelingen af observationer omkring punktet er tilnærmelsesvis tilfældig, og vi kan derfor undersøge den kausale effekt af for observationer omkring interventionspunktet, da vi antager at der ikke er systematiske forskelle imellem dem.

Det er altså AFGØRENDE at folk ikke selv kan bestemme om de vil placere sig på den ene eller anden side af tærskelværdien.

Question 25

Forklare hovedantagelsen i DID-design (antagelsen om parallelle trends)

Answer 25

Hovedantagelsen i DID-design er, at de to grupper har parallelle trends: der skal være samme muligheder for at de to grupper udvikler sig hen over perioden. Dvs. man skal kunne antage at treatmentgruppen ville udvikle sig på samme måde som kontrolgruppen, hvis ikke den havde fået indsats.

Kan man observere om der er parallelle trends?
Nej. Men man kan undersøge om det er en rimelig antagelse - fx ved at se på udviklingen op til starten af undersøgelsen: har de to grupper haft ens trends før baseline målingen?

Question 26

Forklare hovedantagelsen i DID-design (antagelsen om parallelle trends)

Answer 26

Hovedantagelsen i DID-design er, at de to grupper har parallelle trends: der skal være samme muligheder for at de to grupper udvikler sig hen over perioden. Dvs. man skal kunne antage at treatmentgruppen ville udvikle sig på samme måde som kontrolgruppen, hvis ikke den havde fået indsats.

Question 27

Hvad går TBE (teoribaseret evaluering) ud på? (form for programteori).

Answer 27

Det er en approach til evalueringer, der går meget detaljeret til værks ift. hvilke teoretiske antagelser, der ligger bag det program der skal evalueres. Man har altså et fokus på den teori, der ligger bag programmet, og de forskellige steps i den teori. Evalueringer følger hvert enkelt step i rækkefølgen for at se nærmere på, hvorvidt de forventede ministeps faktisk forekommer.

Dvs. man indsamler data mange gange i løbet af en evaluering, for at se om de forskellige steps i processen lykkedes/fejler. Man “tracker” altså processen mere grundigt undervejs ud fra sine teoretiske mekanismer.

Question 28

Forklar den samfundsøkonomiske evalueringsmetode ‘Cost-effectiveness analyse’

Answer 28

En teknik der relaterer omkostningerne ved et program til programmets outcome/fordele.

• Man forsøger at opføre omkostningerne pr. enhed effekt ved den given policy.
• En enhed effekt er den effekt vi forsøger at få med en policy opgjort i bestemte enheder - fx et reddet liv eller en færdiggjort eksamen.
  Man regner så ud hvad omkostningerne pr enhed effekt er: hvad koster det at redde ét liv fx?

Vi har kun omkostningssiden med her.

Mest nyttig når vi kender det outcome vi gerne vil have (eks. sænke storforbrug af alkohol), så kan vi undersøge hvilket program der bedst opnår dette outcome ud fra omkostningerne.

Question 29

Forklar den samfundsøkonomiske evalueringsmetode ‘Cost-benefit analyse’

Answer 29

Forsøger at sammenligne omkostningerne ved et program, med den “dollar-værdi” som alle (eller næsten alle) programmets fordele har. Man trækker så oftest omkostningerne fra fordelene for at vurdere, hvad hovedeffekten/fordelen af programmet er.

• Her regner man altså gevinsterne af policy med også.
• Det er noget mere kompliceret, men man får også mere information med af analysen.
• Man tager de totale gevinster fra en policy og trækker de totale omkostninger fra.
• Det er svært at finde en måde at opgøre gevinsterne på - men hvis man kan gøre det, får man mere information ud af det.

Mest nyttig når man evaluerer et enkelt program og vil vide hvorvidt fordelene ved programmet er større end omkostningerne - eller når man sammenligner forskellige alternative programmer.

Question 30

Hvad betyder diskontering?

Answer 30

Handler om at man skal omregne fremtidige omkostninger og gevinster til en nutidsværdi, så de kan sammenlignes –> penge i fremtiden er ikke helt så meget værd som penge vi forbruger nu. OG det er der forskellige grund til:
- f.eks. inflation

Eks: 1000 kroner i banken i dag er ikke det samme om 20. Hvis vi har en lav disk rente (0%) så vil 1000 kroner stadig være 1000 kr om mange år.

Hvornår er det relevant at komme ind på diskontering?

• Tidshorisonten er vigtig. Hvis en policy foregår over kort tid, ingen betydning. Hvis det er over lang tid (20/30 år agtig) så mega vigtigt.
• Genvinster og omkostninger skal være placeret på forskellige tidspunkter. det vil typisk være sådan at vi har en stor omkostning nu og så skal gevinster (der ligger i fremtiden) diskonteres til nutidskroner.

Høj diskonteringsrate –> gevinsterne ved policy falder

Question 31

Hvad betyder diskontering?

Answer 31

Handler om at man skal omregne fremtidige omkostninger og gevinster til en nutidsværdi, så de kan sammenlignes –> penge i fremtiden er ikke helt så meget værd som penge vi forbruger nu. OG det er der forskellige grund til:
- f.eks. inflation

Eks: 1000 kroner i banken i dag er ikke det samme om 20.

Question 32

Hvad indebar Perry Preschool eksperimentet og hvad var dets resultater?

Answer 32

Et af de første store felteksperimenter/lodtrækningsforsøg inden for socialpolitik.

123 udsatte børn randomiseres ind i en treatment- og en kontrolgruppe. Indsatsgruppen fulgte en børnehave-indsats med leg/læring inden skolestart. Medlemmerne af grupperne blev fulgt hele livet.

Resultat:
- Treatmentgruppen havde bedre outcomes på en lang række variable: løn, uddannelse, kriminalitet osv.

Question 33

Hvad kan Winthers integrerede implementeringsmodel og hvilke dele af den, er vi primært interesserede i i dette fag?

Answer 33

Det er en model over implementeringen af policy.

• Modellen viser alle de ting i implementeringen, der kan påvirke de endelige effekter af en policy.
• Den kan bruges til at sig enoget om, hvorfor implementering sommetider lykkes og hvorfor den somme tider ikke gør?

Hvilke dele kigger vi mest på i dette fag?

• Politikdesign: hvordan er policy udformet og hvilke aktørantagelser ligger bag?
• Målgruppeadfærd: hvordan reagerer målgruppen på policy?
• Andre aktører i implementeringsprocessen: fx markarbejdere

Question 34

Giv nogle eksempler på “misbrug” af evalueringer

Answer 34

• Evalueringer som “deadly hatchet”: når du bruger evalueringers resultater til at støtte en beslutning du allerede har truffet i forvejen
• Symbolsk brug af evalueringer: når du laver evalueringer for at sige, at du har gjort det, men ikke har nogen intention om at bruge resultaterne til noget.
• Hvis man har lavet en dårlig evaluering, og er bevidst om det, men alligevel bruger den til at få nogle pointer frem –> fx eksemplet med 300-timers reglen, hvor embedsmændene godt vidste, at evalueringen ikke kunne sige noget om kausale effekter, men alligevel forsøgte at bruge det som et argument for den politik man gerne ville have gennemført

Question 35

Hvordan bør man som evaluator forholde sig til “misbrug” af ens evaluering?

Answer 35

Man kan diskutere hvor meget man som evaluator skal gøre når man har lavet sin evaluering og sender den afsted

På den ene side: man sender evalueringen afsted og så må folk bruge den som de vil

På den anden side: selvom jeg har sendt den afsted, så skal jeg sørge for at den bliver brugt korrekt og hvis man ser nogle der ikke bruger den korrekt så skal man gribe ind og forsøge at irettesætte den dårlige brug.

Question 36

Hvad er Oakland Projektet og hvad kan vi bruge det til?

Answer 36

Oakland projektet er en case fra USA, der er god til at bringe os ind i implementeringsforskningen. Den bliver ofte brugt til at forklare hvad der kan gå galt i en implementeringsproces og hvorfor implementering er så vigtigt.

Oakland-projektet i sin enkelthed: et ambitiøst amerikansk projekt fra 60’erne, der havde til formål at reducere arbejdsløsheden hos minoriteter i byen Oakland - projektet mislykkedes fuldstændigt: målet var skabe 1800 jobs til minoriteter, men efter to år var der skabt 12 jobs.

Hvad gik galt i Oakland? Teksten udleder 5 problemtyper:

• Praktisk-tekniske problemer/krav
• Det politiske spil
• Uenighed om midler trods enighed om mål
• Lange kæder af beslutningspunkter
• Uforenelige krav

Question 37

Hvad adskiller Schneider og Ingrams policy-typologi fra Vedungs?

Answer 37

Schneider og Ingram adskiller sig altså fra Vedungs typologi ved at inkludere antagelserne om målgruppen og aktør-adfærden for hver type policy-instrument → dvs. den er lidt mere udviklet i den forstand!

Question 38

Hvilke generelle udfordringer er der ved felt-eksperimenter?

Answer 38

1. Non-compliance ift. indsats: enheder i indsatsgruppe modtager ikke indsats eller der byttes om på enheder i treatment- og kontrolgruppe.
2. Effekten bestemmes af andet end treatment: fx Hawthorne-effekter eller ekstern indblanding
3. Forurening mellem grupper: hvis enheder i kontrolgruppen får adgang til treatment
4. Få enheder i lodtrækningen: gør det sværere at skabe balance mellem treatment- og kontrolgruppe –> og dermed sværere at estimere kausale effekter.
5. Etisk uforsvarligt: er det ok at frarøve nogen muligheden for treatment?
6. Skævt datafrafald: der er typisk flere fra kontrolgruppen der falder fra og ikke vil svare på eftermålinger.

Question 39

Hvilke generelle ulemper kan der være ved eksperimenter?

Answer 39

• Foregår ofte i et kunstigt miljø: folk ved ofte, at de deltager i et eksperiment, og det kan måske påvirke deres adfærd –> Hawthorne-effekter
• Hvis det er lodtrækningseksperimenter, så har folk selv valgt at deltage –> det er måske en speciel type enheder (folk der gerne vil ændre adfærd, folk der har særligt brug for hjælp eller andet), hvilket kan gøre resultaterne svære at generalisere til andre grupper.

Question 40

Hvad betyder det, at det er et LATE-estimat?

Answer 40

LATE står for “Local Average Treatment Effect” og betyder, at man kun måler effekten for den lokale gruppe, der complier med lodtrækningen.

Question 41

Hvad gik lodtrækningsforsøget med elevindragelse i folkeskolen ud på og hvad var resultaterne af det?

Answer 41

Det var et lodtrækningsforsøg med elevinddragelse i folkeskolens 8. klasse i dansk og matematik over et år (skolerne meldte sig selv).

Der var tale om 2 forskellige typer af indsatser, der varierede i omfang, men som begge bestod af en form for aktionslæringsforløb, der skal øge elevinddragelsen.
Forskel mellem indsats 1 og indsats 2:
- I indsats 2 (der er den mest omfangsrige) indgik der også konsulentbistand.

Design:
- De klyngerandomiserer på klasseniveau og bruger så treatmentklassernes parallelklasser som kontrolgruppe for dem –> en nærmest perfekt kontrolgruppe burde man mene.

Resultater:
- Elevinddragelsen øges særligt i dansk (for begge indsatser), mens det kun er indsats 2 der øger elevinddragelsen i matematik.

• Dvs. overordnet er indsats to den “bedste”.
• Indsatserne øger ikke elevernes faglige præstationer, trivsel, aktivitet i timerne osv. Det kan skyldes, at indsatserne ikke har været lang nok tid til at kunne påvirke disse ting.

Question 42

Hvad kan instrument-variable være en løsning på i felteksperimenter?

Answer 42

Instrumentvariable: variable der måler kausale effekter på enheder, der efterlever/indordner sig den treatment de har fået tilfældigt tildelt/ikke tildelt

To udfordringer ved felteksperimenter som IV kan løse:
- Treatment dilution: når enheder i treatmentgruppen ikke bliver treated.

• Treatment migration: når enheder i kontrolgruppen får del i den eksperimentelle indsats.
• Disse to ting kan udgøre en trussel for validiteten af -felteksperimenter - hvis folk i treatmentgruppen ikke nødvendigvis er blevet treated, så kan et ITT-estimat (intention to treat) komme til at underestimere den kausale effekt af treatment.

Løsning: instrument-variable kan løse begge disse problemer.

Question 43

Hvad er forskellen på ITT og LATE-estimater?

Answer 43

ITT: Sammenligner de grupper ud fra den originale randomiserede tildeling af treatment.
- Her går man ikke op i, hvorvidt folk har modtaget treatment eller ej, men bare hvorvidt de er blevet indstillet til gruppen. Derfor er ITT-estimater næsten altid for små ift. den konkrete effekt af treatment, da der altid vil være “non-compliance” → dog kan man argumentere for, at ITT er et mere realistisk estimat på, hvordan tingene fungerer i virkeligheden.

LATE: Brug af IV. Kan bruges til at måle den gennemsnitlige treatmenteffekt for de der rent faktisk modtager treatment (compliers) når de bliver tildelt det tilfældigt, men som ellers ikke ville have gjort det. Man får altså den “rene effekt” af treatment.

Question 44

Hvad betyder tærskelvariabel og tærskelværdi i forbindelse med RDD-designs?

Answer 44

Tærskelvariablen: den variabel enhederne inddeles på - den ting der bestemmer, hvorvidt man kommer i treatment- eller kontrolgruppe. Den skal være kontinuert.
- Fx hvornår man tildeles asyl i DK.

Tærskelværdi: Den værdi som interventionen slår til eller fra på på tærskelvariablen.
- Fx d. 1. juli

Question 45

Nævn nogle eksempler på tærskelvariable fra virkeligheden (ift. RDD-designs)

Answer 45

Output/outcome-mål: fx valgregler, der bestemmer hvem der får politisk magt (hvor 50% så er tærskelværdien).

Geografi/rum: fx individets placering ift. Huai floden i Kina, der har en deterministisk betydning for graden af forurening som borgerne oplever.

Socioøkonomiske kriterier: fx mål for velstand, der bestemmer hvem der har ret til at modtage sociale ydelser → fx grænser for hvornår man er fattig.

Tidslig variation: fx at hvornår på dagen du føder, betyder noget ift. hvor lang tid du får på hospitalet, da du kun må være der 2 døgn → så mødre der føder lige efter midnat får et længere ophold end mødre, der føder kort før midnat.

Question 46

Hvad er sammenhængen mellem effektevalueringer og samfundsøkonomiske evalueringer?

Answer 46

I de samfundsøkonomiske evalueringer forsøger vi at sætte omkostninger og gevinster, på de effekter vi har fundet frem til i effektevalueringer. Effektevalueringer er dermed super vigtige for at man kan lave en god samfundsøkonomisk evaluering.

En samfundsøkonomisk analyse bliver aldrig bedre end effektevalueringen der kommer før den.

Question 47

Hvad er samfundsøkonomiske analyser?

Answer 47

Samfundsøkonomiske analyser bruges til at lave en systematisk fremstilling af samtlige fordele (benefits)/ulemper (costs) ved at tiltag/policy –> og dermed om et tiltag medfører samfundsøkonomiske gevinster. Det er altså et redskab beslutningstagere kan bruge, til at vurdere hvorvidt man skal implementere et bestemt tiltag eller vælge mellem flere forskellige løsningsforslag på et område.

Question 48

Hvad forstår man ved “diskonteringsrentens tyranni”?

Answer 48

Diskonteringsrenten kan påvirke rangordningen af forskellige projekter: alt efter hvor lang tidshorisont de har → det stiller projekter med lang tidshorisont kritisk.

Det er det man kalder diskonteringsratens “tyranni”: ved samfundsøkonomiske analyser fremtvinger den en forholdsvis kort tidshorisont.

Question 49

Fortæl om lodtrækningsforsøget med tolærerordninger i den danske folkeskole

Answer 49

Et felteksperiment på 6. klassetrin. Skolerne meldte sig frivilligt og blev herefter trukket tilfældigt ud i treatment og kontrolgruppe (ud af stratificerede grupper baseret på nationale test scorer)

Klyngerandomiseres på skoleniveau: hele 6. årgang får samme indsats.

Undersøger to forskellige indsatser:

• 1) En ekstra uddannet lærer
• 2) En ekstra ressourceperson

Question 50

Fortæl om designet bag casen med starthjælpen (RDD-design)

Answer 50

Det var et design der blev opstillet for at måle om økonomiske reformer af integrationsydelser påvirker integrationen negativt ift. bosætning og tilknytning til arbejdsmarkedet.

De udnytter den empiriske situation, at ydelsen reduceres kraftigt fra den ene dag til den anden (tærskelværdi=1.juli 2002).

RDD-design: De sammenligner de to forskellige immigrantgrupper: 1) dem der fik opholdstilladelse før starthjælpsreformen 1. juli 2002 som derfor får kontanthjælp, og 2) dem der fik opholdstilladelse efter 1. juli 2002 og dermed får starthjælp. Der er sket en op til 40% reduktion i arbejdsmarkedsunderstøttelsen for de to grupper.

Fordi det burde være as-if random på hvilken side af tærskelværdien man får asyl, så kan man estimere den kausale effekt af reduktionen for de enheder, der ligger lige omkring værdien.

Question 51

Hvilket design lægger bag evalueringen af bostøttemetoden ICM fra casen med hjemløsestrategien?

Answer 51

Ikke et klassisk design.

De borgere der har modtaget ICM er treatmentgruppe og der etableres så en kontrolgruppe af andre hjemløse ud fra matching pba. baggrundskarakteristika.

Poul vil kalde det et form for DiD-design med asymmetriske/asynkrone treatment og kontrolgrupper - målingen finder ikke sted på samme tidspunkt.
- Det kan være et problem fordi der kan være tidsmæssige faktorer, der adskiller de forskellige grupper. Kontrolgruppens målinger er fra 2007-2008 mens treatmentgruppens er fra 2009-2010 - imellemtiden er der fx lige sket en finanskrise, som kan påvirke hvilken type af hjemløse man ser på de to forskellige tidspunkter.

Andre problemer med designet:

• Risiko for selvselektion ind i programmet
• Sagsbehandlerskøn
• Ingen signifikanstest af forskelle mellem grupperne: vi aner derfor ikke om der er effekter af metoden eller ej –> virkelig dårligt håndværk.

Question 52

Hvad handler Weiss & Tschirhart (1994) teksten om informationskampagner om?

Answer 52

En tekst der behandler informationskampagner som policy-instrument og går ind i, hvordan informationskampagner skal udarbejdes, for at være effektive.

Question 53

Hvilke ting kan i følge Weiss & Tschirhart (1994) øge effektiviteten af informationskampagner?

Answer 53

1. Fang din målgruppes/publikums opmærksomhed
   - Definer din målgruppe
   - Vælg det rigtige format
   - Skab opmærksomhed
2. Levér et forståeligt og troværdigt budskab
   - Tydeligt budskab
   - Troværdig kilde
   - Gentag budskabet/længden af budskabet
3. Levér et budskab der påvirker holdningen/forståelsen hos dit publikum
   - Giv ny information eller alternative løsninger
   - Tal til normer eller moralske forpligtigelser
   - Forsøg at ændre målgruppens værdier eller holdninger
4. Skab opbakkende sociale kontekster, der fører til det ønskede outcome
   - Involver dit publikum
   - Brug flere kanaler
   - Stimuler venner, naboer, kolleger osv.

Question 54

Hvad var designet bag evalueringen af de kriminalpræventive indsatser (DKS+ og Exit)?

Answer 54

Designet bag evalueringen er en simpel før-efter måling af enhederne der modtager indsatsen. Dvs. der er ingen kontrolgruppe at holde resultaterne op i mod, så i princippet kan vi ikke udtale os om kausalitet på baggrund af designet.

De laver så deres samfundsøkonomiske analyse på baggrund af dette før-efter-design, hvorfor denne også naturligt er meget mangelfuld.

OBS: Poul er meget skeptisk over for denne evaluering.

Problemer med før-efter-design i dette tilfælde:

• Ville grupperne ikke have udviklet sig i en “bedre” retning naturligt som de blev ældre?
• Selvselektion: det er unge, der er motiverede for at komme ud af kriminalitet der deltager i indsatsen.
• De forsøger at trække tråde ting langsigtede effekter fra andre undersøgelser, som de reelt ikke ved om vil findes i deres tilfælde: særligt grundet deres dårlige design.

Question 55

Hvad var designet bag evalueringen af MST i Danmark (Aarhus Kommune)?

Answer 55

Design: Før-efter design. Man har indsamlet data vedrørende de unges situation ved start (baseline), undervejs og til slut.

Ulemper ved designet:

• Mangler en kontrolgruppe - så vi kan ikke sikre os, at det er indsatsen der har effekterne eller om det er andre ting der spiller ind:
• Fx at de unge bare generelt udvikler sig en mere positiv retning (tids-trend)

Question 56

Hvad er en metaanalyse og hvornår er vi stødt på det?

Answer 56

En form for litteraturreview. Man samler tidligere evalueringer/studier og så prøver man på baggrund af det at uddrage den samlede effekt af indsatsen på tværs af studier.

Så vi fx på i casen om MST, hvor Cambell havde lavet en oversigt over tidligere studier af MST og ud fra den kiggede på de generelle effekter af indsatsen i forskellige lande.

Question 57

Hvordan kom evalueringen af 300-timers reglen til at indgå i et politisk spil?

Answer 57

300-timers regel: regel for gifte kontanthjælpsmodtagere der indeholdte et beskæftigelseskrav på 300 timers ustøttet arbejde over en periode på 2 år for at bevare retten til kontanthjælp.

Lovforslaget bag reglen blev fremsat af daværende beskæftigelsesminister Claus Hjort Frederiksen.

I 2008 foretog SFI en større evaluering af 300-timers-reglen.

Evalueringens “resultater” blev efterfølgende brugt af Beskæftigelsesministeriet som et tegn på, at deres politik havde den ønskede effekt og at reglen virker. Evalueringen kom dermed til at indgå i den politiske debat om 300-timers-reglen. Problemet var bare, at designet bag evalueringen IKKE kan bruges til at udtale sig om effekter.

Question 58

Hvad mener Jesper Tynell (2014) med, at politik nogen gange kan være forklædt som statistik?

Answer 58

Regeringer bruger nogengange (bevidst) ubrugelig statistik til at markedsføre deres politik - som fx i casen med 300-timers-reglen, hvor regeringen udemærket ved, at designet ikke tillader at man kan udtale sig om effekter, men stadig bruges til at sige, at tiltaget “virker efter hensigten”. Det er et godt eksempel på “misbrug” af evaluering.

Herudover handler teksten om, at embedsmænd står i et dilemma, fordi de skal levere argumenter for, at noget virker/ikke virker, ud fra statistik der er ubrugeligt til formålet. Man skal bare gøre sin opgave: finde beviser.