F2 - designs til effektevalueringer

Question 1

Hvilke typer af eksperimenter findes der?

Answer 1

Czibor et al. (2019)
- Laboratorie
- Kunstigt felteksperiment
- Framed felteksperiment
- Naturligt felteksperiment

Vurderes på baggrund af population (ekstern validitet), omgivelser (økologisk validitet), bevidsthed (hawthorne) og observationer (randomiseringsbias).

Question 2

Hvordan vurderes graden af ‘fieldness’

Answer 2

Jf. Hansen & Tummers (2020) og Eden (2017)
- Er interventionen realistisk?
- Møder deltagerne treatment i den virkelige verden?
- Er konteksten naturlig?
- Er den afhængige variabel et godt mål? Skud ud til common source bias

Question 3

Hvad rummer udfordringer med praktiske udfordringer? Giv et eksempel på en case, hvor det er et problem og et, hvor det er løst.

Answer 3

Helt low-key. Det kræver stor kontakt med enhederne f.eks. ift. implementering. Mindre kontrol og økonomiske omkostninger!

Løsning: Pilot-test og samarbejde

Udfordring: Væsentlig medfinansiering af tolærerordningen fra Andersen et al. (2018).

Question 4

Hvad rummer udfordringer med etik? Giv et eksempel på en case, hvor det er et problem og et, hvor det er løst.

Answer 4

Er det etisk forsvarligt at tildele treatment tilfældigt? To spørgsmål: Er der fundamentale forandringer og er der langsigtede konsekvenser?

Udfordring: Jones et al. (2019) ift. sundhedsprogrammer og arbejdsgiverens viden om sundhed eller afgift ift. pesticidplanen og konkurrenceforvridning.

Question 5

Hvad rummer udfordringer med for få enheder? Giv et eksempel på en case, hvor det er et problem og et, hvor det er løst.

Answer 5

Hvis LLN ikke slår igennem, opnås der ikke balance. Derudover statistisk power ift. afvise en usand nulhypotese (type ll fejl).

Løsning: Forsøg at maksimer N og lav kraftfuld treatment (stratificeret randomisering)

Udfordring: Nisa et al. (2019) og small sample bias.

Question 6

Hvad rummer udfordringer med random assignment? Giv et eksempel på en case, hvor det er et problem og et, hvor det er løst.

Answer 6

Fravær af succesfuld randomisering. Kan skyldes interesser i hvem, som ender i treatmentgruppen. Ved få enheder, kan LLN ikke slå igennem. Dårligt for intern validitet

Løsning: Andersen et al. (2018) ift. tolærerordning, hvor de bruger stratificeret randomisering

Udfordring: ?

Question 7

Hvad rummer udfordringer med skævt frafald? Giv et eksempel på en case, hvor det er et problem og et, hvor det er løst.

Answer 7

Systematisk manglende outcomedata. Ikke et problem, hvis ‘missing completely at random’.

Løsning: Afkoble data fra den uafhængige variabel (registerdata). Sammenligning med populationen.

Udfordring: Jones et al. (2019) ift. sundhedsprogrammer eller Lesner et al. (2020) ift. alkoholforbrug blandt unge.

Question 8

Hvad rummer udfordringer med ekskluderbarhed? Giv et eksempel på en case, hvor det er et problem og et, hvor det er løst.

Answer 8

Randomisering påvirker outcome gennem andre variable end treatment. Husk der skal være systematisk forskel på kontrol- og treatmentgruppen.

• Implementeringsfejl
• Hawthorne
• Demandeffekter og SDB
• Ekstern indblanding

Løsning: Viden om processen. Evt. langtidseffekter for at minimere hawthorne.

Udfordring: Ved tolærerordningen fra Andersen et al. (2018). BUPL forsøger at opkvalificere pædagogerne, der skal være ressourcepersoner, for at de præsterer bedre.

Question 9

Hvad rummer udfordringer med forurening? Giv et eksempel på en case, hvor det er et problem og et, hvor det er løst.

Answer 9

Treatmentgruppen påvirker kontrolgruppen under forsøget (spill-over eller displacement).

Løsning: Randomisering på klyngeniveau. Trade-off til statistisk power. Jakobsen et al. (2016) viser konkret forurening med parallelklasse og ren sammenligningsklasse (randomisering på klasseniveau).

Udfordring: Hjort et al. (2021), hvor borgmestre inviteres til et informationsmøde om en policy. De kan efterfølgende have informeret andre deltagere på konferencen om denne policy.

Question 10

Hvad rummer udfordringer med randomiseringsbias? Giv et eksempel på en case, hvor det er et problem og et, hvor det er løst.

Answer 10

Systematiske forskelle mellem dem, der deltager i forsøget og de, der ikke gør. Det sample vi kigger på, repræsenterer ikke populationen (selvselektion og eksklusionskriterier).

Løsning: Svært - naturlige eksperimenter.

Udfordring: Lesner et al. (2020) ift. tilmelding til eksperiment om alkohol (overvurdering af effekt) eller Jones et al. (2019) ift. sunde mennesker vil have et sundhedsprogram (undervurdering af effekt)

Question 11

Hvad rummer udfordringer med noncompliance? Giv et eksempel på en case, hvor det er et problem og et, hvor det er løst.

Answer 11

De enheder, som er tildelt treatment, modtager ikke treatment. De er non-compliers eller ikke-efterlevere. Det samme gælder for kontrolgruppen.

Løsning: Vælge mellem ITT (programeffekten) og IV-estimation (CACE med wald-estimator). Sidstnævnte giver LATE altså lokale effekter for de treatede.

Udfordring: Hjort et al. (2021), hvor kun 40% af de inviterede borgmestre mødte op til et informationsmøde (kigger kun på ITT).

Question 12

Hvad er IV-estimation?

Answer 12

Brug af instrumentvariable. Estimerer effekten af en uafhængig variabel gennem et instrument.

Ved mere end én treatment bruges 2SLS. Først bruger man tildeling af treatment som instrumentvariabel til at forklare compliance. Derefter estimeres outcome med denne del af compliance.

Ved én treatment svarer 2SLS til wald-estimatoren: ITT/andel af compliers (CACE).

Brug af instrumentvariable giver en LATE - altså en lokal effekt for de treatede.

Question 13

Hvad er styrker og svagheder ved et felteksperiment?

Answer 13

Styrker: Det er guldstandarden, da det tillader kausalestimater. Når treatment er tilfældigt tildelt, så er gruppens ens på alle andre parametre end treatment.

Hvis der er høj grad af fieldness, så er der også gode muligheder for generaliserbarhed.

Svagheder: Få eller ingen, hvis det er gennemført godt.

Question 14

Hvilke udfordringer kan der være ved et felteksperiment overordnet set?

Answer 14

Praktiske og etisk overvejelser.

Udfordringer for intern validitet (få enheder, random assignment, ekskluderbarhed, forurening og skævt frafald)

Udfordringer for ekstern validitet (randomiseringsbias og noncompliance).

Overvej desuden generaliseringspotentiale og udfordringer ved opskalering.

Question 15

Hvilke antagelser er der bag IV-estimation

Answer 15

1. Instrumentet skal være eksogent
2. Instrumentet skal have en kraftig effekt på treatment
3. Ekskluderbarhed

Kræver data på compliance og ikke bare tildeling.

Question 16

Hvad er fordele og ulemper ved ITT og CACE?

Answer 16

ITT: Programeffekten. Formentligt et konservativt skøn på effekten, men måske mere retvisende ift. en opskaleret effekt, hvor der formentlig også er problemer med compliance (adherence og kompetence).

CACE: En lokal effekt for de treatede. Angiver det sande effekt af treatment. Kræver et validt instrument.

Question 17

Hvilke typer af forurening er der?

Answer 17

Spill-over: Treatmentgruppen påvirker kontrolgruppen (f.eks. videndeling).

Displacement: Udfordringer rykker fysisk andre steder hen pga. treatment (f.eks. kriminalitet)

Question 18

Hvilke udfordringer er for eksperimenter ift. intern og ekstern validitet?

Answer 18

Kausal inferens og intern validitet
- tildeling af treatment (fravær af selvselektion)
- succesfuld randomisering og stort n
- skævt frafald
- excludability
- forurening

Statistisk inferens og ekstern validitet
- randomiseringsbias
- non-compliance

Målingsvaliditet ift. operationalisering af variable (common source bias) aka. fieldness

Question 19

Hvilke udfordringer er der for eksperimenter udover dem, som relaterer sig til intern og ekstern validitet?

Answer 19

Praktik, etik, opskalering og implementering!