F2 - Kausalitet og felteksperimenter Flashcards
Hvad beskriver Gerber & Green (2011) som 3 antagelser der skal gøre sig gældende før vi kan udtale os om average treatment effekt?
- Tilfældig tildeling af treatment: alle enheder skal have lige stor sandsynlighed for at få tildelt treatment.
- Excludability: Det er KUN treatment som enheden påvirkes af og ikke andre variabler.
- Non-interference: Enheder påvirkes ikke af andre enheder.
Hvad er ifl. Hansen & Tummers 2020 et felt eksperiment?
Tilfældig inddeling af treatment og kontrol, men hvor hvor den treatment er realistisk og foregår i den virkelige verden → Øger de intern validitet (s. 1).
Adskiller sig fra andre eksperimenter ift. “fieldness” (s. 2).
- Interventionen er realistisk
- Deltagere modtager treatment i den “virkelige verden”
- Konteksten af naturlig
resultatmål afspejler resultat af interesse
Hansen & Tummers 2020 beskriver en række overvejelser man skal gøre sig inden man laver et felteksperiment, hvad er disse?
Omkostninger: De er større end ved andre eksperimenter. Derfor bør man lave cost benefit analyser inden det kan betale sig at lave et felt eksperiment.
Praktiske forhold: Felt eksperimenter er svære at implementere. Svært at lave kontrol, samt man skal vente længe for at observere langtidseffekter.
Etik: Vigtigt at overveje, da felteksperimenter er interventioner i virkelighede.
Hvilke 3 elementer ift. den interne validitet i felteksperimenter skal man overveje (Hansen & Tummers 2020).
1: Excludability: At intet andet påvirker treatmentgruppen end treatment –> svært i felteksperimenter.
- Brud på antagelsen kan skylde: 1) implementeringsfejl, 2) Hawthorne effekter, 3) ekstern indblanding.
2: Interference: at enhederne påvirker hinanden. Dette skyldes spillover effects: at enheder i kontrol påvirker enheder i treatment og displacement: at folk rykker grundet treatment.
3: Attrition: Når man mangler outcome data. kan skyldes at enheder mangler af systematiske årsager eller nedslining: at folk falder fra.
Hvilke 2 elementer ift. den eksterne validitet i felteksperimenter skal man overveje (Hansen & Tummers 2020).
1: Non compliance: opstår når forsøgspersoner ikke overholder den eksperimentelle tilstand, de bliver tildelt.
2: Randomiseringsbias: Dem som tilmelder sig undersøgelse adskiller sig væsentligt fra dem, som ikke gør.
Hvordan løses problemer med Excludability, Interference og Attrition i følge Hansen og Tummers 2020.
Excludability: 1) at have indgående kendskab til både til felteksperimentets forhold og deltagernes reaktion hertil. 2) at behandle treatment og kontrol så ens som muligt.
Interference: 1) at undersøge om respondenter interargere med hinanden. 2) Mindske sandsynligheden for at denne interaktion kan ske.
Attrition: Kontakt respondenter oftere eller randomiser på et højere niveau: på gruppe niveau og derefter internt i disse grupper.
Hvordan løses problemer med Non-compliance og Randomiseringsbias i følge Hansen og Tummers 2020.
Non-compliance: Beslutte at man måler gennem ITT (intention to treat) og ignorerer non-compliers eller CACE (Compliers average casuel estimate) kausal effekten kun for dem der har fået treatment.
- Generelt mest ITT: da der kan være formål med at undersøge hvorfor de ikke har fået treament. (tyder på implementeringsfejl).
Randomiseringsbias: Vær opmærksom på hvorvidt de adskiller sig på balancetabeller. (har ikke fundet en løsning, andet end det er lort).
Hvad beskriver Lakens (2023), som logikken bag Statistisk power?
Power analyse: viser hvor stort et N man skal bruge ud fra at man antager treatment har en effekt og hvilken størrelse denne har.
Power bestemmes af to ting:
- Stikprøvestørrelsen: få fat i flere respondenter.
- Effektstørrelse: Kan prime i højere grad, så effekten bliver større.
Hvad er Angrist (2006) hovedresultater omkring IV-estimation.
IV-estimation kan løse problemer ved ITT og non-compliance.
Hvad er IV-estimation: at man benytter sig et mål, hvormed X påvirker Y, i stedet for X. –> komme udenom problemer med non-compliance da det er et andet mål end treatment.
Finder signifikante større effekter, efter brugen af IV-estimation på alternative metoder end anholdelse på hustruvalgt, end ved det klassiske design.
Hvad er de typiske udfordringer i felteksperimenter? (Gerber & Green, 2011)
A)Statistisk power
B) Random assignment
C) Randomiseringsbias
D) Praktiske udfordringer
E) Non-compliance
F) Forurening
G) Effekt bestemmes ikke af treatment
H) Skævt datafrafald
I) Etik
Hvordan beskrives statistisk power, og hvad er statistisk power afhængigt af?
Sandsynligheden for, at en statistisk test korrekt afviser nulhypotesen.
Det afhænger af ens effektstørrelse ( i samfundsvidenskaben har vi dog generelt små effektstørrelser) og af ens stikprøvestørrelse ( vores statiske power bliver større jo større vores stikprøve er i forhold til populationen). Jo større effektstørrelse, jo mindre behøver stikprøvestørrelsen være.
Hvad handler random assignment om?
Det handler om, at det er tilfældigt hvem, der får treatment.
Derfor skal man altid tjekke balancetabeller og sikre sig, at kontrol og indsats er ens på de væsentligste baggrundsvariable
Hvad handler randomiseringsbias om?
Hvis der er systematiske forskelle i, hvem der deltager og hvem der ikke gør?
Fx selvselektion: hvis dem der vælger at deltage i eksperiment ikke er repræsentative for befolkningnen. Kan være et problem ift. opskaleringsproblemer se evt H2
Hvilke løsninger er der på randomiseringsbias?
Flere naturlige feltkeksperimenter og ellers, at man rekrutterer så mange som muligt!
Hvad går non-compliance ud på?
Enheder i indsatsgruppen modtager ikke indsatsen
Ombytning af enheder mellem indsats og kontrolgruppe
