F2 - Kausalitet og felteksperimenter Flashcards
Hvad beskriver Gerber & Green (2011) som 3 antagelser der skal gøre sig gældende før vi kan udtale os om average treatment effekt?
- Tilfældig tildeling af treatment: alle enheder skal have lige stor sandsynlighed for at få tildelt treatment.
- Excludability: Det er KUN treatment som enheden påvirkes af og ikke andre variabler.
- Non-interference: Enheder påvirkes ikke af andre enheder.
Hvad er ifl. Hansen & Tummers 2020 et felt eksperiment?
Tilfældig inddeling af treatment og kontrol, men hvor hvor den treatment er realistisk og foregår i den virkelige verden → Øger de intern validitet (s. 1).
Adskiller sig fra andre eksperimenter ift. “fieldness” (s. 2).
- Interventionen er realistisk
- Deltagere modtager treatment i den “virkelige verden”
- Konteksten af naturlig
resultatmål afspejler resultat af interesse
Hansen & Tummers 2020 beskriver en række overvejelser man skal gøre sig inden man laver et felteksperiment, hvad er disse?
Omkostninger: De er større end ved andre eksperimenter. Derfor bør man lave cost benefit analyser inden det kan betale sig at lave et felt eksperiment.
Praktiske forhold: Felt eksperimenter er svære at implementere. Svært at lave kontrol, samt man skal vente længe for at observere langtidseffekter.
Etik: Vigtigt at overveje, da felteksperimenter er interventioner i virkelighede.
Hvilke 3 elementer ift. den interne validitet i felteksperimenter skal man overveje (Hansen & Tummers 2020).
1: Excludability: At intet andet påvirker treatmentgruppen end treatment –> svært i felteksperimenter.
- Brud på antagelsen kan skylde: 1) implementeringsfejl, 2) Hawthorne effekter, 3) ekstern indblanding.
2: Interference: at enhederne påvirker hinanden. Dette skyldes spillover effects: at enheder i kontrol påvirker enheder i treatment og displacement: at folk rykker grundet treatment.
3: Attrition: Når man mangler outcome data. kan skyldes at enheder mangler af systematiske årsager eller nedslining: at folk falder fra.
Hvilke 2 elementer ift. den eksterne validitet i felteksperimenter skal man overveje (Hansen & Tummers 2020).
1: Non compliance: opstår når forsøgspersoner ikke overholder den eksperimentelle tilstand, de bliver tildelt.
2: Randomiseringsbias: Dem som tilmelder sig undersøgelse adskiller sig væsentligt fra dem, som ikke gør.
Hvordan løses problemer med Excludability, Interference og Attrition i følge Hansen og Tummers 2020.
Excludability: 1) at have indgående kendskab til både til felteksperimentets forhold og deltagernes reaktion hertil. 2) at behandle treatment og kontrol så ens som muligt.
Interference: 1) at undersøge om respondenter interargere med hinanden. 2) Mindske sandsynligheden for at denne interaktion kan ske.
Attrition: Kontakt respondenter oftere eller randomiser på et højere niveau: på gruppe niveau og derefter internt i disse grupper.
Hvordan løses problemer med Non-compliance og Randomiseringsbias i følge Hansen og Tummers 2020.
Non-compliance: Beslutte at man måler gennem ITT (intention to treat) og ignorerer non-compliers eller CACE (Compliers average casuel estimate) kausal effekten kun for dem der har fået treatment.
- Generelt mest ITT: da der kan være formål med at undersøge hvorfor de ikke har fået treament. (tyder på implementeringsfejl).
Randomiseringsbias: Vær opmærksom på hvorvidt de adskiller sig på balancetabeller. (har ikke fundet en løsning, andet end det er lort).
Hvad beskriver Lakens (2023), som logikken bag Statistisk power?
Power analyse: viser hvor stort et N man skal bruge ud fra at man antager treatment har en effekt og hvilken størrelse denne har.
Power bestemmes af to ting:
- Stikprøvestørrelsen: få fat i flere respondenter.
- Effektstørrelse: Kan prime i højere grad, så effekten bliver større.
Hvad er Angrist (2006) hovedresultater omkring IV-estimation.
IV-estimation kan løse problemer ved ITT og non-compliance.
Hvad er IV-estimation: at man benytter sig et mål, hvormed X påvirker Y, i stedet for X. –> komme udenom problemer med non-compliance da det er et andet mål end treatment.
Finder signifikante større effekter, efter brugen af IV-estimation på alternative metoder end anholdelse på hustruvalgt, end ved det klassiske design.
Hvad er de typiske udfordringer i felteksperimenter? (Gerber & Green, 2011)
A)Statistisk power
B) Random assignment
C) Randomiseringsbias
D) Praktiske udfordringer
E) Non-compliance
F) Forurening
G) Effekt bestemmes ikke af treatment
H) Skævt datafrafald
I) Etik
Hvordan beskrives statistisk power, og hvad er statistisk power afhængigt af?
Sandsynligheden for, at en statistisk test korrekt afviser nulhypotesen.
Det afhænger af ens effektstørrelse ( i samfundsvidenskaben har vi dog generelt små effektstørrelser) og af ens stikprøvestørrelse ( vores statiske power bliver større jo større vores stikprøve er i forhold til populationen). Jo større effektstørrelse, jo mindre behøver stikprøvestørrelsen være.
Hvad handler random assignment om?
Det handler om, at det er tilfældigt hvem, der får treatment.
Derfor skal man altid tjekke balancetabeller og sikre sig, at kontrol og indsats er ens på de væsentligste baggrundsvariable
Hvad handler randomiseringsbias om?
Hvis der er systematiske forskelle i, hvem der deltager og hvem der ikke gør?
Fx selvselektion: hvis dem der vælger at deltage i eksperiment ikke er repræsentative for befolkningnen. Kan være et problem ift. opskaleringsproblemer se evt H2
Hvilke løsninger er der på randomiseringsbias?
Flere naturlige feltkeksperimenter og ellers, at man rekrutterer så mange som muligt!
Hvad går non-compliance ud på?
Enheder i indsatsgruppen modtager ikke indsatsen
Ombytning af enheder mellem indsats og kontrolgruppe
Hvad dækker ITT, CACE og LATE over i forhold til at løse non-compliance?
ITT / Intention to treat–> Enheder placeres i deres oprindelige gruppe og man måler effekten af tildele indats og ikke nødvendigvis at få den
CACE / Complier average causal effect –> Effekt af at modtage treatment hos dem, der tager imod den når de får den tildelt.
LATE / Local average treatment effect –> Den effekt man måler via ens IV-estimation
Hvad dækker forurening over?
Det samme som non-inteference:
Har antagelse om, at det kun er personers egen tildeling i treatment og kontrol, der har indflydelse på potentielle outcomes- og ikke andre personers treatment
Hvilke forhold skaber brud på non-inteference antagelsen?
Spillover effects: hvis enheder i treatment-gruppen påvirker enheder i kontrolgruppen
Displacement: hvis problemer rykker andre steder hen på grund af treatment
Hvad går attrition ud på?
Det er hvis outcome data mangler. Det kan være, at vi har systematisk frafald i vores outcomes. Hvis vi dermed fjerner vores frafald fører det til ikke-tilfældigt udvalgte grupper.
Hvad går excludeability-antagelsen ud på?
At vi har en forventning om, at potentielle outcomes kun bestemmes af treatment og ikke af andre dele af eksperimentet: Denne antagelse kan typisk brydes af 3 faktorer:
Implementering
Hvis betjente slukker kameraer, når de vil (hvad undersøger vi præcist effekten af?)
Hawthorne effekter
Hvis betjente gør sig ekstra umage for at deeskalere, når de studeres
Ekstern indblanding
Hvis fagforening forsøger at yde ekstra hjælp til betjentene i kontrolgruppen fordi man ikke ønsker resultater af forsøget
Hvilke karakteristika har det ‘reneste’ felteksperiment?
- Studerer den population, vi er interesserede i
- Foregår i en naturlig kontekst
- Enheder ved ikke, de indgår i eksperimentet
- Alle deltager
Hvorfor er felteksperimenter gode?
- Gode muligheder for kausalinferens
- Eksperimentel realisme (det foregår i en naturlig kontekst)
- Gode muligheder for at evaluere policies –> relevans
Guldstandard for kausalitet i dette fag
Hvilke praktiske udfordringer findes der ved felteksperimenter?
- Kræver mere intensiv kontakt for at få fat på og vedholde eksperimentelle deltagere
- Er derfor også dyrere end andre studier
- Vi skal på at se langtidseffekter
- For mange problemer giver lodtrækning ikke mening
Angrist (2006) taler om typisk 2 problemer i undersøgelser inden for kriminologien: Hvilke to er disse?
Treatment dilution: Observationer i treatmentgruppen bliver ikke treated.
Treatment migration: Observationer i kontrolgruppen får treatment.
