F2 - Kausalitet og felteksperimenter Flashcards

1
Q

Hvad beskriver Gerber & Green (2011) som 3 antagelser der skal gøre sig gældende før vi kan udtale os om average treatment effekt?

A
  1. Tilfældig tildeling af treatment: alle enheder skal have lige stor sandsynlighed for at få tildelt treatment.
  2. Excludability: Det er KUN treatment som enheden påvirkes af og ikke andre variabler.
  3. Non-interference: Enheder påvirkes ikke af andre enheder.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Hvad er ifl. Hansen & Tummers 2020 et felt eksperiment?

A

Tilfældig inddeling af treatment og kontrol, men hvor hvor den treatment er realistisk og foregår i den virkelige verden → Øger de intern validitet (s. 1).

Adskiller sig fra andre eksperimenter ift. “fieldness” (s. 2).
- Interventionen er realistisk
- Deltagere modtager treatment i den “virkelige verden”
- Konteksten af naturlig
resultatmål afspejler resultat af interesse

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Hansen & Tummers 2020 beskriver en række overvejelser man skal gøre sig inden man laver et felteksperiment, hvad er disse?

A

Omkostninger: De er større end ved andre eksperimenter. Derfor bør man lave cost benefit analyser inden det kan betale sig at lave et felt eksperiment.

Praktiske forhold: Felt eksperimenter er svære at implementere. Svært at lave kontrol, samt man skal vente længe for at observere langtidseffekter.

Etik: Vigtigt at overveje, da felteksperimenter er interventioner i virkelighede.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Hvilke 3 elementer ift. den interne validitet i felteksperimenter skal man overveje (Hansen & Tummers 2020).

A

1: Excludability: At intet andet påvirker treatmentgruppen end treatment –> svært i felteksperimenter.
- Brud på antagelsen kan skylde: 1) implementeringsfejl, 2) Hawthorne effekter, 3) ekstern indblanding.

2: Interference: at enhederne påvirker hinanden. Dette skyldes spillover effects: at enheder i kontrol påvirker enheder i treatment og displacement: at folk rykker grundet treatment.

3: Attrition: Når man mangler outcome data. kan skyldes at enheder mangler af systematiske årsager eller nedslining: at folk falder fra.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Hvilke 2 elementer ift. den eksterne validitet i felteksperimenter skal man overveje (Hansen & Tummers 2020).

A

1: Non compliance: opstår når forsøgspersoner ikke overholder den eksperimentelle tilstand, de bliver tildelt.

2: Randomiseringsbias: Dem som tilmelder sig undersøgelse adskiller sig væsentligt fra dem, som ikke gør.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Hvordan løses problemer med Excludability, Interference og Attrition i følge Hansen og Tummers 2020.

A

Excludability: 1) at have indgående kendskab til både til felteksperimentets forhold og deltagernes reaktion hertil. 2) at behandle treatment og kontrol så ens som muligt.

Interference: 1) at undersøge om respondenter interargere med hinanden. 2) Mindske sandsynligheden for at denne interaktion kan ske.

Attrition: Kontakt respondenter oftere eller randomiser på et højere niveau: på gruppe niveau og derefter internt i disse grupper.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Hvordan løses problemer med Non-compliance og Randomiseringsbias i følge Hansen og Tummers 2020.

A

Non-compliance: Beslutte at man måler gennem ITT (intention to treat) og ignorerer non-compliers eller CACE (Compliers average casuel estimate) kausal effekten kun for dem der har fået treatment.
- Generelt mest ITT: da der kan være formål med at undersøge hvorfor de ikke har fået treament. (tyder på implementeringsfejl).

Randomiseringsbias: Vær opmærksom på hvorvidt de adskiller sig på balancetabeller. (har ikke fundet en løsning, andet end det er lort).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Hvad beskriver Lakens (2023), som logikken bag Statistisk power?

A

Power analyse: viser hvor stort et N man skal bruge ud fra at man antager treatment har en effekt og hvilken størrelse denne har.

Power bestemmes af to ting:
- Stikprøvestørrelsen: få fat i flere respondenter.
- Effektstørrelse: Kan prime i højere grad, så effekten bliver større.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Hvad er Angrist (2006) hovedresultater omkring IV-estimation.

A

IV-estimation kan løse problemer ved ITT og non-compliance.

Hvad er IV-estimation: at man benytter sig et mål, hvormed X påvirker Y, i stedet for X. –> komme udenom problemer med non-compliance da det er et andet mål end treatment.

Finder signifikante større effekter, efter brugen af IV-estimation på alternative metoder end anholdelse på hustruvalgt, end ved det klassiske design.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Hvad er de typiske udfordringer i felteksperimenter? (Gerber & Green, 2011)

A

A)Statistisk power
B) Random assignment
C) Randomiseringsbias
D) Praktiske udfordringer
E) Non-compliance
F) Forurening
G) Effekt bestemmes ikke af treatment
H) Skævt datafrafald
I) Etik

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Hvordan beskrives statistisk power, og hvad er statistisk power afhængigt af?

A

Sandsynligheden for, at en statistisk test korrekt afviser nulhypotesen.

Det afhænger af ens effektstørrelse ( i samfundsvidenskaben har vi dog generelt små effektstørrelser) og af ens stikprøvestørrelse ( vores statiske power bliver større jo større vores stikprøve er i forhold til populationen). Jo større effektstørrelse, jo mindre behøver stikprøvestørrelsen være.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Hvad handler random assignment om?

A

Det handler om, at det er tilfældigt hvem, der får treatment.
Derfor skal man altid tjekke balancetabeller og sikre sig, at kontrol og indsats er ens på de væsentligste baggrundsvariable

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Hvad handler randomiseringsbias om?

A

Hvis der er systematiske forskelle i, hvem der deltager og hvem der ikke gør?
Fx selvselektion: hvis dem der vælger at deltage i eksperiment ikke er repræsentative for befolkningnen. Kan være et problem ift. opskaleringsproblemer se evt H2

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Hvilke løsninger er der på randomiseringsbias?

A

Flere naturlige feltkeksperimenter og ellers, at man rekrutterer så mange som muligt!

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Hvad går non-compliance ud på?

A

Enheder i indsatsgruppen modtager ikke indsatsen
Ombytning af enheder mellem indsats og kontrolgruppe

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Hvad dækker ITT, CACE og LATE over i forhold til at løse non-compliance?

A

ITT / Intention to treat–> Enheder placeres i deres oprindelige gruppe og man måler effekten af tildele indats og ikke nødvendigvis at få den

CACE / Complier average causal effect –> Effekt af at modtage treatment hos dem, der tager imod den når de får den tildelt.

LATE / Local average treatment effect –> Den effekt man måler via ens IV-estimation

17
Q

Hvad dækker forurening over?

A

Det samme som non-inteference:
Har antagelse om, at det kun er personers egen tildeling i treatment og kontrol, der har indflydelse på potentielle outcomes- og ikke andre personers treatment

18
Q

Hvilke forhold skaber brud på non-inteference antagelsen?

A

Spillover effects: hvis enheder i treatment-gruppen påvirker enheder i kontrolgruppen

Displacement: hvis problemer rykker andre steder hen på grund af treatment

19
Q

Hvad går attrition ud på?

A

Det er hvis outcome data mangler. Det kan være, at vi har systematisk frafald i vores outcomes. Hvis vi dermed fjerner vores frafald fører det til ikke-tilfældigt udvalgte grupper.

20
Q

Hvad går excludeability-antagelsen ud på?

A

At vi har en forventning om, at potentielle outcomes kun bestemmes af treatment og ikke af andre dele af eksperimentet: Denne antagelse kan typisk brydes af 3 faktorer:
Implementering
Hvis betjente slukker kameraer, når de vil (hvad undersøger vi præcist effekten af?)

Hawthorne effekter
Hvis betjente gør sig ekstra umage for at deeskalere, når de studeres

Ekstern indblanding
Hvis fagforening forsøger at yde ekstra hjælp til betjentene i kontrolgruppen fordi man ikke ønsker resultater af forsøget

21
Q

Hvilke karakteristika har det ‘reneste’ felteksperiment?

A
  • Studerer den population, vi er interesserede i
  • Foregår i en naturlig kontekst
  • Enheder ved ikke, de indgår i eksperimentet
  • Alle deltager
22
Q

Hvorfor er felteksperimenter gode?

A
  • Gode muligheder for kausalinferens
  • Eksperimentel realisme (det foregår i en naturlig kontekst)
  • Gode muligheder for at evaluere policies –> relevans
    Guldstandard for kausalitet i dette fag
23
Q

Hvilke praktiske udfordringer findes der ved felteksperimenter?

A
  • Kræver mere intensiv kontakt for at få fat på og vedholde eksperimentelle deltagere
  • Er derfor også dyrere end andre studier
  • Vi skal på at se langtidseffekter
  • For mange problemer giver lodtrækning ikke mening
24
Q

Angrist (2006) taler om typisk 2 problemer i undersøgelser inden for kriminologien: Hvilke to er disse?

A

Treatment dilution: Observationer i treatmentgruppen bliver ikke treated.

Treatment migration: Observationer i kontrolgruppen får treatment.