RDD Flashcards
Intuitionen i RDD-designs
Man kan identificere kausale effekter af en treatment, hvis den “slås til” på et bestemt tidspunkt på en given variabel.
Hvorfor kan man estimere kausale effekter omkring cut-off?
Vi kan estimere effekten lige ved grænsen - det er næsten tilfældigt om du ender på lige den ene eller anden side af tærsklen.
De enheder der ligger lige ved tærsklen er gode kontrafaktiske enheder for hinanden - fordi der er noget tilfældighed til stede.
Så vi har et lokalt naturligt eksperiment lige omkring den her tærskel
Tærskelvariabel
Den variabel, hvor treatment slås til på.
Cut-off/tærskel
Det punkt hvor treatment slås til.
Typiske cut-offs i litteraturen
Valgresultater
Populationsstørrelser
Testscores
Performance-mål
Skarpt vs. fuzzy RDD
Skarpt: Når alle enheder complier med treatment. Dvs. alle dem der har en score høj nok til at få treatment får treatment.
Fuzzy: Når der ikke er fuld compliance. Dvs. nogle enheder, der har en score høj nok til at give dem treatment, ikke modtager treatment alligevel (eller hvis nogen i kontrolgruppen fejlagtigt får treatment)
Det kan fx være hvis den treatment man kan få, når man overskrider en bestemt score, er frivillig.
Hvad er den identificerende antagelse i RDD?
Kontinuitet i potentielle outcomes over cut-off:
- Funktionerne vil fortsætte over tærsklen → dvs. vores funktioner for gruppernes potentielle outcomes kan ekstrapoleres til cut-off.
- Det skal være “as if random” på hvilken side af cut-off en enhed lander
Hvad kan true den identificerende antagelse i RDD?
Hvis der er selektion omkring cut-off: folk må ikke kunne manipulere med deres score på tærskelvariablen, således at de kan selvselektere ind på den mest fordelagtige side af cut-off.
Hvis cut-off er valgt med vilje for at forfordele bestemte typer
Hvordan kan man validere sit RDD?
Modsat mange andre designs giver RD-designs mange muligheder for at validere ens design.
1: Kvalitativ evidens om selektionsmuligheder
- Ud fra det kendskab vi har til tildelingen af treatment, virker det så plausibelt, at enhederne kan selvselektere ind på den mest fordelagtige side af cut-off?
2: Test af cut-off på placebo-outcomes
- Fx din variabel året før eller kovariater bestemt før cut-off (balancetabel)
- Vi vil ikke se nogen effekter på disse variable.
- Det skal bakke op om vores identificerende antagelse: vi vil kun se ændringer på Y-variable, der kan være påvirket af vores treatment.
3: Test af placebo-cut-offs
- Udskift dit cut-off punkt med et andet fiktivt cut-off og se om du her finder effekter - det skulle du helst ikke.
4: Densitetstest af tærskelvariablen
- Antallet af enheder lige før og efter cut-off må helst ikke afvige så meget fra hinanden - det ville tyde på, at enhederne kunne manipulere med deres værdier. Så densiteten skal helst være den samme på begge sider.
Local polynomial point estimation
En smart metode til at estimere effekterne i vores RDD
Intuition:
Lige ved tærkslen på 0 kan vi observere outcome både som treated og ikke-treated.
Vi bruger datapunkterne lige rundt om tærsklen fra begge sider til at danne funktioner, som vi kan bruge til at ekstrapolere data til punktet 0 for begge grupper og se de kontrafaktiske udfald
Vi fokuserer altså på de observationer, der giver os det bedste bud på, hvad der vil ske omkring cut-off (fordi vi kun kigger inden for en bestemt bandwith)
Så vores bedste bud på den kausale effekt er forskellen mellem de to linjer/de to forventede værdier lige ved grænsen.
Valg af bandwith/rækkevidde
Bandwith: rækkevidden væk fra cut-off
Trade-off i valg af bandwith: Bias vs varians/præcision
- Unbiased estimat: Jo tættere på cut-off, jo mere sikre er vi på, at den lineære regression er et godt gæt på effekten ved cut-off.
- Efficient estimat: Hvis vi går tæt på cut-off, så mister vi mange observationer. Vi baserer altså vores modeller på meget få enheder - så bliver vores estimater mere upræcise.
Valg af kernel
Kernel: vægtmatrix
Man bruger ofte en triangular-kernel:
- Vægter data på en måde, så datapunkter tættere på cut-off vægter mere (formet som en triangel omkring cut-off).
Så enhederne helt ude ved rækkeviddens max vægter 0 - og så vægter de mere og mere ind mod cut-off derfra.
To problemer med local polynomial point estimation
1: Lav statistisk power pr. design
Power er påvirket af: - Antal enheder - Effektstørrelse - Varians Vi har generelt ikke så mange enheder i RDD. Selv hvis vi tilføjer flere enheder, så gør vi normalt bare vores rækkevidde mindre (og dermed sletter enheder igen).
2: Forskerfriheder
- Du kan selv vælge din rækkevidde, vægtning osv, funktionel form osv. Du kan vælge det, der får dine resultater til at se bedst ud.
Forskel mellem RDD og ITS
I et ITS-design er “cut-off” et tidspunkt. Vi har altid tid ud af X-aksen på et ITS-design.
- I et ITS-design tager det ofte lidt tid før at effekterne indfinder sig - og så ville vi finde en effekt på 0, hvis vi brugte et RDD-design.
Men hvis vi har situationer, hvor vi på et bestemt tidspunkt i tid (cut-off) forventer et stort umiddelbart hop (LIGE ved cut-off), så kan man godt bruge RDD i stedet for ITS.
Problemer med generaliserbarhed i RDD
RDD er generelt ekstremt LATE (lokale effekter)
Kan kun sige noget om, hvad der sker for enhederne lige ved cut-off.
Så for alle de andre ved vi faktisk ikke, hvad den kausale effekt er.
Hvis vi skal generalisere bredere ud fra vores RDD, skal vi gøre os mange antagelser: fx at menneskerne væk fra cut-off ikke adskiller sig fra dem tæt på cut-off.
