F3 - Kausalitet i observationsstudier Flashcards
Hvad er ifølge Stuart (2010) “matching” og hvad er logikken bag.
Matching: Enhver metode der søger at balancere forskellen i baggrundsvariabler mellem treatment og kontrolgruppe.
Intuition: Matching beskriver konstruktionen af en kontrolgruppe, som ligner treatmentgruppen på en eller “helst” flere nøglevariabler. (s. 3-5).
Tilgang til matching: Forsøg på at finde observationer i kontrolgruppen, der ligner treatmentgruppen. Vi vælger altså kontrolobservationer til enten at være med eller ude for kontrolgruppen ud fra om de matcher.
Hvad er de mest almindelige måder at matche på? (Stuart, 2010)
Eksakt matching: Alle baggrundsvariable skal være ens. Ikke hensigtsmæssigt når man har mange variable med mange værdier
Propensity Score Matching: Matcher ud for en gennemsnitsværdi for, hvor sandsynligt det er man får treatment
Hvilke forskellige måder kan man udvælge matches på?
En til en matching: Man matcher en fra kontrolgruppen med en fra treatmentgruppen, ud fra hvilke er de bedste match (mindste distance fra). resten bliver smidt ud.
K-nærmeste-nabo-matching: Du vælger det bedste match, og så den næstbedste osv. indtil du rammer det antal du skal bruge.
Radius matching: Du bestemmer hvad et acceptabelt match er, og matcher derefter alle i denne gruppe.
Hvordan kan man i følge Stuart (2010) bruge vægte i matching?
I stedet for bare at være ude eller inde, vil et medlem af kontrolgruppen få en vægt alt efter hvor tæt den er på en fra treatmentgruppen, eller hvor meget den bidrager til at få kontrolgruppen til at ligne treatmentgruppen.
Observationer i kontrolgruppen som ligner treatmentgruppen, ift. propencity score mest, får altså de største vægte og dem der ligner mindst de laveste vægte. Samt omvendt ift. treatmentgruppen sammenlignet med kontrolgruppen.
Hvilke 3 antagelser er ifølge Stuart (2010) gældende før man kan matche.
Conditional independence assumption: Matching skal ske på alle nøglevariabler. Det vil sige at man efter matching kan antage at treatmenttildeling er uafhængigt af potentielle outcomes.
Common Support: Matching, uanset metode, forudsætter at der er passende kontrolobservationer at matche med. Hvis ikke er antagelsen om common support opfyldt.
Balance: er antagelsen om at vores matching fjerner forskelle mellem kontrol og treatmentgruppen på nøglevariabler.
Hvordan definerer Peikes et al. (2008) Propensity score matching (PSM) og hvilke problematikker er der ved metoden?
Propensity score matching svarer til den forudsagte sandsynlighed for at få treatment, givet individets værdier på de variable, der er inkluderet i regressionsmodellen.
Kritikpunkter:
PSM kan lede til mere ubalance i resultaterne, da det kan forudsagdes af mange ting.
Problemet er at enheder kan matche ud fra nogle gennemsnit –> selvom de faktisk varierer en del på disse variabler.
ERGO: vær påpasselig med at bruge det.
Hvad finder Peikes et al. (2008) ift. brugen af Propensity score matching (PSM) til at undersøge State Partnership initiative.
State partnership initiative: Et af de første forsøg til at fremme beskæftigelse blandt handikappede: gode vilkår for PSM.
Hvad gik galt:
Deltagernes motivation som største hurdle: PSM fejlede, fordi personer i treatmentgruppen meldte sig frivilligt til at deltage i programmet baseret på faktorer, der enten ikke kan observeres eller typisk ikke er indsamlet i administrative data (fx motivation) = selvselektion skaber stadig bias.
= Budskabet er, at design kommer først! Man skal forsøge at danne en kontrolgruppe, der ligner indsatsgruppen så godt som muligt
= PSM er ikke den gyldne standard → Der er mange problemer med denne metode
= for alle undersøgelser lavet fandt de at PSM fandt signifikante større effekter, mens eksperimentet fandt insignifikante.
Hvad er ifølge Abadie et al. (2010) syntetisk kontrol metode og hvad er formålet bag det?
Syntetisk kontrol metode: håndterer problemet med at finde en passende kontrolgruppe, ved at skabe en syntetisk/kunstig kontrol, som er det vægtede gennemsnit af kontrolenheder, som bedst ligner treatmentgruppens karakteristika i perioden før treatment. Man laver altså en syntetisk kontrolgruppe, som kan måle den kontrafaktiske situation.
Formål: at tjekke hvordan en effekt ville se ud, hvis man sammenligner treatment med en række kontrolenheder der vægtet på samme måde som treatmentenheder.
Motivation: Metoden bliver anvendt i en situation, hvor en enhed implementerer en reform fx. en by, en kommune eller et land hvor det kan være svært at finde en lignende kontrolgruppe. Da der er for mange forskellige variabler.
Løser dermed mange af problemerne ved komparative casestudier, som har det svært ved at estimere kausale studier: (s. 496 - 497).
Hvordan laver man robusthedscheck ift. syntetisk kontrol metode?
Robusthedscheck:
For at tjekke om resultaterne er korrekte laver man placebotest, hvorved at treatment tildeles en af kontrolenheder for at tjekke metodens sensitivitet.
Analyser om resultaterne er konsistente under forskellige specifikationer af modellen.
Hvad var resultaterne af Abadie et al. (2010) syntetiske kontrol undersøgelse af Californiens tobaklov 99.
Californias tobaklov 99’s resultater:
Tobaklov fra 1988 som frem mod 1999 sænkede antal rygere med 30 %.
De laver en syntetisk kontrol af 19 andre stater, for at se om denne lov ville have haft samme effekt.
De finder at det er meget usandsynligt at samme lov ville have haft en effekt af denne størrelse på antal rygere, cirka 0.0026 (s. 503).
Samtidig viser de at effekterne af tobakloven er meget større end man først havde forventet.
Hvordan kan RDD design beskrives helt kort? Hvad er ifølge Olsen (2014) lokken bag RDD design?
Et naturligt eksperiment, hvor man bruger en bestemt tærskelværdi på en tærskelvariabel til at opdele enheder i treatment- og kontrolgruppe
Regressiondiskontinuitetsdesign (RDD): udnytter situationer, hvor vi kan observere en variabel, der ved en given værdi opdeler observationer i en kontrol- og indsatsgruppe. Ved at udnytte reglers “tilfældige” inddeling af kontrol og treatmentgrupper, kan man løse problemerne ved (selv)selektion og opnå kausalitet. (s. 42).
Logik: ved at kigge før/efter en lov kan man udelukke at kontrol og treatment har haft nogen effekt på hvorvidt de er i treatment og kontrol. Formindsker Cofounding problem: at baggrundsvariabler påvirker treatment. (s. 43).
Hvad er Tærskelvariablen og tærskelværdien samt forskellen på sharp og fuzzy RDD?
Tærskelvariabel: en kontinuer variabel, som vi kan observere for alle enheder. Tærskelværdien bestemmer, om en enhed tilhører kontrol eller indsatsgruppen.
Kan være: output/outcome mål, geografi, socioøkonomiske kriterier samt tid/timing. (s. 46).
Tærskelværdien: er det punkt på tærskelværdien, hvor observationer overgår fra kontrol- til indsatsgruppen.
Sharp RDD: Deterministisk opdeling, hvor at ved kendskab til observationernes værdier på tærskelværdien, kan man også vide sig sikker på om de tilhører kontrol eller treatmentgruppen.
Fuzzy RDD: Hvor observationer på begge side af tærskelværdien kan være endt i enten kontrol eller treatment. Dermed kan en tærskelværdi kun fortælle sandsynligheden for hvor de er endt og giver dermed ikke sikkerhed omkring observationens interventions status. Her er der udviklet forskellige instrumenter til at vurdere hvilken gruppe observationer tilhører.
Hvilke antagelser er der bag RDD?
Hovedantagelse: Observationer omkring tærskelværdien har ikke haft mulighed for at selvselektere sig ind på en særlig side af tærskelværdien og at de ikke er blevet placeret af andre –> dermed skal observationer omkring denne tærskel opfylde at være tilnærmelsesvis tilfældig (as if random). = Dermed burde der ikke være andre forhold, der varierer systematisk før treatment.
Kontinuitetsantagelsen: Undersøg om der er forskydninger eller ujævnhed omkring tærskelværdien → kunne indikere at observationer har haft mulighed for selv at påvirke deres placering.
Hvordan tjekker man antagelser bag RD?
Ift. hovedantagelsen:
Kvalitativt: tærsklen skal være arbitrær og ukendt.
Kvantitativt: Undersøg forskelle i snævert vindue omkring tærsklen samt tjekke om de er systematiske forskellige på afhængige variabel og tærskelværdien i perioden før opdeling.
ift. kontinuitetsantagelsen:
Undersøg om der er forskydninger eller ujævnheder omkring tærskelværdien.
kvalitativ argumenter: sæt dig ind i de involverede regler og aktører.
Kvantitativ argumenter: undersøg om der er spring i andre variabler en udfaldsvariablen nær tærskelværdien.
Hvad er nogle vigtige overvejelser, man skal gøre sig ift. RDD?
Hvor stort et vindue skal man inkludere i sit RDD: balancegang mellem at have nok observationer, samtidig med at man sørger for at antagelser kan overholdes. Generelt hvis forfatteren ikke snakker om dette, skal du kommentere på det. (s. 51)
At overveje hvordan den funktionelle form på ens udfaldsvariabel skal se ud. (s. 50).
