At analysere eksperimenter Flashcards
Hvilke to måder anbefaler G&G at man inddrager kontrolvariable i ens eksperiment?
- For at reskalere den afhængige variabel
Enten vha. DiD eller inddragelse af kontrolvariable, der kan forklare Y.
- Som tjek af balance mellem grupper
Hvordan kan kontrolvariable bruges til at reskalere vores afhængige variabel?
To metoder (der begge mindsker varians –> øger power)
- Lav DiD: vores afhængige variabel bliver nu forskellen mellem gruppernes udvikling i stedet for gruppernes absolutte niveau.
- Inkluder pre-treatment kovariater: Inddrag pretreatment kovariater, der kan forklare noget af variationen på Y.
Hvad er blocking?
En måde at bruge kovariater i sine eksperimenter.
Man inddeler på forhånd sin stikprøve i forskellige blocks baseret på værdier på variable, der påvirker dit Y.
Inden for hver block tildeler du så treatment/kontrol tilfældigt.
Hvorfor er det bedre at blocke på kovariater (på forhånd) end at inddrage kovariaterne som kontrol i ens regression?
Det imødekommer problemer med p-hacking: forskeren gør sine overvejelser offentlige.
Inklusion af kontrolvariable i små stikprøver kan skabe biased estimater
Generelle faldgruber ved at inkludere kovariater i eksperimenter
- Kan biase vores resultater
2. Giver forskeren flere friheder
Hvad er en mediationsanalyse?
Når man forventer at effekten af X på Y går igennem Z
Hvordan har man traditionelt studeret mediationseffekter i litteraturen?
Ved først at undersøge effekten af X på Y
Herefter undersøge effekten af X på Y kontrolleret for Z
Hvis effekten forsvandt, antog man at det var udtryk for, at effekten gik gennem Z
Hvornår introducerer man post-treatment bias i sit eksperiment?
Når du inkluderer variable, der er korreleret med Y og påvirket af X.
Det vil biase dine estimater, da du ikke længere har gode kontrafaktiske grupper.
Sker fx i:
- Mediationsanalyser med observationelle mediatorer
- Ved systematisk frafald
Hvad er problemet med at lave mediationsanalyser i sit eksperiment (og generelt)?
- Introducerer et bias
- Det at inkludere Z i ens regressioner skaber bias, fordi den inkluderer noget endogenitet, der også ender med at påvirke vores estimat af kausal-effekten - Gør at vi mangler en kontrafaktisk situation
- Vi har ikke tilfældigt tildelt Z.
- Niveau på Z er derfor påvirket af treatment-status (X) for dem i treatmentgruppen, men ikke for dem i kontrolgruppen. Så kontrolgrupperne er ikke længere en god kontrafaktisk situation for treatmentgruppen.
Hvornår kan frafald skabe problemer for ens eksperiment?
Hvis frafaldet er systematisk relateret til potentielle outcomes.
Dvs. der er noget i det at være i fx treatmentgruppen, der gør at man er mere tilbøjelige til at falde fra, ens hvis man er i kontrolgruppen (eller omvendt)
Det vil medføre, at treatment og kontrolgrupperne ikke længere er tilfældigt tildelt og dermed ikke længere ens i udgangspunktet, og derfor er en sammenligning af gruppernes gennemsnit ikke længere en unbiased estimator for ATE.
Hvornår er frafald ikke et problem?
Hvis det ikke er systematisk og dermed er uafhængigt af de potentielle outcomes: det er den samme slags mennesker der falder fra i både treatment- og kontrolgruppen, og derfor kan vi stadig sammenligne treatment- og kontrolgruppen unbiased.
