At designe eksperimenter Flashcards
Hvorfor betegnes eksperimentet som “guldstandarden” inden for kausal inferens?
Fordi det giver os mulighed for at sammenligne grupper med ens gennemsnitlige potentielle outcomes: så vi kommer meget tæt på at løse det fundamentale problem ved kausal inferens
Hvilke 3 krav er der til et eksperiment? (G&G)
- Randomisering
- Herunder positivitet og unconfoundness - Excludability
- Non-interference
Hvad lægger der i G&G kriterie om randomisering?
Positivitet: Sandsynligheden for at få treatment skal være mellem 0 og 1 for hvert individ
Unconfoundness: Treatment skal tildeles uafhængigt af de potentielle outcomes (dvs. tilfældigt)
Hvad lægger der i G&G kriterie om excludability?
Effekter på vores Y skal være ekskluderbare til vores treatment
Vores X skal være den eneste faktor, der påvirker Y, og ikke andre mekanismer, der bliver sat i gang ved at man får treatment.
Hvad lægger der i G&G kriterie om non-interference?
Enheder i eksperimentet må ikke influere hinanden. Dvs. det at en person får treatment, må ikke gøre sådan at en person fra kontrolgruppen får treatment
–> Enhederne må ikke påvirker hinandens potentielle outcomes.
Mundan vs eksperimentel realisme
Mundan: Om situationen eksperimentet foregår i ligner den virkelige situation
Eksperimentel: Virker treatment for dine individer i studiet? Går de op i eksperimentet, og sætter de gang i de mekanismer, som du er interesseret i? Undersøger du rent faktsik de kausaleffekter, som du gerne vil?
Hvad er problemet med pre-treatment-effekter i eksperimenter?
Enhederne er ofte allerede treatet til en vis grad inden for visse områder: fx partipolitisk kommunikation
- Derfor viser vores eksperimenter ofte kun den marginale effekt af yderligere treatment.
Vi har sjældent en hel neutral kontrolgruppe på noget område
Hvordan kan man forholde sig aktivt til pre-treatment-effekter i sit eksperiment?
Forsøg at mål det empirisk: hvor mange respondenter er pretreated på det her område? Bed dem fx placere forskellige partier på et politisk emne eller spørg dem hvilket parti de tror et udspil kommer fra: så kan du se, hvor meget vælgerne ved på forhånd.
Hvad sikrer randomisering i forventningen?
Balance mellem treatment og kontrolgrupper på relevante observerbare og uobserverbare kovariater
Evt. forskelle på Y mellem grupperne bør derfor kunne tilskrives treatment
Hvad kan stratificering hjælpe med ved randomisering?
Hjælpe randomiseringen på vej i små stikprøver, hvor LLN har sværere ved at komme igennem.
Hvad handler informations ækvivalens om ift. eksperimenter?
Hænger meget sammen med antagelsen om excludability: vi skal være sikre på, at vi studerer den kausale effekt og de mekanismer, som vi har tænkt os.
Hvorfor holder antagelsen om informations ækvivalens ofte ikke i praksis?
Når du manipulerer information om et emne i et eksperiment, så vil det ofte også ændre på respondentens holdning til baggrunds-egenskaberne/faktorerne om emnet → derfor brydes antagelsen om IE.
Eksempel: Hvis man i sin manipulation beskriver noget som “et demokrati”, så vil man også påvirke respondentens opfattelse om det lands baggrundskarakteristika: fx om landets geografiske location eller demografiske sammensætning.
Hvordan kan man designe sit eksperiment, så man kan opnå informations ækvivalens?
- Abstrakte incitamenter
Her beder man respondenterne forholde sig til et scenarie/information i meget abstrakte vendinger, i stedet for at henvise til fx et specifikt land.
Intentionen er så, at respondenterne ikke i så høj grad trækker på deres baggrundsviden, når de skal danne sig holdninger til scenariet. - Kovariat kontrol
hvis man forestiller sig, at kommunikationen kan føre til associationer hos respondenterne, så skal man kontrollere den viden - dvs. sørge for, at begge grupper har samme information. - Embedded natural experiments
Kommunikationen indeholder en eksplicit påtale af at en udvikling er tilfældig for at undgå associationer.
Support factors → ift. generaliserbarhed
Når vi laver et eksperiment, så er der en masse omkringliggende faktorer, der også er med til at få treatment til at virke. Man skal tænke over hvordan konteksten påvirker den treatment, man kommer med. Hvad kan moderere og påvirke størrelsen af min treatment-effekt → og er de kontekster ens i de andre settings vi gerne vil generalisere til?
Fx social tillid - kan være meget forskellig mellem lande.
Det vi finder i Danmark gælder ikke nødvendigvis andre steder
